Outils :

Vous avez un site web ? Un blog ?

Convergence de variables aléatoires

Un article de Wikipédia, l'encyclopédie libre.

Dans la théorie des probabilités, il existe différentes notions de convergence de variables aléatoires. La convergence (dans un des sens décrits ci-dessous) de suites de variables aléatoires est un concept important de la théorie des probabilités utilisé notamment en statistique et dans l'étude des processus stochastiques. Par exemple , la moyenne de n variables aléatoires indépendantes et identiquement distribuées converge presque sûrement vers l'espérance commune de ces variables aléatoires. Ce résultat est connu sous le nom de loi forte des grands nombres.

Dans la suite, nous supposons que (X_n) est une suite de variables aléatoires réelles (i.e. à valeurs réelles), et X est une variable aléatoire réelle, et que toutes ces variables sont définies sur un espace probabilisé (Ω, F, P).

Sommaire

1 Convergence en loi
2 Convergence en probabilité
3 Convergence presque sûre
4 Convergence en moyenne d'ordre r
5 Convergence d'une fonction d'une variable aléatoire
6 Implications réciproques
7 Notes
8 References

[modifier] Convergence en loi

Soient F₁, F₂, ... la suite de fonctions de répartition associées aux variables aléatoires réelles X₁, X₂, ..., et F la fonction de répartition associée à la variable aléatoire réelle X. La suite X_n converge vers X en loi, ou en distribution, si

$\lim_{n\rightarrow\infty} F_n(a) = F(a),$

pour tout réel a en lequel F est continue. Puisque F(a) = P(X ≤ a), cela signifie que la probabilité que X appartienne à un certain intervalle est très similaire à la probabilité que X_n soit dans cet intervalle pour n suffisamment grand. La convergence en loi est souvent notée en ajoutant la lettre $\mathcal L$ (ou $\mathcal D$ pour distribution) au dessus de la flèche de convergence:

$X_n \xrightarrow{\mathcal{L}} X.$

La convergence en loi est la forme la plus faible au sens où, en général, elle n'implique pas les autres formes de convergence définies ci-dessous, alors que ces autres formes de convergence impliquent la convergence en loi. C'est ce type de convergence qui est utilisé dans le théorème de la limite centrale.

Définition équivalente: (X_n) converge en loi vers X ssi pour toute fonction continue bornée

$\lim_{n\rightarrow\infty} E f(X_n)=E f(X).$

Théorème de continuité de Paul Lévy — Soit $\scriptstyle\ \varphi_n(t)$ la fonction caractéristique de $\scriptstyle\ X_n$ et $\scriptstyle\ \varphi(t)$ celle de $\scriptstyle\ X$ . Alors

$\left\{\forall t\in\mathbb{R} : \varphi_n(t)\to\varphi(t)\right\}\quad\Leftrightarrow\quad\left\{ X_n \xrightarrow{\mathcal D} X\right\}$

Autrement dit, (X_n) converge en loi vers X ssi la fonction caractéristique de la variable aléatoire réelle X_n converge simplement vers la fonction caractéristique de la variable aléatoire réelle X.

exemple: Théorème de la limite centrale :

La moyenne d'une suite de variables aléatoires centrées, indépendantes et de même loi, une fois renormalisée par $\scriptstyle\ \sqrt{n},$ converge en loi vers la loi normale

$\sqrt{n}\bar X_n\xrightarrow{\mathcal{L}}\mathcal{N}(0, \sigma^2).$

exemple: convergence de la loi de Student :

La loi de Student de paramètre $\scriptstyle\ k\$ converge, lorsque $\scriptstyle\ k\$ tends vers $\scriptstyle\ +\infty,$ vers la loi de Gauss:

$\mathrm{t}(k)\xrightarrow{\mathcal{L}}\mathcal{N}(0,1).$

Exemple :

La suite^[1] $\mathcal{N}(0, \frac{1}{n})$ converge en loi vers une variable aléatoire dite dégénérée, qui consiste en un seul point (0) avec probabilité 1 (on parle parfois de masse de Dirac en 0, notée $\scriptstyle\ \delta_0\$ ) :

$\Pr(x_0\le x)=\delta_0\left((-\infty,x]\right)=\begin{cases}0 & \text{ si } x< 0,\\1 &\text{ si } x \geq 0.\end{cases}$

[modifier] Convergence en probabilité

Définition — $X n$ converge vers $X$ en probabilité $\Leftrightarrow \lim_{n\rightarrow\infty}P\left(\left|X_n-X\right|\geq\varepsilon\right)=0 \qquad \forall \epsilon$

La convergence en probabilité est parfois notée $X_n \xrightarrow{p} X$ , ou encore $\operatorname{plim} X_n = X$

La convergence en probabilité est utilisée dans la loi faible des grands nombres.

La convergence en probabilité implique la convergence en loi. On peut donc énoncer le théorème suivant:

Théorème — $X n$ converge vers $X$ en probabilité $\Rightarrow$ $X n$ converge vers $X$ en loi

Démonstration

Pour effectuer la démonstration, le lemme suivant est utile

Soient X, Y des variables aléatoires réelles, c un réel et ε > 0. Alors

Lemme — $\Pr(Y\leq c)\leq \Pr(X\leq c+\varepsilon)+\Pr(\left|Y - X\right|>\varepsilon).$

Démonstration du lemme

$\Pr(Y\leq c)=\Pr(Y\leq c,X\leq c+\varepsilon)+\Pr(Y\leq c,X>c+\varepsilon)$

$=\Pr(Y\leq c \vert X\leq c+\varepsilon)\Pr(X\leq c+\varepsilon)+\Pr(Y\leq c,c<X - \varepsilon)$

$\leq \Pr(X\leq c+\varepsilon)+\Pr(Y - X<- \varepsilon)\leq \Pr(X\leq c+\varepsilon)+\Pr(\left|Y - X\right|>\varepsilon)$

car

$\Pr(\left|Y - X\right|>\varepsilon)=\Pr(Y - X>\varepsilon)+\Pr(Y - X<-\varepsilon)\geq \Pr(Y - X<-\varepsilon).$

Pour tout ε > 0, en raison de ce lemme, on a:

$P(X_n\leq a)\leq P(X\leq a+\varepsilon)+P(\left|X_n - X\right|>\varepsilon)$

$P(X\leq a-\varepsilon)\leq P(X_n \leq a)+P(\left|X_n - X\right|>\varepsilon)$

On a donc

$P(X\leq a-\varepsilon)-P(\left|X_n - X\right|>\varepsilon)\leq P(X_n \leq a)\leq P(X\leq a+\varepsilon)+P(\left|X_n - X\right|>\varepsilon).$

En prenant la limite pour $n\rightarrow\infty$ , on obtient

$P(X\leq a-\varepsilon)\leq \lim_{n\rightarrow\infty} P(X_n \leq a)\leq P(X\leq a+\varepsilon).$

Or $a\mapsto P(X\leq a)$ est la fonction de répartition $F X$ , qui est continue par hypothèse en a, i.e.

$\lim_{\varepsilon \rightarrow 0^+} F_X(a-\varepsilon)=\lim_{\varepsilon \rightarrow 0^+} F_X(a+\varepsilon)=F_X(a),$

Donc, en prenant la limite pour $\varepsilon \rightarrow 0^+$ , on obtient

$\lim_{n\rightarrow\infty} P(X_n \leq a)=P(X \leq a).$

Il est possible de relier la convergence en probabilité vers une constante avec des conditions sur l'espérance et la variance de la suite:

Théorème — $\lim_{n \to \infty} \operatorname{E}[X_n]=c\quad \mathbf{ et } \quad \lim_{n \to \infty}\operatorname{Var}[X_n]= 0 \Rightarrow X_n \xrightarrow{p} c$ .

Démonstration

On veut montrer que $\lim_{n \to \infty}\operatorname{E}[X_n]= c\quad \mathbf{ et } \quad \lim_{n \to \infty}\operatorname{Var}[X_n]= 0 \Rightarrow X_n \xrightarrow{p} c$

En partant de l'inégalité de Bienaymé-Tchebychev:

Théorème — $\Pr\left(\left|X-\mu\right| \geq \alpha \right) \leq \frac{\sigma^2}{\alpha^2}\qquad \forall \alpha >0$

On a:

$\begin{align} \Pr\left(\left|X_n-c\right| \geq \alpha \right) &< \frac{\operatorname{E}[(X_n-c)^2]}{\alpha^2}\\ &< \frac{\operatorname{E}[(X_n-\operatorname{E}[X_n]+\operatorname{E}[X_n]-c)^2]}{\alpha^2}\\ &< \frac{\operatorname{E}[\left(X_n-\operatorname{E}[X_n]\right)^2 +2\operatorname{E}(X_n-\operatorname{E}[X_n])\overbrace{(\operatorname{E}([X_n]-c)}^{=0 \text{ si }\operatorname{E}[X_n]\xrightarrow{\infty}c} +\left(\operatorname{E}[X_n]-c\right)^2]}{\alpha^2}\\ &< \frac{\operatorname{E}\left[(X_n-\operatorname{E}[ X_n])^2\right]+\left(\operatorname{E}[X_n]- c\right)^2}{\alpha^2}\\ &< \frac{\operatorname{Var}[X_n]+\left(\operatorname{E}[X_n]- c\right)^2}{\alpha^2}\\ \end{align}$

On voit alors que si $\operatorname{E}[X_n]\to c \quad \mathbf{ et }\quad \operatorname{Var}[X_n]\to 0 \Rightarrow \Pr\left[ |X_n -c|>\alpha\right]\to 0 \Rightarrow X_n \xrightarrow{p} c$

Exemple :

Ce théorème est très utile pour démontrer la loi faible des grands nombres de manière simple: il suffit de voir que si $X i$ est une suite de variables aléatoires indépendamment et identiquement distribuées d'espèrance $μ$ et de variance $σ 2$ et que $\bar X =\sum_{i=1}^{n} X_i$ , alors:

$\operatorname{E}[\bar X]=\mu$

$\lim_{n\to\infty}\operatorname{Var}[\bar X]=\lim_{n\to\infty}\frac{\sigma^2}{n}=0\qquad$ (Voir preuve sur la page variance)

Alors $\bar X\xrightarrow{p}\mu$

La réciproque n'est pas vraie:

En statistiques, un estimateur peut être biaisé mais cependant convergent!

Dans l'exemple suivant, la suite converge vers une valeur différente de son espérance, bien qu'elle ait une variance infinie:

Exemple :

Soit une suite de variables aléatoires $\{X_n\}_{n=1}^{\infty}$ définie sur ${0, n}$ telle que:

$\Pr(X_n=n)=\frac{1}{n}$ et $\Pr(X_n=0)=1-\frac{1}{n}$

On voit qu'elle converge en proba: $\forall \delta >0: \Pr(|X_n|>\delta)=1-Pr(X_n=0)=\frac{1}{n} \to 0 \Rightarrow X_n \xrightarrow{p} 0$

Cependant, $\operatorname{E}[X_n]=1$ et $\operatorname{Var}[X_n]=n-1\to \infty$ .

Donc la réciproque ne s'applique pas.

[modifier] Convergence presque sûre

On dit que X_n converge presque sûrement ou presque partout ou avec probabilité 1 ou fortement vers X si

Définition — $P\left(\lim_{n\rightarrow\infty}X_n=X\right)=1.$

Cela signifie que les valeurs de X_n approchent la valeur de X, au sens où (cf presque partout) l'événement sur lequel X_n ne converge pas vers X a une probabilité nulle.

Elle se note souvent $X_n \xrightarrow{ps} X$ ou $X_n \xrightarrow{as} X$ (almost surely en anglais).

On peut définir de manière plus générale la convergence presque sûre en utilisant l'espace probabilisé (Ω, F, P) et le concept de variable aléatoire comme fonction de Ω dans R:

$P\left(\big\{\omega \in \Omega \, | \, \lim_{n \to \infty}X_n(\omega) = X(\omega) \big\}\right) = 1.$

Théorème — $X n$ converge vers $X$ presque sûrement $\Rightarrow X_n$ converge vers $X$ en probabilité

La convergence presque sure est utilisée dans la loi forte des grands nombres.

[modifier] Convergence en moyenne d'ordre r

Soit r > 0. On dit que X_n converge vers X en moyenne d'ordre r ou en norme L^r si E|X_n|^r < ∞ pour tout n et

$\lim_{n\rightarrow\infty}\mathrm{E}\left(\left|X_n-X\right|^r\right)=0$ .

La convergence en moyenne d'ordre r nous dit que l'espérance de la puissance r-ième de la différence entre X_n et X converge vers zéro.

Pour r =2, on parle de convergence en moyenne quadratique

Théorème — $X n$ converge vers $X$ en norme L^r $\Rightarrow X_n$ converge vers $X$ en probabilité.

Ce résultat s'obtient d'après l'inégalité de Bienaymé-Tchebychev.

Théorème — Pour r > s ≥ 1, la convergence en norme L^r implique la convergence en norme L^s.

On a également le résultat obtenu plus haut:

Théorème — $X n$ converge vers une constante $c$ en moyenne quadratique $\Leftrightarrow \left\{\lim_{n \to \infty}\operatorname{E}[X_n]=c\quad\mathbf{et}\quad \lim_{n \to \infty}\operatorname{Var}[X_n]=0\right\}$ .

[modifier] Convergence d'une fonction d'une variable aléatoire

Un théorème très pratique, désigné en anglais généralement sous le nom de Mapping theorem (en), établit qu'une fonction g continue appliquée à une variable qui converge vers X convergera vers g(X) pour tous les modes de convergence:

Théorème — Mapping theorem^[2] Soit $g: \mathcal{R}^k \mapsto\mathcal{R}^m$ une fonction continue pour tout point d'un ensemble C tel que $\Pr(X\in C)=1$ :

Si $X_n\xrightarrow{\mathcal{L}}X \Rightarrow g(X_n)\xrightarrow{\mathcal{L}}g(X)$

Si $X_n\xrightarrow{p}X \Rightarrow g(X_n)\xrightarrow{p}g(X)$

Si $X_n\xrightarrow{p.s}X \Rightarrow g(X_n)\xrightarrow{p.s.}g(X)$

Exemple :

En statistiques, un estimateur convergent de la variance $σ 2$ est donné par:

$s^2_{n-1} \equiv \frac{1}{n-1} \sum_{i=1}^n\left(y_i - \overline{y} \right)^2$

On sait alors par le continuous mapping theorem que l'estimateur $\sqrt{s^2_{n-1}}$ de l'écart type $\sigma =\sqrt{\sigma ^2}$ est convergent, car la fonction racine est une fonction continue.

[modifier] Implications réciproques

A quelques exceptions près, les implications mentionnées dans les sections précédentes n'ont pas de réciproque, à proprement parler. Voici toutefois quelques propriétés utiles qu'on pourrait qualifier de "semblants de réciproques":

Si X_n converge en loi vers une constante réelle c, alors X_n converge en probabilité vers c.

Si X_n converge presque sûrement vers X, alors X_n converge en loi vers X, et la réciproque est fausse, mais il existe un théorème (appelé "théorème de représentation de Skorohod") qui est une forme de réciproque, voir, dans Fonction de répartition, la section Convergence en loi et fonction de répartition, et particulièrement (1. implique 3.).

Si X_n converge en probabilité vers X, et si Pr(|X_n| ≤ b) = 1 pour tout n et un certain b, alors X_n converge en moyenne d'ordre r vers X pour tout r ≥ 1. Autrement dit,

si X_n converge en probabilité vers X et si toutes les variables aléatoires X_n sont uniformément presque sûrement bornées, alors X_n converge vers X en moyenne d'ordre r.

Si pour tout ε > 0,

$\sum_n P\left(|X_n - X| > \varepsilon\right) < \infty,$

alors X_n converge presque sûrement vers X. En d'autres termes, si X_n converge en probabilité vers X suffisamment rapidement (i.e. la série ci-dessus converge pour tout ε > 0), alors X_n converge aussi presque sûrement vers X. Cela résulte d'une application directe du Théorème de Borel-Cantelli.

Si S_n est une somme de n variables aléatoires réelles indépendantes:

$S_n = X_1+\cdots+X_n$

alors S_n converge presque sûrement ssi S_n converge en probabilité.

[modifier] Notes

↑ Pour plus de détail sur cet exemple: voir Davidson et McKinnon (1993, chap. 4)
↑ Tiré de Vaart (1998, p.7)

[modifier] References

Davidson, Russell; McKinnon, James (1993). Estimation and Inference in Econometrics. New York: Oxford University Press, 874. ISBN 0195060113.
G.R. Grimmett and D.R. Stirzaker (1992). Probability and Random Processes, 2nd Edition. Clarendon Press, Oxford, p. 271-285 (ISBN 0-19-853665-8)

Vaart, Adrianus Willem van der (1998). Asymptotic Statistics. Cambridge: Cambridge University Press, 443. ISBN 0521496039.

Portail des mathématiques

rencontre

Convergence de variables aléatoires - En savoir plus

Encyclopédie Recherche.fr - Convergence de variables aléatoires

Rencontre Convergence de variables aléatoires - Articles à la une

"Je rencontre quelques peines, je rencontre beaucoup de joie, c'est parfois une question de chance, souvent une rencontre de choix."

© 2008 Netencyclo - Netencyclo Home - Terms of Service - Privacy Policy - Program Policies
Netencyclo, the Wikipedia mirror : the biggest multilingual free-content encyclopedia on the Internet. Cet article, miroir de l'article de Wikipédia est conforme aux termes de la GFDL All Wikipedia content is licensed under the GNU Free Documentation License (see details). Content on this web site is provided for informational purposes only. We accept no responsibility for any loss, injury or inconvenience sustained by any person resulting from information published on this site. We encourage you to verify any critical information with the relevant authorities.

- Convergence de variables aléatoires -

Outils :

Convergence de variables aléatoires

Un article de Wikipédia, l'encyclopédie libre.

Sommaire

[modifier] Convergence en loi

[modifier] Convergence en probabilité

[modifier] Convergence presque sûre

[modifier] Convergence en moyenne d'ordre r

[modifier] Convergence d'une fonction d'une variable aléatoire

[modifier] Implications réciproques

[modifier] Notes

[modifier] References

A voir :

Convergence de variables aléatoires - En savoir plus

Rencontre Convergence de variables aléatoires - Articles à la une