Outils :Vous avez un site web ? Un blog ?
 Technorati reactions rencontre |
 |
Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants.
|
En statistiques, l’'erreur quadratique moyenne (ou plus souvent l’erreur quadratique, moyenne étant sous-entendu) pour un paramètre θ de dimension 1, que nous noterons MSE (pour Mean Squared Error), est définie par:
Définition — 
avec 
l’estimateur du paramètre θ.
Sommaire |
L'erreur quadratique moyenne est très utile pour comparer plusieurs estimateurs, notamment lorrsque l'un d'eux est biaisé. Si les deux estimateurs à comparer sont sans biais, l'estimateur le plus efficace est simplement celui qui a la variance la plus petite. On peut effectivement exprimer l'erreur quadratique moyenne en fonction du biais de l'estimateur 
ainsi que sa variance:
Théorème — 
![\begin{align}\operatorname{MSE}(\hat{\theta})\equiv \mathbb{E}((\hat{\theta}-\theta)^2)&=
\mathbb{E}\left[\left(\hat{\theta}-\mathbb{E}(\hat\theta)+\mathbb{E}(\hat\theta)-\theta\right)^2\right]
\\ & =
\mathbb{E}\left[\left(\hat{\theta}-\mathbb{E}(\hat\theta)\right)^2 +2\left((\hat{\theta}-\mathbb{E}(\hat\theta))(\mathbb{E}(\hat\theta)-\theta)\right)+\left( \mathbb{E}(\hat\theta)-\theta \right)^2\right]
\\ & = \mathbb{E}\left(\hat{\theta}-\mathbb{E}(\hat\theta)\right)^2+2\mathbb{E}\left((\hat{\theta}-\mathbb{E}(\hat\theta))(\mathbb{E}(\hat\theta)-\theta)\right)+\left(\mathbb{E}(\hat\theta)-\theta\right)^2
\\ & = \mathbb{E}\left(\hat{\theta}-\mathbb{E}(\hat\theta)\right)^2+2(\mathbb{E}(\hat\theta)-\theta)\overbrace{\mathbb{E}(\hat{\theta}-\mathbb{E}(\hat\theta))}^{=\mathbb{E}(\hat\theta)-\mathbb{E}(\hat\theta)=0}+\left(\mathbb{E}(\hat\theta)-\theta\right)^2
\\ & = \mathbb{E}\left(\hat{\theta}-\mathbb{E}(\hat\theta)\right)^2+\left(\mathbb{E}(\hat\theta)-\theta\right)^2
\\ & = \operatorname{Var}(\hat\theta)+ \operatorname{Biais}(\hat\theta)^2
\end{align}](http://upload.wikimedia.org/math/3/9/2/392437926ab86cf8eb6a92a106c8dcf9.png)
En faisant intervenir le bias et la variance, l'erreur quadratique moyenne permet donc de trancher dans une situation où il existe un estimateur sans biais et un autre biaisé mais de variance plus petite.
Comparons les deux estimateurs de la variance:
et 
Des calculs montrent que (voir Greene 2005, p. 861):
![\operatorname{E}[s_{n-1}^2]=\sigma^2](http://upload.wikimedia.org/math/4/3/a/43a02e2418ab9b7f8f2e570effc3d221.png)
![\operatorname{Var}[s_{n-1}^2]=\frac{2\sigma^4}{n-1}](http://upload.wikimedia.org/math/9/5/4/954232f55c9890d50917b2f345cf42e8.png)
![\operatorname{E}[s_n^2]=\frac{(n-1)\sigma^2}{n}](http://upload.wikimedia.org/math/e/b/7/eb7df3e2d8b55f701a4a3c6328510d2a.png)
![\operatorname{Var}[s_{n}^2]=\left[\frac{n-1}{n}\right]^2\left[\frac{2\sigma^4}{n-1}\right]](http://upload.wikimedia.org/math/5/d/4/5d4048ede6935c1b2e2f5152643f9eeb.png)
L'estimateur 
est sans biais mais a une plus forte variance que l'estimateur 
.
La comparaison des erreurs quadratiques moyennes (MSE) donne:
![\operatorname{MSE}(s^2_{n}|\sigma^2)-\operatorname{MSE}(s^2_{n-1}|\sigma^2)=\sigma^4\left[\frac{2n-1}{n^2}-\frac{2}{n-1}\right]<0](http://upload.wikimedia.org/math/b/d/f/bdff1e2f450552be910c170518c944de.png)
Et l'estimateur biaisé est donc plus précis en terme d'erreur quadratique moyenne.
Il est possible de déterminer si un estimateur est convergent en probabilité à partir de son erreur quadratique moyenne, on a en effet:
Théorème — ![\left\{\lim_{n \to \infty} \operatorname{E}[\hat\theta] =\theta \quad \mathbf{ et } \quad \lim_{n \to \infty}\operatorname{Var}[\hat\theta]= 0 \right\} \Leftrightarrow \lim_{n \to \infty}\operatorname{MSE}(\hat\theta|\theta) =0 \Rightarrow \hat\theta \xrightarrow{p} \theta](http://upload.wikimedia.org/math/9/9/6/996f3e05058772866ec66f007be28833.png)
La démonstration est faite à la page convergence de variables aléatoires.
Dans un cadre plus général pour un modèle multiparamétrique où l'on cherche à estimer plusieurs paramètres ou pour estimer une fonction f(θ) de un ou plusieurs paramètres, l'erreur quadratique moyenne pour un estimateur δ de f(θ) est défini par:
Définition — 
où A est une matrice symétrique définie positive (qui définit donc un produit scalaire).
Greene, William H (2005). Econométrie, 5e éd, Paris: Pearson Education, 2. ISBN 2744070971.
