Erreur quadratique moyenne

En statistiques, l'erreur quadratique moyenne pour un paramètre θ de dimension 1, que nous noterons MSE, est définie par ...



Catégories :

Estimation (statistique) - Statistiques

Page(s) en rapport avec ce sujet :

  • L'erreur quadratique moyenne et les moyennes des estimateurs ont été simulées utilisant... eqm µ, l'estimateur naïf de l'erreur quadratique moyenne de 1... (source : mat.ulaval)

En statistiques, l'erreur quadratique moyenne (ou plus fréquemment l'erreur quadratique, moyenne étant sous-entendu) pour un paramètre θ de dimension 1, que nous noterons MSE (pour Mean Squared Error), est définie par :

Définition — \operatorname{MSE}(\hat{\theta}|\theta)\equiv\mathbb{E}\left((\hat{\theta}-\theta)ˆ2\right).

avec \hat{\theta} l'estimateur du paramètre θ.

Utilité

Comparaison d'estimateurs

L'erreur quadratique moyenne est particulièrement utile pour comparer plusieurs estimateurs, surtout quand l'un d'eux est biaisé. Si les deux estimateurs à comparer sont sans biais, l'estimateur le plus efficace est simplement celui qui a la variance la plus petite. On peut effectivement exprimer l'erreur quadratique moyenne selon le biais de l'estimateur \mathbb{E}(\hat{\theta} - \theta) mais aussi sa variance :

Théorème — \operatorname{MSE}(\hat{\theta}|\theta)=\operatorname{Biais}(\hat{\theta})ˆ2 + \operatorname{Var} (\hat{\theta})

En faisant intervenir le biais et la variance, l'erreur quadratique moyenne permet par conséquent de trancher dans une situation où il existe un estimateur sans biais et un autre biaisé mais de variance plus petite.

Exemple :

Comparons les deux estimateurs de la variance :

s_nˆ2 \equiv \hat\sigma ˆ2= \frac 1n \sum_{i=1}ˆn \left(y_i - \overline{y} \right)ˆ 2 et sˆ2_{n-1} \equiv \hat\sigma ˆ2= \frac{1}{n-1} \sum_{i=1}ˆn\left(y_i - \overline{y} \right)ˆ 2

Des calculs montrent que (voir Greene 2005, p. 861)  :

 \operatorname{E}[s_{n-1}ˆ2]=\sigmaˆ2
 \operatorname{Var}[s_{n-1}ˆ2]=\frac{2\sigmaˆ4}{n-1}
 \operatorname{E}[s_nˆ2]=\frac{(n-1)\sigmaˆ2}{n}
 \operatorname{Var}[s_{n}ˆ2]=\left[\frac{n-1}{n}\right]ˆ2\left[\frac{2\sigmaˆ4}{n-1}\right]

L'estimateur sˆ2_{n-1} est sans biais mais a une plus forte variance que l'estimateur sˆ2_{n}.

La comparaison des erreurs quadratiques moyennes (MSE) donne :

\operatorname{MSE}(sˆ2_{n}|\sigmaˆ2)-\operatorname{MSE}(sˆ2_{n-1}|\sigmaˆ2)=\sigmaˆ4\left[\frac{2n-1}{nˆ2}-\frac{2}{n-1}\right]<0

Et l'estimateur biaisé sˆ2_{n} est par conséquent plus précis en termes d'erreur quadratique moyenne.

Convergence de l'estimateur

Il est envisageable de déterminer si un estimateur est convergent en probabilité à partir de son erreur quadratique moyenne, on a en effet :

Théorème — \left\{\lim_{n \to \infty} \operatorname{E}[\hat\theta] =\theta \quad \mathbf{ et } \quad \lim_{n \to \infty}\operatorname{Var}[\hat\theta]= 0 \right\} \Leftrightarrow \lim_{n \to \infty}\operatorname{MSE}(\hat\theta|\theta) =0 \Rightarrow \hat\theta \xrightarrow{p} \theta

La démonstration est faite à la page convergence de variables aléatoires.

Généralisation

Dans un cadre plus général pour un modèle multiparamétrique où on cherche à estimer plusieurs paramètres ou pour estimer une fonction f (θ) d'un ou plusieurs paramètres, l'erreur quadratique moyenne pour un estimateur δ de f (θ) est défini par :

Définition — \mathbb{E}( ˆt(\delta-f(\theta)) A (\delta-f(\theta))


où A est une matrice symétrique définie positive (qui définit par conséquent un produit scalaire).

Références

(en) William H Greene, Econométrie, Pearson Education, Paris (ISBN 2744070971) , p.  2

Voir aussi

Recherche sur Amazon (livres) :



Ce texte est issu de l'encyclopédie Wikipedia. Vous pouvez consulter sa version originale dans cette encyclopédie à l'adresse http://fr.wikipedia.org/wiki/Erreur_quadratique_moyenne.
Voir la liste des contributeurs.
La version présentée ici à été extraite depuis cette source le 07/04/2010.
Ce texte est disponible sous les termes de la licence de documentation libre GNU (GFDL).
La liste des définitions proposées en tête de page est une sélection parmi les résultats obtenus à l'aide de la commande "define:" de Google.
Cette page fait partie du projet Wikibis.
Accueil Recherche Aller au contenuDébut page
ContactContact ImprimerImprimer liens d'évitement et raccourcis clavierAccessibilité
Aller au menu