Théorème de Gauss-Markov

En statistiques, le théorème de Gauss–Markov, appelé ainsi selon Carl Friedrich Gauss et Andrei Markov, décrit que dans un modèle linéaire dans lequel les erreurs ont une espérance nulle, sont non corrélées...



Catégories :

Estimation (statistique) - Statistiques - Carl Friedrich Gauss - Théorème de mathématiques

Page(s) en rapport avec ce sujet :

  • In statistics, the Gauss – Markov theorem, named after Carl Friedrich Gauss and Andrey Markov, states that in a linear model in which the errors have... (source : en.wikipedia)
  • Le Théorème de Gauss - Markov vient atténuer quelque peu notre inquiétude sur la... Nous donnons ici une démonstration simple du Théorème de Gauss - Markov.... (source : aiaccess)
  • ... Le théorème de Gauss - Markov. Nous avons obtenu l'estimateur β = (X'X)... Gauss- Markov. Théorème de Gauss - Markov. Soit β = (X'X)... (source : monet.stat.uqam)

En statistiques, le théorème de Gauss–Markov, appelé ainsi selon Carl Friedrich Gauss et Andrei Markov, décrit que dans un modèle linéaire dans lequel les erreurs ont une espérance nulle, sont non corrélées et dont les variances sont identiques, le meilleur estimateur linéaire non biaisé des cœfficients est l'estimateur des moindres carrés.

D'une façon plus générale, le meilleur estimateur linéaire non biaisé d'une combinaison linéaire de variables aléatoires est son estimateur par les moindres carrés. On ne suppose pas que les erreurs possèdent une loi normale, ni qu'elles sont indépendantes (uniquement non corrélées), ni qu'elles possèdent la même loi de probabilité.

Plus explicitement, supposons qu'on ait :

Y_i=\beta_0+\beta_1 x_i+\varepsilon_i

Pour i = 1, ..., n, où β0 et β1 sont des paramètres qui ne sont pas aléatoires mais non-observables, xi sont des observations, εi sont aléatoires, et par conséquent Yi sont des variables aléatoires. Posons x en minuscule, s'agissant d'une observation ; et Y en majuscule car c'est une variable aléatoire. Les variables aléatoires εi sont nommées "erreurs".

En pratique, il peut y avoir plus de deux variables explicatives (les x plus haut) et on a le plus souvent recours à une écriture matricielle plus concise :

\mathbf{y} = \mathbf{X} \boldsymbol{\beta} + \boldsymbol{\varepsilon}

avec \mathbf{y} et \boldsymbol{\varepsilon} de dimension n × 1, \boldsymbol{\beta} de dimension k × 1, et enfin \mathbf{X} de dimension n × k.

Le théorème de Gauss–Markov se base sur des hypothèses sur l'espérance et la matrice de variance-covariance des aléas :

(c'est-à-dire que l'ensemble des erreurs ont la même variance : on parle d'homoscédasticité) et

pour i\not=j ; ce qui traduit la non-corrélation. Matriciellement, les hypothèses se traduisent ainsi :

\operatorname{E}( \boldsymbol{\varepsilon} ) = \mathbf{0} \;\;\mbox{ et }\;\;\operatorname{Var}( \boldsymbol{\varepsilon} ) = \sigmaˆ2 \boldsymbol{\Omega}

où la matrice \boldsymbol{\Omega} est la matrice identité n × n.

Un estimateur linéaire de βj est une combinaison linéaire des données observées :

\widehat{\beta}_j = \mathbf{C}\mathbf{y} = c_1Y_1+\cdots+c_nY_n

dans laquelle les cœfficients ci ne dépendent pas des précédents cœfficients βi, car ceux-ci ne sont pas observables, mais peuvent dépendre de xi, car il s'agit des observations.

L'erreur moyenne quadratique d'un tel estimateur est :

{\rm E} \left((\widehat{\beta}_j-\beta_j)ˆ2\right) = {\rm E} \left((c_1Y_1+\cdots+c_nY_n-\beta_j)ˆ2\right),

c'est-à-dire, l'espérance du carré de la différence entre l'estimateur et les paramètres à estimer. L'erreur moyenne quadratique d'un estimateur coïncide avec sa variance si l'estimateur n'est pas biaisé ; dans le cas opposé, l'erreur moyenne quadratique est la somme de la variance et du carré du biais.

Le meilleur estimateur non-biaisé est l'estimateur de plus faible erreur moyenne quadratique (donc ici de plus faible variance). Les estimateurs par les moindres carrés de β0 et β1 sont les fonctions \widehat{\beta}_0 et \widehat{\beta}_1 de Ys et xs qui minimisent la somme des carrés des erreurs de mesure :

\sum_{i=1}ˆn\left(Y_i-\widehat{Y}_i\right)ˆ2=\sum_{i=1}ˆn\left(Y_i-\left(\widehat{\beta}_0+\widehat{\beta}_1 x_i\right)\right)ˆ2 \equiv (\mathbf{y}-\mathbf{X} \boldsymbol{\widehat{\beta}})ˆT(\mathbf{y}-\mathbf{X} \boldsymbol{\widehat{\beta}})

Ne pas confondre erreur sur des quantités non-observables et erreurs de mesure sur des grandeurs observables.

Le théorème de Gauss-Markov décrit que, parmi l'ensemble des estimateurs linéaires non-biaisés, l'estimateur par moindre carré est le seul à présenter une variance minimale. On peut résumer tout cela en disant que l'estimateur par moindre carré est BLUE[1] (en anglais : Best Linear Unbiaised Estimator).

En termes de formulation matricielle, la démonstration du théorème de Gauss–Markov est faite en démontrant que la différence entre la matrice de covariance de n'importe quel estimateur linéaire non biaisé et celle de l'estimateur des moindres carrés est une matrice semi-définie positive.

Notes et références

  1. A. C. Aitken, On Least Squares and Linear Combinations of Observations, Proceedings of the Royal Society of Edinburgh, 1935, vol. 55, pp. 42-48.

Voir aussi

Recherche sur Amazon (livres) :



Ce texte est issu de l'encyclopédie Wikipedia. Vous pouvez consulter sa version originale dans cette encyclopédie à l'adresse http://fr.wikipedia.org/wiki/Th%C3%A9or%C3%A8me_de_Gauss-Markov.
Voir la liste des contributeurs.
La version présentée ici à été extraite depuis cette source le 07/04/2010.
Ce texte est disponible sous les termes de la licence de documentation libre GNU (GFDL).
La liste des définitions proposées en tête de page est une sélection parmi les résultats obtenus à l'aide de la commande "define:" de Google.
Cette page fait partie du projet Wikibis.
Accueil Recherche Aller au contenuDébut page
ContactContact ImprimerImprimer liens d'évitement et raccourcis clavierAccessibilité
Aller au menu