Information de Fisher

L'information de Fisher est une notion de statistique introduite par R. A. Fisher qui quantifie l'information relative à un paramètre contenue dans une distribution.



Catégories :

Estimation (statistique) - Statistiques

Page(s) en rapport avec ce sujet :

  • se ram ene a un probl eme d'estimation statistique des pa-.... 3 Information de Fisher. Consid erons une observation Xn = (X 0. Xn) 2X (n+1).... tion (approch ee) adaptative de l'estimateur du maximum. de vraisemblance.... (source : perso.telecom-paristech)
  • par ce mod`ele statistique est que les observations ne four-... maximum de vraisemblance se ram`enerait `a probl`eme bien maıtrisé..... modifié sans que la matrice d'information de Fisher ne soit modifiée. A titre d'exemple, le schéma d'... (source : documents.irevues.inist)
  • En statistiques paramétriques, l'inverse de cette matrice est la variance minimale... Oui c'est bien de l'information de Fisher dont je parle.... Plus elle est grande, plus la méthode du maximum de vraisemblance sera... (source : forums.futura-sciences)

L'information de Fisher est une notion de statistique introduite par R. A. Fisher qui quantifie l'information relative à un paramètre contenue dans une distribution.

Soit f (x;θ) la distribution de vraisemblance d'une grandeur x (qui peut être multidimensionelle), paramétrée par θ. La technique d'estimation de θ par le maximum de vraisemblance, introduite par Fisher consiste à choisir la valeur maximisant la vraisemblance des observations X :

E\left[\frac{\partial \log f(X;\theta)}{\partial \theta} | \theta \right] =0.

L'information de Fisher est quant à elle définie comme la variance associée à ce maximum :

I(\theta)=E\left[ \left(\frac{\partial \log f(X;\theta)}{\partial \theta} \right)ˆ2 |\theta \right].

Formulation discrète

Les différentes observations xi nous permettent d'échantillonner la fonction de densité de probabilité f (x;θ) . Selon le théorème de Bayes, en l'absence d'a priori sur θ on a P(\theta/X)\propto P(X/\theta) Si les observations sont décorrélées, la valeur la plus probable nous est donnée par le maximum de

P (xi / θ),
i

qui est aussi le maximum de

λ (θ) = logP (xi / θ).
i

Le passage en logarithme sert à transformer le produit en somme, ce qui nous autorise à trouver le maximum par dérivation :

\sum_i \left[
\frac{\partial}{\partial \theta} \log P(x_i/\theta)
\right]_{\theta=\hat\theta} =0.

Cette somme correspond pour un nombre d'observations suffisamment élevé à l'espérance mathématique. La résolution de cette équation sert à trouver un estimateur de θ à partir du jeu de paramètre au sens du maximum de vraisemblance. Maintenant, la question est de quantifier la précision de notre estimation. On cherche par conséquent à estimer la forme de la distribution de probabilité de θ autour de la valeur donnée par l'estimateur. À partir d'un développement limité à l'ordre 2, comme le terme linéaire est nul au maximum, on obtient :


\lambda(\theta)=\lambda(\hat\theta)-\frac{\thetaˆ2}{2}I(\hat\theta)+o(\thetaˆ2)

où est l'information de Fisher relative à θ au point de maximum de vraisemblance. Ceci veut dire que la distribution est en première approximation une gaussienne de variance  :

P(\theta/X)\propto \exp\left(-\frac{\thetaˆ2}{2}I(\hat\theta) \right)

Cette variance est nommé la limite de Cramér-Rao et forme la meilleure précision d'estimation atteignable en absence d'a priori.

Formulation multi-paramétrique

Dans le cas où la distribution de probabilité dépend de plusieurs paramètres, θ n'est plus un scalaire mais un vecteur \vec\theta=(\theta_1,\theta_2,\cdots). La recherche du maximum de vraisemblance ne se résume par conséquent non pas à une seule équation mais à un dispositif :

E\left[\frac{\partial}{\partial \theta_i} \log f(X;\vec\theta) \right] 

=0, \qquad \forall i

on dérive vis à vis des différentes composantes de \vec\theta. Enfin, l'information de Fisher n'est plus définie comme une variance scalaire mais comme une matrice de covariance :

I(\theta_i,\theta_j)=E\left[ 
\left(\frac{\partial}{\partial \theta_i} \log f(X;\vec\theta) \right)
 \left(\frac{\partial}{\partial \theta_j} \log f(X;\vec\theta) \right)\right].

Cette matrice est fréquemment nommée la métrique d'information de Fisher. En effet, le passage de l'espace des observations à l'espace des paramètres est un changement de système de coordonnées. Dans la base des paramètres, avec comme produit scalaire la covariance, cette matrice est la métrique.

L'inverse de cette matrice permet quant à elle de déterminer les limites de Cramér-Rao, i. e. les covariances relatives aux estimations conjointes des différents paramètres à partir des observations : en effet, le fait que l'ensemble des paramètres soient à estimer simultanément rend l'estimation plus complexe. Ce phénomène est une manifestation de ce qui est quelquefois nommé le «fléau de la dimension». C'est pour cette raison qu'on utilise lorsque on le peut des a priori sur les paramètres (méthode d'estimation du maximum a posteriori). Ainsi, on restreint l'incertitude sur chacun des paramètres, ce qui limite l'impact sur l'estimation conjointe.

Information apportée par une statistique

De la même façon qu'on à définit l'information de Fisher pour le vecteur des observations X on peut définir l'information de Fisher contenue dans une statistique S (X)  :

I_{S}(\theta)=\mathbb{E}_\theta\left[ 
\left(\nabla_\theta \log f_S(S;\theta) \right)\cdot\left(\nabla_\theta \log f_S(S;\theta)\right)'\right].

Cette définition est précisément la même que celle de l'information de Fisher pour X pour un modèle multiparamétrique on remplace juste la densité de X par celle de S (X) la statistique S. Deux théorèmes illustrent l'intérêt de cette notion :

Références

Voir aussi

Liens externes

Recherche sur Amazon (livres) :



Ce texte est issu de l'encyclopédie Wikipedia. Vous pouvez consulter sa version originale dans cette encyclopédie à l'adresse http://fr.wikipedia.org/wiki/Information_de_Fisher.
Voir la liste des contributeurs.
La version présentée ici à été extraite depuis cette source le 07/04/2010.
Ce texte est disponible sous les termes de la licence de documentation libre GNU (GFDL).
La liste des définitions proposées en tête de page est une sélection parmi les résultats obtenus à l'aide de la commande "define:" de Google.
Cette page fait partie du projet Wikibis.
Accueil Recherche Aller au contenuDébut page
ContactContact ImprimerImprimer liens d'évitement et raccourcis clavierAccessibilité
Aller au menu