Processus autorégressif

Un processus autorégressif est un modèle de régression pour séries temporelles dans lequel la série est expliquée par ses valeurs passées plutôt que par d'autres variables.



Catégories :

Économétrie - Statistiques

Page(s) en rapport avec ce sujet :

  • Par définition, on a directement que tout processus autorégressif est auto-..... vir des équations de Yule-Walker en utilisant la fonction d'autocovariance... (source : stat.ucl.ac)
  • Un processus autorégressif est un processus dont chaque valeur est décrite.... En faisant apparaître l'aspect régressif sur la fonction h, ... processus une équation d'état, qui à chaque instant t fait correspondre l'état du dispositif.... (source : sites.univ-reunion)

Un processus autorégressif est un modèle de régression pour séries temporelles dans lequel la série est expliquée par ses valeurs passées plutôt que par d'autres variables.

Définition

Un processus autorégressif d'ordre p, noté AR (p) est donné par :

Définition — AR (p)  :  X_t = c + \varphi_1 X_{t-1}+\varphi_2 X_{t-2}+\ldots+\varphi_p X_{t-p} + \varepsilon_t .\,

\varphi_1, \ldots, \varphi_p sont les paramètres du modèle, c est une constante et \varepsilon_t un bruit blanc.

En utilisant L l'opérateur des retards, on peut l'écrire :  (1- \varphi_1 L-\varphi_2 Lˆ2-\ldots-\varphi_p Lˆp)X_t=c+ \varepsilon_t .\,

Processus AR (1)

Un processus autorégressif d'ordre 1 s'écrit :

 X_t = c + \varphi X_{t-1}+ \varepsilon_t .\,


Représentation en moyenne mobile

On peut formuler le processus AR (1) de manière récursive comparé aux conditions précédentes :

X_t=c\sum_{k=0}ˆ{N-1}\varphiˆk+\varphiˆNX_{t-N}+\sum_{k=0}ˆ{N-1}\varphiˆk\varepsilon_{t-k}.

En remontant aux valeurs initiales, on aboutit à :

Propriété — X_t=c\sum_{i=0}ˆ{\infty}\varphiˆi+\sum_{i=0}ˆ{\infty}\varphiˆi\varepsilon_{t-i}

Il est à noter que les sommes vont ici jusqu'à l'infini. Cela est dû au fait que les séries temporelles sont fréquemment supposées commencer depuis t_0=-\infty et non pas t0 = 0. Certains auteurs considèrent cependant que la série débute en t0 = 0 et ajoutent alors la valeur d'origine X0 dans la formule.

On peut voir que Xt est le bruit blanc convolé avec le noyau \varphiˆk plus une moyenne constante. Si le bruit blanc est gaussien, alors Xt est aussi un processus normal.

Représentation dans le domaine de la fréquence

La Densité spectrale de puissance est la Transformée de Fourier de la fonction d'autocovariance. Dans le cas discret, cela s'écrit :

\Phi(\omega)=
\frac{1}{\sqrt{2\pi}}\,\sum_{n=-\infty}ˆ\infty B_n eˆ{-i\omega n}
=\frac{1}{\sqrt{2\pi}}\,\left(\frac{\sigmaˆ2}{1+\varphiˆ2-2\varphi\cos(\omega)}\right).

Ce développement est périodique dû à la présence du terme en cosinus au dénominateur. En supposant que le temps d'échantillonnage (Δt = 1) est plus petit que le decay time (τ), alors on peut utiliser une approximation continue de Bn :

B(t)\approx \frac{\sigmaˆ2}{1-\varphiˆ2}\,\,\varphiˆ{|t|}

qui présente une forme lorentzienne pour la densité spectrale :

\Phi(\omega)=
\frac{1}{\sqrt{2\pi}}\,\frac{\sigmaˆ2}{1-\varphiˆ2}\,\frac{\gamma}{\pi(\gammaˆ2+\omegaˆ2)}

γ = 1 / τ est la fréquence angulaire associée à τ.

Moments d'un processus AR (1)

Pour calculer les différents moments d'un processus AR (1), soit son espérance, sa variance, son autocovariance et son autocorrélation, on va supposer que les bruits blancs sont indépendamment et semblablement distribués, d'espérance nulle et de variance σ2 (que on note \varepsilon_{i} \sim iid (0,\sigmaˆ2)).

Espérance

\operatorname{E}[X_t]=\varphiˆt X_0 + c\sum_{i=0}ˆ{t-1}\varphiˆi\,

Démonstration par raisonnement par récurrence

\varphiˆ0 X_0 + c \sum_{i=0}ˆ{-1}\varphiˆi = 1 X_0 + 0 = X_0\,
\operatorname{E}[X_{t+1}]= \operatorname{E}[c + \varphi X_t + \epsilon_t]\,

Comme E est un opérateur linéaire :

\operatorname{E}[X_{t+1}]= c + \varphi \operatorname{E}[X_t]\,

Avec l'hypothèse d'induction :

\operatorname{E}[X_{t+1}]=c + \varphi (\varphiˆt X_0 + c \sum_{i=0}ˆ{t-1}\varphiˆi)\,
\operatorname{E}[X_{t+1}]=c + \varphiˆ{t+1} X_0 + c \sum_{i=0}ˆ{t-1}\varphiˆ{i+1}\,

Par un changement de variables dans la somme, i -> i-1 :

\operatorname{E}[X_{t+1}]= \varphiˆ{t+1} X_0 + c + c \sum_{i=1}ˆ{t}\varphiˆi\,

Et, avec c = c \sum_{i=0}ˆ{0} \varphiˆi\, :

\operatorname{E}[X_{t+1}]= \varphiˆ{t+1} X_0 + c \sum_{i=0}ˆ{t}\varphiˆi\,

Variance

\operatorname{Var}[X_t]= \sum_{i=0}ˆ{\infty}\varphiˆ{2i}\sigmaˆ2

Autocovariance

\operatorname{Cov}[X_t,X_{t-j}]= \varphiˆ{j}\sum_{i=0}ˆ{\infty}\varphiˆ{2i}\sigmaˆ2


Autocorrélation

\operatorname{Corr}[X_t,X_{t-j}]\equiv \frac{\operatorname{Cov}[X_t,X_{t-j}]}{\operatorname{Var}(X_t)}=\varphiˆj

Conditions de stationnarité

Le paramètre \varphi détermine si le processus AR (1) est stationnaire ou non : <img class=ϕ<1

Les résultats suivant viennent du fait que si | q | < 1 alors la série géométrique \sum_{n=0}ˆ{\infty} aqˆn=\frac{a}{1-q} .

 \text{si} |\varphi|<1:

\operatorname{E}[X_t]=\frac{c}{1-\varphi}
\operatorname{Var}[X_t]= \frac{\sigmaˆ2}{1-\varphiˆ2}
\operatorname{Cov}[X_t,X_{t-j}]= \frac{\varphiˆj}{1-\varphiˆ2} \sigmaˆ2
\operatorname{Corr}[X_t,X_{t-j}]=\varphiˆj

On peut voir que la fonction d'autocovariance décroît avec un taux de \tau=-1/\ln(\varphi). On voit ici que l'espérance et la variance sont constantes et que l'autocovariance ne dépend pas du temps : le processus est par conséquent stationnaire.

ϕ=1

Quand \varphi =1, le processus s'écrit : X_t=c+ X_{t-1}+\varepsilon_t
et par conséquent, en considérant au contraire de avant que t0 = 0, X_t=ct+X_0+\sum_{i=0}ˆ{t-1}\varepsilon_{t-i}

 \text{si} |\varphi|=1:

\operatorname{E}[X_t]=ct+X_0\,
\operatorname{Var}[X_t]= t\sigmaˆ2\,
\operatorname{Cov}[X_t,X_{t-j}]= (t-j)\sigmaˆ2\,

Processus AR (p)

Un processus AR (p) s'écrit :

 X_t = c + \varphi_1 X_{t-1}+\varphi_2 X_{t-2}+\ldots+\varphi_p X_{t-p} + \varepsilon_t .\,

Moments

Les différents moments d'un processus stationnaire (voir section suivante) sont[1] :

\operatorname{E}(X_t)=\frac{c}{1-\varphi_1-\varphi_2-\ldots-\varphi_p}

\operatorname{Var}(X_t)=\varphi_1\gamma_1+\varphi_2\gamma_2+\ldots+\varphi_p\gamma_p+\sigmaˆ2

\operatorname{Cov}(X_t, X_{t-j})=\varphi_1\gamma_{j-1}+\varphi_2\gamma_{j-2}+\ldots+\varphi_p\gamma_{j-p}

Les formules de la variance et de la covariance correspondent aux équations dites de Yule et walker (voir plus bas).

Condition de stationarité

Théorème — Un processus AR (p) est stationnaire si le module des solutions (les racines) de son équation caractéristique est à chaque fois strictement supérieur à 1 en valeur absolue.

La condition est fréquemment formulée différemment, selon laquelle les racines doivent être en dehors du cercle complexe unitaire.

Exemple : AR (1)

Le polynôme des retards d'un processus AR (1) X_t=\varphi X_{t-1} + \varepsilon_t s'écrit : (1-\varphi L)X_t=\varepsilon_t. Sa résolution (en remplaçant l'opérateur retard L par la simple valeur x) donne 1-\varphi x=0 \Rightarrow   x= \frac{1}{\varphi}. La condition que la solution soit plus grande que 1 revient à <img class=

Exemple : AR (2)

Le polynôme des retards d'un processus AR (2) X_t=\varphi_1 X_{t-1} +\varphi_2 X_{t-2}+ \varepsilon_t s'écrit : (1-\varphi_1 L-\varphi_2 Lˆ2)X_t=\varepsilon_t. La résolution de l'équation du second degré (1-\varphi_1 x-\varphi_2 xˆ2) amène aux conditions suivantes[2] :

Équations de Yule-Walker

Les équations de Yule-Walker établissent une correspondance directe entre les paramètres du modèle (les \varphi et c et ses autocovariances. Elles sont utiles pour déterminer la fonction d'autocorrélation ou estimer les paramètres. Elles établissent que :

équation YW — \gamma_j = \sum_{k=1}ˆp \varphi_k \gamma_{j-k} \qquad \forall j=1, \ldots, p

Les cœfficients γj représentent la fonction d'autocovariance de X d'ordre j.

Quand on inclut aussi l'autocovariance d'ordre 0 (en fait la variance), il faut aussi rajouter la variance des résidus pour la première équation. Ce terme supplémentaire ne se retrouve que dans la première équation car on a fait l'hypothèse d'indépendance des résidus (et par conséquent \operatorname{Cov}(\varepsilon)=0).

équation YW — \gamma_j = \sum_{k=1}ˆp \varphi_k \gamma_{j-k} + \sigma_\varepsilonˆ2\delta_j \qquad \forall j=0,\ldots, p

\sigma_\varepsilon est la déviation (écart-type) du bruit blanc et δj le Symbole de Kronecker, qui vaut 1 si j=0 et 0 autrement.

Il est aussi envisageable d'exprimer ces équations en fonctions de l'autocorrélation :

équation YW — \rho_j = \sum_{k=1}ˆp \varphi_k \rho_{j-k} + \sigma_\varepsilonˆ2\delta_j \qquad \forall j=0,\ldots, p

Exemples

AR (1)

Pour un processus AR (1), on a que :

\gamma_j=\varphi \gamma_{j-1} \qquad \forall j=1,\ldots,p

On remarque qu'on retrouve rapidement, avec j=1, le résultat obtenu plus haut que :

- \rho_1=\frac{\gamma_1}{\gamma_0}=\varphi
-\operatorname{Var}[X_t]= \frac{\sigmaˆ2}{1-\varphiˆ2} en prenant l'équation supplémentaire pour \gamma_0=\varphi\gamma_1 +\sigmaˆ2_{\varepsilon}, qui devient alors \gamma_0=\varphi\gamma_0\varphi +\sigmaˆ2_{\varepsilon}=\varphiˆ2\gamma_0 +\sigmaˆ2_{\varepsilon}\Rightarrow(1-\varphiˆ2)\gamma_0=\sigmaˆ2\Rightarrow \gamma_0=\frac{\sigmaˆ2}{1-\varphiˆ2}
AR (p)
\begin{cases}
\gamma_1 =\varphi_1\gamma_0+\varphi_1\gamma_1+\ldots +\varphi_p\gamma_{p-1}\\
\gamma_2 =\varphi_1\gamma_1+\varphi_2\gamma_2+\ldots +\varphi_p\gamma_{p-2}\\
\vdots \\
\gamma_p =\varphi_{1}\gamma_{p-1}+\varphi_2\gamma_{p-2}+\ldots +\varphi_p\gamma_{0}
\end{cases}

Que on peut écrire sous forme matricielle :

\begin{bmatrix}
\gamma_1 \\
\gamma_2 \\
\gamma_3 \\
\vdots \\
\end{bmatrix} 

=

\begin{bmatrix}
\gamma_0 & \gamma_{-1} & \gamma_{-2} & \dots \\
\gamma_1 & \gamma_0 & \gamma_{-1} & \dots \\
\gamma_2 & \gamma_{1} & \gamma_{0} & \dots \\
\vdots      & \vdots         & \vdots       & \ddots \\
\end{bmatrix} 

\begin{bmatrix}
\varphi_{1} \\
\varphi_{2} \\
\varphi_{3} \\
 \vdots \\
\end{bmatrix}

Preuve

L'équation définissante du processus AR est

 X_t = \sum_{i=1}ˆp \varphi_i\,X_{t-i}+ \varepsilon_t.\,

En multipliant les deux membres par Xt − m et en prenant l'espérance, on obtient

E[X_t X_{t-j}] = E\left[\sum_{i=1}ˆp \varphi_i\,X_{t-i} X_{t-j}\right]+ E[\varepsilon_t X_{t-j}].

Or, il se trouve que E[XtXt − j] = γj par définition de la fonction d'autocovariance. Les termes du bruit blancs sont indépendants les uns des autres et , qui plus est , Xt − j est indépendant de εtj est plus grand que zéro. Pour j > 0, E[εtXt − j] = 0. Pour j = 0,

E[\varepsilon_t X_{t}] 
= E\left[\varepsilon_t \left(\sum_{i=1}ˆp \varphi_i\,X_{t-i}+ \varepsilon_t\right)\right]
= \sum_{i=1}ˆp \varphi_i\, E[\varepsilon_t\,X_{t-i}] + E[\varepsilon_tˆ2]
= 0 + \sigma_\varepsilonˆ2,

Maintenant, on a pour j ≥ 0,

\gamma_j = E\left[\sum_{i=1}ˆp \varphi_i\,X_{t-i} X_{t-j}\right] + \sigma_\varepsilonˆ2 \delta_j.

D'autre part,

E\left[\sum_{i=1}ˆp \varphi_i\,X_{t-i} X_{t-j}\right]
= \sum_{i=1}ˆp \varphi_i\,E[X_{t} X_{t-j+i}]
= \sum_{i=1}ˆp \varphi_i\,\gamma_{j-i},

qui donne les équations de Yule-Walker :

\gamma_m = \sum_{i=1}ˆp \varphi_i \gamma_{j-i} + \sigma_\varepsilonˆ2 \delta_j.

pour j ≥ 0. Pour j < 0,

\gamma_j = \gamma_{-j} = \sum_{i=1}ˆp \varphi_i \gamma_{|j|-i} + \sigma_\varepsilonˆ2 \delta_j.

Estimation

En partant du modèle AR (p) sans constante donné par :

 X_t = \sum_{i=1}ˆp \varphi_i X_{t-i}+ \varepsilon_t.\,

Les paramètres à estimer sont les \varphi_i \quad i=1,\ldots,p et \sigmaˆ2_\varepsilon.

Méthode de Yule-Walker

La méthode consiste à reprendre les équations de Yule-Walker en inversant les relations : on exprime les cœfficients suivant les autocovariances. On applique alors le raisonnement de la Méthode des moments : on trouve les paramètres estimés selon les autocovariances estimées.

En prenant l'équation sous sa forme matricielle :

\begin{bmatrix}
\gamma_0 \\
\gamma_1 \\
\gamma_2 \\
\gamma_3 \\
\vdots \\
\end{bmatrix} 

=

\begin{bmatrix}
\gamma_{-1} & \gamma_{-2} & \gamma_{-3} & \dots &1\\
\gamma_0 & \gamma_{-1} & \gamma_{-2} & \dots &0\\
\gamma_1 & \gamma_0 & \gamma_{-1} & \dots &0\\
\gamma_2 & \gamma_{1} & \gamma_{0} & \dots &0\\
\vdots      & \vdots         & \vdots       & \ddots &0\\
\end{bmatrix} 

\begin{bmatrix}
\varphi_{1} \\
\varphi_{2} \\
\varphi_{3} \\
 \vdots \\
\sigmaˆ2_\varepsilon
\end{bmatrix}

Le vecteur des paramètres \hat\theta=\begin{pmatrix}
\hat\varphi_{1} \\
 \vdots \\
\hat\sigmaˆ2_\varepsilon
\end{pmatrix} peut alors être obtenu.

Maximum de vraisemblance inconditionnel

L'estimation d'un modèle AR (P) par la méthode du maximum de vraisemblance est délicate car la fonction de vraisemblance est particulièrement complexe et n'a pas de dérivée analytique. Cette difficutlé provient de l'interdépendance des valeurs, mais aussi du fait que les observations antérieures ne sont pasd toutes disponibles pour les p premières valeurs.

Maximum de vraisemblance conditionnel

Une manière de simplifier la complexité de la fonction de vraisemblance est de conditionner cette fonction aux p premières observations. La fonction de log-vraisemblance devient :  \begin{align}L(x_1, x_2,\ldots, x_T)&=-\frac{(T-P)}{2}\log(2 \pi) -\frac{(T-P)}{2}\log(\sigmaˆ2)\\
&-\sum_{t=p+1}ˆ{T}\frac{(y_t-c-\varphi_1y_{t-1}-\varphi_2y_{t-2}-\ldots-\varphi_py_{t-p})ˆ2}{2\sigmaˆ2}
\end{align}

La maximisation de cette fonction comparé aux paramètres \varphi correspond à la minimisation des erreurs du modèle. L'estimateur du maximum de vraisembance conditionnel correspond ainsi à celui des moindres carrés.

L'estimateur obtenu sera équivalent à l'estimateur inconditionnel dans de grands échantillons et tous deux ont la même distribution asymptotique (Hamilton 1994, p. 126). Il peut être biaisé[3]

Propriétés des estimateurs

Davidson et McKinnon (1993) rapportent que l'estimateur des moindres carrés conditionnel est biaisé, mais néanmoins convergent. Cryer et Chan (2008) proposent une simulation Monte-Carlo pour tester les différents estimateurs.

Annexes

Bibliographie

(en) James Douglas Hamilton, Time Series Analysis, Princeton University Press, Princeton N. J (ISBN 0691042896) , p.  799

Notes et références

  1. selon Hamilton (1994, p. 59)
  2. voir Cryer (2008, p. 84)
  3. voir Greene (2005, p. 256)

Recherche sur Amazon (livres) :



Ce texte est issu de l'encyclopédie Wikipedia. Vous pouvez consulter sa version originale dans cette encyclopédie à l'adresse http://fr.wikipedia.org/wiki/Processus_autor%C3%A9gressif.
Voir la liste des contributeurs.
La version présentée ici à été extraite depuis cette source le 07/04/2010.
Ce texte est disponible sous les termes de la licence de documentation libre GNU (GFDL).
La liste des définitions proposées en tête de page est une sélection parmi les résultats obtenus à l'aide de la commande "define:" de Google.
Cette page fait partie du projet Wikibis.
Accueil Recherche Aller au contenuDébut page
ContactContact ImprimerImprimer liens d'évitement et raccourcis clavierAccessibilité
Aller au menu