ARMA-Modell

ARMA-Modelle (ARMA, Akronym für: AutoRegressive-Moving Average, deutsch autoregressiver gleitender Durchschnitt, oder autoregressiver gleitender Mittelwert) bzw. autoregressive Modelle der gleitenden Mittel und deren Erweiterungen (ARMAX-Modelle und ARIMA-Modelle) sind lineare, zeitdiskrete Modelle für stochastische Prozesse. Sie werden zur statistischen Analyse von Zeitreihen besonders in den Wirtschafts-, Sozial- und Ingenieurwissenschaften eingesetzt. Die Spezifikation, Schätzung, Validierung und praktische Anwendung von ARMA-Modellen werden im Box-Jenkins-Ansatz behandelt. Als wichtigste Anwendung gilt die kurzfristige Vorhersage. Diese Modelle haben die Form von linearen Differenzengleichungen und dienen dazu, lineare stochastische Prozesse abzubilden bzw. komplexere Prozesse zu approximieren.

Fließen in ein ARMA-Modell sowohl vergangene Rauschterme als auch vergangene Werte der Zeitreihe selbst ein, spricht man auch von einem gemischten ARMA-Modell. Sind es nur aktuelle und vergangene Rauschterme, handelt es sich um ein (reines) Moving-Average- oder MA-Modell. Wenn neben dem aktuellen Rauschterm nur vergangene Werte der Zeitreihe selbst einfließen, handelt es sich um ein (reines) autoregressives oder AR-Modell.

${\displaystyle y_{t}=c+\varepsilon _{t}+\sum _{j=1}^{q}b_{j}\varepsilon _{t-j}}$

Das zu modellierende Signal ${\displaystyle y_{t}}$ ist durch ein gewichtetes, gleitendes Mittel (Moving Average) von Rauschtermen ${\displaystyle \varepsilon _{t-j},j=1,...,q,}$ in der aktuellen und den ${\displaystyle q}$ Vorperioden sowie einer Konstanten ${\displaystyle c}$ gegeben. Die sogenannten MA-Koeffizienten ${\displaystyle b_{j},j=1,\ldots ,q,}$ geben an, mit welchem Gewicht der Rauschterm in das Signal einfließt.

Bezüglich der Rauschterme ${\displaystyle \varepsilon _{t}}$ wird angenommen, dass sie zeitlich voneinander unabhängig und identisch (meist Gauß-)verteilt sind, mit Erwartungswert 0 und der Varianz ${\displaystyle 0<\sigma ^{2}<\infty }$.

${\displaystyle y_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}a_{i}y_{t-i}}$

Das Signal setzt sich aus einer Konstanten, einem Rauschterm und einem gewichteten, gleitenden Mittel der ${\displaystyle p}$ vorhergehenden Signalwerte zusammen, wobei die AR-Koeffizienten ${\displaystyle a_{i},i=1,\ldots ,p,}$ die Gewichte sind.

${\displaystyle y_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}a_{i}y_{t-i}+\sum _{j=1}^{q}b_{j}\varepsilon _{t-j}}$

Dieses Modell wird auch als ARMA(p, q)-Modell bezeichnet, wobei p und q, jeweils die autoregressive und die Moving-Average-Ordnung des Prozesses angeben. Reine AR(p)- bzw. MA(q)-Modelle sind also spezielle ARMA-Modelle mit q=0 bzw. p=0.

Mit Hilfe des sogenannten Verschiebungs- oder Lag-Operators ${\displaystyle L}$ (von lag, „Zeitverschiebung“)

${\displaystyle L^{d}x_{t}=x_{t-d}}$

schreibt man kürzer auch

${\displaystyle a(L)y_{t}=c+b(L)\varepsilon _{t}}$

wobei ${\displaystyle a(\cdot )}$ und ${\displaystyle b(\cdot )}$ jeweils Polynome (der Grade p und q) sind

${\displaystyle a(x)=1-a_{1}x-\cdots -a_{p}x^{p}}$,

${\displaystyle b(x)=1+b_{1}x+\cdots +b_{q}x^{q}}$.

Haben ${\displaystyle a}$ und ${\displaystyle b}$ keine gemeinsamen Nullstellen, so kann man einen ARMA-Prozess genau dann als einen MA(${\displaystyle \infty }$)-Prozesses auszudrücken, wenn ${\displaystyle |z|>1}$ für alle Nullstellen ${\displaystyle z\in \mathbb {C} }$ von ${\displaystyle a}$. Das heißt, unter diesen Voraussetzungen hat der Prozess eine Darstellung der Form

${\displaystyle y_{t}={\frac {c}{a(L)}}+{\frac {b(L)}{a(L)}}\varepsilon _{t}=\mu +\sum _{j=0}^{\infty }c_{j}\varepsilon _{t-j}}$

wobei der Erwartungswert von ${\displaystyle y_{t}}$ durch ${\displaystyle \mu =c/a(L)}$ und die Koeffizienten der reinen MA-Darstellung ${\displaystyle c_{j}}$ durch das Polynom ${\displaystyle c(L)=b(L)/a(L)}$ gegeben sind.

Analog zur reinen MA-Darstellung ist die reine AR-Darstellung. Sie erfordert, dass der Prozess invertierbar ist, also die Nullstellen des MA-Polynoms ${\displaystyle b(L)}$ größer eins sind. Dann gilt

${\displaystyle d(L)y_{t}={\frac {a(L)}{b(L)}}y_{t}={\frac {c}{b(L)}}+\varepsilon _{t}}$

bzw.

${\displaystyle y_{t}=\nu +\varepsilon _{t}+\sum _{j=1}^{\infty }d_{j}y_{t-j}}$

Einen ARMA(0,0)-Prozess ${\displaystyle y_{t}=c+\varepsilon _{t}}$, wobei es sich bei ${\displaystyle y_{t}}$ um den Rauschterm (möglicherweise plus einer Konstanten) handelt, nennt man Weißes Rauschen.

Ein Random Walk ist ein AR-Prozess erster Ordnung (p=1), bei dem der AR-Koeffizient den Wert 1 hat, also

${\displaystyle y_{t}=c+y_{t-1}+\varepsilon _{t}}$

Gilt für die Konstante ${\displaystyle c\neq 0}$, dann spricht man auch von einem Random Walk mit Drift, andernfalls von einem Random Walk ohne Drift. Ein Random Walk ist stets integriert von der Ordnung 1.

Die ARMA-Modellierung folgt in der Praxis meist der Box-Jenkins-Methode, die aus den Schritten Modellidentifikation, -schätzung, -validierung und -anwendung besteht.

Ziel der Identifikation ist es, die ARMA-Spezifikationsparameter d, p und q zu bestimmen. Zur Bestimmung von d, der notwendigen Differenzenordnung, können Einheitswurzeltests verwendet werden. Für die ARMA-Ordnungen p und q werden häufig die Autokorrelationsfunktion (AKF) und die partielle Autokorrelationsfunktion herangezogen sowie Kriterien zur Modellselektion, wie das Akaike-Informationskriterium oder das bayessche Informationskriterium.

Die Schätzung der Modellparameter erfolgt meist durch Maximum-Likelihood-Schätzung oder Kleinste-Quadrate-Schätzung. Im Fall von reinen AR-Modellen ist der Kleinste-Quadrate-Schätzer ein linearer Schätzer; ansonsten ist eine nichtlineare Kleinste-Quadrate-Schätzung erforderlich.

Um die Geeignetheit eines geschätzten Modells zu beurteilen, können verschiedene Kriterien herangezogen werden. In der Regel wird geprüft, ob die Residuen, also die geschätzten ${\displaystyle \varepsilon _{t}}$ unkorreliert sind und sich wie weißes Rauschen verhalten. Darüber hinaus kann auch die Prognosegüte evaluiert werden. Erscheint ein Modell nicht adäquat, kann ein erneutes Durchlaufen des Identifikations- und Schätzschrittes ggf. Abhilfe schaffen.

Nach erfolgreicher Validierung kann die Modellanwendung betrieben werden. Häufig ist das die Kurzfristprognose. Eine Einschritt-Prognose erhält man zum Beispiel, indem man die Differenzengleichung des geschätzten ARMA-Modells eine Periode in die Zukunft schiebt und den bedingten Erwartungswert berechnet. Für Mehrschritt-Prognosen kann dies rekursiv wiederholt werden.

ARMA-Modelle werden in Anwendungen typischerweise als Modelle für stationäre stochastische Prozesse und von diesen erzeugten Zeitreihen verwendet. Verschiedene Erweiterungen dienen der Modellierung nicht-stationärer stochastischer Prozesse oder multivariater stochastischer Prozesse. Stationarität bedeutet in diesem Zusammenhang, dass Erwartungswert und Varianz zeitunabhängig sind.

Bei nicht-stationären Zeitreihen kann unter Umständen durch Differenzenbildung Stationarität induziert werden. Die erste Differenz von ${\displaystyle y_{t}}$ ist durch ${\displaystyle \Delta y_{t}=y_{t}-y_{t-1}}$ definiert, wobei ${\displaystyle \Delta =1-L}$ der sogenannte Differenzen-Operator ist. Modelliert man nicht ${\displaystyle y_{t}}$, sondern die d-te Differenz ${\displaystyle \Delta ^{d}y_{t}}$ als ARMA(p, q)-Modell, dann spricht man von einem integrierten ARMA-Modell der Ordnungen p, d, und q, oder kurz: einem ARIMA(p,d,q)-Modell. Werte für die ursprüngliche, undifferenzierte Zeitreihe erhält man durch d-faches Integrieren („Anti-Differenzenbildung“) von ${\displaystyle \Delta ^{d}y_{t}}$.

Werden eine oder mehrere exogene Variablen benötigt, um die Zeitreihe ${\displaystyle y_{t}}$ zu modellieren, dann spricht man von einem ARMAX-Modell. Im Falle einer exogenen Variable ${\displaystyle x_{t}}$ gilt dann:

${\displaystyle a(L)y_{t}=c+b(L)\varepsilon _{t}+e(L)x_{t}}$

wobei das Polynom ${\displaystyle e(L)}$ die Lag-Struktur beschreibt, mit der die exogene Variable ${\displaystyle x_{t}}$ die zu erklärende Variable ${\displaystyle y_{t}}$ beeinflusst.

In Wirtschafts- aber auch anderen Zeitreihen treten häufig saisonale Effekte auf. Beispiele sind monatliche Arbeitslosenzahlen, quartalsweise Einzelhandelsumsätze etc. Um diese zu berücksichtigen, können zusätzlich saisonale AR- bzw. MA-Komponenten spezifiziert werden. Liegen Daten mit einer saisonalen Spanne ${\displaystyle s}$ (z. B. ${\displaystyle s=12}$ für Monatsdaten und ${\displaystyle s=4}$ für Quartalsdaten) vor, dann hat das saisonale ARMA-Modell die Form

${\displaystyle a_{S}(L^{s})a(L)y_{t}=c+b_{S}(L^{s})b(L)\varepsilon _{t}}$

wobei

${\displaystyle a_{S}(L^{s})=1-a_{S,1}L^{s}-\cdots -a_{S,P}L^{Ps}}$

das saisonale AR-Polynom der Ordnung ${\displaystyle P}$ ist und

${\displaystyle b_{S}(L^{s})=b_{S,0}+b_{S,1}L^{s}+\cdots +b_{S,Q}L^{Qs}}$

das saisonale MA-Polynom der Ordnung ${\displaystyle Q}$.

In Kurzform: ${\displaystyle {\text{ARMA}}(p,q){\text{x}}(P,Q,s)}$. Die Kombination von ARIMA-Modellen mit saisonalen Modellen führt zu SARIMA-Modellen.

VARMA-Modelle sind eine mehrdimensionale Verallgemeinerung der ARMA-Modelle. VAR-Modelle sind lineare, zeitdiskrete Modelle für stochastische Prozesse mit ${\displaystyle N}$ endogenen Variablen: Jede Variable hängt von ${\displaystyle p}$ vorhergehenden Signalwerte zusammen ab. VMA-Modelle sind die Verallgemeinerung von MA-Modellen und sie sind nützlich für Impuls-Antwort-Funktion-Analyse. Ein VAR-Modell (Ordnung ${\displaystyle p}$) ist

${\displaystyle {\vec {y}}_{t}={\vec {c}}+{\vec {u}}_{t}+\sum _{i=1}^{p}A_{i}{\vec {y}}_{t-i}}$

mit ${\displaystyle {\vec {c}}}$ als einem konstanten Vektor, ${\displaystyle {\vec {u}}_{t}}$ als einem Vektor aus weißem Rauschen und ${\displaystyle A_{1},A_{2},\dotsc ,A_{p}}$ als ${\displaystyle (N\times N)}$-Matrizen.

Die Erweiterung eines ARMA-Modells durch beobachtbare exogene Variablen führt zu VARMAX-Modellen.

• Autokorrelation
• Digitales Filter
• X-12-ARIMA

• G. E. P. Box, G. M. Jenkins: Time series analysis: Forecasting and control. Holden-Day, San Francisco 1970.
• R. McCleary, R. A. Hay: Applied Time Series Analysis for the Social Sciences. Sage Publications, Beverly Hills 1986.
• James D. Hamilton: Time Series Analysis. Princeton University Press, Princeton 1994.
• W. Enders: Applied Econometic Time Series. John Wiley & Sons, 1995.
• Terence C. Mills: The Econometric Modelling of Financial Time Series. 2nd Edition, Cambridge University Press, 1999.
• Ruey S. Tsay: Analysis of Financial Time Series. 2. Auflage. Wiley Series in Prob. and Statistics, 2005.
• W. Stier: Methoden der Zeitreihenanalyse. Springer, 2001.
• M. Guidolin, M. Pedio: Essentials of Time Series for Financial Applications. Academic Press, 2018.