Rekurrente Markow-Kette

Die Rekurrenz und der damit eng verbundene Begriff der Transienz bilden die Basis für die Untersuchung des Langzeitverhaltens von Markow-Ketten. Hierbei wird insbesondere die Frage untersucht, wie oft eine Markow-Kette wieder zu ihrem Startzustand zurückkehrt. Tut sie dies unendlich oft, so heißt sie rekurrent, ansonsten transient. Rekurrenz ist wichtig für die Existenz einer stationären Verteilung und der Konvergenz gegen diese. Teilweise ist sie auch von eigenständigem Interesse, wie z. B. bei Irrfahrten.

Ein wichtiges Hilfsmittel zur Untersuchung der Rekurrenz ist die Green-Funktion.

Gegeben sei eine homogene Markow-Kette ${\displaystyle (X_{n})_{n\in \mathbb {N} _{0}}}$ in diskreter Zeit und mit abzählbarem Zustandsraum ${\displaystyle Z}$. Dann ist

${\displaystyle \tau _{ij}=\min\{n\geq 1\quad |\quad X_{n}=j\,\,\,\land \,\,\,X_{0}=i\}}$

die Wartezeit bei Start in ${\displaystyle i}$ bis zum erstmaligen Erreichen von ${\displaystyle j}$ (ist ${\displaystyle i=j}$ spricht man von der Wiederkehrzeit). Sei nun

${\displaystyle {\tilde {p}}_{ij}^{n}:=P(\tau _{ij}=n)}$

die Ersteintrittswahrscheinlichkeit in ${\displaystyle j}$, also die Wahrscheinlichkeit bei einem Start im Zustand ${\displaystyle i}$ nach genau ${\displaystyle n}$ Schritten zum ersten Mal in den Zustand ${\displaystyle j}$ zu gelangen. Ein Zustand ${\displaystyle i}$ heißt rekurrent, wenn

${\displaystyle {\tilde {p}}_{i}:=P(\tau _{ii}<\infty )=\sum _{n=1}^{\infty }{\tilde {p}}_{ii}^{n}=1}$

gilt, der Zustand also fast sicher wieder besucht wird. Ist ${\displaystyle {\tilde {p}}_{i}<1}$, so heißt der Zustand transient. Ist der Zustand rekurrent, und gilt für die erwartete Wiederkehrzeit

${\displaystyle \operatorname {E} (\tau _{ii})=\sum _{n=1}^{\infty }n{\tilde {p}}_{ii}^{n}<\infty }$,

so heißt der Zustand positiv rekurrent. Ist der Erwartungswert unendlich, so heißt der Zustand null-rekurrent. Eine Markow-Kette heißt rekurrent (transient), falls jeder Zustand rekurrent (transient) ist.

• Sind ${\displaystyle i}$ und ${\displaystyle j}$ miteinander kommunizierende Zustände, so gilt: Ist ${\displaystyle i}$ transient, so ist auch ${\displaystyle j}$ transient. Dasselbe gilt auch für null-rekurrente und positiv-rekurrente Zustände.
• Transiente Zustände werden fast sicher nur endlich oft wieder besucht, rekurrente Zustände werden fast sicher unendlich oft wieder besucht.
• Für die erwartete Anzahl der Besuche eines Zustandes ${\displaystyle i}$ bei Start in ${\displaystyle i}$ gilt

${\displaystyle G(i,i):=\operatorname {E} \left(\sum _{n=1}^{\infty }\mathbf {1} _{X_{n}=i}\right)=\sum _{n=1}^{\infty }\operatorname {E} (\mathbf {1} _{X_{n}=i})=\sum _{n=1}^{\infty }p_{ii}^{n}}$.

Hierbei bezeichnet ${\displaystyle p_{ii}^{n}}$ die ${\displaystyle n}$-Schritt-Übergangswahrscheinlichkeit, also die Wahrscheinlichkeit, im ${\displaystyle n}$-ten Schritt im Zustand ${\displaystyle i}$ zu sein. Damit folgt: Die Transienz eines Zustandes ${\displaystyle i}$ ist äquivalent zu ${\displaystyle G(i,i)<\infty }$, die Rekurrenz ist äquivalent zu ${\displaystyle G(i,i)=\infty }$. Dies erleichtert oftmals die Bestimmung von Rekurrenz und Transienz, da nur Abschätzungen benötigt werden und auch die ${\displaystyle n}$-Schritt-Übergangswahrscheinlichkeiten meistens leichter zu bestimmen sind als die Ersteintrittswahrscheinlichkeiten.

• Bei einer irreduziblen Markow-Kette sind Existenz einer stationären Verteilung und die positive Rekurrenz äquivalent. Des Weiteren gilt dann ${\displaystyle \operatorname {E} (\tau _{ii})={\frac {1}{P_{\pi }(\{i\})}}}$ wobei ${\displaystyle P_{\pi }}$ die stationäre Verteilung ist.
• Im Falle eines endlichen Zustandsraumes folgt aus Irreduzibilität bereits positive Rekurrenz. Etwas abgeschwächt folgt, dass jeder wesentliche Zustand positiv rekurrent ist.
• Bei höchstens abzählbarem Zustandsraum ist jeder rekurrente Zustand wesentlich.

Betrachte eine homogene Markow-Kette auf dem Zustandsraum ${\displaystyle \{1,2,3,4\}}$ mit der Übergangsmatrix

${\displaystyle P={\begin{bmatrix}0&0{,}5&0{,}5&0\\0{,}5&0&0{,}5&0\\0{,}4&0{,}4&0&0{,}2\\0&0&0&1\end{bmatrix}}}$.

Die Zustände 1, 2 und 3 bilden einen Kreis, der nur vom Zustand 3 aus mit Wahrscheinlichkeit 0,2 verlassen wird. Ist der Zustand 4 einmal erreicht, so kann er nicht wieder verlassen werden. 4 ist also ein absorbierender Zustand. Untersuchen wir nun Zustand 1 auf Rekurrenz oder Transienz. Da 1 keine Schleife besitzt, ist die Wiedereintrittszeit mindestens 2, mögliche Wege sind dabei 1-2-1 und 1-3-1 jeweils mit Wahrscheinlichkeiten ${\displaystyle 0{,}5\cdot 0{,}5=0{,}25}$ und ${\displaystyle 0{,}5\cdot 0{,}4=0{,}2}$. Daher ist ${\displaystyle {\tilde {p}}_{1}^{2}=0{,}25+0{,}2=0{,}45}$. Ist der Zeitschritt gerade, so hilft folgende Überlegung: Beim Start in 1 braucht man einen Zeitschritt, um 2 oder 3 zu erreichen. Um nun weder zu früh wieder bei 1 anzukommen noch in 4 gefangen zu werden, müssen nun Runden zwischen 2 und 3 gelaufen werden bis einen Zeitschritt vor Wiedereintrittstzeit und dann erst wird zum Zustand zurückgekehrt. Damit folgt

${\displaystyle {\tilde {p}}_{1}^{2n}={\frac {1}{4}}\cdot \left({\frac {2}{10}}\right)^{n-1}+{\frac {2}{10}}\cdot \left({\frac {2}{10}}\right)^{n-1}={\frac {9}{20}}\cdot \left({\frac {1}{5}}\right)^{n-1}}$.

Analoge Überlegungen (mit dem Unterschied, dass hier halbe Runden gelaufen werden) ergeben für ungerade Wiedereintrittszeiten

${\displaystyle {\tilde {p}}_{1}^{2n+1}={\frac {2}{10}}\cdot {\frac {1}{2}}\cdot \left({\frac {2}{10}}\right)^{n-1}+{\frac {1}{4}}\cdot {\frac {2}{5}}\cdot \left({\frac {2}{10}}\right)^{n-1}=\left({\frac {1}{5}}\right)^{n}}$.

Mit der geometrischen Reihe folgt dann, dass

${\displaystyle {\tilde {p}}_{i}=\sum _{n=1}^{\infty }{\tilde {p}}_{ij}^{2n}\quad +\quad \sum _{n=1}^{\infty }{\tilde {p}}_{ij}^{2n-1}\quad ={\frac {13}{16}}}$

gilt, der Zustand 1 ist also transient. Daraus folgt, dass die Zustände 2 und 3 auch transient sind. Zustand 4 ist rekurrent, da er nicht mehr verlassen werden kann.

Betrachten wir als Beispiel eine homogene Markow-Kette auf dem Zustandsraum ${\displaystyle \mathbb {Z} }$ mit Übergangswahrscheinlichkeiten

${\displaystyle P(X_{n}=k|X_{n-1}=l):={\begin{cases}p&{\text{falls }}k=l+1\\q&{\text{falls }}k=l-1\\0&{\text{sonst}}\end{cases}}}$

mit ${\displaystyle p+q=1}$. Dies ist die Irrfahrt auf ${\displaystyle \mathbb {Z} }$. Es ist ${\displaystyle p_{00}^{2n+1}:=0}$, da die Markow-Kette Periode zwei hat und sich daher bei Start im Nullpunkt zu einem ungeraden Zeitpunkt immer in einem ungeraden Zustand befindet. Da die Anzahl der Schritte binomialverteilt ist, gilt

${\displaystyle p_{00}^{2n}={\binom {2n}{n}}p^{n}q^{n}\sim {\frac {(4pq)^{n}}{\sqrt {\pi n}}}}$

nach der Stirlingformel. Damit gilt

${\displaystyle B_{0}\sim \sum _{n=1}^{\infty }{\frac {(4pq)^{n}}{\sqrt {\pi n}}}={\begin{cases}\infty &{\text{falls }}p=q={\frac {1}{2}}\\<\infty &{\text{sonst}}\end{cases}}}$.

Ist die Irrfahrt also symmetrisch, so ist die Markow-Kette rekurrent, ansonsten ist sie transient.

• Ulrich Krengel: Einführung in die Wahrscheinlichkeitstheorie und Statistik. 8. Auflage, Vieweg, 2005, ISBN 3-8348-0063-5.
• Hans-Otto Georgii: Stochastik: Einführung in die Wahrscheinlichkeitstheorie und Statistik, 4. Auflage, de Gruyter, 2009, ISBN 978-3-11-021526-7
• Christian Hesse: Angewandte Wahrscheinlichkeitstheorie. Eine fundierte Einführung mit über 500 realitätsnahen Beispielen und Aufgaben. Vieweg, Braunschweig/Wiesbaden 2003, ISBN 3-528-03183-2.