Schwaches Gesetz der großen Zahlen

Das schwache Gesetz der großen Zahlen ist eine Aussage der Wahrscheinlichkeitstheorie, die sich mit dem Grenzwertverhalten von Folgen von Zufallsvariablen beschäftigt. Dabei werden Aussagen über die Konvergenz in Wahrscheinlichkeit der Mittelwerte der Zufallsvariablen getroffen. Das schwache Gesetz der großen Zahlen ist eng mit dem starken Gesetz der großen Zahlen verwandt, dieses verwendet jedoch einen anderen Konvergenzbegriff, die fast sichere Konvergenz. Beide zählen zu den Gesetzen der großen Zahlen und damit zu den Grenzwertsätzen der Stochastik.

Im Laufe der Zeit wurden die Voraussetzungen, unter denen das schwache Gesetz der großen Zahlen gilt, immer weiter abgeschwächt, während dementsprechend die zum Beweis nötigen Mittel immer fortgeschrittener wurden. Einige der geschichtlich bedeutsamen Formulierungen des schwachen Gesetzes der großen Zahlen tragen auch Eigennamen wie beispielsweise Bernoullis Gesetz der großen Zahlen (nach Jakob I Bernoulli), Tschebyscheffs schwaches Gesetz der großen Zahlen (nach Pafnuti Lwowitsch Tschebyschow) oder Khinchins schwaches Gesetz der großen Zahlen (nach Alexander Jakowlewitsch Chintschin). Bisweilen finden sich noch Bezeichnungen wie ${\displaystyle {\mathcal {L}}^{2}}$-Version oder ${\displaystyle {\mathcal {L}}^{1}}$-Version des schwachen Gesetzes der großen Zahlen für Formulierungen, die lediglich die Existenz der Varianz oder des Erwartungswertes als Voraussetzung benötigen.

Formulierung

Gegeben sei eine Folge von Zufallsvariablen ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$, für deren Erwartungswert gelte ${\displaystyle \operatorname {E} (|X_{n}|)<\infty }$ für alle ${\displaystyle n\in \mathbb {N} }$. Man sagt, die Folge genügt dem schwachen Gesetz der großen Zahlen, wenn die Folge

${\displaystyle {\overline {X}}_{n}:={\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-E(X_{i})\right)}$

der zentrierten Mittelwerte in Wahrscheinlichkeit gegen 0 konvergiert, das heißt, es gilt

${\displaystyle \lim _{n\to \infty }P\left(\left|{\overline {X}}_{n}\right|\geq \epsilon \right)=0}$

für alle ${\displaystyle \epsilon >0}$.

Interpretation und Unterschied zum starken Gesetz der großen Zahlen

Aus dem starken Gesetz der großen Zahlen folgt immer das schwache Gesetz der großen Zahlen.

Gültigkeit

Im Folgenden sind verschiedene Voraussetzungen, unter denen das schwache Gesetz der großen Zahlen gilt, aufgelistet. Dabei steht die schwächste und auch speziellste Aussage ganz oben, die stärkste und allgemeinste ganz unten.

Bernoullis Gesetz der großen Zahlen

Sind ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ unabhängig identisch Bernoulli-verteilte Zufallsvariablen zum Parameter ${\displaystyle p\in (0,1)}$, das heißt

${\displaystyle X_{n}\sim \operatorname {Ber} (p)}$,

so genügt ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ dem schwachen Gesetz der großen Zahlen und der Mittelwert konvergiert in Wahrscheinlichkeit gegen den Parameter ${\displaystyle p}$.

Diese Aussage geht auf Jakob I Bernoulli zurück, wurde jedoch erst 1713 posthum in der von seinem Neffen Nikolaus I Bernoulli herausgegebenen Ars conjectandi veröffentlicht.^[1][2]

Tschebyscheffs schwaches Gesetz der großen Zahlen

Sind ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ unabhängig identisch verteilte Zufallsvariablen mit endlichem Erwartungswert und endlicher Varianz, so genügt ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ dem schwachen Gesetz der großen Zahlen.

Diese Aussage geht auf Pafnuti Lwowitsch Tschebyschow (alternative Transkriptionen aus dem Russischen Tschebyscheff oder Chebyshev) zurück, der sie 1866 bewies.^[3]

L²-Version des schwachen Gesetzes der großen Zahlen

Sind ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ eine Folge von Zufallsvariablen, für die gilt:

• Die ${\displaystyle X_{n}}$ sind paarweise unkorreliert, das heißt, es ist ${\displaystyle \operatorname {Cov} (X_{i},X_{j})=0}$ für ${\displaystyle i\neq j}$.
• Für die Folge der Varianzen der ${\displaystyle X_{n}}$ gilt^[4]

${\displaystyle \lim _{n\to \infty }{\frac {1}{n^{2}}}\sum _{i=1}^{n}\operatorname {Var} (X_{i})=0}$.

Dann genügt ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ dem schwachen Gesetz der großen Zahlen.

Dabei ist die Bedingung an die Varianzen beispielsweise erfüllt, wenn die Folge der Varianzen beschränkt ist, es ist also ${\displaystyle \sup _{n\in \mathbb {N} }\operatorname {Var} (X_{n})<\infty }$.

Diese Aussage ist aus zweierlei Gründen eine echte Verbesserung gegenüber dem schwachen Gesetz der großen Zahlen von Tschebyscheff:

1. Paarweise Unkorreliertheit ist eine schwächere Forderung als Unabhängigkeit, da aus Unabhängigkeit immer paarweise Unkorreliertheit folgt, der Umkehrschluss aber im Allgemeinen nicht gilt.
2. Die Zufallsvariablen müssen auch nicht mehr dieselbe Verteilung besitzen, es genügt die obige Forderung an die Varianzen.

Die Benennung in L²-Version kommt aus der Forderung, dass die Varianzen endlich sein sollen, dies entspricht in maßtheoretischer Sprechweise der Forderung, dass die Zufallsvariable (messbare Funktion) im Raum der quadratintegrierbaren Funktionen liegen soll.

Khinchins schwaches Gesetz der großen Zahlen

Sind ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ unabhängig identisch verteilte Zufallsvariablen mit endlichem Erwartungswert, so genügt die Folge dem schwachen Gesetz der großen Zahlen.

Dieser Satz wurde 1929 von Alexander Jakowlewitsch Chintschin (alternative Transkriptionen aus dem Russischen Khintchine oder Khinchin) bewiesen^[5] und zeichnet sich dadurch aus, dass er die erste Formulierung eines schwachen Gesetzes der großen Zahlen liefert, die ohne die Voraussetzung einer endlichen Varianz auskommt.

L¹-Version des schwachen Gesetzes der großen Zahlen

Sei ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ eine Folge von paarweise unabhängigen Zufallsvariablen, die identisch verteilt sind und einen endlichen Erwartungswert besitzen. Dann genügt ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ dem schwachen Gesetz der großen Zahlen.

Diese Aussage ist eine echte Verbesserung gegenüber dem schwachen Gesetz der großen Zahlen von Khinchin, da aus paarweiser Unabhängigkeit von Zufallsvariablen nicht die Unabhängigkeit der gesamten Folge von Zufallsvariablen folgt.

Beweisskizzen

Als Abkürzungen seien vereinbart

${\displaystyle {\overline {X}}_{n}:={\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-\operatorname {E} (X_{i})\right),\quad S_{n}:=\sum _{i=1}^{n}X_{i},\quad M_{n}:={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$

Versionen mit endlicher Varianz

Die Beweise der Versionen des schwachen Gesetzes der großen Zahlen, welche die Endlichkeit der Varianz als Voraussetzung benötigen, beruhen im Kern auf der Tschebyscheff-Ungleichung

${\displaystyle \operatorname {P} \left[\left|Y-\operatorname {E} (Y)\right|\geq \epsilon \right]\leq {\frac {\operatorname {Var} (Y)}{\epsilon ^{2}}}}$,

hier für die Zufallsvariable ${\displaystyle Y}$ formuliert.

Der Beweis von Bernoullis Gesetz der großen Zahlen ist somit elementar möglich: Gilt für ${\displaystyle X_{n}\sim \operatorname {B} (p)}$, so ist ${\displaystyle S_{n}}$ binomialverteilt, also ${\displaystyle S_{n}\sim \operatorname {Bin} (n,p)}$. Damit ist

${\displaystyle \operatorname {E} (M_{n})={\tfrac {1}{n}}\operatorname {E} (S_{n})={\frac {np}{n}}=p\quad {\text{ und }}\quad \operatorname {Var} (M_{n})=\operatorname {Var} ({\tfrac {1}{n}}S_{n})={\frac {1}{n^{2}}}\operatorname {Var} (S_{n})={\frac {np(1-p)}{n^{2}}}={\frac {p(1-p)}{n}}}$.

Wendet man nun die Tschebyscheff-Ungleichung auf die Zufallsvariable ${\displaystyle M_{n}}$ an, so folgt

${\displaystyle P\left(\left|{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\operatorname {E} (X_{i}))\right|\geq \epsilon \right)=P\left(\left|M_{n}-\operatorname {E} (M_{n})\right|\geq \epsilon \right)\leq {\frac {p(1-p)}{\epsilon ^{2}n}}\to 0}$

für ${\displaystyle n\to \infty }$ und alle ${\displaystyle \epsilon >0}$.

Analog folgt der Beweis von Tschebyscheffs schwachem Gesetz der großen Zahlen. Ist ${\displaystyle \operatorname {E} (X_{n})=\mu }$ und ${\displaystyle \operatorname {Var} (X_{n})=\sigma ^{2}<\infty }$, ist aufgrund der Linearität des Erwartungswertes

${\displaystyle \operatorname {E} (M_{n})={\tfrac {1}{n}}\operatorname {E} (S_{n})={\frac {n\mu }{n}}=\mu }$.

Die Identität

${\displaystyle \operatorname {Var} (M_{n})=\operatorname {Var} ({\tfrac {1}{n}}S_{n})={\frac {1}{n^{2}}}\operatorname {Var} (S_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}}$

folgt aus der Gleichung von Bienaymé und der Unabhängigkeit der Zufallsvariablen. Der weitere Beweis folgt wieder mit der Tschebyscheff-Ungleichung, angewandt auf die Zufallsvariable ${\displaystyle M_{n}}$.

Zum Beweis der ${\displaystyle L^{2}}$-Version geht man o.B.d.A. davon aus, dass alle Zufallsvariablen den Erwartungswert 0 haben. Aufgrund der paarweisen Unkorreliertheit gilt die Gleichung von Bienaymé noch, es ist dann

${\displaystyle \operatorname {Var} (M_{n})={\frac {\sum _{i=1}^{n}\operatorname {Var} (X_{i})}{n^{2}}}}$.

Durch Anwendung der Tschebyscheff-Ungleichung erhält man

${\displaystyle \operatorname {P} \left[\left|M_{n}\right|\geq \epsilon \right]\leq {\frac {\operatorname {Var} (M_{n})}{\epsilon ^{2}}}={\frac {\sum _{i=1}^{n}\operatorname {Var} (X_{i})}{n^{2}\epsilon ^{2}}}\rightarrow 0}$.

für ${\displaystyle n\to \infty }$ nach der Voraussetzung an die Varianzen.

Khinchins schwaches Gesetz der großen Zahlen

Verzichtet man auf die endliche Varianz als Voraussetzung, so steht die Tschebyscheff-Ungleichung zum Beweis nicht mehr zur Verfügung.

Der Beweis erfolgt stattdessen mithilfe von charakteristischen Funktionen. Ist ${\displaystyle \operatorname {E} (X_{n})=\mu }$, so folgt mit den Rechenregeln für die charakteristischen Funktionen und der Taylor-Entwicklung, dass

${\displaystyle \varphi _{M_{n}}(t)=\left(\varphi _{X_{1}}\left({\tfrac {t}{n}}\right)\right)^{n}=\left(1+{\frac {i\mu t+n{\hbox{o}}\left({\tfrac {t}{n}}\right)}{n}}\right)^{n}}$,

was für ${\displaystyle n\to \infty }$ aufgrund der Definition der Exponentialfunktion gegen ${\displaystyle \exp(i\mu t)}$ konvergiert, der charakteristischen Funktion einer Dirac-verteilten Zufallsvariable. Also konvergiert ${\displaystyle M_{n}}$ in Verteilung gegen eine Dirac-verteilte Zufallsvariable im Punkt ${\displaystyle \mu }$. Da aber diese Zufallsvariable fast sicher konstant ist, folgt auch die Konvergenz in Wahrscheinlichkeit der ${\displaystyle M_{n}}$ gegen ${\displaystyle \mu }$, was zu zeigen war.

Alternative Formulierungen

Allgemeinere Formulierung

Etwas allgemeiner sagt man, dass die Folge der Zufallsvariablen dem schwachen Gesetz der großen Zahlen genügt, wenn es reelle Folgen ${\displaystyle (b_{n})_{n\in \mathbb {N} }}$ mit ${\displaystyle \lim _{n\to \infty }b_{n}=\infty }$ und ${\displaystyle (a_{n})_{n\in \mathbb {N} }}$ gibt, so dass für die Partialsumme

${\displaystyle S_{n}:=\sum _{i=1}^{n}X_{i}}$

die Konvergenz

${\displaystyle {\frac {S_{n}}{b_{n}}}-a_{n}\rightarrow 0}$

in Wahrscheinlichkeit gilt.^[6]

Mit dieser Formulierung lassen sich auch Konvergenzaussagen treffen, ohne dass die Existenz der Erwartungswerte vorausgesetzt werden muss.

Speziellere Formulierung

Manche Autoren betrachten die Konvergenz in Wahrscheinlichkeit der gemittelten Partialsummen ${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$ gegen ${\displaystyle \operatorname {E} (X_{0})}$. Diese Formulierung setzt jedoch voraus, dass alle Zufallsvariablen denselben Erwartungswert haben.

Empirisches Gesetz der großen Zahlen

Wenn man die relative Häufigkeit eines Zufallsexperiments als Zufallsvariable ${\displaystyle h_{n}(A)}$ auffasst, kann man das empirische Gesetz der großen Zahlen formulieren:

Der Erwartungswert der Zufallsvariablen ${\displaystyle h_{n}(A)}$ ist die betreffende Wahrscheinlichkeit ${\displaystyle P(A)}$. Für große ${\displaystyle n}$ konvergiert die Varianz der Zufallsvariablen gegen 0, also Fehler beim Parsen (SVG (MathML kann über ein Browser-Plugin aktiviert werden): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „http://localhost:6011/de.wikipedia.org/v1/“:): {\displaystyle \lim_{n \to \infty} \operatorname{Var}(h_n(A)) =0 } .

Das kann man wie folgt beweisen.

Ein Zufallsexperiment wird ${\displaystyle n}$-mal unabhängig voneinander durchgeführt. Man beobachtet dabei jeweils, ob das Ereignis ${\displaystyle A}$ eintritt oder nicht. Dieses Zufallsexperiment kann mit einer Bernoulli-Kette der Länge ${\displaystyle n}$ und der Erfolgswahrscheinlichkeit ${\displaystyle p:=P(A)}$ modelliert werden. Die Zufallsvariable ${\displaystyle X}$, die die Anzahl der Erfolge angibt, kann zugleich als die Zufallsvariable der absoluten Häufigkeiten ${\displaystyle H_{n}(A)}$ aufgefasst werden. Somit lässt sich die relative Häufigkeit ${\displaystyle h_{n}(A)}$ als Zufallsvariable ${\displaystyle {\tfrac {1}{n}}\cdot X}$ interpretieren.

Die Zufallsvariable ist binomialverteilt mit dem Erwartungswert ${\displaystyle E(X)=n\cdot p}$ und der Varianz ${\displaystyle \operatorname {Var} (X)=n\cdot p\cdot (1-p)}$. Wegen der Linearität des Erwartungswerts ergibt sich daraus

${\displaystyle E(h_{n}(A))=E({\tfrac {1}{n}}\cdot X)={\tfrac {1}{n}}\cdot E(X)={\tfrac {1}{n}}\cdot n\cdot p=p}$

und

${\displaystyle \operatorname {Var} (h_{n}(A))=\operatorname {Var} ({\tfrac {1}{n}}\cdot X)={\tfrac {1}{n^{2}}}\cdot \operatorname {Var} (X)={\tfrac {1}{n^{2}}}\cdot n\cdot p\cdot (1-p)={\tfrac {1}{n}}\cdot p\cdot (1-p)}$

also ${\displaystyle \lim _{n\to \infty }\operatorname {Var} (h_{n}(A))=\lim _{n\to \infty }{\tfrac {1}{n}}\cdot p\cdot (1-p)=0}$.^[7]

Weblinks

• Eric W. Weisstein: Weak law of large numbers. In: MathWorld (englisch).

Literatur

• David Meintrup, Stefan Schäffler: Stochastik. Theorie und Anwendungen. Springer-Verlag, Berlin Heidelberg New York 2005, ISBN 978-3-540-21676-6, doi:10.1007/b137972. 
• Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, doi:10.1515/9783110215274. 
• Christian Hesse: Angewandte Wahrscheinlichkeitstheorie. 1. Auflage. Vieweg, Wiesbaden 2003, ISBN 3-528-03183-2, doi:10.1007/978-3-663-01244-3. 

Einzelnachweise

1. ↑ Hesse: Angewandte Wahrscheinlichkeitstheorie. 2003, S. 241.
2. ↑ Yu.V. Prokhorov: Bernoulli theorem. In: Michiel Hazewinkel (Hrsg.): Encyclopedia of Mathematics. Springer-Verlag und EMS Press, Berlin 2002, ISBN 1-55608-010-7 (englisch, encyclopediaofmath.org). 
3. ↑ Hesse: Angewandte Wahrscheinlichkeitstheorie. 2003, S. 243.
4. ↑ Meintrup Schäffler: Stochastik. 2005, S. 151.
5. ↑ Hesse: Angewandte Wahrscheinlichkeitstheorie. 2003, S. 243.
6. ↑ Hesse: Angewandte Wahrscheinlichkeitstheorie. 2003, S. 242.
7. ↑ lernhelfer.de: Empirisches Gesetz der großen Zahlen