Suffiziente Statistik

In der mathematischen Statistik ist eine suffiziente Statistik, auch erschöpfende Statistik genannt, eine Statistik, die alle relevante Information bezüglich des unbekannten Parameters aus der Zufallsstichprobe enthält.^[1] Aus maßtheoretischer Sicht ist Suffizienz bezüglich eines Modells eine mögliche Eigenschaft messbarer Funktionen, die aus dem Stichprobenraum in einen beliebigen Messraum abbilden. Man charakterisiert dabei solche Abbildungen als suffizient (auch: erschöpfend), die einen hochdimensionalen Datenvektor in eine einfachere Form transformieren, ohne dabei wesentliche Informationen über die zu Grunde liegende Wahrscheinlichkeitsverteilung zu verlieren. Gegenstück der Suffizienz ist die Verteilungsfreiheit, sie entspricht einer uninformativen Transformation.

Anschaulich formuliert sind also genau solche Statistiken suffizient, die sämtliche Informationen über die zu schätzenden Parameter des Modells beinhalten, die in der Stichprobe enthalten sind.

Die Suffizienz zählt neben der Erwartungstreue und der Äquivarianz/Invarianz zu den klassischen Reduktionsprinzipien der mathematischen Statistik. Ihre Bedeutung erhält die Suffizienz durch den Satz von Rao-Blackwell. Aus ihm folgt, dass „optimale“ Schätzer im Bezug auf den mittleren quadratischen Fehler oder entsprechende Verallgemeinerungen immer in der Menge der suffizienten Schätzer zu finden sind.

Stephen Stigler bemerkte 1973, dass das Konzept der Suffizienz in der deskriptiven Statistik unbeliebter wurde, da es stark auf Verteilungsannahmen beruht, allerdings ist es noch immer ein wichtiges Mittel in der Theorie.^[2]

Idee

Gegeben sei eine gewöhnliche Münze, deren i-ter Wurf die Bernoulli-verteilte Zufallsvariable ${\displaystyle X_{i}}$ (Kopf oder Zahl) erzeugt. Angenommen man interessiert sich für die Wahrscheinlichkeit „Kopf oben“ (${\displaystyle \pi _{\text{Kopf}}}$). Um den unbekannten Parameter ${\displaystyle \pi _{\text{Kopf}}}$ zu schätzen, würde man ${\displaystyle n}$ mal das Zufallsexperiment „Wurf der Münze“ durchführen und eine Eins notieren, wenn Kopf oben landet, und eine Null, wenn Zahl oben ist. Aus den Beobachtungswerten

${\displaystyle x_{i}={\begin{cases}0&{\text{ Zahl oben}}\\1&{\text{ Kopf oben}}\end{cases}}}$

würde man einen Schätzwert berechnen mit

${\displaystyle {\hat {\pi }}_{\text{Kopf}}={\frac {x_{1}+x_{2}+\dots +x_{n}}{n}}={\frac {t}{n}}}$.

Die Statistik ${\displaystyle t=x_{1}+x_{2}+\dots +x_{n}}$ (bei bekannter fixer Zahl an Würfen n) wäre eine suffiziente Statistik, da für eine Schätzung des unbekannten Parameters ${\displaystyle \pi _{\text{Kopf}}}$ aus den Beobachtungswerten nur die Information benötigt wird wie oft Kopf oben war. Die auch in der Beobachtungswerten enthaltene Information, bei welchem Wurf Kopf oben war wird jedoch nicht benötigt.

Wenn es für die Schätzung eines unbekannten Parameters ausreichend ist, die Statistik ${\displaystyle t}$ zu kennen und nicht notwendigerweise die Beobachtungswerte, dann ist ${\displaystyle t}$ eine suffiziente Statistik.

Definition

Formal seien ${\displaystyle \Psi }$ der Stichprobenraum, ${\displaystyle \Omega _{T}}$ ein beliebiger Messraum und ${\displaystyle T\colon \Psi \to \Omega _{T}}$ eine messbare Abbildung zwischen den beiden Räumen. Ferner sei ${\displaystyle X=(X_{1},\dotsc ,X_{n})}$ eine Zufallsvariable auf dem Stichprobenraum, deren Verteilung aus einer Familie von Wahrscheinlichkeitsmaßen ${\displaystyle {\mathcal {P}}=\{P_{\vartheta };\;\vartheta \in \Theta \}}$ stammt. ${\displaystyle T\;}$ heißt dann suffizient für die Familie ${\displaystyle {\mathcal {P}},}$ falls die Verteilung von ${\displaystyle X\;|\;T(X)=t}$ nicht von ${\displaystyle \vartheta }$ abhängt.

Allgemeiner lässt sich die Suffizienz einer Statistik mittels der Suffizienz von σ-Algebren definieren: Eine Statistik ${\displaystyle T}$ heißt suffizient, oder erschöpfend wenn die von ihr erzeugte σ-Algebra eine suffiziente σ-Algebra ist.

Beachte, dass eine Suffiziente Statistik auch mehrere Werte umfassen kann, beispielsweise ${\displaystyle T=(a,b)}$.

Beispiel: Binomialverteilung

Ein einfaches Beispiel für suffiziente Statistiken erhalten wir bei der Untersuchung identisch unabhängig Bernoulli-verteilter Zufallsvariablen. Das zugrundeliegende Modell ist also ein Bernoulli-Prozess. Die Zähldichte der Zufallsvariable ${\displaystyle X=(X_{1},\ldots ,X_{n})}$ ist in diesem Fall durch ${\displaystyle f_{\vartheta }(x)=\vartheta ^{\sum _{i=1}^{n}x_{i}}(1-\vartheta )^{n-\sum _{i=1}^{n}x_{i}}}$ gegeben, wobei die ${\displaystyle x_{i}}$ entweder 0 oder 1 sind. Man beachte, dass das Zählmaß auf ${\displaystyle \left(\left\{0,1\right\}^{n},{\mathcal {P}}\left(\left\{0,1\right\}^{n}\right)\right)}$ endlich (insbesondere also ${\displaystyle \sigma }$-endlich) ist und wegen der Existenz der Dichten die Klasse dominiert. Daher erkennt man anhand der Neyman-Charakterisierung, dass ${\displaystyle \sum _{i=1}^{n}X_{i}}$ suffizient für ${\displaystyle \vartheta }$ ist.

Mithilfe der Definition zeigt man die Suffizienz von ${\displaystyle \sum _{i=1}^{n}X_{i}}$, indem man ${\displaystyle f_{\vartheta }(x)|(\sum _{i=1}^{n}X_{i}=t)}$ berechnet. Benutzt man nun bedingte Wahrscheinlichkeiten erhält man:

${\displaystyle f_{\vartheta }(x)|(\sum _{i=1}^{n}X_{i}=t)={\frac {\vartheta ^{t}(1-\vartheta )^{n-t}}{{\binom {n}{t}}\vartheta ^{t}(1-\vartheta )^{n-t}}}={\frac {1}{\binom {n}{t}}}}$.

Diese bedingte Dichte ist nun unabhängig von ${\displaystyle \vartheta }$ und somit ist ${\displaystyle \sum _{i=1}^{n}X_{i}}$ suffizient.

Heuristisch gesprochen genügt es also, an Stelle des gesamten Datenvektors bloß die Anzahl der Erfolge in diesem Experiment zu kennen, um alle Informationen über den unbekannten Parameter ${\displaystyle \vartheta }$ zu erhalten.

Sätze über Suffizienz bei dominierten Verteilungsklassen

Satz von Halmos-Savage

Der Satz von Halmos-Savage liefert ein Suffizienzkriterium unter der Annahme, dass die Verteilungsklasse dominiert ist. Lassen sich dann abzählbar unendlich viele Maße der Verteilungsklasse zu einem Maß ${\displaystyle P^{*}}$ kombinieren, so dass dieses die Verteilungsklasse dominiert und jedes Wahrscheinlichkeitsmaß der Verteilungsklasse eine ${\displaystyle {\mathcal {S}}}$-messbare Dichte bezüglich ${\displaystyle P^{*}}$ besitzt, dann ist ${\displaystyle {\mathcal {S}}}$ eine suffiziente σ-Algebra.

Neyman-Kriterium

Unter der Voraussetzung, dass ${\displaystyle {\mathcal {P}}}$ eine dominierte Verteilungsklasse ist, ist eine Statistik ${\displaystyle T\;}$ genau dann suffizient, wenn messbare Funktionen ${\displaystyle g_{\vartheta }\ \left(\vartheta \in \Theta \right)}$ und ${\displaystyle h\;}$ existieren, so dass die Dichte ${\displaystyle f_{\vartheta }}$ wie folgt zerlegt werden kann: ${\displaystyle f_{\vartheta }(x)=h(x)g_{\vartheta }(T(x)).}$ Diese Charakterisierung der Suffizienz geht auf Jerzy Neyman zurück. Insbesondere sind bijektive Transformationen suffizienter Statistiken wieder suffizient. Das Neyman-Kriterium leitet sich aus dem Satz von Halmos-Savage ab, ist aber leichter zu handhaben.

Weitere Suffizienzbegriffe

Minimalsuffizienz

Die Minimalsuffizienz ist eine stärkere Forderung als die Suffizienz, die ebenfalls für Statistiken und σ-Algebren definiert wird. Sie stellt die Frage nach der maximal möglichen Datenkompression, also nach einer kleinstmöglichen suffizienten σ-Algebra.

Starke Suffizienz

Die starke Suffizienz ist eine Abwandlung des herkömmlichen Suffizienzbegriffes, die mittels Markow-Kernen definiert wird. Für borelsche Räume stimmen starke Suffizienz und Suffizienz überein.

Wichtige Sätze

• Einen Zusammenhang zwischen Suffizienz, Verteilungsfreiheit und Vollständigkeit treffen die Sätze von Basu.
• Der Satz von Lehmann-Scheffé und der Satz von Rao-Blackwell treffen mithilfe suffizienter Statistiken Aussagen über die Existenz gleichmäßig bester erwartungstreuer Schätzer.

Weblinks

• A.S. Kholevo: Sufficient statistic. In: Michiel Hazewinkel (Hrsg.): Encyclopedia of Mathematics. Springer-Verlag und EMS Press, Berlin 2002, ISBN 1-55608-010-7 (englisch, encyclopediaofmath.org). 

Literatur

• Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3. 
• Helmut Pruscha: Vorlesungen über Mathematische Statistik. B. G. Teubner, Stuttgart 2000, ISBN 3-519-02393-8, Abschnitt II.3.

Einzelnachweise

1. ↑ Leonhard Held und Daniel Sabanés Bové: Applied Statistical Inference: Likelihood and Bayes. Springer Heidelberg New York Dordrecht London (2014). ISBN 978-3-642-37886-7, S. 41.
2. ↑ Stephen Stigler: Studies in the History of Probability and Statistics. XXXII: Laplace, Fisher and the Discovery of the Concept of Sufficiency. In: Biometrika. 60. Jahrgang, Nr. 3, Dezember 1973, S. 439–445, doi:10.1093/biomet/60.3.439, JSTOR:2334992.