Suffiziente σ-Algebra

Eine suffiziente σ-Algebra ist ein spezielles Mengensystem in der mathematischen Statistik, das verwendet wird, um die Kompression von Daten ohne Informationsverlust mittels suffizienter Statistiken zu formalisieren.

Definition

Gegeben sei ein statistisches Modell ${\displaystyle (\Omega ,{\mathcal {A}},{\mathcal {P}})}$ sowie eine Teil-σ-Algebra ${\displaystyle {\mathcal {S}}\subset {\mathcal {A}}}$. Sei ${\displaystyle \operatorname {E} _{P}(\cdot |{\mathcal {S}})}$ der bedingte Erwartungswert gegeben ${\displaystyle {\mathcal {S}}}$ unter Verwendung des Wahrscheinlichkeitsmaßes ${\displaystyle P}$. Die σ-Algebra ${\displaystyle {\mathcal {S}}}$ heißt dann suffizient für ${\displaystyle {\mathcal {P}}}$, wenn für jedes ${\displaystyle A\in {\mathcal {A}}}$ eine ${\displaystyle {\mathcal {S}}}$-messbare Funktion ${\displaystyle f_{A}}$ existiert, so dass

${\displaystyle f_{A}=\operatorname {E} _{P}(\mathbf {1} _{A}|{\mathcal {S}}){\text{ für alle }}P\in {\mathcal {P}}}$.

Bemerkungen

Ein Defizit des Suffizienzbegriffes ist, dass wenn ${\displaystyle {\mathcal {S}}_{1},{\mathcal {S}}_{2}}$ σ-Algebren sind mit ${\displaystyle {\mathcal {S}}_{1}\subset {\mathcal {S}}_{2}}$ und ${\displaystyle {\mathcal {S}}_{1}}$ suffizient ist (bezüglich einer vorgegebenen Verteilungsklasse), dann folgt im Allgemeinen nicht, dass auch ${\displaystyle {\mathcal {S}}_{2}}$ suffizient ist. Das würde man aber intuitiv erwarten, denn wenn schon die kleinere σ-Algebra ausreichend ist, um eine verlustfreie Datenkompression zu ermöglichen, dann sollte dies ebenso für die größere gelten, da sie ja die kleinere enthält, in der alle Informationen von Belang schon vorhanden sind. Zu beachten ist hier, dass die Datenkompression hier dem Weglassen der Mengen aus der größeren σ-Algebra entspricht.

Formell lässt sich dieses Defizit wie folgt einsehen: ist ${\displaystyle {\mathcal {S}}_{1}}$ suffizient, so gilt laut Definition des bedingten Erwartungswertes

${\displaystyle \int _{S}f_{A}\,\mathrm {d} P=P(A\cap S)}$

für alle ${\displaystyle S\in {\mathcal {S}}_{1}}$, aber eben nicht notwendigerweise für alle ${\displaystyle S\in {\mathcal {S}}_{2}}$.

Erläuterung

Klar wird die Bedeutung des Begriffes, wenn man die Wahrscheinlichkeitsmaße aus ${\displaystyle {\mathcal {P}}}$ auf ${\displaystyle {\mathcal {S}}}$ einschränkt. Dann gilt

${\displaystyle P(A)=\int P(A|{\mathcal {S}})\mathrm {d} P|_{\mathcal {S}}=\int f_{A}\mathrm {d} P|_{\mathcal {S}}}$.

Da aber ${\displaystyle f_{A}}$ nicht von ${\displaystyle P\in {\mathcal {P}}}$ abhängt, können sich die Wahrscheinlichkeitsmaße nur dann unterscheiden, wenn schon deren Einschränkungen auf ${\displaystyle {\mathcal {S}}}$ verschieden sind. Damit sind alle möglichen Informationen, welche die Wahrscheinlichkeitsmaße aus ${\displaystyle {\mathcal {P}}}$ liefern können, bereits in ${\displaystyle {\mathcal {S}}}$ enthalten.

Stabilität bezüglich Operationen

• Ist ${\displaystyle {\mathcal {S}}^{*}\subset {\mathcal {S}}\subset {\mathcal {A}}}$ und ist ${\displaystyle {\mathcal {S}}}$ suffizient für ${\displaystyle {\mathcal {P}}}$, so ist ${\displaystyle {\mathcal {S}}^{*}}$ genau dann suffizient für ${\displaystyle (\Omega ,{\mathcal {A}},{\mathcal {P}})}$, wenn ${\displaystyle {\mathcal {S}}^{*}}$ suffizient ist für ${\displaystyle (\Omega ,{\mathcal {S}},{\mathcal {P}}|_{\mathcal {S}})}$.
• Sei ${\displaystyle {\mathcal {N}}_{\mathcal {P}}}$ die Mengen aller ${\displaystyle {\mathcal {P}}}$-Nullmengen. Sind ${\displaystyle {\mathcal {S}}_{1}}$ und ${\displaystyle {\mathcal {S}}_{2}}$ suffizient und ist ${\displaystyle {\mathcal {N}}_{\mathcal {P}}\subset {\mathcal {S}}_{1}}$, so ist auch ${\displaystyle {\mathcal {S}}_{1}\cap {\mathcal {S}}_{2}}$ suffizient.
• Ist ${\displaystyle {\mathcal {S}}}$ suffizient und ist ${\displaystyle {\mathcal {E}}}$ eine abzählbar erzeugte σ-Algebra, so ist auch ${\displaystyle \sigma ({\mathcal {S}},{\mathcal {E}})}$ suffizient. Daraus folgt direkt, dass abzählbar erzeugte Ober-σ-Algebren von suffizienten σ-Algebren wieder suffizient sind.

Suffizienz und dominierte Verteilungsklassen

Mittels des Satzes von Halmos-Savage lassen sich für dominierte Verteilungsklassen ${\displaystyle {\mathcal {P}}}$ einige stärkere Aussagen zeigen:

• Sei ${\displaystyle {\mathcal {S}}}$ suffizient und ${\displaystyle {\mathcal {S}}\subset {\mathcal {A}}}$. Dann ist jede σ-Algebra ${\displaystyle {\mathcal {S}}^{*}}$ mit

${\displaystyle {\mathcal {S}}\subset {\mathcal {S}}^{*}\subset {\mathcal {A}}}$

ebenfalls suffizient.

• ${\displaystyle {\mathcal {S}}}$ ist genau dann suffizient bezüglich ${\displaystyle {\mathcal {P}}}$, wenn ${\displaystyle {\mathcal {S}}}$ suffizient bezüglich ${\displaystyle {\mathcal {P}}^{*}:=\{P_{i},P_{j}\}}$ ist für alle ${\displaystyle P_{i},P_{j}\in {\mathcal {P}}}$.
• Sind für ${\displaystyle i=1,2}$ die Verteilungsklassen ${\displaystyle {\mathcal {P}}_{i}}$ auf ${\displaystyle (\Omega _{i},{\mathcal {A}}_{i})}$ dominiert und ist ${\displaystyle {\mathcal {S}}_{i}\subset {\mathcal {A}}_{i}}$ suffizient, so ist auch ${\displaystyle {\mathcal {S}}_{1}\otimes {\mathcal {S}}_{2}}$ suffizient bezüglich ${\displaystyle {\mathcal {P}}_{1}\otimes {\mathcal {P}}_{2}}$.

Eine weitere Möglichkeit zur Überprüfung der Suffizienz einer σ-Algebra bei Vorliegen einer dominierten Verteilungsklasse ist das Neyman-Kriterium.

Verwandte Begriffe

Der bekannteste Begriff, der sich aus der Suffizienz einer σ-Algebra ableiten lässt, ist die suffiziente Statistik. Eine Statistik ${\displaystyle T}$ heißt suffizient, wenn die von ihr erzeugte σ-Algebra ${\displaystyle \sigma (T)}$ suffizient ist.

Eine Abwandlung des hier behandelten Suffizienzbegriffes ist die starke Suffizienz, die mittels Markow-Kernen definiert wird. Auf borelschen Räumen stimmen die beiden Begriffe überein. Eine Verstärkung der Suffizienz ist die Minimalsuffizienz: eine σ-Algebra ist minimalsuffizient, wenn sie bis auf ${\displaystyle {\mathcal {P}}}$-Nullmengen in jeder weiteren suffizienten σ-Algebra enthalten ist. Demnach ist eine minimalsuffiziente σ-Algebra die maximal mögliche Datenreduktion.

Ein ebenfalls verwandter, aber gegenläufiger Begriff ist der einer vollständigen Verteilungsklasse. Dies ist eine Verteilungsklasse ${\displaystyle {\mathcal {P}}}$, so dass auf ${\displaystyle {\mathcal {L}}(\Omega ,{\mathcal {S}},{\mathcal {P}})}$ alle Funktionen unterschieden werden können.

Gegenteil des Suffizienzbegriffs ist die Verteilungsfreiheit. Sie formalisiert, dass eine σ-Algebra keine Informationen trägt bzw. dass eine Statistik keine Informationen überträgt.

Eine Verbindung von Suffizienz, Vollständigkeit und Verteilungsfreiheit schlagen die drei Sätze von Basu.

Literatur

• Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3.