Bayes-Schätzer

Ein Bayes-Schätzer (IPA: [ˈbɛɪ̯zˌʃɛt͡sɐ], ; benannt nach Thomas Bayes) ist in der mathematischen Statistik eine Schätzfunktion, die zusätzlich zu den beobachteten Daten eventuell vorhandenes Vorwissen über einen zu schätzenden Parameter berücksichtigt. Gemäß der Vorgehensweise der bayesschen Statistik wird dieses Vorwissen durch eine Verteilung für den Parameter modelliert, die A-priori-Verteilung. Mit dem Satz von Bayes ergibt sich die bedingte Verteilung des Parameters unter den Beobachtungsdaten, die A-posteriori-Verteilung. Um daraus einen eindeutigen Schätzwert zu erhalten, werden Lagemaße der A-posteriori-Verteilung, wie Erwartungswert, Modus oder Median, als sogenannte Bayes-Schätzer verwendet. Da der A-posteriori-Erwartungswert der wichtigste und in der Praxis am häufigsten angewendete Schätzer ist, bezeichnen auch einige Autoren diesen als den Bayes-Schätzer.^[1] Allgemein definiert man einen Bayes-Schätzer als denjenigen Wert, der den Erwartungswert einer Verlustfunktion unter der A-posteriori-Verteilung minimiert. Für eine quadratische Verlustfunktion ergibt sich dann gerade der A-posteriori-Erwartungswert als Schätzer.

Definition

Es bezeichnen ${\displaystyle \theta \in \Theta }$ den zu schätzenden Parameter und ${\displaystyle f(x|\theta )}$ die Likelihood, also die Verteilung der Beobachtung ${\displaystyle x\in {\mathcal {X}}}$ in Abhängigkeit von ${\displaystyle \theta }$. Die A-priori-Verteilung des Parameters sei mit ${\displaystyle g(\theta )}$ bezeichnet. Dann ist

${\displaystyle h(\theta |x)={\frac {f(x|\theta )g(\theta )}{\int _{\Theta }f(x|\theta ')g(\theta ')\,\mathrm {d} \theta '}}}$

die A-posteriori-Verteilung von ${\displaystyle \theta }$. Es sei weiter eine Funktion ${\displaystyle \ell \colon \Theta \times \Theta \to \mathbb {R} }$, genannt Verlustfunktion, gegeben, deren Werte ${\displaystyle \ell (a,\theta )}$ den Verlust modellieren, den man bei einer Schätzung von ${\displaystyle \theta }$ durch ${\displaystyle a}$ erleidet. Dann heißt ein Wert ${\displaystyle a\in \Theta }$, der den Erwartungswert

${\displaystyle \operatorname {E} (\ell (a,\cdot )|x)=\int _{\Theta }\ell (a,\theta )h(\theta |x)\,\mathrm {d} \theta }$

des Verlustes unter der A-posteriori-Verteilung minimiert, ein Bayes-Schätzer von ${\displaystyle \theta }$.^[2] Im Fall einer diskreten Verteilung von ${\displaystyle \theta }$ sind die Integrale über ${\displaystyle \Theta }$ als Summation über ${\displaystyle \theta \in \Theta }$ zu verstehen.

Spezialfälle

A-posteriori-Erwartungswert

Eine wichtige und häufig verwendete Verlustfunktion ist die quadratische Abweichung

${\displaystyle \ell (a,\theta )=(a-\theta )^{2}}$.

Mit dieser Verlustfunktion ergibt sich als Bayes-Schätzer der Erwartungswert der A-posteriori-Verteilung, kurz der A-posteriori-Erwartungswert

${\displaystyle \operatorname {E} (\theta |x)=\int _{\Theta }\theta \,h(\theta |x)\,\mathrm {d} \theta ={\frac {\int _{\Theta }\theta f(x|\theta )g(\theta )\,\mathrm {d} \theta }{\int _{\Theta }f(x|\theta )g(\theta )\,\mathrm {d} \theta }}}$.

Das sieht man auf folgende Weise: Differenziert man ${\displaystyle \operatorname {E} ((a-\theta )^{2}|x)}$ nach ${\displaystyle a}$, ergibt sich

${\displaystyle {\frac {\mathrm {d} }{\mathrm {d} a}}\left(\int _{\Theta }(a-\theta )^{2}h(\theta |x)\,\mathrm {d} \theta \right)=2\int _{\Theta }(a-\theta )h(\theta |x)\,\mathrm {d} \theta =2a\underbrace {\int _{\Theta }h(\theta |x)\,\mathrm {d} \theta } _{=\,1}-2\int _{\Theta }\theta h(\theta |x)\,\mathrm {d} \theta }$.

Nullsetzen dieser Ableitung und Auflösen nach ${\displaystyle a}$ liefert obige Formel.

A-posteriori-Median

Ein weiterer wichtiger Bayes-Schätzer ist der Median der A-posteriori-Verteilung. Er ergibt sich bei Verwendung der stückweise linearen Verlustfunktion

${\displaystyle \ell (a,\theta )=|a-\theta |}$,

des Betrags des absoluten Fehlers. Bei einer stetigen A-posteriori-Verteilung ergibt sich der zugehörige Bayes-Schätzer als Lösung ${\displaystyle a}$ der Gleichung

${\displaystyle \int _{-\infty }^{a}h(\theta |x)\,\mathrm {d} \theta ={\frac {1}{2}}}$,

also als Median der Verteilung mit Dichte ${\displaystyle h(\cdot |x)}$.

A-posteriori-Modus

Für diskret verteilte Parameter ${\displaystyle \theta }$ bietet sich die Null-Eins-Verlustfunktion

${\displaystyle \ell (a,\theta )={\begin{cases}0,&a=\theta ,\\1,&{\text{sonst}},\end{cases}}}$ 

an, die allen falschen Schätzungen einen konstanten Verlust zuordnet und nur eine exakte Schätzung nicht „bestraft“. Als Erwartungswert dieser Verlustfunktion ergibt sich die A-posteriori-Wahrscheinlichkeit des Ereignisses ${\displaystyle \{\theta \neq a\}}$, also ${\displaystyle 1-h(a|x)}$. Diese wird minimal an den Stellen, an denen ${\displaystyle h(a|x)}$ maximal ist, das heißt an den Modalwerten der A-posteriori-Verteilung.

Bei stetig verteilten ${\displaystyle \theta }$ hat das Ereignis ${\displaystyle \theta =a}$ für alle ${\displaystyle a}$ Wahrscheinlichkeit null. In diesem Fall kann man stattdessen für ein (kleines) vorgegebenes ${\displaystyle \varepsilon >0}$ die Verlustfunktion

${\displaystyle \ell (a,\theta )={\begin{cases}0,&|a-\theta |\leq \varepsilon \\1,&|a-\theta |>\varepsilon \end{cases}}}$ 

betrachten. Im Limes ${\displaystyle \varepsilon \to 0}$ ergibt sich dann ebenfalls der A-posteriori-Modus als Bayes-Schätzer.

Im Falle einer Gleichverteilung als A-priori-Verteilung ergibt sich der Maximum-Likelihood-Schätzer, der somit einen Spezialfall eines Bayes-Schätzers darstellt.

Beispiel

A-priori- (gestrichelt) und A-posteriori-Dichte im nebenstehenden Beispiel; A-posteriori-Modus, -Median und -Erwartungswert sind durch vertikale Linien markiert

Eine Urne enthält rote und schwarze Kugeln in unbekannter Zusammensetzung, das heißt, die Wahrscheinlichkeit ${\displaystyle p}$, eine rote Kugel zu ziehen, ist unbekannt. Um ${\displaystyle \theta =p}$ zu schätzen, werden ${\displaystyle n=6}$ Kugeln nacheinander mit Zurücklegen gezogen: Nur eine einzige Ziehung liefert eine rote Kugel, es wird also ${\displaystyle x=1}$ beobachtet. Die Anzahl der gezogenen roten Kugeln ist binomialverteilt mit ${\displaystyle n=6}$ und ${\displaystyle p}$, also gilt

${\displaystyle f(x|\theta )={\binom {n}{x}}p^{x}(1-p)^{n-x}=6p(1-p)^{5}}$.

Da über den zu schätzenden Parameter ${\displaystyle p}$ keinerlei Information vorliegt, wird die Gleichverteilung als A-priori-Verteilung verwendet, das heißt ${\displaystyle g(\theta )=1}$ für ${\displaystyle \theta \in \Theta =(0,1)}$. Als A-posteriori-Verteilung ergibt sich somit

${\displaystyle h(\theta |x)={\frac {f(x|\theta )g(\theta )}{\int _{\Theta }f(x|\theta ')g(\theta ')\,\mathrm {d} \theta '}}={\frac {6p(1-p)^{5}}{\int _{0}^{1}6p(1-p)^{5}\,\mathrm {d} p}}=42p(1-p)^{5}}$.

Das ist die Dichte einer Beta-Verteilung mit den Parametern ${\displaystyle \alpha =2}$ und ${\displaystyle \beta =6}$. Damit ergibt sich als A-posteriori-Erwartungswert ${\displaystyle {\frac {\alpha }{\alpha +\beta }}={\frac {1}{4}}}$ und als A-posteriori-Modus ${\displaystyle {\frac {\alpha -1}{\alpha +\beta -2}}={\frac {1}{6}}}$. Der A-posteriori-Median muss numerisch bestimmt werden und ergibt ungefähr ${\displaystyle 0{,}2285}$. Allgemein ergibt sich bei ${\displaystyle k}$ roten Kugeln in ${\displaystyle n}$ Ziehungen ${\displaystyle {\frac {k+1}{n+2}}}$ als A-posteriori-Erwartungswert und ${\displaystyle {\frac {k}{n}}}$, also der klassische Maximum-Likelihood-Schätzer, als A-posteriori-Modus. Für nicht zu kleine Werte von ${\displaystyle n}$ ist ${\displaystyle {\frac {k+{\frac {2}{3}}}{n+{\frac {4}{3}}}}}$ eine gute Näherung für den A-posteriori-Median.

Praktische Berechnung

Ein Hindernis bei der Anwendung von Bayes-Schätzern kann ihre numerische Berechnung sein. Ein klassischer Ansatz ist die Verwendung von sogenannten konjugierten A-priori-Verteilungen, bei denen sich eine A-posteriori-Verteilung aus einer bekannten Verteilungsklasse ergibt, deren Lageparameter dann einfach in einer Tabelle nachgeschlagen werden können. Verwendet man beispielsweise im obigen Urnenexperiment eine beliebige Betaverteilung als Prior, dann ergibt sich auch eine Betaverteilung als A-posteriori-Verteilung.^[3]

Für allgemeine A-priori-Verteilungen zeigt die obige Formel des A-posteriori-Erwartungswerts, dass zu seiner Berechnung zwei Integrale über den Parameterraum bestimmt werden müssen. Eine klassische Näherungsmethode ist die Laplace-Approximation, bei der die Integranden als Exponentialfunktion geschrieben werden und anschließend die Exponenten durch eine quadratische Taylor-Approximation angenähert werden.^[4]

Mit dem Aufkommen leistungsfähiger Computer wurden weitere numerische Verfahren zur Berechnung der auftretenden Integrale anwendbar (siehe Numerische Integration). Ein Problem stellen vor allem hochdimensionale Parametermengen dar, also der Fall, dass sehr viele Parameter aus den Daten geschätzt werden sollen. Hierbei kommen häufig Monte-Carlo-Verfahren als Näherungsverfahren zum Einsatz.^[5]

Literatur

• Leonhard Held: Methoden der statistischen Inferenz. Likelihood und Bayes. Springer Spektrum, Heidelberg 2008, ISBN 978-3-8274-1939-2. 
• Erich Leo Lehmann, George Casella: Theory of Point Estimation. 2. Auflage. Springer, New York u. a. 1998, ISBN 0-387-98502-6, Kapitel 4. 

Einzelnachweise

1. ↑ Karl-Rudolf Koch: Einführung in die Bayes-Statistik. Springer, Berlin/Heidelberg 2000, ISBN 3-540-66670-2, S. 66 (eingeschränkte Vorschau in der Google-Buchsuche). 
2. ↑ Leonhard Held: Methoden der statistischen Inferenz. Likelihood und Bayes. Springer Spektrum, Heidelberg 2008, ISBN 978-3-8274-1939-2. 
3. ↑ Held: Methoden der statistischen Inferenz. 2008, S. 146–148.
4. ↑ Held: Methoden der statistischen Inferenz. 2008, S. 188–191.
5. ↑ Held: Methoden der statistischen Inferenz. 2008, S. 192–208.