Schätzung der Varianz einer Schätzfunktion

Als Schätzung der Varianz einer Schätzfunktion wird in der Statistik die Schätzung der Varianz einer Schätzfunktion, eines unbekannten Parameter der Grundgesamtheit bezeichnet. Diese Schätzung ist eine Methode zur Messung der Genauigkeit von Schätzverfahren. Sie erlaubt die Konstruktion von Konfidenzintervallen (Intervallschätzung).

Hat man eine Schätzfunktion ${\displaystyle {\hat {\theta }}}$ für einen unbekannten Parameter ${\displaystyle \theta }$ der Grundgesamtheit, so hat man zunächst nur eine Punktschätzung ${\displaystyle {\hat {\vartheta }}}$ für diesen. Man ist jedoch daran interessiert, auch Konfidenzintervalle für den geschätzten Parameter anzugeben, d. h. man muss die Verteilung und die Varianz von ${\displaystyle {\hat {\theta }}}$ kennen.

Dies ist jedoch nicht immer möglich und deswegen gibt es verschiedene Verfahren:

• direkte Verfahren auf Basis der Likelihood-Funktion,
• lineare Approximation der log-Likelihood-Funktion und
• Resampling-Methoden.

Wurde die Schätzfunktion ${\displaystyle {\hat {\theta }}}$ mit Hilfe der Maximum-Likelihood-Methode berechnet, so weiß man über das asymptotische Konvergenzverhalten:

• ${\displaystyle \lim _{n\to \infty }{\hat {\theta }}\longrightarrow {\mathcal {N}}(\theta ;\Sigma _{\hat {\theta }})}$ Konvergenz in Verteilung sowie
• ${\displaystyle \lim _{n\to \infty }\operatorname {Var} ({\hat {\theta }})\longrightarrow {\mathcal {I}}^{-1}(\theta )=\Sigma _{\hat {\theta }}}$

mit ${\displaystyle \Sigma _{\hat {\theta }}}$ die Kovarianzmatrix der Schätzfunktion(en) ${\displaystyle {\hat {\theta }}}$ und ${\displaystyle I(\theta )}$ die Fisher-Informationsmatrix.

Lässt sich die Verteilung von ${\displaystyle {\hat {\theta }}}$ zumindest näherungsweise bestimmen, beispielsweise mit Hilfe des zentralen Grenzwertsatzes, so lässt sich die Varianz leicht schätzen.

Ein Beispiel ist der Stichprobenmittelwert ${\displaystyle {\bar {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$ (einer normalverteilten Grundgesamtheit bzw. bei Gültigkeit des zentralen Grenzwertsatzes bei einer beliebigen Verteilung in der Grundgesamtheit):

${\displaystyle {\bar {X}}\sim {\mathcal {N}}\left(\mu ;{\frac {\sigma ^{2}}{n}}\right),}$

siehe auch Standardfehler des Stichprobenmittelwertes.

Daraus lässt sich das Konfidenzintervall ableiten

${\displaystyle P\left({\bar {X}}-z_{1-\alpha /2}{\frac {\sigma }{\sqrt {n}}}\leq \mu \leq {\bar {X}}+z_{1-\alpha /2}{\frac {\sigma }{\sqrt {n}}}\right)\approx 1-\alpha }$

mit ${\displaystyle z_{1-\alpha /2}}$ aus der Standardnormalverteilung.

Bei direkten Verfahren nutzt man die Darstellung

${\displaystyle \operatorname {Var} ({\hat {\theta }})=E[({\hat {\theta }}-\theta )^{2}]=\int ({\hat {\theta }}-\theta )^{2}L(x_{1},\ldots ,x_{n}|\theta )dx_{1}\ldots dx_{n}}$ bzw. multivariat ${\displaystyle \sigma _{ij}({\hat {\theta }})=\int ({\hat {\theta }}_{i}-\theta _{i})({\hat {\theta }}_{j}-\theta _{j})L(x_{1},\ldots ,x_{n}|\theta )dx_{1}\ldots dx_{n}}$

Darauf basierende Varianzschätzungen kann man meist nur bei einfachen Punktschätzern angeben. Hier werden Approximationsformeln nur bei Stichprobendesigns mit Inklusionswahrscheinlichkeiten zweiter Ordnung benötigt. Exakte Methoden, das heißt einfach auszurechnende Formeln können im Fall eines Linearen Schätzers angegeben werden.

Jedoch sind weder der wahre Parameter ${\displaystyle \theta }$ noch die Funktion ${\displaystyle L(x_{1},\ldots ,x_{n}|\theta )}$ bekannt. Daher werden die Schätzwerte und die normierte Likelihood-Funktion als Wahrscheinlichkeitsdichte für ${\displaystyle \theta }$ genutzt:

${\displaystyle {\widehat {\operatorname {Var} }}({\hat {\theta }})={\frac {\int (\theta -{\hat {\vartheta }})^{2}L(x_{1},\ldots ,x_{n}|\theta )d\theta }{\int L(x_{1},\ldots ,x_{n}|\theta )d\theta }}}$ bzw. multivariat ${\displaystyle {\hat {\sigma }}_{ij}({\hat {\theta }})={\frac {\int (\theta _{i}-{\hat {\vartheta }}_{i})(\theta _{j}-{\hat {\vartheta }}_{j})L(x_{1},\ldots ,x_{n}|\theta )d\theta _{1}\ldots d\theta _{m}}{\int L(x_{1},\ldots ,x_{n}|\theta )d\theta _{1}\ldots d\theta _{m}}}}$

Die Schätzung erfolgt dann mit Hilfe numerischer Integration.

Bei nicht-linearen Schätzern (z. B. einem Ratio-Schätzer) kommen approximative Methoden zum Einsatz. Kann man die log-Likelihood-Funktion mit der Taylorapproximation um das Maximum entwickeln

${\displaystyle \log(L(x_{1},\ldots ,x_{n}|\theta ))\approx \log(\underbrace {L(x_{1},\ldots ,x_{n}|{\hat {\vartheta }})} _{=L_{\text{max}}})+\underbrace {\left(\theta -{\hat {\vartheta }}\right)\left.{\frac {\partial \log(L)}{\partial \theta }}\right|_{\theta ={\hat {\vartheta }}}} _{=0}+{\tfrac {1}{2}}\left(\theta -{\hat {\vartheta }}\right)^{2}\left.{\frac {\partial ^{2}\log(L)}{\partial \theta ^{2}}}\right|_{\theta ={\hat {\vartheta }}}}$

und unter Ausnutzung der Definition der Fisher-Informationsmatrix

${\displaystyle \log(L(x_{1},\ldots ,x_{n}|\theta ))\approx \log(L_{\text{max}})-{\tfrac {1}{2}}\left(\theta -{\hat {\vartheta }}\right)^{2}\sigma _{\hat {\theta }}^{-1}}$

folgt

${\displaystyle {\hat {\sigma }}_{\hat {\theta }}=\left(-\left.{\frac {\partial ^{2}\log(L)}{\partial \theta ^{2}}}\right|_{\theta ={\hat {\vartheta }}}\right)^{-1}}$.

Alternativ können durch die Woodruff-Linearisierung nicht-lineare Schätzer zu linearen umgewandelt werden.

Eine weitere Möglichkeit stellen Resamplingmethoden wie beispielsweise das Bootstrapping-Verfahren dar. Hierbei werden ${\displaystyle B}$ Substichproben zufällig aus der vorhandenen Stichprobe gezogen und mit diesen ein Schätzwert ${\displaystyle {\hat {\vartheta }}^{(i)}}$ berechnet. Diese Schätzwerte sind eine empirische Approximation an die unbekannte Verteilung von ${\displaystyle {\hat {\theta }}}$.

Stichprobe:	${\displaystyle x_{1},\ldots x_{n}}$	${\displaystyle \longrightarrow {\hat {\vartheta }}}$
Stichprobenwiederholung 1:	${\displaystyle x_{1}^{(1)},\ldots x_{n}^{(1)}}$	${\displaystyle \longrightarrow {\hat {\vartheta }}^{(1)}}$
${\displaystyle \vdots }$	${\displaystyle \vdots }$	${\displaystyle \vdots }$
Stichprobenwiederholung B:	${\displaystyle x_{1}^{(B)},\ldots x_{n}^{(B)}}$	${\displaystyle \longrightarrow {\hat {\vartheta }}^{(B)}}$

Daher ergibt sich

${\displaystyle {\widehat {\operatorname {Var} }}({\hat {\theta }})={\frac {1}{B-1}}\sum _{i=1}^{B}\left({\hat {\vartheta }}^{(i)}-{\bar {\vartheta }}\right)^{2}}$

mit ${\displaystyle {\bar {\vartheta }}={\frac {1}{B}}\sum _{i=1}^{B}{\hat {\vartheta }}^{(i)}}$. Bei der Schätzung kann das Stichprobendesign durch Gewichtung berücksichtigt werden.