Standardfehler des Regressionskoeffizienten

In der Statistik ist der Standardfehler des Regressionskoeffizienten ein Maß für die Variabilität des Schätzers für den Regressionskoeffizienten. Der Standardfehler des Regressionskoeffizienten wird benötigt, um die Präzision der Schätzung des Regressionskoeffizienten beurteilen zu können, etwa anhand eines statistischen Tests oder eines Konfidenzintervalls.^[1]

Die Schätzung einer Regressionsgerade wird oft so angegeben, dass unter den ermittelten Koeffizienten die Standardfehler in Klammern angeführt werden. Damit erreicht man eine übersichtliche Darstellung der beiden Aspekte, der Punktschätzung sowie einer Angabe der Präzision.

Spezialfall: Lineare Einfachregression

In der linearen Einfachregression (nur eine erklärende Variable) ${\displaystyle y_{i}=\beta _{0}+x_{i}\beta _{1}+\varepsilon _{i}}$ ist der (geschätzte) Standardfehler des Regressionskoeffizienten (hier des Anstiegs ${\displaystyle {\hat {\beta }}_{1}}$) gegeben durch die positive Quadratwurzel der geschätzten Varianz von ${\displaystyle {\hat {\beta }}_{1}}$ (siehe auch Lineare Einfachregression#Varianzen der Kleinste-Quadrate-Schätzer):

${\displaystyle {\hat {\sigma }}_{{\hat {\beta }}_{1}}=\operatorname {SE} ({\hat {\beta }}_{1})={\sqrt {\frac {{\hat {\sigma }}^{2}}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}}}$

mit der erwartungstreuen Schätzung der Varianz der Störgrößen

${\displaystyle {\hat {\sigma }}^{2}={\frac {1}{n-2}}\sum \limits _{i=1}^{n}(y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{i})^{2}}$,

dessen empirisches Pendant das mittlere Residuenquadrat

${\displaystyle MQR={\frac {SQR}{n-2}}}$

ist. Daher folgt für den (empirischen) Standardfehler des Anstiegs:^[2]

${\displaystyle s_{b_{1}}={\sqrt {\frac {MQR}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}}}$.

Mit diesem Standardfehler lässt sich die Präzision der Schätzung des Anstiegs ${\displaystyle \beta _{1}}$ beurteilen, z. B. mittels eines Konfidenzintervalls. Ein ${\displaystyle (1-\alpha )}$-Konfidenzintervall für den unbekannten (wahren) Regressionskoeffizienten ${\displaystyle \beta _{1}}$ ist gegeben durch:^[3]

${\displaystyle KI_{1-\alpha }(\beta _{1})=\left[b_{1}-s_{b_{1}}t_{1-\alpha /2}(n-2);b_{1}+s_{b_{1}}t_{1-\alpha /2}(n-2)\right]}$,

wobei ${\displaystyle t_{1-\alpha /2}(n-2)}$ das ${\displaystyle (1-\alpha /2)}$-Quantil der studentschen t-Verteilung mit ${\displaystyle (n-2)}$ Freiheitsgraden ist.

Multiple lineare Regression

Gegeben ein typisches multiples lineares Regressionsmodell ${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$, mit ${\displaystyle {\boldsymbol {\beta }}}$ dem ${\displaystyle p\times 1}$ Vektor der unbekannten Regressionsparameter, der ${\displaystyle n\times p}$ Versuchsplanmatrix ${\displaystyle \mathbf {X} }$, dem ${\displaystyle n\times 1}$ Vektor der abhängigen Variablen ${\displaystyle \mathbf {y} }$ und dem ${\displaystyle n\times 1}$ Vektor der Störgrößen ${\displaystyle {\boldsymbol {\varepsilon }}}$. Dann ist in der multiplen linearen Regression ist die erwartungstreuen Schätzung der Varianz der Störgrößen in Matrixschreibweise gegeben durch die Residuenquadratsumme adjustiert durch die residualen Freiheitsgrade:

${\displaystyle {\hat {\sigma }}^{2}=SQR/(n-k-1)={\frac {{\hat {\boldsymbol {\varepsilon }}}^{\top }{\hat {\boldsymbol {\varepsilon }}}}{n-k-1}}}$.

Für den Standardfehler der (geschätzten) Regressionskoeffizienten folgt daraus, dass sie gegeben sind durch die Quadratwurzel des ${\displaystyle j}$-ten Diagonalelements der geschätzten Kovarianzmatrix des Kleinste-Quadrate-Schätzers^[4]

${\displaystyle \operatorname {SE} ({\hat {\beta }}_{j})={\sqrt {{\hat {\sigma }}^{2}(\mathbf {X} ^{\top }\mathbf {X} )_{jj}^{-1}}}}$.

Eine andere Darstellung mittels des Bestimmtheitsmaßes ist^[5]

${\displaystyle \operatorname {SE} ({\hat {\beta }}_{j})={\sqrt {\frac {{\tfrac {1}{n-p}}\sum \nolimits _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}}{(1-{\mathit {R}}_{j}^{2})\sum \nolimits _{i=1}^{n}(x_{ij}-{\overline {x}}_{j})^{2}}}}}$.

Einzelnachweise

1. ↑ Axel M. Gressner, Torsten Arndt: Lexikon der Medizinischen Laboratoriumsdiagnostik. Springer-Verlag, 2013., 3. Auflage, S. 2209.
2. ↑ Werner Timischl: Angewandte Statistik. Eine Einführung für Biologen und Mediziner. 2013, 3. Auflage, S. 313.
3. ↑ Werner Timischl: Angewandte Statistik. Eine Einführung für Biologen und Mediziner. 2013, 3. Auflage, S. 327.
4. ↑ Lothar Sachs, Jürgen Hedderich: Angewandte Statistik: Methodensammlung mit R. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/ Heidelberg 2018, ISBN 978-3-662-56657-2, S. 806
5. ↑ Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 5. Auflage. Nelson Education, 2015, S. 101.