M-Schätzer

M-Schätzer, auch maximum-likelihood-artige Schätzer stellen eine Klasse von Schätzfunktionen dar, die als Verallgemeinerung der Maximum-Likelihood-Methode angesehen werden können. M-Schätzer sind im Vergleich zu anderen Schätzern wie z. B. den Maximum-Likelihood-Schätzern robuster gegen Ausreißer.

Dieser Artikel behandelt M-Schätzer zur Ermittlung des Lageparameters.

Herleitung durch Verallgemeinerung der Maximum-Likelihood-Methode

Das Prinzip von Maximum-Likelihood-Schätzern beruht darauf, die Funktion

${\displaystyle \sum _{i=1}^{n}-\ln f_{X_{i}}(x_{i};\Theta )}$

mit entsprechender Dichte- bzw. Wahrscheinlichkeitsfunktion ${\displaystyle f_{X}(x)}$ in Abhängigkeit von ${\displaystyle \Theta }$ zu minimieren.

Die Idee bei M-Schätzern ist, die Funktion ${\displaystyle -\ln f_{X_{i}}(x_{i};\Theta )}$ durch eine Funktion ${\displaystyle \rho (x;\Theta )}$ zu ersetzen, welche weniger empfindlich auf Ausreißer reagiert. Aufgabe ist es, den Ausdruck

${\displaystyle \sum _{i=1}^{n}\rho (x_{i};\Theta )}$

in Abhängigkeit von ${\displaystyle \Theta }$ zu minimieren, bzw. die Gleichung

${\displaystyle \sum \psi (x_{i};\Theta )=0}$

mit

${\displaystyle \psi (x_{i};\Theta )={\frac {\partial \rho }{\partial \Theta }}(x_{i};\Theta )}$

zu lösen.

Jede Lösung dieser Gleichung wird M-Schätzer genannt.

Implizite Definition

Sei ${\displaystyle F}$ eine beliebige Verteilungsfunktion und ${\displaystyle \psi }$ eine ungerade und monoton wachsende Funktion ungleich 0. Dann ist ${\displaystyle \mu _{\psi }(F)}$ definiert als die Lösung ${\displaystyle \mu =\mu _{\psi }(F)}$ der Gleichung

${\displaystyle \operatorname {E} (\psi (x-\mu ))=\int \psi (x-\mu )dF(x)=0}$

Beachtet werden muss, dass abhängig von der Wahl von ${\displaystyle \psi }$ und ${\displaystyle F}$ es entweder keine, eine oder mehrere Lösungen geben kann. Im Falle einer konkreten Stichprobe wird ${\displaystyle \mu =\mu _{\psi }(F_{n})}$, die Lösung von

${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}\psi (x_{i}-\mu )=\int \psi (x-\mu )dF_{n}(x)=0}$

M-Schätzer genannt.

Geeignete Funktionen ρ

Im Folgenden sind die ${\displaystyle x_{i}}$ gemäß

${\displaystyle z_{i}={\frac {x_{i}-\Theta }{S_{n}}}}$

standardisiert, um Skaleninvarianz zu erreichen. ${\displaystyle S_{n}}$ stellt hierbei einen Streuungschätzer dar, für den meist der MAD (Median Absolute Deviation) verwendet wird.

Die Gewichtsfunktionen im folgenden Bild zeigen die Unterschiede zwischen den Schätzern auf: bei Huber-k haben auch extreme Beobachtungen ein geringes Gewicht, beim Hampel-, Andrews wave- und Tukey's biweight-Schätzer wird extremen Beobachtungen das Gewicht Null zugeordnet.

Gewichtsfunktionen w(z) für verschiedene M-Schätzer. Die Parameterwerte entsprechen den Standardwerten von SPSS.

Robustheit

Bei geeigneter Wahl von ${\displaystyle \psi }$ (gerade, beschränkt und monoton steigend) haben M-Schätzer einen Bruchpunkt von ${\displaystyle \epsilon ^{*}=0{,}5}$.

Numerische Lösungsmethode

Für viele Funktionen ${\displaystyle \rho }$ lässt sich keine explizite Lösung angeben, sie muss daher numerisch berechnet werden. Wie üblich zur Berechnung von Nullstellenproblemen bietet sich auch hier das Newton-Raphson-Verfahren an, und es ergibt sich folgende Iterationsvorschrift, wobei wiederum ${\displaystyle z_{i}={\frac {x_{i}-\mu }{S_{n}}}}$ :

${\displaystyle \mu _{k+1}=\mu _{k}+{\frac {S_{n}\sum _{i=1}^{n}\psi (z_{i})}{\sum _{i=1}^{n}\psi ^{\prime }(z_{i})}}}$

Als geeigneter Startwert ${\displaystyle \mu _{0}}$ wird meist der Median verwendet. Dieses Iterationsverfahren konvergiert sehr schnell, meist sind zwei bis drei Iterationsschritte ausreichend.

W-Schätzer

W-Schätzer sind M-Schätzern sehr ähnlich und liefern im Normalfall gleiche Ergebnisse. Der einzige Unterschied liegt in der Lösung des Minimierungsproblems. W-Schätzer werden meist bei der robusten Regression eingesetzt.

Es wird die Wichtungsfunktion

${\displaystyle w(z)={\frac {\psi (z)}{z}}}$

mit

${\displaystyle \psi (x_{i};\Theta )={\frac {\partial \rho }{\partial \Theta }}(x_{i};\Theta )}$

eingeführt, mit deren Hilfe das Minimierungsproblem umgeschrieben werden kann in

${\displaystyle \sum _{i=1}^{n}z_{i}w(z_{i})=0}$

Einsetzen der Definition von ${\displaystyle z_{i}}$, ausmultiplizieren und umstellen ergibt schließlich über die Fixpunktgleichung

${\displaystyle \Theta ={\frac {\sum _{i=1}^{n}x_{i}w({\frac {x_{i}-\Theta }{S_{n}}})}{\sum _{i=1}^{n}w({\frac {x_{i}-\Theta }{S_{n}}})}}}$

die Iterationsvorschrift

${\displaystyle \Theta _{t+1}={\frac {\sum _{i=1}^{n}x_{i}w({\frac {x_{i}-\Theta _{t}}{S_{n}}})}{\sum _{i=1}^{n}w({\frac {x_{i}-\Theta _{t}}{S_{n}}})}}}$

Siehe auch

• Sogenannte RANSAC-Algorithmen

Literatur

• Robert G. Staudte: Robust estimation and testing. Wiley, New York 1990. ISBN 0-471-85547-2
• Rand R. Wilcox: Introduction to robust estimation and hypothesis testing. Academic Press, San Diego Cal 1997. ISBN 0-12-751545-3