Logistische Regression

Unter logistischer Regression oder Logit-Modell versteht man in der Statistik Regressionsanalysen zur (meist multiplen) Modellierung der Verteilung abhängiger diskreter Variablen. Wenn logistische Regressionen nicht näher als multinomiale oder geordnete logistische Regressionen gekennzeichnet sind, ist zumeist die binomiale logistische Regression für dichotome (binäre) abhängige Variablen gemeint. Die unabhängigen Variablen können dabei ein beliebiges Skalenniveau aufweisen, wobei diskrete Variablen mit mehr als zwei Ausprägungen in eine Serie binärer Dummy-Variablen zerlegt werden.

Im binomialen Fall liegen Beobachtungen der Art ${\displaystyle (y_{i};x_{i1},x_{i2},\ldots ,x_{ik}),\,i=1,\ldots ,n}$ vor, wobei ${\displaystyle Y_{i}}$ eine binäre abhängige Variable (den so genannten Regressanden) bezeichnet, deren Wert ${\displaystyle y_{i}\in \{0,1\}}$ zusammen mit bekannten und festen Werten von ${\displaystyle k}$ Regressoren (Kovariablen, erklärenden Variablen) ${\displaystyle x_{i1},x_{i2},\ldots ,x_{ik}}$ auftritt. ${\displaystyle n}$ bezeichnet die Anzahl der Beobachtungen.

Motivation

Die Einflüsse auf diskrete Variablen können nicht mit dem Verfahren der klassischen linearen Regressionsanalyse untersucht werden, da wesentliche Anwendungsvoraussetzungen, insbesondere eine Normalverteilung der Residuen und Homoskedastizität, nicht gegeben sind. Ferner kann ein lineares Regressionsmodell bei einer solchen Variablen zu unzulässigen Vorhersagen führen: Wenn man die beiden Ausprägungen der abhängigen Variablen mit 0 und 1 kodiert, so kann man zwar die Vorhersage eines linearen Regressionsmodells als Vorhersage der Wahrscheinlichkeit auffassen, dass die abhängige Variable den Wert 1 annimmt – formal: ${\displaystyle \mathrm {P} (Y_{i}=1)}$ –, doch kann es dazu kommen, dass Werte außerhalb dieses Bereichs vorhergesagt werden. Die logistische Regression löst dieses Problem durch eine geeignete Transformation des Erwartungswerts der abhängigen Variablen ${\displaystyle \mathrm {P} (Y_{i}=1)}$.

Die Relevanz des Logit-Modells wird auch dadurch deutlich, dass Daniel McFadden und James Heckman im Jahr 2000 für ihren Beitrag zu seiner Entwicklung den Alfred-Nobel-Gedächtnispreis für Wirtschaftswissenschaften verliehen bekamen.

Das Modell der logistischen Regression ist ein Spezialfall des verallgemeinerten linearen Modells.

Modellspezifikation

Mit ${\displaystyle x_{i1},\dots ,x_{ik}}$ sind die Werte der Regressorvariablen für die ${\displaystyle i}$-te Beobachtung bezeichnet, mit ${\displaystyle \beta _{0},\beta _{1},\ldots ,\beta _{k}}$ sind die unbekannten Regressionskoeffizienten bezeichnet und mit

${\displaystyle \eta _{i}:=\beta _{0}+x_{i1}\beta _{1}+x_{i2}\beta _{2}+\dotsc +x_{ik}\beta _{k},\quad i=1,\dots ,n}$

sind die Werte ist des so genannten linearen Prädiktors bezeichnet.

Die beobachteten Werte ${\displaystyle y_{i}\in \{0,1\}}$ für ${\displaystyle i=1,\dots ,n}$ der erklärten Variablen werden als Realisierungen stochastisch unabhängiger Bernoulli-verteilter Zufallsvariablen ${\displaystyle Y_{1},\dots ,Y_{n}}$ aufgefasst. Deren Bernoulli-Parameter hängt auf nichtlineare Art über die Verteilungsfunktion

${\displaystyle F(x)={\frac {e^{x}}{1+e^{x}}}={\frac {1}{1+e^{-x}}},\quad x\in \mathbb {R} }$

der logistischen Verteilung, die auch logistische Funktion heißt, vom linearen Prädiktor und damit von den Werten der Regressorvariablen ab.

Das Modell der logistischen Regression postuliert dann für die Bernoulli-verteilten Zufallsvariablen ${\displaystyle Y_{1},\dots ,Y_{n}}$:

1. Die Zufallsvariablen ${\displaystyle Y_{1},\dots ,Y_{n}}$ sind stochastisch unabhängig,
2. ${\displaystyle \mathrm {P} (Y_{i}=1)=F(\eta _{i})={\frac {\exp(\eta _{i})}{1+\exp(\eta _{i})}}={\frac {1}{1+\exp(-\eta _{i})}},\quad i=1,\ldots ,n}$.

Eigenschaften

Die Zufallsvariablen ${\displaystyle Y_{1},\dots ,Y_{n}}$ sind im allgemeinen nicht identisch verteilt. Aus ${\displaystyle \eta _{i}=\eta _{j}}$ folgt, dass ${\displaystyle Y_{i}}$ und ${\displaystyle Y_{j}}$ identisch verteilt sind.

Für ${\displaystyle i=1,\dots ,n}$ gilt:

• ${\displaystyle 0<\mathrm {P} (Y_{i}=1)<1}$
• ${\displaystyle \mathrm {P} (Y_{i}=0)=1-\mathrm {P} (Y_{i}=1)={\frac {1}{1+\exp(\eta _{i})}}\in (0,1)}$
• ${\displaystyle \mathrm {E} [Y_{i}]=\mathrm {P} (Y_{i}=1)=F(\eta _{i})}$
• ${\displaystyle \mathrm {Var} [Y_{i}]=\mathrm {P} (Y_{i}=1)(1-\mathrm {P} (Y_{i}=1)=F(\eta _{i})F(-\eta _{i})}$

Die logistische Funktion ${\displaystyle F}$ ist invertierbar. Die Umkehrfunktion

${\displaystyle \mathrm {Logit} (p):=F^{-1}(p)=\ln \left({\frac {p}{1-p}}\right),\quad 0<p<1}$

heißt auch Logit-Funktion. Zu einer Wahrscheinlichkeit ${\displaystyle 0<p<1}$ heißt ${\displaystyle \mathrm {Logit} (p)}$ das Logit von ${\displaystyle p}$.

Zur Interpretation

Ausgehend von der Gleichung ${\displaystyle \mathrm {P} (Y_{i}=1)=F(\eta _{i})}$ ist ersichtlich, dass ${\displaystyle \eta _{i}=F^{-1}(\mathrm {P} (Y_{i}=1))}$ gilt, was äquivalent zu ${\displaystyle \eta _{i}=\ln {\frac {\mathrm {P} (Y_{i}=1)}{1-\mathrm {P} (Y_{i}=1)}}=\ln \underbrace {\frac {\mathrm {P} (Y_{i}=1)}{\mathrm {P} (Y_{i}=0)}} _{\operatorname {Odds} _{i}}.}$

Somit geht das Modell der logistischen Regression von der Idee Chancen (englisch odds) aus, d. h. dem Verhältnis von ${\displaystyle \mathrm {P} (Y_{i}=1)}$ zur Gegenwahrscheinlichkeit ${\displaystyle 1-\mathrm {P} (Y_{i}=1)=\mathrm {P} (Y_{i}=0)}$ (bei Kodierung der Alternativkategorie mit 0)

${\displaystyle \operatorname {Odds} _{i}:={\frac {\mathrm {P} (Y_{i}=1)}{1-\mathrm {P} (Y_{i}=1)}}={\frac {\mathrm {P} (Y_{i}=1)}{\mathrm {P} (Y_{i}=0)}}.}$

Die Chancen können zwar Werte größer 1 annehmen, doch ist ihr Wertebereich nach unten beschränkt (er nähert sich asymptotisch 0 an). Ein unbeschränkter Wertebereich wird durch die Transformation der Chancen in die sogenannten Logits

${\displaystyle \operatorname {Logit} _{i}:=\ln(\operatorname {Odds} _{i})=\ln \left({\frac {\mathrm {P} (Y_{i}=1)}{\mathrm {P} (Y_{i}=0)}}\right)}$

erzielt; diese können Werte zwischen minus und plus unendlich annehmen. Die Logits dienen als eine Art Kopplungsfunktion zwischen der Wahrscheinlichkeit und dem linearen Prädiktor. In der logistischen Regression wird dann die Regressionsgleichung

${\displaystyle \operatorname {Logit} _{i}=\beta _{0}+x_{i1}\beta _{1}+x_{i2}\beta _{2}+\dotsc +x_{ik}\beta _{k}}$

geschätzt; es werden also Regressionsgewichte bestimmt, nach denen die geschätzten Logits für gegebene Werte der Regressoren berechnet werden können. Die folgende Grafik zeigt, wie Logits (Ordinate) mit den Ausgangswahrscheinlichkeiten ${\displaystyle \mathrm {P} (Y_{i}=1)}$ (Abszisse) zusammenhängen:

Die Regressionskoeffizienten der logistischen Regression sind nicht einfach zu interpretieren. Daher bildet man häufig die sogenannten Effektkoeffizienten durch Exponenzieren; die Regressionsgleichung bezieht sich dadurch auf die Chancen:

${\displaystyle {\frac {\mathrm {P} (Y_{i}=1)}{\mathrm {P} (Y_{i}=0)}}=\operatorname {Odds} _{i}=\exp(\beta _{0}+x_{i1}\beta _{1}+x_{i2}\beta _{2}+\dotsc +x_{ik}\beta _{k}).}$

Betrachtet man nun die Änderung der ${\displaystyle \operatorname {Odds} _{i}}$ der i-ten Untersuchungseinheit, wenn sich für ${\displaystyle j}$-te erklärte Variable (${\displaystyle j\in \{1,\dots ,k\}}$) der Wert ${\displaystyle x_{ij}}$ auf ${\displaystyle x_{ij}+1}$ ändert, so betrachtet man:

${\displaystyle {\frac {\operatorname {Odds} _{i}(x_{i1},\dots ,x_{ij}+1,\dots ,x_{ik})}{\operatorname {Odds} _{i}(x_{i1},\dots ,x_{ij},\dots ,x_{ik})}}={\frac {\exp(\beta _{j}(x_{ij}+1))}{\exp(\beta _{j}x_{ij})}}=\exp(\beta _{j})}$

Die Koeffizienten ${\displaystyle \exp(\beta _{j})}$ für ${\displaystyle j=1,\dots ,k}$ werden oft auch als Effektkoeffizienten bezeichnet. Sie beschreiben das Chancenverhältnis, (eng. odds ratio) wenn sich ${\displaystyle x_{ij}}$ um ${\displaystyle \Delta x_{ij}=1}$ ändert. Hier bedeuten Effektkoeffizienten kleiner 1 einen negativen Einfluss auf die Chancen, ein positiver Einfluss ist gegeben, wenn ${\displaystyle \exp(\beta _{j})>1}$.

Durch eine weitere Transformation lassen sich die Einflüsse der logistischen Regression auch als Einflüsse auf die Wahrscheinlichkeiten ${\displaystyle \mathrm {P} (Y_{i}=1)}$ ausdrücken:

${\displaystyle \mathrm {P} (Y_{i}=1)=F(\eta _{i})={\frac {\exp(\beta _{0}+x_{i1}\beta _{1}+x_{i2}\beta _{2}+\dotsc +x_{ik}\beta _{k})}{1+\exp(\beta _{0}+x_{i1}\beta _{1}+x_{i2}\beta _{2}+\dotsc +x_{ik}\beta _{k})}}.}$

Schätzmethode und Likelihoodfunktion

Anders als bei der linearen Regressionsanalyse ist eine direkte Berechnung der besten Regressionskurve nicht möglich. Deshalb wird zumeist mit einem iterativen Algorithmus^[1] eine Maximum-Likelihood-Lösung geschätzt.

Aus den Modellannahmen ergibt sich die Likelihoodfunktion

${\displaystyle L(\beta _{0},\beta _{1},\ldots ,\beta _{k})=\prod _{i=1}^{n}\mathrm {P} (Y_{i}=y_{i})=\prod _{i:y_{i}=1}\mathrm {P} (Y_{i}=1)\,\prod _{i:y_{i}=0}\mathrm {P} (Y_{i}=0)=\prod _{i=1}^{n}\left({\frac {\exp(\eta _{i})}{1+\exp(\eta _{i})}}\right)^{y_{i}}\left({\frac {1}{1+\exp(\eta _{i})}}\right)^{1-y_{i}}\;,}$

deren numerische Maximierung bei fixierten Werten ${\displaystyle y_{i},x_{i1},\dots ,x_{ik}}$ für ${\displaystyle i=1,\dots ,n}$ zum Maximum-Likelihood-Schätzwert ${\displaystyle (b_{0},b_{1},\dots ,b_{k})}$ für den Parametervektor ${\displaystyle (\beta _{0},\beta _{1},\ldots ,\beta _{k})}$ führt.

Falls einzelne Parameter interpretiert werden sollen, und nicht nur der lineare Prädiktor zur Prognose verwendet werden soll, ist Multikollinearität der Regressoren schädlich.

Aus den Maximum-Likelihood-Schätzwerten ${\displaystyle b_{0},b_{1},\dots ,b_{k}}$ für die unbekannten Parameter ${\displaystyle \beta _{0},\beta _{1},\ldots ,\beta _{k}}$ erhält man durch Ersetzen die Schätzwerte

${\displaystyle {\hat {\eta }}_{i}=b_{0}+x_{i1}b_{1}+x_{i2}b_{2}+\dotsc +x_{ik}b_{k},\quad i=1,\dots ,n}$

für die linearen Prädiktoren ${\displaystyle \eta _{i}}$ und die Schätzwerte

${\displaystyle {\hat {P}}(Y_{i}=1)=F({\hat {\eta }}_{i}),\quad i=1,\dots ,n}$

für die Wahrscheinlichkeiten ${\displaystyle P(Y_{i}=1)}$.

Modelldiagnose

Die Regressionsparameter werden auf der Grundlage des Maximum-Likelihood-Verfahrens geschätzt. Inferenzstatistische Verfahren stehen sowohl für die einzelnen Regressionskoeffizienten als auch für das Gesamtmodell zur Verfügung (siehe Wald-Test und Likelihood-Quotienten-Test).

Regressionsdiagnostik

In Analogie zum linearen Regressionsmodell wurden Verfahren der Regressionsdiagnostik entwickelt, anhand derer einzelne Fälle mit übergroßem Einfluss auf das Ergebnis der Modellschätzung identifiziert werden können. Es gibt auch einige Vorschläge zur Berechnung einer Größe, die in Analogie zum Bestimmtheitsmaß ${\displaystyle {\mathit {R}}^{2}}$ der linearen Regression eine Abschätzung der „erklärten Variation“ erlaubt; man spricht hier von sogenannten Pseudo-Bestimmtheitsmaßen. Auch das Informationskriterium nach Akaike und das bayessche Informationskriterium werden in diesem Kontext gelegentlich herangezogen. Ebenfalls wird die ROC-Kurve zur Beurteilung der Vorhersagekraft logistischer Regressionen verwendet, wobei die Fläche unter der ROC-Kurve (kurz: AUROC) als Gütekriterium fungiert.^[2]

Hosmer-Lemeshow-Test

Insbesondere bei Modellen zur Risikoadjustierung wird häufig der Hosmer-Lemeshow-Test zur Bewertung der Anpassungsgüte verwendet.^[3][4] Die Berechnung der Testgröße beruht auf den beobachteten Werten ${\displaystyle y_{1},\dots ,y_{n}\in \{0,1\}}$ und den Schätzwerten

${\displaystyle p_{i}:={\hat {P}}(Y_{i}=1)=F({\hat {\eta }}_{i}),\quad i=1,\dots ,n}$

für die Eintrittswahrscheinlichkeiten. Die Grundidee dieses Tests ist, dass sich für eine Teilmengen der Untersuchungseinheiten mit ähnlichen geschätzten Eintrittswahrscheinlichkeiten die beobachteten relativen Häufigkeiten der eingetretenen Ereignisse und die durchschnittlichen geschätzten Eintrittswahrscheinlichkeiten nicht zu stark unterscheiden.

Alternativen und Erweiterungen

Eine Erweiterung der logistischen Regression stellt die ordinale logistische Regression (Geordnete logistische Regression) dar; eine Variante dieser ist das kumulative Logit-Modell.

Als (im Wesentlichen gleichwertige) Alternative kann das Probit-Modell herangezogen werden, bei dem eine Normalverteilung zugrunde gelegt wird.

Eine Übertragung der logistischen Regression (und des Probit-Modells) auf eine abhängige Variable mit mehr als zwei diskreten Merkmalen ist möglich – dies ist die multinomiale logistische Regression.

Literatur

• Hans-Jürgen Andreß, J.-A. Hagenaars, Steffen Kühnel: Analyse von Tabellen und kategorialen Daten. Springer, Berlin 1997, ISBN 3-540-62515-1.
• Dieter Urban: Logit Analyse. Lucius & Lucius, Stuttgart 1998, ISBN 3-8282-4306-1.
• Scott J. Long: Regression Models for Categorical and Limited Dependent Variables. Sage 1997, ISBN 0-8039-7374-8.
• Gerhard Tutz: Regression for Categorical Data. Cambridge University Press, Cambridge 2012, ISBN 978-1-107-00965-3, Kap. 2 Binary Regression: The Logit Model, S. 29–50. 
• Gerhard Tutz: Die Analyse kategorialer Daten – Anwendungsorientierte Einführung in Logit-Modellierung und kategoriale Regression. Oldenbourg, München / Wien 2000, ISBN 3-486-25405-7, Kap. 2 Logistische Regression und Logit-Modell für binäre abhängige Größe, S. 29–65. 
• David M. Hosmer, Stanley Lemeshow, Rodney X. Sturdivant: Applied Logistic Regression (= Wiley Series in Probability and Statistics). 3. Auflage. Wiley, Hoboken 2013, ISBN 978-0-470-58247-3, doi:10.1002/9781118548387. 
• Alan Agresti: Categorical Data Analysis. 2. Auflage. Wiley, New York 2002, ISBN 0-471-36093-7.

Weblinks

• Rede von Daniel McFadden zur Nobelpreisverleihung: Geschichte der Logit-Regression (englisch)
• Einführung in die Logistische Regression mit SPSS (PDF; 2,2 MB)

Einzelnachweise

1. ↑ Paul David Allison: Logistic regression using the SAS system theory and application. SAS Institute, Cary NC 1999, S. 48.
2. ↑ David M. Hosmer, Stanley Lemeshow, Rodney X. Sturdivant: Applied logistic regression. 2013, Abschnitt 5.2.4 Area Under the ROC Curve. 
3. ↑ David W. Hosmer, Stanley Lemeshow: Goodness of fit tests for the multiple logistic regression model. In: Communications in Statistics – Theory and Methods. Band 9, Nr. 10, 1980, S. 1043–1069, doi:10.1080/03610928008827941. 
4. ↑ David M. Hosmer, Stanley Lemeshow, Rodney X. Sturdivant: Applied logistic regression. 2013, Abschnitt 5.2.2 The Hosmer-Lemeshow Tests.