Empirische Risikominimierung

Empirische Risikominimierung ist ein häufig angewendetes Prinzip der statistischen Inferenz^[1]. Sie wird beim überwachten Lernen verwendet. Beim maschinellen Lernen ist es häufig nicht möglich, alle möglichen Eingabedaten zu kennen oder zu testen. Daher wird bei der empirischen Risikominimierung mit einer bekannten Teilmenge der möglichen Eingabedaten gearbeitet.

Die Risikofunktion ist:

${\displaystyle R(h_{\theta })=\mathbf {E} [L(h_{\theta }(x),y)]=\int L(h_{\theta }(x),y)\,dP(x,y),}$

wobei L eine Verlustfunktion (z. B. die 0-1 Verlustfunktion) ist, ${\displaystyle h_{\theta }}$ eine von den Realisierungen ${\displaystyle x}$ abhängige und durch ${\displaystyle \theta }$ parametrisierte Hypothese, y ein Label. Die Risikominimierung hat zum Ziel ${\displaystyle R(h_{\theta })}$ zu minimieren, indem die Parameter ${\displaystyle \theta }$ angepasst werden. Beispielsweise minimiert der Bayes-Klassifikator das Risiko einer Falschklassifikation.

Ziel der Lernverfahren ist es die Hypothese ${\displaystyle h_{\theta ^{*}}}$ im Raum der untersuchten Hypothesen ${\displaystyle {\mathcal {H}}}$ zu finden, für das Risiko minimiert wird:

${\displaystyle h_{\theta ^{*}}={\underset {h\in {\mathcal {H}}}{\operatorname {arg\,min} }}\,{R(h)},}$

siehe auch arg min.

In der empirischen Risikominimierung stehen jedoch nicht die echten Wahrscheinlichkeitsdichten ${\displaystyle P(x,y)}$ zur Verfügung, sodass stattdessen der empirische Schätzer ${\displaystyle {\hat {R}}(h_{\theta })={\frac {1}{n}}\sum _{i=1}^{n}L(h_{\theta }(x_{i}),y_{i})}$ minimiert wird, welcher nach dem Gesetz der großen Zahlen gegen den Erwartungswert konvergiert.

Die Auswahl einer Verlustfunktion entscheidet über die Modellausgabe. Im Rahmen der Probabilistischen Klassifikation können Scoring rules als Verlustfunktion eingesetzt werden um die Wahrscheinlichkeitskalibrierung zu verbessern.

Minimierung des mittleren quadratischen Fehlers ${\displaystyle \operatorname {M} SE({\hat {Y}}(X),Y)=\operatorname {E} _{Y|X}\left(\left(Y-{\hat {Y}}(X)\right)^{2}\right)}$ liefert eine Schätzung des bedingten Erwartungswertes^[2]: ${\displaystyle {\frac {\partial \operatorname {M} SE({\hat {Y}}(X),Y)}{\partial {\hat {Y}}(X)}}=-2\operatorname {E} _{Y|X}\left(\left(Y-{\hat {Y}}(X)\right)\right){\overset {!}{=}}0\implies \operatorname {E} _{Y|X}\left(Y-{\hat {Y}}(X)\right)=0\implies \operatorname {E} _{Y|X}\left(Y\right)=\operatorname {E} _{Y|X}\left({\hat {Y}}(X)\right)={\hat {Y}}(X)}$

Minimierung des mittleren absoluten Fehlers ${\displaystyle \operatorname {M} AE({\hat {Y}}(X),Y)=\operatorname {E} _{Y|X}\left(\left|Y-{\hat {Y}}(X)\right|\right)}$ liefert eine Schätzung des bedingten Medians: ${\displaystyle {\frac {\partial \operatorname {M} AE({\hat {Y}}(X),Y)}{\partial {\hat {Y}}(X)}}{\overset {!}{=}}0\implies {\hat {Y}}(X)=\mathrm {Median} _{Y|X}}$ wobei beim Beweis auf die Leibnizregel für Parameterintegrale zurückgegriffen wird.

Minimierung des Erwartungswertes der Quantilsverlustfunktion liefert die Quantilsschätzung, der Beweis greift (wie beim mittleren absoluten Fehler) auf die Leibnizregel für Parameterintegrale zurück:

${\displaystyle 0=\partial _{\hat {Y}}Q_{\tau }(Y,{\hat {Y}}(X))=\partial _{\hat {Y}}\operatorname {E} _{Y|X}\left(w_{\tau }(Y,{\hat {Y}}(X))|Y-{\hat {Y}}(X)|\right),}$ wobei ${\displaystyle w_{\tau }(Y,{\hat {Y}}(X))={\begin{cases}1-\tau &{\textrm {falls}}\quad Y<{\hat {Y}}(X)\\\tau &{\textrm {falls}}\quad Y>{\hat {Y}}(X)\end{cases}}.}$

Im Kontext der MAPE-Regression wird die Nähe von ${\displaystyle g(X)}$ zu ${\displaystyle Y}$ durch Mean absolute percentage error gemessen, und das Ziel von MAPE-Regressionen besteht darin, ein Modell ${\displaystyle g_{\text{MAPE}}(x)}$ zu finden, so dass:

${\displaystyle Y_{\mathrm {MAPE} }(x)=\arg \min _{g\in {\mathcal {G}}}\mathbb {E} {\Biggl [}\left|{\frac {g(X)-Y}{Y}}\right||X=x{\Biggr ]}}$

wobei ${\displaystyle {\mathcal {G}}}$ die Klasse der in Betracht gezogenen Modelle ist.

In der Praxis kann ${\displaystyle Y_{\text{MAPE}}(x)}$ durch die Strategie der empirischen Risikominimierung geschätzt werden, was zu folgender Formel führt:

${\displaystyle {\widehat {Y}}_{\text{MAPE}}(x)=\arg \min _{g\in {\mathcal {G}}}\sum _{i=1}^{n}\left|{\frac {g(X_{i})-Y_{i}}{Y_{i}}}\right|}$

Es ist daher offensichtlich, dass die MAPE-Regression equivalent zu einer gewichteten Mean Absolute Error-Regression ist:

${\displaystyle {\widehat {Y}}_{\text{MAPE}}(x)=\arg \min _{g\in {\mathcal {G}}}\sum _{i=1}^{n}\underbrace {\frac {1}{|Y_{i}|}} _{w_{i}}\left|g(X_{i})-Y_{i}\right|,}$

mit Gewichten ${\displaystyle w_{i}}$

Tilted Empirical Risk Minimization (TERM)^[3] dient dazu eine Verlustfunktion wie die quadratische Abweichung durch die Einführung eines Tilting-Parameters anzupassen. Dieser Parameter passt die Gewichtung von Datenpunkten während des Trainings dynamisch an, wodurch der Algorithmus sich auf bestimmte Bereiche oder Eigenschaften der Datenverteilung konzentrieren kann. TERM ist besonders nützlich in Szenarien mit unausgeglichen Klassenhäufigkeiten (imbalanced data) oder wenn es erforderlich ist, Fehler in bestimmten Teilen des Vorhersageraums zu betonen.

Die nach Wichtigkeit gewichtete empirische Risikominimierung (Importance weighted Empirical Risk Minimization) beruht auf dem Prinzip des Importance Sampling und dient dazu, die Auswirkungen von Abweichungen zwischen der Verteilungen der Trainingsdaten und der realen Daten zu minimieren. Dies ist besonders relevant in Situationen, in denen eine verzerrte Stichprobenauswahl oder Verteilungsverschiebungen (distribution drifts) vorliegen^[4].

Empirische Risikominimierung kann mit kostensensitiver Optimierung in Verbindung gebracht werden^[5].

• Scoring rule
• Akquisitionsfunktion
• Fitnessfunktion

1. ↑ Ian Goodfellow, Yoshua Bengio, Aaron Courville: Deep Learning – Das umfassende Handbuch: Grundlagen, aktuelle Verfahren und Algorithmen, neue Forschungsansätze. MITP, Frechen 2018, ISBN 978-3-95845-702-7. 
2. ↑ Beachte: während dieses Resultat auch für heteroskedastische Fehler gilt, ist der Schätzer, welcher durch Minimierung des mittleren quadratischen Fehlers erhalten wird, nicht mehr am effizientesten (obwohl er unverzerrt ist).
3. ↑ Li, Tian et al. "Tilted empirical risk minimization." https://arxiv.org/abs/2007.01162
4. ↑ What is the Effect of Importance Weighting in Deep Learning? Jonathon Byrd, Zachary C. Lipton https://arxiv.org/abs/1812.03372v3
5. ↑ Maximum Likelihood in Cost-Sensitive Learning: Model Specification, Approximations, and Upper BoundsAuthors: Jacek P. Dmochowski, Paul Sajda, Lucas C. Parra, https://dl.acm.org/doi/10.5555/1756006.1953037