Kreuzentropie

Die Kreuzentropie ist in der Informationstheorie und der mathematischen Statistik ein Maß für die Qualität eines Modells für eine Wahrscheinlichkeitsverteilung. Eine Minimierung der Kreuzentropie in Bezug auf die Modellparameter kommt einer Maximierung der Log-Likelihood-Funktion gleich.

Definition

Sei $X$ eine Zufallsvariable mit Zielmenge $\Omega$, die gemäß $P$ verteilt ist. Es sei weiter $Q$ eine Verteilung auf demselben Ereignisraum.

Dann ist die Kreuzentropie definiert durch:

$H(X;P;Q)=H(X)+D(P\Vert Q)$

Hierbei bezeichne $H(X)$ die Entropie von $X$ und $D(P\|Q)$ die Kullback-Leibler-Divergenz der beiden Verteilungen.

Äquivalente Formulierung

Durch Einsetzen der beiden Definitionsgleichungen ${\displaystyle H(X)=-\sum _{x\in X}P(x)\log P(x)}$ und ${\displaystyle D(P\|Q)=\sum _{x\in X}P(x)\cdot \log {\frac {P(x)}{Q(x)}}}$ ergibt sich nach Vereinfachung im diskreten Fall

$H(X;P;Q)=-\sum _{x\in \Omega }P(X=x)\cdot \log Q(X=x)\,.$

und im stetigen Fall (mit Dichtefunktionen $p$ und $q$)

$H(X;P;Q)=-\int _{\Omega }p(x)\cdot \log q(x){\mathrm {d} }x$

Schätzung

Zwar hat die Kreuzentropie eine vergleichbare Aussagekraft wie die reine Kullback-Leibler-Divergenz, erstere lässt sich jedoch auch ohne genaue Kenntnis von $P$ schätzen. In der praktischen Anwendung ist daher $Q$ meist eine Approximation einer unbekannten Verteilung $P$.

Nach obiger Gleichung gilt:

${\displaystyle H(X;P;Q)=E_{P}(-\log Q(X))}$,

wobei $E$ den Erwartungswert gemäß der Verteilung $P$ bezeichnet.

Sind nun $x_{1};\dots ;x_{n}\in \Omega$ Realisierungen von ${\displaystyle X\sim P}$, d. h. eine unabhängig und identisch gemäß $P$ verteilte Stichprobe, so der Importance-Sampling-Schätzer

${\displaystyle {\hat {H}}(Q;n)=-{\frac {1}{n}}\sum _{i=1}^{n}\log Q(x_{i})}$

ein erwartungstreuer Schätzer für die Kreuzentropie.

Zusammenhang mit Log-Likelihood-Funktion

Gegeben sei ein Modell mit Parametern $\theta$ und (Ausgabe-)Wahrscheinlichkeitsdichte ${\displaystyle q_{\theta }}$ welches die Wahrscheinlichkeitsdichte ${\displaystyle p_{\mathrm {data} }}$ annähern soll. Der wahre Wert der Parameter^[1] $\theta$ maximiert die erwartete Log-Likelihood-Funktion ${\displaystyle E[\log(q_{\theta }(x))]=\int _{\Omega }dxp_{\mathrm {data} }(x)\log q_{\theta }(x)=-H(X;p_{\mathrm {data} },q_{\theta }).}$

Diese Gleichungen können mithilfe von Stichproben genähert werden: ${\displaystyle E[\log(q_{\theta }(x))]\approx {\widehat {\mathbf {E} }}_{n}[\log q_{\theta }(x);p_{\mathrm {data} }]={\frac {1}{n}}\sum _{i=1}^{n}\log q_{\theta }(x_{i})=-{\hat {H}}(X;p_{\mathrm {data} },q_{\theta })}$, wobei die Näherung wie unter Importance Sampling dargestellt folgt. Beachte, das Auftreten der Log-Likelihood-Funktion ${\displaystyle l=\sum _{i}\log q_{\theta }(x_{i})}$ in der Näherung, wobei die Skalierung ${\frac {1}{n}}$ die Lage des Maximums nicht verändert.

Abgeleitete Größen

Die Größe $2^{H(X;P;Q)}$ beziehungsweise $2^{H(X)}$ wird auch als Perplexität bezeichnet. Sie wird vor allem in der Spracherkennung verwendet.

Literatur

• Rubinstein, Reuven Y. / Kroese, Dirk P.: The Cross-Entropy Method - A Unified Approach to Combinatorial Optimization, Monte-Carlo Simulation and Machine Learning. Springer Verlag 2004, ISBN 978-0-387-21240-1.

Weblinks

• Statistische Sprachmodelle Universität München (PDF; 531 kB)

Einzelnachweise

1. ↑ Denis Conniffe: Expected Maximum Log Likelihood Estimation. In: The Statistician. Band 36, Nr. 4, 1987, ISSN 0039-0526, S. 317, doi:10.2307/2348828.