Evidence lower bound

Die Evidence lower bound (kurz ELBO)^[1], ist eine untere Schranke der Log-Likelihood-Funktion beobachteter Daten (X) und nützlich bei der Variational Inference.

Definition

Seien $X$ und $Z$ Zufallsvariablen, dann gilt für ${\displaystyle p_{\theta }(X)=\int p_{\theta }(X,Z=z)p(Z=z)dz.}$ Unter Einführung von ${\displaystyle q_{\phi }(Z=z)}$ als einfach zu verwendender Stichproben-Vorschlags-Verteilung gilt: ${\displaystyle p_{\theta }(X)=\int p_{\theta }(X,Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}q_{\phi }(Z=z)dz=E_{z\sim q_{\phi }}\left[p_{\theta }(X,Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}\right].}$

Somit gilt für die Log-Likelihood aufgrund der Jensen-Ungleichung: ${\displaystyle \log(p_{\theta }(X))=\log \left(E_{z\sim q_{\phi }}\left[p_{\theta }(X,Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}\right]\right)\geq E_{z\sim q_{\phi }}\left[\log \left(p_{\theta }(X,Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}\right)\right].}$

${\displaystyle E_{z\sim q_{\phi }}\left[\log \left(p_{\theta }(X,Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}\right)\right]}$ wird als ELBO bezeichnet.

Der Importance-Sampling-Schätzer der ELBO ist: ${\displaystyle {\hat {E}}_{z\sim q_{\phi }}\left[\log \left(p_{\theta }(X,Z=z){\frac {p(Z=z)}{q_{\phi }(Z=z)}}\right)\right]={\frac {1}{N}}\sum _{i=1}^{N}\log \left(p_{\theta }(X,Z=z_{i}){\frac {p(Z=z_{i})}{q_{\phi }(Z=z_{i})}}\right)}$

Anwendung

Die Minimierung der Kullback-Leibler-Divergenz ist äquivalent zur Maximierung der Evidence lower bound. Die evidence lower bound wird bei der variational inference optimiert.

Einzelnachweise

1. ↑ An Introduction to Bayesian Inference, Methods and Computation, Nick Heard, 2021, ISBN 978-3-030-82808-0, https://www.google.de/books/edition/An_Introduction_to_Bayesian_Inference_Me/9t5IEAAAQBAJ?hl=de&gbpv=1&dq=evidence%20lower%20bound&pg=PA57&printsec=frontcover