Autoencoder

Ein Autoencoder ist ein künstliches neuronales Netz, das dazu genutzt wird, effiziente Codierungen zu lernen. Das Ziel eines Autoencoders ist es, eine komprimierte Repräsentation (Encoding) für einen Satz Daten zu lernen und somit auch wesentliche Merkmale zu extrahieren. Dadurch kann er zur Dimensionsreduktion genutzt werden.

Der Autoencoder benutzt drei oder mehr Schichten:

• Eine Eingabeschicht. Bei der Gesichtserkennung könnten die Neuronen beispielsweise die Pixel einer Fotografie abbilden.
• Einige signifikant kleinere Schichten, die das Encoding bilden.
• Eine Ausgabeschicht, in der jedes Neuron die gleiche Bedeutung hat wie das entsprechende in der Eingabeschicht.

Wenn lineare Neuronen benutzt werden, ist er der Hauptkomponentenanalyse sehr ähnlich.

Definition

Ein Autoencoder ist ein geordnetes Tupel ${\displaystyle ({\mathcal {X}},{\mathcal {Z}},(E_{\phi })_{\phi \in \Phi },(D_{\theta })_{\theta \in \Theta })}$, wobei ${\displaystyle {\mathcal {X}}}$ ein messbarer Raum, ${\displaystyle {\mathcal {Z}}}$ eine beliebige Menge und ${\displaystyle E_{\phi }:{\mathcal {X}}\to {\mathcal {Z}},D_{\theta }:{\mathcal {Z}}\to {\mathcal {X}}}$ durch die Indexmengen ${\displaystyle \Phi ,\Theta }$ parametrisierte Funktionen sind. Die ${\displaystyle E_{\phi }}$ werden Encoder und die ${\displaystyle D_{\theta }}$ Decoder genannt.

In Anwendungen wird oft ${\displaystyle {\mathcal {X}}=\mathbb {R} ^{m},{\mathcal {Z}}=\mathbb {R} ^{n}}$ für ${\displaystyle m\geq n}$ gewählt. Für die Encoder und Decoder werden oft Familien von mehrlagigen Perzeptronen gewählt.

Intuitiv gesehen projiziert der Encoder die anfänglichen Daten in einen Raum mit üblicherweise tieferer Dimension, und der Decoder hat als Aufgabe, die ursprünglichen Daten wieder zu rekonstruieren. Das Ziel ist es nun, Encoder und Decoder so zu wählen, dass der Unterschied zwischen den ursprünglichen Daten und den rekonstruierten Daten möglichst gering ist. Dies formalisiert sich wie folgt.

Die Aufgabe des Autoencoders ist es, für eine gegebene Funktion ${\displaystyle d:{\mathcal {X}}\times {\mathcal {X}}\to [0,\infty ]}$ (${\displaystyle d}$ kann beispielsweise eine Metrik sein) und eine gegebene Wahrscheinlichkeitsverteilung ${\displaystyle \mu }$ auf ${\displaystyle {\mathcal {X}}}$ den erwarteten Rekonstruktionsfehler

${\displaystyle L(\phi ,\theta )=\mathbb {E} [d(X,D_{\theta }(E_{\phi }(X)))]}$

zu minimieren. Hierbei bezeichnet ${\displaystyle X}$ eine ${\displaystyle \mu }$-verteilte, ${\displaystyle {\mathcal {X}}}$-wertige Zufallsvariable.

In Anwendungen ist oftmals ${\displaystyle \mu ={\frac {1}{N}}\sum _{k=1}^{N}\delta _{x_{k}}}$, wobei ${\displaystyle (x_{1},\dots ,x_{N})}$ ein Datensatz bestehend aus ${\displaystyle N}$ Datenpunkten ist (hier bezeichnet ${\displaystyle \delta _{x}}$ das Dirac-Maß im Punkte ${\displaystyle x}$). Zudem wird für ${\displaystyle {\mathcal {X}}=\mathbb {R} ^{m}}$ oftmals der quadratische Abstand ${\displaystyle d((x_{1},\dots ,x_{m}),(y_{1},\dots ,y_{m}))=\sum _{k=1}^{m}(x_{k}-y_{k})^{2}}$ gewählt.

Training

Das Training des Auto-Encoders besteht in der Suche nach ${\displaystyle \phi \in \Phi ,\theta \in \Theta }$, für die ${\displaystyle L(\phi ,\theta )}$ möglichst klein wird. Ein Autoencoder wird häufig mit einer der vielen Backpropagation-Varianten (CG-Verfahren, Gradientenverfahren etc.) trainiert. Obwohl diese Methode oft sehr effektiv ist, gibt es fundamentale Probleme damit, neuronale Netzwerke mit verborgenen Schichten zu trainieren. Sind die Fehler einmal zu den ersten paar Schichten rückpropagiert, werden sie unbedeutend. Das bedeutet, dass das Netzwerk fast immer lernt, den Durchschnitt der Trainingsdaten zu lernen. Obwohl es fortgeschrittene Backpropagation-Methoden (wie die conjugate gradient method) gibt, die diesem Problem zum Teil abhelfen, läuft dieses Verfahren auf langsames Lernen und schlechte Ergebnisse hinaus. Um dem abzuhelfen, verwendet man anfängliche Gewichtungen, die dem Ergebnis schon ungefähr entsprechen. Dies wird Pretraining genannt.

Bei einer Pretraining-Technik, die von Geoffrey Hinton dazu entwickelt wurde, vielschichtige Autoencoder zu trainieren, werden benachbarte Schichten als begrenzte Boltzmann-Maschine behandelt, um eine gute Annäherung zu erreichen und dann Backpropagation als Fine-Tuning zu benutzen.

Erweiterungen

Variational Autoencoder erlauben das Generieren von neuen Daten, da als interne Repräsentation eine Parametrisierung einer Verteilung gelernt wird.

Weblinks

• Reduzierung der Dimensionalität von Daten mit Neuronalen Netzwerken (Science, 28 July 2006, Hinton & Salakhutdinov)