Ensemble learning

Ensemblemethoden werden in der Statistik und für Machine Learning eingesetzt.^[1] Sie nutzen eine endliche Menge von verschiedenen Lernalgorithmen, um bessere Ergebnisse zu erhalten als mit einem einzelnen Lernalgorithmus. Die Berechnung der Ergebnisse dieser Menge von Algorithmen dauert zwar länger als die Auswertung eines einzelnen Algorithmus, allerdings kann bereits mit einer viel geringeren Rechentiefe ein in etwa gleich gutes Ergebnis erreicht werden.

Ein wichtiges Einsatzgebiet von Ensemble Learning sind Entscheidungsbäume. Ein großer Entscheidungsbaum neigt zu hohen Fehlerraten und einer hohen Varianz, da von der Wurzel zu den Blättern viele Entscheidungsknoten liegen, die alle unter Unsicherheit durchlaufen werden. Bagging würde hier etwa viele kleine Entscheidungsbäume berechnen, und den Durchschnitt ihrer Ergebnisse verwenden, wodurch die Varianz (und damit auch die Fehlerrate) deutlich sinkt.

Arten von Ensembles

Bayes Optimal Classifier

Der Bayes Optimal Classifier liefert stets das beste Ergebnis folgender Formel:

${\displaystyle y=\mathrm {argmax} _{c_{j}\in C}\sum _{h_{i}\in H}{P(c_{j}|h_{i})P(T|h_{i})P(h_{i})}}$

Es kann sogar gezeigt werden, dass kein anderes Ensemble im Durchschnitt diese Methode übertreffen kann. Leider lässt sich dieses Verfahren nicht praktisch einsetzen, da ${\displaystyle argmax}$ über alle Hypothesen im Hypothesenraum iteriert und dieser Raum in den allermeisten Fällen viel zu groß zum Abzählen ist.

Bagging

Bagging kombiniert mehrere Vorhersagen aus Regressions- oder Klassifikationsmodellen, wobei die einzelnen Vorhersagen gleich gewichtet und am Ende der Durchschnitt der Vorhersagen bestimmt wird.^[2]

Boosting

Boosting (engl. "Verstärken") fusioniert viele schwache Klassifikatoren zu einem starken Klassifikator. Dieses allgemeine Verfahren hat sehr viele verschiedene Implementierungen, die bekannteste ist AdaBoost.

Weitere Methoden

Weitere, aktuell bei Data Scientists beliebte Methoden sind Zufallswald und Gradientenverstärkte Bäume.

Einzelnachweise

1. ↑ Murphy: Machine Learning: A Probabilistic Perspective. Hrsg.: MIT Press. 2012. 
2. ↑ Leo Breiman: Bagging predictors. In: Machine Learning. Band 24, Nr. 2, 1. August 1996, ISSN 0885-6125, S. 123–140, doi:10.1007/BF00058655 (springer.com [abgerufen am 15. März 2016]).