Maximum-Entropie-Methode
Die Maximum-Entropie-Methode oder MEM ist eine Methode der Bayesschen Statistik, die erlaubt, trotz mangelhafter problemspezifischer Information eine A-priori-Wahrscheinlichkeit zuzuweisen. Sie ersetzt frühere Ansätze wie etwa das von Laplace formulierte „Prinzip vom unzureichenden Grunde“.
Ursprung und Vorgehensweise
Die Methode wurde 1957 von Edwin Thompson Jaynes in Anlehnung an Methoden der statistischen Mechanik und der Shannonschen Informationstheorie eingeführt.[1] Grundlage ist, in Abwesenheit von Information die Entropie der A-priori-Wahrscheinlichkeit zu maximieren, da jede andere Zuweisung willkürliche Einschränkungen der betrachteten Situation träfe. Die Maximum-Entropie-Methode legt sich so wenig wie möglich fest. Jaynes zufolge[2] ist dies aber nur der letzte Schritt, um nach Einfüllen aller vorhandenen Information etwaige noch bestehende Lücken zu schließen.
In der statistischen Physik bedeutet dies: „Unter allen Zuständen eines physikalischen Systems, die kompatibel mit dem vorhandenen Wissen über das System sind, ist jener zu wählen, welcher die Entropie maximiert.“
Die Methode wird zur optimalen Extraktion von Information aus verrauschten Signalen in Abhängigkeit vom Signal-Rausch-Verhältnis verwendet. Sie findet in der Spektralanalyse und der digitalen Bildverarbeitung Anwendung.
Definition
Entropie ist ein Maß für den Informationsgehalt einer Zufallsvariablen . Ein weniger wahrscheinliches Ergebnis vermittelt mehr Informationen als ein wahrscheinlicheres Ergebnis. Entropie ist also ein Maß für die Unsicherheit eines Ergebnisses. Wenn das Ziel darin besteht, eine möglichst „unwissende“ Wahrscheinlichkeitsverteilung zu finden, sollte die Entropie folglich maximal sein. Formal ist Entropie wie folgt definiert:
Wenn eine diskrete Zufallsvariable mit der Wahrscheinlichkeitsverteilung ist, dann ist die Entropie von definiert als
Wenn eine stetige Zufallsvariable mit der Wahrscheinlichkeitsdichte ist, dann ist die differentielle Entropie von definiert als[3]
Wallis-Verteilung
Ein Ansatz zur Berechnung der Entropie wurde von Graham Wallis vorgeschlagen. Es sind Informationen gegeben, die Wahrscheinlichkeiten verschiedenen Zufallsvariablen zuweisen. Die Gesamtwahrscheinlichkeit wird unter ihnen aufgeteilt, also gilt .
Wählt man einige ganze Zahlen , die wesentlich größer als sind, und stellt sich vor, man hat kleine Mengen von Wahrscheinlichkeiten, jeweils von der Größe , um sie auf richtige Weise zu verteilen. Angenommen, man soll diese Mengen unter Möglichkeiten zufällig verteilen. Wenn man diese Wahrscheinlichkeiten so verteilt, so dass jede Box die gleiche Wahrscheinlichkeit hat, erhält man, dass das Zufallsexperiment folgende Wahrscheinlichkeiten hat: . Die Wahrscheinlichkeit, dass dies geschehen wird, ist die Multinomialverteilung .
Für große folgt aus der Stirlingformel
Logarithmieren ergibt
Nimmt man den Logarithmus von und ersetzt durch die Näherung der Stirlingformel, erhält man schließlich die Definition der Informationsentropie, wie sie durch den Satz von Shannon abgeleitet wird:[3]
Lagrange-Multiplikatoren
Anstatt die Einschränkungsgleichungen zu verwenden, um die Anzahl der Unbekannten zu verringern, kann man die Anzahl der Unbekannten erhöhen. Man definiert die Lagrange-Multiplikatoren und und dann die Lagrange-Funktion
wobei . Der Lagrange-Multiplikator wird wie Entropie in Bit gemessen, und wird in Bit pro Einheit gemessen. Wenn in Joule pro Kelvin ausgedrückt wird und natürliche Logarithmen in der Entropiedefinition verwendet werden, ist die Formel für etwas anders:
und die Einheiten für und sind nicht mehr in Bits: ist dimensionslos und wird mit dem Inversen der Einheiten von ausgedrückt.[4]
Anwendungen in den Wirtschaftswissenschaften
Ein relativ neues Anwendungsgebiet der MEM stellt die Makroökonomik dar. Im Rahmen der ökonophysikalischen Strömung, die abseits des wirtschaftswissenschaftlichen Mainstreams verschiedene Methoden der statistischen Mechanik auf die Modellierung der Wirtschaft anwendet, kam es zur Verwendung der MEM.[5]
Anwendungen in der Ökologie
In der Biogeographie wird die Maximum-Entropie-Methode zur Modellierung von Verbreitungsgebieten verwendet. Ein Beispiel dafür ist die Software Maxent.[6]
Literatur
- Nailong Wu: The Maximum Entropy Method. Springer, Berlin 1997, ISBN 978-3-540-61965-9.
- Edwin Thompson Jaynes: Information Theory and Statistical Mechanics. In: The Physical Review. Band 106, Nr. 4, 15. Mai 1957, S. 620–630 (bayes.wustl.edu [PDF]).
Weblinks
Einzelnachweise
- ↑ Edwin Thompson Jaynes: Information Theory and Statistical Mechanics. In: The Physical Review. Band 106, Nr. 4, 15. Mai 1957, S. 620–630 (bayes.wustl.edu [PDF]).
- ↑ Persi Diaconis: A Frequentist Does This, A Bayesian That. In: SIAM News. 13. März 2004 (volltext [abgerufen am 28. Dezember 2007]).
- ↑ a b Michael Franke: The Maximum Entropy Principle
- ↑ Massachusetts Institute of Technology: Principle of Maximum Entropy
- ↑ Duncan K. Foley: Statistical Equilibrium in Economics: Method, Interpretation, and an Example (Memento vom 8. September 2006 im Internet Archive) In: XII Workshop on „General Equilibrium: Problems, Prospects and Alternatives“ 07-1999 New School University, New York.
- ↑ Steven J. Phillips, Miroslav Dudík, Robert E. Schapire (2006): Maximum entropy modeling of species geographic distributions. Ecological Modelling 190, 231-259. pdf