Multivariate Verteilung

Eine multivariate Verteilung ist in der Wahrscheinlichkeitsrechnung und in der Statistik die Verteilung eines Zufallsvektors – also einer Zufallsvariablen, deren Werte Vektoren im ${\displaystyle \mathbb {R} ^{n}}$ sind. Im zweidimensionalen Fall ${\displaystyle n=2}$ spricht man auch von einer bivariaten Verteilung. Die multivariate Verteilung eines Zufallsvektors ${\displaystyle X=(X_{1},\dotsc ,X_{n})}$ ist somit ein Wahrscheinlichkeitsmaß auf ${\displaystyle \mathbb {R} ^{n}}$, das messbaren Teilmengen ${\displaystyle A\subseteq \mathbb {R} ^{n}}$ die Wahrscheinlichkeit zuordnet, dass ${\displaystyle X}$ einen Wert aus ${\displaystyle A}$ annimmt. Eine multivariate Verteilung kann durch eine multivariate Verteilungsfunktion charakterisiert werden. Die Verteilungen der einzelnen Komponenten ${\displaystyle X_{i}}$ eines Zufallsvektors werden die Randverteilungen von ${\displaystyle X}$ genannt. Beispiele für multivariate Verteilungen sind die Multinomialverteilung oder die multivariate Normalverteilung, weitere finden sich in der Liste multivariater und matrixvariater Wahrscheinlichkeitsverteilungen.

Einführendes Beispiel

Wir betrachten zwei Zufallsexperimente:

1. Zweimaliges Würfeln mit einem idealen Würfel. Dies ist äquivalent zu einem Urnenexperiment mit sechs unterscheidbaren Kugeln, wobei zweimal mit Zurücklegen gezogen wird. Es gibt 36 mögliche Ergebnispaare (da wir die Reihenfolge des Würfelns bzw. der Ziehung berücksichtigen), und alle 36 Möglichkeiten sind gleich wahrscheinlich, haben also eine Wahrscheinlichkeit von 1/36.
2. Ein ähnliches Urnenexperiment, aber ohne Zurücklegen. In diesem Fall kommen die Ergebnisse (1,1), (2,2), …, (6,6) nicht vor, da die ${\displaystyle i}$-te Kugel beim zweiten Ziehen nicht vorkommen kann, wenn sie bereits bei der ersten Ziehung herausgenommen wurde. Die übrigen 30 Paare sind gleich wahrscheinlich und haben daher die Wahrscheinlichkeit 1/30.

Diese beiden Experimente ergeben nun zweidimensionale diskrete Zufallsvariablen ${\displaystyle Z_{1}}$ und ${\displaystyle Z_{2}}$, welche die gleichen Randverteilungen haben (jede Zahl von 1 bis 6 ist bei beiden Experimenten in beiden Ziehungen gleich wahrscheinlich und tritt mit Wahrscheinlichkeit 1/6 auf).

Jedoch sind die beiden Ziehungen im ersten Experiment unabhängig, da die gezogene Kugel zurückgelegt wird, während sie im zweiten Experiment nicht unabhängig sind. Das wird am deutlichsten, wenn man sich klarmacht, dass die Paare (1,1), (2,2), …, (6,6) bei einem unabhängigen Experiment jeweils mit Wahrscheinlichkeit 1/36 vorkommen müssen (Produkt der Randwahrscheinlichkeiten 1/6), sie aber beim zweiten Experiment überhaupt nicht auftreten können (Wahrscheinlichkeit 0 haben), da die Kugel nicht zurückgelegt wird.

Die Verteilungen von ${\displaystyle Z_{1}}$ und ${\displaystyle Z_{2}}$ sind daher verschieden; es handelt sich also um ein Beispiel zweier unterschiedlicher diskreter multivariater Verteilungen mit gleichen Randverteilungen.

Bivariate Verteilung

Die Realisationen eines bivariaten Zufallsvektors (einer zweidimensionalen Zufallsvariablen) ${\displaystyle Z=(X,Y)}$ sind Vektoren in ${\displaystyle \mathbb {R} ^{2}=\mathbb {R} \times \mathbb {R} }$. Die bivariate Verteilung des Zufallsvektors ${\displaystyle Z}$ liegt durch die Angabe der Wahrscheinlichkeiten

${\displaystyle P(Z\in B)\quad {\text{für alle }}B\in {\mathcal {B}}(\mathbb {R} ^{2})}$

fest, wobei ${\displaystyle {\mathcal {B}}(\mathbb {R} ^{2})}$ die Borelsche σ-Algebra auf ${\displaystyle \mathbb {R} ^{2}}$ bezeichnet. Durch ${\displaystyle P_{Z}(B):=P(Z\in B)}$ für alle ${\displaystyle B\in {\mathcal {B}}(\mathbb {R} ^{2})}$ ist ein Wahrscheinlichkeitsmaß ${\displaystyle P_{Z}\colon {\mathcal {B}}(\mathbb {R} ^{2})\to [0,1]}$ definiert, das ${\displaystyle (\mathbb {R} ^{2},{\mathcal {B}}(\mathbb {R} ^{2}),P_{Z})}$ zu einem Wahrscheinlichkeitsraum macht. ${\displaystyle P_{Z}}$ ist die bivariate Wahrscheinlichkeitsverteilung oder kurz bivariate Verteilung von ${\displaystyle Z}$.

Bivariate Verteilungsfunktion

Die Verteilung des Zufallsvektors ${\displaystyle Z}$ liegt bereits dann fest, wenn die Wahrscheinlichkeiten

${\displaystyle P(Z\in (-\infty ,x]\times (-\infty ,y])\quad {\text{für alle }}x,y\in \mathbb {R} }$

gegeben sind. Dies motiviert das Konzept der bivariaten Verteilungsfunktion des Zufallsvektors ${\displaystyle Z}$, die durch

${\displaystyle F_{Z}(x,y)=P(X\leq x,Y\leq y)\quad {\text{für alle }}x,y\in \mathbb {R} }$

definiert ist. Durch Angabe der Funktion ${\displaystyle F_{Z}\colon \mathbb {R} ^{2}\to [0,1]}$ liegt die Wahrscheinlichkeitsverteilung von ${\displaystyle Z}$ fest, da sich aus den durch die Verteilungsfunktion angegebenen Wahrscheinlichkeiten mit den Regeln der Wahrscheinlichkeitsrechnung die Wahrscheinlichkeiten aller anderen Ereignisse ergeben.

Bivariate Dichtefunktion

Falls der Zufallsvektor ${\displaystyle Z}$ eine bivariate (oder zweidimensionale) Dichtefunktion ${\displaystyle f_{X,Y}}$ besitzt, dann besteht zwischen der bivariaten Verteilungsfunktion und der bivariaten Dichtefunktion der Zusammenhang

${\displaystyle F_{Z}(x,y)=\int _{-\infty }^{y}\int _{-\infty }^{x}f_{X,Y}(u,v)\mathrm {d} u\,\mathrm {d} v}$.

Somit liegt durch die Angabe einer bivariaten Dichtefunktion die bivariate Verteilungsfunktion und damit die bivariate Verteilung fest.

Bivariate Verteilung und bedingte Wahrscheinlichkeiten

Wenn die Zufallsvariable diskret ist, dann kann man die gemeinsame Verteilung mit Hilfe bedingter Wahrscheinlichkeiten so schreiben:

${\displaystyle {\begin{aligned}\mathrm {P} (X=x\ \mathrm {und} \ Y=y)&{}=\mathrm {P} (Y=y\mid X=x)\cdot \mathrm {P} (X=x)\\&{}=\mathrm {P} (X=x\mid Y=y)\cdot \mathrm {P} (Y=y)\end{aligned}}}$

und im stetigen Fall entsprechend

${\displaystyle f_{X,Y}(x,y)=f_{Y|X}(y|x)f_{X}(x)=f_{X|Y}(x|y)f_{Y}(y).}$

Hier sind ${\displaystyle f_{Y|X}(y|x)}$ und ${\displaystyle f_{X|Y}(x|y)}$ die bedingten Dichten (${\displaystyle Y}$ unter der Bedingung ${\displaystyle X=x}$, bzw. von ${\displaystyle X}$ unter der Bedingung ${\displaystyle Y=y}$) und ${\displaystyle f_{X}(x),f_{Y}(y)}$ die Dichten der Randverteilungen von ${\displaystyle X}$ und ${\displaystyle Y}$.

Stochastische Unabhängigkeit

Die Komponenten des Zufallsvektors ${\displaystyle Z=(X,Y)}$ sind genau dann stochastisch unabhängig, wenn

${\displaystyle P(X\leq x,Y\leq y)=P(X\leq x)\cdot P(Y\leq y)\quad {\text{für alle }}x,y\in \mathbb {R} }$

gilt. Anderenfalls liegt stochastische Abhängigkeit vor. Wenn für diskrete Zufallsvariablen

${\displaystyle P(X=x,Y=y)=P(X=x)\cdot P(Y=y)\quad {\text{für alle }}x,y\in \mathbb {R} }$

gilt oder wenn für stetige Zufallsvariablen

${\displaystyle f_{X,Y}(x,y)=f_{X}(x)\cdot f_{Y}(y)\quad {\text{für alle }}x,y\in \mathbb {R} }$

gilt, dann sind die Zufallsvariablen ${\displaystyle X}$ und ${\displaystyle Y}$ unabhängig.

Abhängigkeitsstruktur und Copula

Wenn die Komponenten des Zufallsvektors ${\displaystyle (X,Y)}$ nicht stochastisch unabhängig sind, kann die Abhängigkeitsstruktur durch die sogenannte Copula charakterisiert werden. In der Abbildung ist ein Beispiel für die Modellierung der Abhängigkeitsstruktur mit Hilfe einer speziellen Copula gezeigt. Insbesondere ist das ein Beispiel dafür, dass eine bivariate Zufallsvariable mit normalen Randverteilungen nicht bivariat normalverteilt sein muss.

Der allgemeine mehrdimensionale Fall

Multivariate Verteilungen ordnen einem geeigneten Teilmengensystem von ${\displaystyle \mathbb {R} ^{n}}$, dem sogenannten Ereignissystem, Wahrscheinlichkeiten zu. Typischerweise wird als Ereignissystem die Borelsche σ-Algebra auf ${\displaystyle \mathbb {R} ^{n}}$ gewählt, die mit ${\displaystyle {\mathcal {B}}(\mathbb {R} ^{n})}$ bezeichnet wird. Aus wahrscheinlichkeitstheoretischer Sicht gilt: „Multivariate Verteilungen sind Wahrscheinlichkeitsmaße auf ${\displaystyle {\mathcal {B}}(\mathbb {R} ^{n})}$.“^[1]

Bei Anwendungen, insbesondere im Bereich der Statistik, steht ein Zufallsvektor (eine ${\displaystyle n}$-dimensionale Zufallsvariable), ${\displaystyle X:\Omega \to \mathbb {R} ^{n}}$ im Vordergrund, dessen Komponenten Zufallsvariablen sind. Der Zufallsvektor ${\displaystyle X=(X_{1},\dots ,X_{n})}$ besitzt dann eine multivariate Verteilung, die das Bildmaß ${\displaystyle P_{X}}$ von ${\displaystyle P}$ unter ${\displaystyle X}$ ist. Dabei gilt

${\displaystyle P_{X}(B)=P(X\in B)\quad {\text{für alle }}B\in {\mathcal {B}}(\mathbb {R} ^{n})\;.}$

Verteilungsfunktion

Die Verteilungsfunktion ${\displaystyle F_{P}}$ einer multivariaten Verteilung ${\displaystyle P\colon {\mathcal {B}}(\mathbb {R} ^{n})\to [0,1]}$ ist durch

${\displaystyle F_{P}(x_{1},\dots ,x_{n})=P((-\infty ,x_{1}]\times \dots \times (-\infty ,x_{n}])\quad {\text{für alle }}(x_{1},\dots ,x_{n})\in \mathbb {R} ^{n}}$

definiert.^[2]

Die Verteilungsfunktion ${\displaystyle F_{X}}$ eines Zufallsvektors ${\displaystyle X\colon \Omega \to \mathbb {R} ^{n}}$ ist durch

${\displaystyle F_{X}(x_{1},\dots ,x_{n})=P(X_{1}\leq x_{1},\dots ,X_{n}\leq x_{n})=P(X\in (-\infty ,x_{1}]\times \dots \times (-\infty ,x_{n}])\quad {\text{für alle }}(x_{1},\dots ,x_{n})\in \mathbb {R} ^{n}}$

definiert.^[3]

Besitzt der Zufallsvektor ${\displaystyle X=(X_{1},\dots ,X_{n})}$ eine Dichtefunktion ${\displaystyle f_{X}\colon \mathbb {R} ^{n}\to [0,\infty )}$, dann hängen die Verteilungsfunktion ${\displaystyle F_{X}}$ und die Dichte ${\displaystyle f_{X}}$ über

${\displaystyle F_{X}(x_{1},\dots ,x_{n})=\int _{-\infty }^{x_{n}}\dots \int _{-\infty }^{x_{1}}f_{X}(u_{1},\dots ,u_{n})\mathrm {d} u_{1}\dots \mathrm {d} u_{n}}$

zusammen.^[3]

Randverteilungen

Es gibt für Randverteilungen mehr Möglichkeiten als im zweidimensionalen Fall, da nun Randverteilungen für jede niedrigere Dimension ${\displaystyle 1\leq k<n}$ existieren und man ${\displaystyle {n \choose k}}$ Möglichkeiten hat, einen ${\displaystyle k}$-dimensionalen Teilvektor aus einem ${\displaystyle n}$-dimensionalen Vektor auszuwählen. Beispielsweise gibt es im dreidimensionalen Fall zur Verteilung des Zufallsvektors ${\displaystyle (X_{1},X_{2},X_{3})}$ die drei eindimensionale Randverteilungen der Komponenten ${\displaystyle X_{1}}$, ${\displaystyle X_{2}}$ und ${\displaystyle X_{3}}$ sowie die drei zweidimensionale Randverteilungen der Teilvektoren ${\displaystyle (X_{1},X_{2})}$, ${\displaystyle (X_{1},X_{3})}$ und ${\displaystyle (X_{2},X_{3})}$.

Verteilungen von Zufallsmatrizen

Eine Zufallsmatrix ${\displaystyle \mathbf {X} }$ ist eine Matrix, deren Elemente Zufallsvariablen sind. Sie kann als eine Funktion ${\displaystyle \mathbf {X} \colon \Omega \to \mathbb {R} ^{m\times n}}$ aufgefasst werden. Die Verteilung einer Zufallsmatrix ordnet den (Borel-messbaren) Teilmengen von ${\displaystyle \mathbb {R} ^{m\times n}}$ Wahrscheinlichkeiten zu.

Im Zusammenhang mit der Schätzung der Kovarianzmatrix einer ${\displaystyle d}$-dimensionalen multivariaten Normalverteilung spielt eine ${\displaystyle d\times d}$-dimensionale Wishart-Verteilung eine entscheidende Rolle.^[4][5] Die Wishart-Verteilung ist eine Matrix-Verallgemeinerung der Chi-Quadrat-Verteilung.^[6]

Spezielle multivariate Verteilungen

Diskrete multivariate Verteilungen

Spezielle multivariate Verteilungen sind z. B. die Multinomialverteilung,^[7] die negative Multinomialverteilung,^[8] die multivariate Poissonverteilung,^[9] die multivariate hypergeometrische Verteilung,^[10] die multivariate Pólya-Eggenberger-Verteilung^[11] und die multivariate Ewens-Verteilung^[12].

Stetige multivariate Verteilungen

Spezielle stetige multivariate Verteilungen sind z. B. die multivariate Normalverteilung,^[13] verschiedene Konzepte multivariater Exponentialverteilungen,^[14] Gammaverteilungen,^[15] logistischer Verteilungen,^[16] die multivariate Dirichlet-Verteilung,^[17] die multivariate Liouville-Verteilung^[18] und die multivariaten Extremwertverteilungen^[19].

Literatur

• Joachim Hartung, Bärbel Elpelt: Multivariate Statistik. Oldenbourg, München/Wien 1999, ISBN 3-486-25287-9.
• Samuel Kotz, Narayanaswamy Balakrishnan, Norman L. Johnson: Continuous Multivariate Distributions – Volume 1: Models and Applications. 2. Auflage. Wiley, New York 2000, ISBN 978-0-471-18387-7, doi:10.1002/0471722065. 
• Ludwig Fahrmeir, Alfred Hamerle (Hrsg.): Multivariate statistische Verfahren. de Gruyter, New York 1996, ISBN 3-11-008509-7.
• K. V. Mardia, J. T. Kent, J. M. Bibby: Multivariate Analysis. Acad. Press, New York 1979, ISBN 0-12-471250-9 (engl.).
• Norman L. Johnson, Samuel Kotz, Narayanaswamy Balakrishnan: Discrete Multivariate Distributions. Wiley, New York 1997, ISBN 978-0-471-12844-1. 

Einzelnachweise

1. ↑ Klaus D. Schmidt: Maß und Wahrscheinlichkeit. 2., durchgesehene Auflage. Springer, Berlin/Heidelberg 2011, ISBN 978-3-642-21025-9, S. 292. 
2. ↑ Klaus D. Schmidt: Maß und Wahrscheinlichkeit. 2., durchgesehene Auflage. Springer, Berlin/Heidelberg 2011, ISBN 978-3-642-21025-9, S. 294. 
3. ↑ ^{a b} K. V. Mardia, J. T. Kent und J. M. Bibby: Multivariate Analysis. 1979, S. 26. 
4. ↑ P. H. Müller (Hrsg.): Lexikon der Stochastik – Wahrscheinlichkeitsrechnung und mathematische Statistik. 5. Auflage. Akademie-Verlag, Berlin 1991, ISBN 978-3-05-500608-1, Wishart-Verteilung, S. 69. 
5. ↑ K. V. Mardia, J. T. Kent, J. M. Bibby: Multivariate Analysis. 1979, S. 69. 
6. ↑ K. V. Mardia, J. T. Kent, J. M. Bibby: Multivariate Analysis. 1979, S. 43. 
7. ↑ Norman L. Johnson, Samuel Kotz, Narayanaswamy Balakrishnan: Discrete Multivariate Distributions. 1997, Kap. 35. 
8. ↑ Norman L. Johnson, Samuel Kotz, Narayanaswamy Balakrishnan: Discrete Multivariate Distributions. 1997, Kap. 36. 
9. ↑ Norman L. Johnson, Samuel Kotz, Narayanaswamy Balakrishnan: Discrete Multivariate Distributions. 1997, Kap. 37. 
10. ↑ Norman L. Johnson, Samuel Kotz, Narayanaswamy Balakrishnan: Discrete Multivariate Distributions. 1997, Kap. 39. 
11. ↑ Norman L. Johnson, Samuel Kotz, Narayanaswamy Balakrishnan: Discrete Multivariate Distributions. 1997, Kap. 40. 
12. ↑ Norman L. Johnson, Samuel Kotz, Narayanaswamy Balakrishnan: Discrete Multivariate Distributions. 1997, Kap. 41. 
13. ↑ Samuel Kotz et al.: Continuous Multivariate Distributions. 2000, Kap. 44. 
14. ↑ Samuel Kotz et al.: Continuous Multivariate Distributions. 2000, Kap. 47. 
15. ↑ Samuel Kotz et al.: Continuous Multivariate Distributions. 2000, Kap. 48. 
16. ↑ Samuel Kotz et al.: Continuous Multivariate Distributions. 2000, Kap. 51. 
17. ↑ Samuel Kotz et al.: Continuous Multivariate Distributions. 2000, Kap. 49. 
18. ↑ Samuel Kotz et al.: Continuous Multivariate Distributions. 2000, Kap. 50. 
19. ↑ Samuel Kotz et al.: Continuous Multivariate Distributions. 2000, Kap. 53.