Potenzmethode

Die Potenzmethode, Vektoriteration oder Von-Mises-Iteration (nach Richard von Mises)^[1] ist ein numerisches Verfahren zur Berechnung des betragsgrößten Eigenwertes und des dazugehörigen Eigenvektors einer Matrix. Der Name kommt daher, dass Matrixpotenzen ${\displaystyle A^{k}x}$ gebildet werden, wesentlicher Aufwand sind also Matrix-Vektor-Produkte. Deswegen ist das Verfahren insbesondere für dünnbesetzte Matrizen geeignet. Eine direkte Verallgemeinerung zur Berechnung mehrerer betragsgrößter Eigenwerte dünnbesetzter Matrizen ist die Unterraumiteration.

Die Potenzmethode lässt sich als nicht-optimales Krylow-Unterraum-Verfahren interpretieren, welches nur den jeweils letzten berechneten Vektor zur Eigenwertnäherung verwendet. Die Potenzmethode ist hinsichtlich der Konvergenzgeschwindigkeit den anderen Krylow-Raum-Verfahren, wie etwa dem Verfahren von Lanczos oder dem Verfahren von Arnoldi unterlegen. Dafür schneidet die Potenzmethode hinsichtlich der Stabilitätsanalyse besser ab.^[2]

Algorithmus

Motivation

Aus der Stochastik abgeleitet gibt es folgenden naiven Ansatz zur Eigenwertberechnung: Betrachtet man einen stochastischen Startvektor ${\displaystyle v_{0}}$ und eine spaltenstochastische Matrix ${\displaystyle S}$, dann ist die Wahrscheinlichkeitsverteilung einer Markow-Kette zum Zeitpunkt ${\displaystyle t}$ genau ${\displaystyle v_{t}=Sv_{t-1}}$. Falls nun die ${\displaystyle v_{t}}$ gegen einen Vektor ${\displaystyle v}$ konvergieren, so ist ${\displaystyle Sv=v}$ und wir haben eine vom Anfangszustand unabhängige stationäre Verteilung und damit auch einen Eigenvektor zum Eigenwert 1 gefunden. Formal ist also ${\displaystyle v=\lim _{i\rightarrow \infty }S^{i}v_{0}}$, es wurden Matrixpotenzen gebildet. Dieses Verfahren lässt sich nun für beliebige Matrizen verallgemeinern.

Allgemeiner Algorithmus

Gegeben sei eine quadratische Matrix ${\displaystyle A\in \mathbb {C} ^{n\times n}}$ und ein Startvektor ${\displaystyle r_{0}\in \mathbb {C} ^{n}}$ mit ${\displaystyle Ar_{0}\neq 0}$. In jedem Iterationsschritt wird die Matrix ${\displaystyle A}$ auf die aktuelle Näherung ${\displaystyle r_{k}}$ angewandt und dann normiert.

${\displaystyle r_{k+1}={\frac {Ar_{k}}{\Vert Ar_{k}\Vert }}}$

oder in geschlossener Form

${\displaystyle r_{k+1}={\frac {A^{k+1}r_{0}}{\Vert A^{k+1}r_{0}\Vert }}}$

Die Vektoren ${\displaystyle r_{k}}$ konvergieren gegen einen Eigenvektor zum betragsgrößten Eigenwert, sofern dieser Eigenwert halbeinfach ist und alle anderen Eigenwerte einen echt kleineren Betrag haben. Es existiert also ein Index ${\displaystyle d}$, so dass für die Eigenwerte gilt ${\displaystyle \lambda _{1}=\ldots =\lambda _{d}}$ und ${\displaystyle |\lambda _{d}|>|\lambda _{d+1}|\geq \ldots \geq |\lambda _{n}|}$. Hierbei ist ${\displaystyle d}$ die geometrische (und algebraische) Vielfachheit des Eigenwerts ${\displaystyle \lambda _{1}}$.

Der zum Vektor ${\displaystyle r_{k}}$ gehörende approximierte Eigenwert kann auf zwei Arten berechnet werden:

1. Bildet man die Skalare ${\displaystyle \theta _{k}={\frac {\langle r_{k},\,Ar_{k}\rangle }{\langle r_{k},\,r_{k}\rangle }}={\frac {\langle r_{k},\,Ar_{k}\rangle }{\Vert r_{k}\Vert _{2}^{2}}}}$ (den sogenannten Rayleigh-Quotienten), so konvergiert ${\displaystyle \theta _{k}}$ gegen ${\displaystyle \lambda _{1}}$. Dies folgt direkt aus der Konvergenz von ${\displaystyle r_{k}}$ gegen einen Eigenvektor.
2. Ist man nicht am Vorzeichen des Eigenwertes interessiert, so bietet sich ein einfacher Ansatz an: Da ${\displaystyle r_{k}}$ gegen einen Eigenvektor konvergiert und in jedem Schritt auf 1 normiert wird, konvergiert ${\displaystyle \Vert Ar_{k}\Vert }$ gegen ${\displaystyle |\lambda _{1}|}$ (unabhängig von der verwendeten Norm).

Ist ${\displaystyle A=VJV^{-1}}$ die Darstellung der quadratischen Matrix in der jordanschen Normalform, dann ergibt sich daraus ${\displaystyle A^{k}=(VJV^{-1})^{k}=VJ^{k}V^{-1}}$, also ${\displaystyle A^{k}V=VJ^{k}}$. Ist nun ${\displaystyle x=V{\tilde {x}}\in \mathbb {C} }$ ein zufälliger Vektor, dann gilt

${\displaystyle A^{k}x=A^{k}V{\tilde {x}}=VJ^{k}{\tilde {x}}=\sum _{i=1}^{n}v_{i}j_{i}^{k}{\tilde {x_{i}}}}$

Ausklammern eines konstanten Faktors ergibt

${\displaystyle A^{k}x=j_{1}^{k}\sum _{i=1}^{n}v_{i}\left({\frac {j_{i}}{j_{1}}}\right)^{k}{\tilde {x_{i}}}}$

Wenn ${\displaystyle |j_{1}|>|j_{i}|}$, dann gilt ${\displaystyle \lim _{i\to \infty }\left({\frac {j_{i}}{j_{1}}}\right)^{k}=0}$ für jedes ${\displaystyle j>1}$, und für große ${\displaystyle k}$ ist ${\displaystyle A^{k}x}$ fast parallel zu ${\displaystyle v_{1}}$, wenn ${\displaystyle {\tilde {x_{1}}}\neq 0}$. Das ist die Idee der Potenzmethode:^[3]

${\displaystyle x_{k}={\frac {Ax_{k}}{\Vert Ax_{k}\Vert }}={\frac {A^{k}x_{0}}{\Vert A^{k}x_{0}\Vert }}}$

Beweis der Konvergenz

Wir geben hier einen Beweis unter der Annahme, dass die Matrix ${\displaystyle A}$ diagonalisierbar ist. Der Beweis für den nichtdiagonalisierbaren Fall läuft analog.

O.B.d.A. seien die Eigenwerte wie oben angeordnet. Sei ${\displaystyle V}$ die Basiswechselmatrix zur Matrix ${\displaystyle A}$. Dann ist ${\displaystyle A^{k}=VD^{k}V^{-1}}$ wobei ${\displaystyle D}$ nach Voraussetzung eine Diagonalmatrix ist, welche die Eigenwerte enthält. Sei nun ${\displaystyle v_{1},\ldots ,v_{n}}$ eine Basis aus Eigenvektoren (die Spaltenvektoren von ${\displaystyle V}$) und ${\displaystyle r_{0}}$ ein Startvektor mit

${\displaystyle r_{0}=\sum _{i=1}^{n}\beta _{i}v_{i}\quad {\text{mit}}\;\beta _{1}v_{1}+\ldots +\beta _{d}v_{d}\neq 0}$

Dann ist

${\displaystyle \displaystyle {\begin{aligned}A^{k}r_{0}&=VD^{k}V^{-1}r_{0}\\&=VD^{k}(\beta _{1}e_{1}+\ldots +\beta _{n}e_{n})\\&=\lambda _{1}^{k}V\left(\beta _{1}e_{1}+\ldots +\beta _{d}e_{d}+\sum _{i=d+1}^{n}\left({\frac {\lambda _{i}}{\lambda _{1}}}\right)^{k}e_{i}\right)\\&=\lambda _{1}^{k}\left(\beta _{1}v_{1}+\ldots +\beta _{d}v_{d}+\underbrace {\sum _{i=d+1}^{n}\left({\frac {\lambda _{i}}{\lambda _{1}}}\right)^{k}v_{i}} _{\to 0{\text{ für }}k\to \infty }\right)\end{aligned}}}$

Da nach der Voraussetzung gilt, dass ${\displaystyle {\tfrac {|\lambda _{i}|}{|\lambda _{1}|}}<1\;{\text{für}}\;i\geq d+1}$. Wegen

${\displaystyle \lim _{k\to \infty }\lambda _{1}^{k}={\begin{cases}\pm \infty &\;{\text{für}}\;|\lambda _{1}|>1\\0&\;{\text{für}}\;|\lambda _{1}|<1\end{cases}}}$

wird in jedem Schritt die Normierung des Vektors auf 1 durchgeführt. Die oben angegebene Bedingung an den Startvektor besagt, dass er einen Nichtnullanteil in Richtung des Eigenvektors haben muss. Dies ist aber meist nicht einschränkend, da sich diese Bedingung durch Rundungsfehler in der Praxis oftmals von alleine ergibt.

Konvergenzgeschwindigkeit

Unter der häufigen starken Voraussetzung, dass der Eigenwert einfach, betragsmäßig einfach und gut separiert ist, konvergieren sowohl die Eigenwertnäherungen als auch die Eigenvektornäherungen linear mit der Konvergenzgeschwindigkeit ${\displaystyle |\lambda _{2}|/|\lambda _{1}|}$, wobei die Eigenwerte dem Betrage nach abfallend sortiert angenommen werden, ${\displaystyle |\lambda _{1}|>|\lambda _{2}|\geq \ldots \geq |\lambda _{n}|}$. Diese Voraussetzung ist zum Beispiel nach dem Satz von Perron-Frobenius bei Matrizen mit positiven Einträgen erfüllt. Des Weiteren haben noch Jordanblöcke einen Einfluss auf die Konvergenzgeschwindigkeit. Betrachte dazu als Beispiel die Matrizen

${\displaystyle A={\begin{pmatrix}1&0&0&0\\0&0{,}8&0&0\\0&0&0{,}8&0\\0&0&0&0{,}8\end{pmatrix}}\quad {\text{mit}}\quad A^{n}={\begin{pmatrix}1&0&0&0\\0&0{,}8^{n}&0&0\\0&0&0{,}8^{n}&0\\0&0&0&0{,}8^{n}\end{pmatrix}}}$

und

${\displaystyle B={\begin{pmatrix}1&0&0&0\\0&0{,}8&1&0\\0&0&0{,}8&1\\0&0&0&0{,}8\end{pmatrix}}\quad {\text{mit}}\quad B^{n}={\begin{pmatrix}1&0&0&0\\0&0{,}8^{n}&n\cdot 0{,}8^{n-1}&{\tfrac {n(n-1)}{2}}\cdot 0{,}8^{n-2}\\0&0&0{,}8^{n}&n\cdot 0{,}8^{n-1}\\0&0&0&0{,}8^{n}\end{pmatrix}}}$

Beide haben den Eigenvektor ${\displaystyle e=(1,0,0,0)^{T}}$ zum betragsgrößten Eigenwert ${\displaystyle \lambda _{1}=1}$ und die Separation der Eigenwerte ist ${\displaystyle |\lambda _{2}/\lambda _{1}|=0{,}8}$. Unter Verwendung der Maximumsnorm ${\displaystyle \|x\|_{\infty }:=\max(|x_{1}|,\ldots ,|x_{n}|)}$ und des Startvektors ${\displaystyle r_{0}=(1,1,1,1)^{T}}$ konvergiert die Matrix ${\displaystyle A}$ mit linearer Konvergenzgeschwindigkeit, während die Matrix ${\displaystyle B}$ erst nach ca. 60 Iterationsschritten ein brauchbares Ergebnis liefert (vergleiche Bild).

Verwendung

Da zur Berechnung des Gleichgewichtszustandes großer Markow-Ketten nur der Eigenvektor zum betragsgrößten Eigenwert bestimmt werden muss, kann hierfür die Potenzmethode verwendet werden, wie bereits im Abschnitt „Motivation“ beschrieben wurde. Insbesondere kann hier auf die Normierung in jedem Rechenschritt verzichtet werden, da die betrachtete Matrix stochastisch ist und damit die Betragsnorm des stochastischen Vektors erhält. Ein Beispiel dafür ist die Berechnung der PageRanks eines großen gerichteten Graphen als betragsgrößten Eigenvektor der Google-Matrix. Insbesondere sind bei der Google-Matrix die Eigenwerte gut separiert, sodass eine schlechte Konvergenzgeschwindigkeit ausgeschlossen werden kann.^[4]

Varianten

Hat man einen Eigenwert ${\displaystyle \lambda }$ ausgerechnet, kann man das Verfahren auf die Matrix ${\displaystyle A-\lambda V}$ anwenden, um ein weiteres Eigenwert-Eigenvektor-Paar zu bestimmen. Hierbei sei ${\displaystyle V}$ das Kronecker-Produkt des Eigenvektors zum jeweiligen Eigenwert ${\displaystyle \lambda }$ mit sich selbst. Dabei wird vorausgesetzt, dass ${\displaystyle A}$ unitär diagonalisierbar ist. ${\displaystyle A-\lambda V}$ erhält dabei alle Eigenwerte von ${\displaystyle A}$ mit Ausnahme von ${\displaystyle \lambda }$ (${\displaystyle \lambda =0}$).

Darüber hinaus gibt es die inverse Iteration, bei der das Verfahren auf ${\displaystyle (A-\lambda I)^{-1}}$ angewandt wird, indem in jedem Schritt lineare Gleichungssysteme gelöst werden.

Vergleiche mit anderen Krylowraum-Verfahren

Die Potenzmethode ist den anderen Krylowraum-Verfahren sehr ähnlich. Es finden sich die typischen Bestandteile der komplexeren Verfahren wieder, so etwa die Normierung der konstruierten Basisvektoren, die Erweiterung des Krylowraumes und die Berechnung von (Elementen von) Projektionen im letzten Schritt.

Literatur

• Josef Stoer, Roland Bulirsch: Numerische Mathematik 2. 5. Auflage. Springer, Berlin/Heidelberg/New York 2005, ISBN 978-3-540-23777-8.
• Peter Knabner, Wolf Barth: Lineare Algebra. Grundlagen und Anwendungen (= Springer-Lehrbuch). Springer, Berlin 2012, ISBN 978-3-642-32185-6. 
• Hans R. Schwarz, Norbert Köckler: Numerische Mathematik. 5. Auflage. Teubner, Stuttgart 2004, ISBN 3-519-42960-8.

Einzelnachweise

1. ↑ R. von Mises und H. Pollaczek-Geiringer, Praktische Verfahren der Gleichungsauflösung, ZAMM - Zeitschrift für Angewandte Mathematik und Mechanik 9, 152–164 (1929).
2. ↑ J. H. Wilkinson, The Algebraic Eigenvalue Problem, Oxford University Press (1965).
3. ↑ Cornell University: Power iteration.
4. ↑ The Second Eigenvalue of the Google Matrix . Website der Stanford University . Abgerufen am 30. August 2013.