Homotopieverfahren

Homotopie-Verfahren (auch als Homotopiemethode, Fortsetzungs- oder Einbettungsverfahren bezeichnet) sind Berechnungsmethoden in der numerischen Mathematik zur Bestimmung von Lösungen nichtlinearer Gleichungssysteme. Ziel ist es dabei den Konvergenzbereich eines Verfahrens zur Lösung nichtlinearer Gleichungssysteme (wie zum Beispiel des Newtonverfahrens) zu vergrößern.

Eine Lösung eines nichtlinearen Gleichungssystems ${\displaystyle F(x)=0}$ ist ein Punkt ${\displaystyle x\in \mathbb {R} ^{n}}$, der in der Regel ${\displaystyle n}$ nichtlinearen Bedingungen ${\displaystyle F_{1}(x)=F_{2}(x)=\cdots =F_{n}(x)=0}$ genügt, die zu einer vektorwertigen nichtlinearen Funktion (Abbildung) ${\displaystyle F:\,\mathbb {R} ^{n}\to \mathbb {R} ^{n}}$ zusammengefasst werden. Bei vielen Anwendungen enthält die Funktion ${\displaystyle F}$ Problemparameter, etwa ${\displaystyle t\in \mathbb {R} }$, welche verschiedene Werte annehmen können. Ein bekanntes Beispiel ist das reale Pendel, dessen Schwingungsdauer nichtlinear von der reduzierten Pendellänge abhängt. In diesem Fall lautet das Gleichungssystem korrekter ${\displaystyle F(x,t)=0}$, und auch die Lösung ${\displaystyle x}$ hängt vom Parameter ${\displaystyle t}$ ab und bildet daher eine Lösungskurve ${\displaystyle x\colon [0,1]\to \mathbb {R} ^{n}}$ mit

${\displaystyle F{\bigl (}x(t),t{\bigr )}=0}$ für alle ${\displaystyle t\in [0,1]}$

Als möglicher Bereich des Parameters ${\displaystyle t}$ wurde dabei ohne Beschränkung der Allgemeinheit das Intervall ${\displaystyle [0,1]}$ gewählt. Die Existenz einer glatten Kurve folgt unter geeigneten Voraussetzungen aus dem Satz über implizite Funktionen. Homotopie-Verfahren sind numerische Verfahren, die solche implizit definierten Kurven verfolgen.

Eine prinzipielle Schwierigkeit beim Einsatz des Newton-Verfahrens ist die Bestimmung einer Start-Näherung, die nahe genug an der Lösung ${\displaystyle {\hat {x}}}$ liegen muss, um Konvergenz zu erreichen. Dieses Problem kann man durch Einbettung in eine Homotopie und die Verfolgung der Lösungskurve umgehen. Es sei jetzt ${\displaystyle G(x)=0,\ x\in \mathbb {R} ^{n}}$ das zu lösende nichtlineare Gleichungssystem mit Lösung ${\displaystyle {\hat {x}}}$. Dann kann man etwa durch

${\displaystyle F(x,t)=0,\quad F(x,t):=G(x)-(1-t)G(y),\quad t\in [0,1],}$

mit einem festen ${\displaystyle y\in \mathbb {R} ^{n}}$ ein Hilfsproblem definieren, dessen Lösung man an der Stelle ${\displaystyle t=0}$ kennt: ${\displaystyle 0{\stackrel {!}{=}}F(x,0)=G(x)-G(y)}$ ergibt offensichtlich ${\displaystyle x(0)=y}$. Andererseits ist die mit ${\displaystyle G}$ gesuchte Lösung gerade die an der Stelle ${\displaystyle t=1}$: ${\displaystyle 0{\stackrel {!}{=}}F(x,1)=G(x)}$, also ${\displaystyle {\hat {x}}=x(1)}$. Mit den im folgenden Abschnitt beschriebenen Verfahren kann nun die Kurve ${\displaystyle x(t)}$ von der bekannten Lösung in ${\displaystyle t=0}$ zur gesuchten in ${\displaystyle t=1}$ verfolgt werden.

Das schon erwähnte Newton-Verfahren konvergiert sehr schnell (quadratisch), aber nur lokal bei genügend genauer Startnäherung. Dies wird bei der Kurvenverfolgung ausgenutzt, dass der Parameter ${\displaystyle t}$ in kleinen Schritten vergrößert wird, etwa von ${\displaystyle 0\leq t_{m-1}}$ auf ${\displaystyle t_{m}=t_{m-1}+h_{m}\,}$. Dann ist die alte Lösung ${\displaystyle x(t_{m-1})}$ für eine kleine Schrittweite ${\displaystyle h_{m}}$ eine gute Startnäherung für das Problem ${\displaystyle F(x(t_{m}),t_{m})=0}$:

Trivialer Prädiktor

${\displaystyle \,\!x_{0}(t_{m}):=x(t_{m-1})}$,

Korrektoriteration

${\displaystyle \left.{\begin{array}{rl}D_{x}F(x_{k}(t_{m}),t_{m})v_{k}=&-F(x_{k}(t_{m}),t_{m}),\\[0.3em]x_{k+1}(t_{m})=&x_{k}(t_{m})+v_{k},\end{array}}\right\}k=0,1,\ldots .}$

Dabei ist ${\displaystyle \,\!D_{x}F}$ eine Kurzschreibweise für die quadratische Jacobi-Matrix der partiellen Ableitungen nach den Variablen ${\displaystyle x_{1},\ldots ,x_{n}}$.

Sie bildet die Matrix des linearen Gleichungssystems, das in jedem Newtonschritt für die Korrekturen ${\displaystyle s_{k}}$ zu lösen ist. Eine Skizze dieses Vorgehens zeigt das erste Diagramm.

Das zweite Diagramm verdeutlicht, dass man eine bessere Startnäherung erhält, wenn man vom Punkt ${\displaystyle x(t_{m-1})}$ aus in Richtung der Kurventangente geht. Die Tangente kann mit Hilfe der Kettenregel bestimmt werden. Denn da die Funktion ${\displaystyle F(x(t),t)}$ identisch verschwindet, tut dies auch ihre Ableitung,

${\displaystyle 0\equiv {\frac {d}{dt}}F(x(t),t)=D_{x}F(x(t),t)x'(t)+D_{t}F(x(t),t).}$

Im Punkt ${\displaystyle t_{m-1}}$ kann also die Tangentenrichtung ${\displaystyle z_{m-1}:=x'(t_{m-1})}$ aus einem linearen Gleichungssystem bestimmt werden. Dieses Verfahren lautet folgendermaßen:

Tangentialer Prädiktor

${\displaystyle \left.{\begin{array}{rl}D_{x}F{\big (}x(t_{m-1}),t_{m-1}{\big )}z_{m-1}=&-D_{t}F{\big (}x(t_{m-1}),t_{m-1}{\big )},\\[0.3em]x_{0}(t_{m})=&x(t_{m-1})+h_{m}z_{m-1},\end{array}}\right\}}$

Korrektoriteration

${\displaystyle \left.{\begin{array}{rl}D_{x}F(x_{k}(t_{m}),t_{m})v_{k}=&-F(x_{k}(t_{m}),t_{m}),\\x_{k+1}(t_{m})=&x_{k}(t_{m})+v_{k},\end{array}}\right\}k=0,1,\ldots .}$

Gegenüber dem einfachen Verfahren wurde nur die erste Gleichung ersetzt.

Das Diagramm zeigt, dass der Startfehler, den die (grün gezeichneten) Newtonschritte überbrücken müssen, in der Regel wesentlich kleiner als beim trivialen Prädiktor ist, bei einer glatten Kurve in der Größenordnung ${\displaystyle O(h_{m}^{2})}$. Diese Verbesserung erfordert sogar nur einen unwesentlichen Zusatzaufwand, denn die Matrix ${\displaystyle D_{x}F{\big (}x(t_{m-1}),t_{m-1}{\big )}}$ entspricht der aus dem Newtonschritt. Man kann daher die letzte LR-Zerlegung aus dem Newton-Verfahren für ${\displaystyle x(t_{m-1})}$ zur Berechnung der Tangente ${\displaystyle z_{m-1}}$ wiederverwenden.

Bei der praktischen Durchführung versucht man, die Konvergenz des Newton-Verfahrens durch Schrittweitensteuerung sicherzustellen. Dazu wählt man die Schrittweite ${\displaystyle h_{m}}$ so, dass die Kontraktion in den beiden ersten Newton-Schritten genügend klein ist, insbesondere kleiner eins. Wenn sich das gewählte ${\displaystyle h_{m}}$ nachträglich als zu groß herausstellt und das Newton-Verfahren schlecht oder gar nicht konvergiert, wiederholt man den Schritt ${\displaystyle t_{m-1}\to t_{m}=t_{m-1}+h_{m-1}}$ mit einem kleineren ${\displaystyle h_{m}}$.

Die beschriebenen Verfahren arbeiten nur dann problemlos, wenn die Funktion F genügend oft differenzierbar ist und die Jacobi-Matrix ${\displaystyle D_{x}F}$ überall regulär ist. Gilt letzteres nicht mehr, können Umkehrpunkte und Verzweigungspunkte der Kurve auftreten.

Nach Umkehrpunkten verläuft die Kurve „rückwärts“, in Verzweigungspunkten spaltet sie sich auf. In beiden Fällen ist daher eine (eindeutige) Parametrisierung nach der Variable t nicht mehr möglich. Daher betrachtet man t einfach als ${\displaystyle (n+1)}$-te Komponente der Unbekannten bei ${\displaystyle y=(x_{1},\ldots ,x_{n},t)^{T}}$ und parametrisiert die Kurve nach ihrer Bogenlänge s. Dann sucht man alle Lösungen

${\displaystyle y(s):\quad F(y(s))=0}$, wobei ${\displaystyle F:\,\mathbb {R} ^{n+1}\to \mathbb {R} ^{n}}$

ist. Dieses Gleichungssystem ist unterbestimmt und hat unendlich viele Lösungen, die unter geeigneten Voraussetzungen eine glatte Lösungskurve ${\displaystyle y(s)}$ bilden.

Wie zuvor folgt aus der Kettenregel ${\displaystyle F'(y(s))y'(s)\equiv 0}$, dass die Tangentenrichtung ${\displaystyle y'(s)}$ das homogene Gleichungssystem mit der vollen Jacobimatrix ${\displaystyle F'=\partial F/\partial y\in \mathbb {R} ^{n\times (n+1)}}$ erfüllt, also im Kern dieser Matrix liegt. Damit kann also wieder ein Prädiktor berechnet werden. Auch das Newton-Verfahren ist durchführbar, indem man eine Richtung wählt, die orthogonal zur Kurventangente, also zum Kern von ${\displaystyle F'(y)}$ liegt. Diese Richtung wird automatisch durch die Moore-Penrose-Pseudoinverse von ${\displaystyle F'}$ berechnet. Bei diesem Verfahren wird eine Approximation an die Bogenlänge s schrittweise vergrößert:

Allgemeiner Prädiktor-Korrektor-Schritt

${\displaystyle {\begin{array}{rl}F'{\big (}y(s_{m-1}){\big )}z_{m-1}&=0,\ \|z_{m-1}\|_{2}=1,\\s_{m}&:=s_{m-1}+h_{m},\\y_{0}(s_{m})&:=y(s_{m-1})+h_{m}z_{m-1};\\y_{k+1}(s_{m})&:=y_{k}(s_{m})-{\Big (}F'(y_{k}(s_{m})){\Big )}^{+}\,F(y_{k}(s_{m})),\ k=0,1,\ldots .\end{array}}}$

Die Bezeichnung ${\displaystyle (\ldots )^{+}}$ bezeichnet dabei die erwähnte Pseudoinverse.

Das dritte Diagramm skizziert dieses Vorgehen, der (grün gezeichnete) Newtonschritt verläuft ungefähr orthogonal zur Kurve und hat daher auch im Umkehrpunkt (vertikaler Verlauf der Kurve) keine Schwierigkeiten.

Bemerkungen:

• Durch die erste Bedingung ist noch nicht die Richtung der Tangente ${\displaystyle \pm z_{m-1}}$ festgelegt. Man wählt das Vorzeichen natürlich so, dass das Innenprodukt ${\displaystyle z_{m-1}^{T}z_{m-2}>0}$ ist, um in einer Richtung vorzugehen.
• Die beiden Teilschritte können mit der QR-Zerlegung der transponierten Matrix ${\displaystyle \,(F'(y))^{T}=QR}$ effizient ausgeführt werden. Die Tangentenrichtung erhält man mit einem beliebigen Vektor ${\displaystyle u\not =0}$ durch Normierung von ${\displaystyle \,(E-QQ^{T})u}$, wenn der letzte Ausdruck ungleich null ist.
• Die Newton-Korrektur ${\displaystyle \,v_{k}=y_{k+1}(s_{m})-y_{k}(s_{m})}$ berechnet man über ${\displaystyle v_{k}=-Q{\tilde {v}}_{k}}$, wobei der Vektor ${\displaystyle {\tilde {v}}_{k}\in \mathbb {R} ^{n}}$ das quadratische Dreiecksystem ${\displaystyle R^{T}{\tilde {v}}_{k}=F(y_{k}(s_{m}))}$ löst.

• Werner C. Rheinboldt: Numerical Analysis of Parametrized Nonlinear Equations. John Wiley and Sons, New York 1986, ISBN 0-471-88814-1. (siehe auch das FORTRAN-Modul PITCON als Teil der netlib.org-Bibliothek contin)
• P. Deuflhard, A. Hohmann: Numerische Mathematik. de Gruyter, 1991, ISBN 3-11-012917-5.
• E. L. Allgower, K. Georg: Introduction to numerical continuation methods. SIAM Philadelphia, 2003, ISBN 0-89871-544-X.
• Schwetlick, H. und Kretschmar, H.: Numerische Verfahren für Naturwissenschaftler und Ingenieure. Fachbuchverlag Leipzig, 1991, ISBN 3-343-00580-0, S. 200. 
• M. Hermann: Numerische Mathematik, Band 1: Algebraische Probleme. 4., überarbeitete und erweiterte Auflage. Walter de Gruyter Verlag, Berlin und Boston 2020. ISBN 978-3-11-065665-7.