Householdertransformation

In der Mathematik beschreibt die Householdertransformation die Spiegelung eines Vektors an einer Hyperebene durch Null im euklidischen Raum. Im dreidimensionalen Raum ist sie somit eine Spiegelung an einer Ebene (durch den Ursprung). Die Darstellung dieser linearen Abbildung durch eine Matrix wird als Householder-Matrix bezeichnet. Verwendung findet sie vor allem in der numerischen Mathematik, wenn mittels orthogonaler Transformationen Matrizen so gezielt umgeformt werden, dass bestimmte Spaltenvektoren auf das Vielfache des ersten Einheitsvektors abgebildet werden, insbesondere beim QR-Verfahren und der QR-Zerlegung.

Die Householdertransformation wurde 1958 durch den amerikanischen Mathematiker Alston Scott Householder eingeführt.

Definition und Eigenschaften

Illustration der Householder-Transformation in 2D

Die Spiegel-Hyperebene kann durch einen Normalenvektor ${\displaystyle v}$, also einen Vektor, der orthogonal zur Hyperebene ist, definiert werden. Ist ${\displaystyle v}$ als Spaltenvektor gegeben und ${\displaystyle I}$ die Einheitsmatrix, dann wird die oben beschriebene lineare Abbildung durch die folgende Matrix dargestellt:

${\displaystyle H=I-{\frac {2}{v^{T}v}}vv^{T}.}$

Dabei bezeichnet ${\displaystyle v^{T}}$ die Transponierte des Spaltenvektors ${\displaystyle v}$, also einen Zeilenvektor. Der Nenner ${\displaystyle v^{T}v}$ ist das Skalarprodukt von ${\displaystyle v}$ mit sich selbst, ${\displaystyle vv^{T}}$ das dyadische Produkt. Die Matrix ${\displaystyle {\tfrac {1}{v^{T}v}}vv^{T}}$ beschreibt die Orthogonalprojektion auf die durch ${\displaystyle v}$ gegebene Richtung. Ist ${\displaystyle v}$ auf die Länge eins normiert, also ${\displaystyle v^{T}v=1}$, so vereinfacht sich die Formel zu

${\displaystyle H=I-2vv^{T}.}$

Die Spiegelungseigenschaft ersieht man daraus, dass

${\displaystyle Hx=x-2vv^{T}x=x-2\langle v,\,x\rangle \,v=(x-\langle v,\,x\rangle \,v)-\langle v,\,x\rangle \,v}$,

wobei ${\displaystyle \langle \cdot ,\cdot \rangle }$ das Standardskalarprodukt bezeichnet. Der Term ${\displaystyle \langle v,\,x\rangle }$ entspricht dabei dem Abstand des Punktes ${\displaystyle x}$ zur Hyperebene ${\displaystyle v^{\perp }}$. Der Vektor ${\displaystyle x}$ wird also in zwei zueinander orthogonale Anteile zerlegt, wobei der erste Anteil in der Hyperebene liegt und der zweite ein Vielfaches des Vektors ${\displaystyle v}$ ist. Unter der Spiegelung wird der Anteil in der Ebene invariant gelassen, der Anteil in Richtung ${\displaystyle v}$, also senkrecht zur Ebene, wird „umgeklappt“, also nun abgezogen statt addiert.

Die Householder-Matrix hat folgende Eigenschaften:

• Sie ist symmetrisch: ${\displaystyle H=H^{T}}$
• Sie ist orthogonal: ${\displaystyle H^{T}H=I}$
• Sie ist involutorisch: ${\displaystyle H^{2}=I}$ (Dies folgt aus der Symmetrie und der Orthogonalität.)
• Sie hat den einfachen Eigenwert −1 zum Eigenvektor ${\displaystyle v}$ und den ${\displaystyle n-1}$-fachen Eigenwert 1. Der Eigenraum zum Eigenwert 1 ist die Spiegelebene, also das orthogonale Komplement des von ${\displaystyle v}$ erzeugten eindimensionalen Unterraums.
• Matrix-Vektor-Multiplikationen mit ${\displaystyle H}$ sind schnell berechenbar.

Konstruktion einer spezifischen Spiegelung

Es sei ein Vektor ${\displaystyle a}$ gegeben, der auf ein Vielfaches des Vektors ${\displaystyle e}$ gespiegelt werden soll, das heißt, gesucht ist ein Einheitsvektor ${\displaystyle v}$, so dass mit der zugehörigen Householder-Matrix ${\displaystyle H_{v}=I-2vv^{T}}$ gilt ${\displaystyle H_{v}a=\lambda e}$. Geometrisch ist der Vektor ${\displaystyle v}$ die Richtung einer der zwei Winkelhalbierenden der Geraden in Richtung ${\displaystyle a}$ und in Richtung ${\displaystyle e}$. Die Winkelhalbierende ergibt sich, indem man auf beiden Geraden Punkte mit demselben Abstand zum Nullpunkt wählt und auf der Verbindungsstrecke dieser zwei Punkte den Mittelpunkt konstruiert. Die Gerade durch Nullpunkt und Mittelpunkt hat dann die gesuchte Richtung ${\displaystyle v}$, der Vektor ${\displaystyle v}$ selbst ergibt sich durch Normieren dieser Richtung. Die zweite Winkelhalbierende ergibt sich, indem die Konstruktion ausgehend von ${\displaystyle a}$ und ${\displaystyle -e}$ durchgeführt wird.

Der Einfachheit halber sei ${\displaystyle e}$ normiert, ${\displaystyle \|e\|=1}$. Dann muss, wegen der Orthogonalität der Spiegelung, ${\displaystyle \lambda =\pm \|a\|}$ gelten. Der gesuchte Spiegelungsvektor ${\displaystyle v}$ ergibt sich nun durch Normieren des Differenzvektors ${\displaystyle {\tfrac {1}{2}}(a-\lambda \,e)}$, also

${\displaystyle v={\frac {a-\lambda \,e}{\|a-\lambda \,e\|}}}$.

Beide Vorzeichenvarianten führen zum gewünschten Ergebnis (sofern der Nenner von Null verschieden ist). Aus Gründen numerischer Stabilität wird das Vorzeichen von ${\displaystyle \lambda }$ so gewählt, dass der Nenner am größten ist, also ${\displaystyle \lambda \cdot \langle a,\,e\rangle \leq 0}$ gilt.

In der Probe ergibt sich

${\displaystyle {\begin{aligned}H_{v}a=&a-2v\langle v,a\rangle \\[0.5em]=&a-2\,(a-\lambda e)\,{\frac {\|a\|^{2}-\lambda \langle e,a\rangle }{\|a\|^{2}-2\lambda \langle a,e\rangle +\lambda ^{2}\|e\|^{2}}}\\[0.8em]=&a-2\,(a-\lambda e)\,{\frac {\|a\|^{2}-\lambda \langle e,a\rangle }{\|a\|^{2}-2\lambda \langle a,e\rangle +\|a\|^{2}}}\\[0.5em]=&\lambda e\\[0.5em]\end{aligned}}}$

Beispiel

Am häufigsten wird der Fall betrachtet, in dem ${\displaystyle e=e_{1}}$ der erste kanonische Basisvektor ist. Sei ${\displaystyle a=(a_{1},{\bar {a}})}$ in erste Komponente und Restvektor zerlegt. Dann gilt für die Norm ${\displaystyle \|a\|={\sqrt {|a_{1}|^{2}+\|{\bar {a}}\|^{2}}}}$. Als Vorzeichen von ${\displaystyle \lambda }$ ist das Vorzeichen von ${\displaystyle -a_{1}}$ zu wählen, die Richtung der Spiegelung ist dann

${\displaystyle v-\lambda e_{1}=a+\operatorname {sign} (a_{1})\,\|a\|e_{1}={\Bigl (}\operatorname {sign} (a_{1})\,(|a_{1}|+\|a\|),\;{\bar {a}}{\Bigr )}}$.

Dabei ist ${\displaystyle \operatorname {sign} (a_{1}):={\begin{cases}1&\quad {\text{für}}\quad a_{1}\geq 0,\\-1&\quad {\text{für}}\quad a_{1}<0.\end{cases}}}$

Der Vektor ${\displaystyle v}$ entsteht durch Normierung dieser Richtung. Nach Umformen stellt sich die Norm der Richtung als

${\displaystyle \|a-\lambda e_{1}\|={\sqrt {2\,\|a\|\,(\|a\|+|a_{1}|)}}}$

dar, wobei in dieser Form nur bereits berechnete Zwischenergebnisse benutzt werden. In der unnormierten Variante der Spiegelung ergeben sich weitere Einsparungen an Rechenschritten.

Anwendung: QR-Zerlegung

Householder-Spiegelungen können zur stabilen Berechnung von QR-Zerlegungen einer Matrix ${\displaystyle A=QR\in \mathbb {R} ^{m\times n}}$ verwendet werden, indem zunächst die erste Spalte der Matrix mit einer Spiegelung ${\displaystyle H_{1}}$ auf das Vielfache des ersten Einheitsvektors gespiegelt wird, wie im letzten Abschnitt erläutert (jetzt bezeichnet der Index aber die Nummer der Spiegelung).

Danach behandelt man ${\displaystyle H_{1}A}$ mit einer Spiegelung ${\displaystyle H_{2}}$ analog, wobei die Spiegelung so konstruiert wird, dass erste Zeile und Spalte von der Transformation unberührt bleiben. Dies wird erreicht, indem die erste Komponente des Spiegelungsvektors zu Null gesetzt wird. Zur Bestimmung des dritten Schrittes geht analog nur die Hauptuntermatrix unter dem dritten Diagonalelement ein, der Spiegelungsvektor ist Null in den ersten zwei Komponenten etc. Im ${\displaystyle i}$-ten Schritt wird also die Untermatrix unter der Position ${\displaystyle (i,i)}$ des Produkts ${\displaystyle A_{i}=H_{i-1}\cdots H_{1}A}$ auf die gleiche Art reduziert, bis die Restmatrix ${\displaystyle H_{n}\cdots H_{2}H_{1}A=R}$ Dreiecksgestalt besitzt.

Mit ${\displaystyle Q^{T}=H_{n}\cdots H_{2}H_{1}}$ gilt ${\displaystyle Q^{T}A=R}$, also ergibt sich die QR-Zerlegung

${\displaystyle A=QR}$

mit

${\displaystyle Q=(H_{n}\cdots H_{2}H_{1})^{T}=H_{1}H_{2}\cdots H_{n}\in \mathbb {R} ^{m\times m},\quad \quad R={\begin{pmatrix}R_{1}\\0\end{pmatrix}}\in \mathbb {R} ^{m\times n}.}$

Man beachte, dass ${\displaystyle Q}$ hier eine quadratische Matrix ist. Meist werden die Matrizen ${\displaystyle Q}$ bzw. ${\displaystyle Q^{T}}$ nicht explizit berechnet, sondern man nutzt direkt die Produktform. Dazu werden die Spiegelvektoren ${\displaystyle v_{i}}$ von ${\displaystyle H_{i}=H_{v_{i}}}$ im frei gewordenen Platz der Matrix ${\displaystyle A}$ gespeichert.

Die Zahl der Operationen für die QR-Zerlegung einer Matrix ${\displaystyle A=QR\in \mathbb {R} ^{m\times n},{m\geq n}}$ mit dem Householder-Verfahren beträgt:

${\displaystyle {\begin{matrix}{m\gg n}&\qquad &{2n^{2}\cdot m}\\{m\approx n}&\qquad &{{4 \over 3}n^{3}}\end{matrix}}}$

Im Fall ${\displaystyle m=n}$ genügen ${\displaystyle n-1}$ Schritte, da die letzte Spalte nicht mehr transformiert werden muss.

Pseudocode

Da für die meisten Berechnungen das explizite Ausrechnen von ${\displaystyle Q}$ nicht nötig ist, reicht es, nur die Matrix ${\displaystyle R}$ zu berechnen. ${\displaystyle z}$ ist die linke Spalte der jeweiligen Untermatrix. Bei der unten angegebenen Funktion wird das Ergebnis direkt in ${\displaystyle A}$ geschrieben, so dass nach Abarbeitung des Algorithmus das ${\displaystyle R}$ in ${\displaystyle A}$ steht. Die Zeile ${\displaystyle R=A}$ könnte also auch weggelassen werden.

  function GetR(A)
     for k=1…n
         z=A(k…m,k)

         uk=z
         uk(1)+=sign(z(1))*norm(z)
         uk=uk/norm(uk)

         vk=zeros(m)
         vk(k…m)= uk

         A=A-(2*vk)*(vk'*A)

     R=A
     return R

Sollte ${\displaystyle Q}$ dennoch benötigt werden, lässt sich das obere Beispiel einfach erweitern:

  function GetR(A)
    Q=eye(m) 
    for k=1…n
         z=A(k…m,k)

         uk=z
         uk(1)+=sign(z(1))*norm(z)
         uk=uk/norm(uk)

         vk=zeros(m)
         vk(k…m)= uk

         A=A-(2*vk)*(vk'*A)
         Q=Q-Q*vk*(2*vk')

     R=A
     return R

Programmierung

Das folgende Beispiel in der Programmiersprache C++ zeigt die Implementierung der Householdertransformation. Bei der Ausführung des Programms wird die Funktion main verwendet, die das Ergebnis auf der Konsole ausgibt.^[1]

#include <iostream>
#include <vector>
using namespace std;

// Diese Funktion berechnet c = a + b * s
void vmadd(const Vector& a, const Vector& b, double s, Vector& c)
{
    if (c.size != a.size || c.size != b.size)
    {
        return;
    }
    for (int i = 0; i < c.size; i++)
    {
        c(i) = a(i) + s * b(i);
    }
}

// Diese Funktion berechnet matrix = I - 2 * v * v^T
void computeHouseholderFactor(Matrix& matrix, const Vector& v)
{
    int n = v.size;
    matrix.allocate(n, n);
    for (int i = 0; i < n; i++)
    {
        for (int j = 0; j < n; j++)
        {
            matrix(i, j) = -2 * v(i) * v(j);
        }
    }
    for (int i = 0; i < n; i++)
    {
        matrix(i, i) += 1;
    }
}

void Matrix::extractColumn(Vector& vector, int c)
{
    if (m != vector.size)
    {
        cerr << "[Matrix::extract_column]: Matrix and Vector sizes don't match\n";
        return;
    }
    for (int i = 0; i < m; i++)
    {
        vector(i) = (*this)(i, c);
    }
}

// Diese Funktion gibt die Matrix auf der Konsole aus
void matrixShow(const Matrix& matrix, const string& str = "")
{
    cout << str << "\n";
    for (int i = 0; i < matrix.m; i++)
    {
        for (int j = 0; j < matrix.n; j++)
        {
            printf(" %8.3f", matrix(i, j));
        }
        printf("\n");
    }
    printf("\n");
}

// Diese Funktion berechnet die L2-norm ||A - B||^2
double matrixCompare(const Matrix& A, const Matrix& B)
{
    if (A.m != B.m or A.n != B.n)
    {
        return numeric_limits<double>::max();
    }
    double norm = 0;
    for (int i = 0; i < A.m; i++)
    {
        for (int j = 0; j < A.n; j++)
        {
            norm += (A(i, j) - B(i, j)) * (A(i, j) - B(i, j));
        }
    }
    norm /= A.m * A.n;
    return norm;
}

// Diese Funktion bestimmt die QR-Zerlegung der gegebenen Matrix
void householder(Matrix& matrix, Matrix& R, Matrix& Q)
{
    int m = matrix.m;
    int n = matrix.n;
    vector<Matrix> qArray(m);
    Matrix z(matrix);
    Matrix z1;
    for (int k = 0; k < n && k < m - 1; k++)
    {
        Vector e(m), x(m);
        double a;
        z1.computeMinor(z, k);
        z1.extractColumn(x, k);
        a = x.calculateNorm();
        if (matrix(k, k) > 0)
        {
            a = -a;
        }
        for (int i = 0; i < e.size; i++)
        {
            e(i) = i == k;
        }
        vmadd(x, e, a, e);
        e.rescaleUnit();
        computeHouseholderFactor(qArray[k], e);
        z.multiply(qArray[k], z1);
    }
    Q = qArray[0];
    for (int i = 1; i < n && i < m - 1; i++)
    {
        z1.multiply(qArray[i], Q);
        Q = z1;
    }
    R.multiply(Q, matrix);
    Q.transpose();
}

// Hauptfunktion die das Programm ausführt
int main()
{
    double in[][3] = {
      { 12, -51,   4},
      {  6, 167, -68},
      { -4,  24, -41},
      { -1,   1,   0},
      {  2,   0,   3},
    };
    Matrix A(in);
    Matrix Q, R;
    matrixShow(A, "A"); // Aufruf der Funktion, gibt die Matrix A auf der Konsole aus
    // Berechnet die QR-Zerlegung
    householder(A, R, Q);
    matrixShow(Q, "Q"); // Aufruf der Funktion, gibt die Matrix Q auf der Konsole aus
    matrixShow(R, "R"); // Aufruf der Funktion, gibt die Matrix R auf der Konsole aus
    Matrix ACheck;
    ACheck.multiply(Q, R); // Berechnet das Matrixprodukt Q * R
    // Berechnet die L2-norm ||A - ACheck||^2
    double l2norm = matrixCompare(A, ACheck); // Aufruf der Funktion, vergleicht das Matrixprodukt Q * R mit der ursprünglichen Matrix A
    if (l2norm < 1e-12)
    {
        cout << "Die QR-Zerlegung ist korrekt." << endl; // Ausgabe auf der Konsole
    }
    else
    {
        cout << "Die QR-Zerlegung ist nicht korrekt." << endl; // Ausgabe auf der Konsole
    }
}

Siehe auch

• Spiegelungsmatrix

Literatur

• Gene H. Golub, Charles F. van Loan: Matrix Computations. 2nd Edition. The Johns Hopkins University Press, 1989.
• Gerhard Opfer: Numerische Mathematik für Anfänger. Eine Einführung für Mathematiker, Ingenieure und Informatiker, 5. Aufl., Vieweg + Teubner, Wiesbaden 2008, ISBN 978-3-8348-0413-6
• Martin Hermann: Numerische Mathematik, Band 1: Algebraische Probleme. 4., überarbeitete und erweiterte Auflage, Walter de Gruyter Verlag, Berlin und Boston 2020, ISBN 978-3-11-065665-7.

Einzelnachweise

1. ↑ Rosetta Code: QR decomposition