Hadamard-Produkt

Beim Hadamard-Produkt weisen alle involvierten Matrizen die gleiche Spalten- und Zeilenzahl auf.

Das Hadamard-Produkt, Schur-Produkt, komponentenweises Produkt oder elementweises Produkt ist in der Mathematik ein spezielles Produkt zweier Matrizen gleicher Größe. Die resultierende Matrix ergibt sich dabei durch Multiplikation der jeweils entsprechenden Einträge der beiden Ausgangsmatrizen. Das Hadamard-Produkt ist assoziativ, mit der Matrizenaddition distributiv und kommutativ, falls der zugrunde liegende Ring ebenfalls kommutativ ist.

Das Hadamard-Produkt weist einige interessante Eigenschaften auf. So ist beispielsweise das Hadamard-Produkt zweier positiv semidefiniter Matrizen wieder positiv semidefinit. Weiter lassen sich verschiedene Kenngrößen (wie Norm, Rang oder Spektralradius) des Hadamard-Produkts über das Produkt der jeweiligen Kenngrößen der Ausgangsmatrizen abschätzen. Im Vergleich zum komplexeren Matrizenprodukt ist das Hadamard-Produkt allerdings in der Praxis weniger bedeutsam. Es ist nach den Mathematikern Jacques Hadamard und Issai Schur benannt.

Definition

Bei der Berechnung des Hadamard-Produkts werden die Matrixeinträge komponentenweise miteinander multipliziert.

Ist ${\displaystyle (R,+,\cdot )}$ ein Ring und sind ${\displaystyle A=(a_{ij})\in R^{m\times n}}$ sowie ${\displaystyle B=(b_{ij})\in R^{m\times n}}$ zwei Matrizen über ${\displaystyle R}$, dann wird das Hadamard-Produkt von ${\displaystyle A}$ und ${\displaystyle B}$ durch

${\displaystyle A\circ B=(a_{ij}\cdot b_{ij})={\begin{pmatrix}a_{11}\cdot b_{11}&\cdots &a_{1n}\cdot b_{1n}\\\vdots &\ddots &\vdots \\a_{m1}\cdot b_{m1}&\cdots &a_{mn}\cdot b_{mn}\end{pmatrix}}\in R^{m\times n}}$

definiert. Das Ergebnis ist damit eine Matrix der gleichen Größe, wobei sich jeder Eintrag durch komponentenweise Multiplikation der Einträge der Matrix ${\displaystyle A}$ mit den Einträgen der Matrix ${\displaystyle B}$ berechnet.^[1] Als Operatorsymbol wird für das Hadamard-Produkt gelegentlich auch das Zeichen ${\displaystyle \odot }$ verwendet.^[2]

Beispiel

Das Hadamard-Produkt der beiden reellen (2 × 2)-Matrizen

${\displaystyle A={\begin{pmatrix}3&2\\0&1\end{pmatrix}}}$   und   ${\displaystyle B={\begin{pmatrix}1&2\\3&1\end{pmatrix}}}$

ist gegeben durch

${\displaystyle A\circ B={\begin{pmatrix}3\cdot 1&2\cdot 2\\0\cdot 3&1\cdot 1\end{pmatrix}}={\begin{pmatrix}3&4\\0&1\end{pmatrix}}}$.

Eigenschaften

Rechengesetze

Das Hadamard-Produkt erbt im Wesentlichen die Eigenschaften des zugrunde liegenden Rings.^[1] Es ist immer assoziativ, das heißt für Matrizen ${\displaystyle A,B,C\in R^{m\times n}}$ gilt

${\displaystyle A\circ (B\circ C)=(A\circ B)\circ C}$,

und es ist verträglich mit der Multiplikation von Skalaren ${\displaystyle a\in R}$, also

${\displaystyle a\,(A\circ B)=(a\,A)\circ B=A\circ (a\,B)}$.

Ist der zugrunde liegende Ring kommutativ, so ist auch das Hadamard-Produkt kommutativ, das heißt

${\displaystyle A\circ B=B\circ A}$,

worin es sich von dem normalerweise verwendeten Matrizenprodukt unterscheidet. Mit der komponentenweisen Matrizenaddition ${\displaystyle A+B}$ gelten auch die Distributivgesetze

${\displaystyle (A+B)\circ C=A\circ C+B\circ C}$   und   ${\displaystyle A\circ (B+C)=A\circ B+A\circ C}$.

Für die transponierte Matrix eines Hadamard-Produkts gilt zudem

${\displaystyle (A\circ B)^{T}=A^{T}\circ B^{T}}$.

Das Hadamard-Produkt zweier symmetrischer Matrizen ist demnach wieder symmetrisch.

Algebraische Strukturen

Die Menge der Matrizen über einem Ring bildet mit der Matrizenaddition und dem Hadamard-Produkt wieder einen Ring ${\displaystyle (R^{m\times n},+,\circ )}$. Ist ${\displaystyle R}$ ein unitärer Ring mit Einselement ${\displaystyle 1}$, dann besitzt auch der Matrizenring ein Einselement, die Einsmatrix ${\displaystyle J\in R^{m\times n}}$, bei der alle Elemente gleich ${\displaystyle 1}$ sind. Mit der Einsmatrix gilt dann für alle Matrizen ${\displaystyle A\in R^{m\times n}}$

${\displaystyle A\circ J=J\circ A=A}$.

Ist ${\displaystyle R}$ ein Körper, dann heißt eine Matrix ${\displaystyle A}$ Hadamard-invertierbar, wenn alle Einträge von ${\displaystyle A}$ ungleich dem Nullelement sind.^[1] Die Menge der Hadamard-invertierbaren Matrizen bildet dann eine Gruppe ${\displaystyle (R^{m\times n},\circ )}$, wobei die Einträge der Hadamard-Inversen ${\displaystyle {\hat {A}}=({\hat {a}}_{ij})}$ von ${\displaystyle A}$ durch

${\displaystyle {\hat {a}}_{ij}=a_{ij}^{-1}}$

gegeben sind. Im Weiteren werden nur Matrizen über dem Körper ${\displaystyle \mathbb {K} }$ der reellen oder komplexen Zahlen betrachtet.

Positive Definitheit

Sind die quadratischen Matrizen ${\displaystyle A,B\in \mathbb {K} ^{n\times n}}$ positiv semidefinit, so ist auch ihr Hadamard-Produkt ${\displaystyle A\circ B}$ positiv semidefinit und für die Eigenwerte von ${\displaystyle A\circ B}$ gilt

${\displaystyle \left(\min _{1\leq i\leq n}a_{ii}\right)\lambda _{\min }(B)\leq \lambda {_{\min }}(A\circ B)\leq \lambda {_{\max }}(A\circ B)\leq \left(\max _{1\leq i\leq n}a_{ii}\right)\lambda {_{\max }}(B)}$.

Wenn ${\displaystyle B}$ positiv definit ist und ${\displaystyle A}$ positiv semidefinit mit positiven Hauptdiagonaleinträgen ist, dann ist auch das Hadamard-Produkt ${\displaystyle A\circ B}$ positiv definit. Diese Aussagen gehen auf Issai Schur zurück, der sie 1911 erstmals formulierte.^[3]

Diagonalmatrizen

Ist ${\displaystyle D\in \mathbb {K} ^{n\times n}}$ eine Diagonalmatrix, dann gelten für das Hadamard-Produkt und die Matrixmultiplikation folgende Gleichungen:^[4]

${\displaystyle D\cdot (A\circ B)=(D\cdot A)\circ B=A\circ (D\cdot B)}$

${\displaystyle (A\circ B)\cdot D=(A\cdot D)\circ B=A\circ (B\cdot D)}$

${\displaystyle D\cdot (A\circ B)\cdot D=(D\cdot A\cdot D)\circ B=A\circ (D\cdot B\cdot D)=(D\cdot A)\circ (B\cdot D)=(A\cdot D)\circ (D\cdot B)}$

Diagonalierbare Matrizen

Sei ${\displaystyle A\in \mathbb {K} ^{n\times n}}$ eine diagonalisierbare Matrix mit dem Diagonalvektor ${\displaystyle (a_{11},a_{22},\ldots ,a_{nn})^{T}}$, den Eigenwerten ${\displaystyle \lambda _{1},\lambda _{2},\ldots ,\lambda _{n}}$ und der Diagonalisierung ${\displaystyle A=SDS^{-1}}$, wobei ${\displaystyle D}$ eine Diagonalmatrix und ${\displaystyle S}$ eine reguläre Matrix ist. Dann gilt:^[5]

${\displaystyle {\begin{pmatrix}a_{11}\\a_{22}\\\vdots \\a_{nn}\end{pmatrix}}=(S\circ (S^{-1})^{T}){\begin{pmatrix}\lambda _{1}\\\lambda _{2}\\\vdots \\\lambda _{n}\end{pmatrix}}}$

Singulärwertzerlegung

Sei ${\displaystyle A\in \mathbb {K} ^{n\times n}}$ eine Matrix mit Singulärwertzerlegung ${\displaystyle A=U\Sigma V^{*}}$ und den Singulärwerten ${\displaystyle \sigma _{1},\sigma _{2},\ldots ,\sigma _{n}}$. Dann gilt:^[5]

${\displaystyle {\begin{pmatrix}a_{11}\\a_{22}\\\vdots \\a_{nn}\end{pmatrix}}=(U\circ (V^{*})^{T}){\begin{pmatrix}\sigma _{1}\\\sigma _{2}\\\vdots \\\sigma _{n}\end{pmatrix}}}$

Abschätzungen

Spektralnorm

Ist die quadratische Matrix ${\displaystyle A\in \mathbb {K} ^{n\times n}}$ positiv definit, dann gilt für die Spektralnorm eines Hadamard-Produkts

${\displaystyle \|A\circ B\|_{2}\leq \left(\max _{1\leq i\leq n}a_{ii}\right)\|B\|_{2}}$.

Ist ${\displaystyle A=X^{H}Y}$ das Produkt zweier Matrizen, dann gilt

${\displaystyle \|A\circ B\|_{2}\leq c(X)c(Y)\|B\|_{2}}$,

wobei ${\displaystyle c(Z)}$ die maximale euklidische Norm der Spaltenvektoren von ${\displaystyle Z}$ ist. Insgesamt erhält man so die Abschätzung:

${\displaystyle \|A\circ B\|_{2}\leq \|A\|_{2}\cdot \|B\|_{2}}$.

Diese drei Abschätzungen gehen ebenfalls auf Issai Schur zurück.^[3]

Kronecker-Produkt

Das Kronecker-Produkt ${\displaystyle A\otimes B}$ liefert als Resultat eine große Matrix, die durch Betrachtung aller möglichen Produkte von Einträgen der beiden Ausgangsmatrizen entsteht. Sind die Matrizen ${\displaystyle A,B\in \mathbb {K} ^{m\times n}}$, dann finden sich die Einträge des Hadamard-Produkts ${\displaystyle A\circ B}$ genau an den Schnittpunkten der Spalten ${\displaystyle 1,n+2,2n+3,\ldots ,n^{2}}$ mit den Zeilen ${\displaystyle 1,m+2,2m+3,\ldots ,m^{2}}$ des entsprechenden Kronecker-Produkts. Das Hadamard-Produkt ist somit eine Untermatrix des Kronecker-Produkts. Daher gilt für die Spektralnorm eines Hadamard-Produkts^[6]

${\displaystyle \|A\circ B\|_{2}\leq \|A\otimes B\|_{2}=\|A\|_{2}\cdot \|B\|_{2}}$

und für den Rang eines Hadamard-Produkts^[6]

${\displaystyle \operatorname {rang} (A\circ B)\leq \operatorname {rang} (A\otimes B)=\operatorname {rang} (A)\cdot \operatorname {rang} (B)}$.

Haben zwei Matrizen ${\displaystyle A}$ und ${\displaystyle B}$ nur nichtnegative Einträge, dann gilt dies auch für ${\displaystyle A\circ B}$ und ${\displaystyle A\otimes B}$. Sind dabei ${\displaystyle A}$ und ${\displaystyle B}$ quadratisch, dann gilt für den Spektralradius (den Betrag des betragsmäßig größten Eigenwerts) eines Hadamard-Produkts^[6]

${\displaystyle \rho (A\circ B)\leq \rho (A\otimes B)=\rho (A)\cdot \rho (B)}$.

Induzierte Sesquilinearform

Für Diagonalmatrizen ${\displaystyle A,B\in \mathbb {K} ^{n\times n}}$ (und nur für diese) stimmen das Hadamard-Produkt und das normale Matrizenprodukt überein:

${\displaystyle A\circ B=A\cdot B}$.

Sind nun ${\displaystyle A,B\in \mathbb {K} ^{n\times n}}$ beliebig, ${\displaystyle x,y\in \mathbb {K} ^{n}}$ zwei (Spalten-)Vektoren und ${\displaystyle D_{x},D_{y}\in \mathbb {K} ^{n\times n}}$ zwei Diagonalmatrizen mit den Einträgen von ${\displaystyle x}$ und ${\displaystyle y}$ auf der Diagonalen, dann gilt^[7]

${\displaystyle x^{H}(A\circ B)y=\operatorname {spur} (D_{x}^{H}\cdot A\cdot D_{y}\cdot B^{T})}$.

Demnach kann die Sesquilinearform, die durch das Hadamard-Produkt erzeugt wird, als Spur geschrieben werden. Hieraus folgt beispielsweise die Submultiplikativität der Frobeniusnorm bezüglich des Hadamard-Produkts:^[7]

${\displaystyle \|A\circ B\|_{F}\leq \|A\|_{F}\cdot \|B\|_{F}}$.

Programmierung

Das Hadamard-Produkt ist in Programmiersystemen auf unterschiedliche Weise integriert:

• In dem numerischen Softwarepaket Matlab wird das Hadamard-Produkt durch die Symbolkombination .* dargestellt, während * für das Matrizenprodukt steht.^[8]
• In der Programmiersprache Fortran wird das Hadamard-Produkt durch den einfachen Multiplikationsoperator * realisiert, während für die Matrizenmultiplikation eine eigene Routine matmul zur Verfügung steht. Diese Benennungen wurden auch für NumPy in Python übernommen.
• In der Statistiksoftware R wird das Hadamard-Produkt durch * dargestellt, während die Matrizenmultiplikation durch %*% realisiert wird.

Analog: Elementweise Division

In derselben Weise kann man auch einen Operator für die komponentenweise bzw. elementweise Division definieren: ^[9][10]

${\displaystyle A\oslash B=(a_{ij}/b_{ij})={\begin{pmatrix}a_{11}/b_{11}&\cdots &a_{1n}/b_{1n}\\\vdots &\ddots &\vdots \\a_{m1}/b_{m1}&\cdots &a_{mn}/b_{mn}\end{pmatrix}}\in R^{m\times n}}$, mit ${\displaystyle b_{ij}\neq 0}$

Literatur

• Roger A. Horn: The Hadamard Product. In: Charles R. Johnson (Hrsg.): Matrix Theory and Applications (= Proceedings of Symposia in Applied Mathematics. Band 40). American Mathematical Society, Providence RI 1990, ISBN 0-8218-0154-6, S. 87–170. 
• Roger A. Horn, Charles R. Johnson: Topics in Matrix Analysis. 1st paperback edition. Cambridge University Press, Cambridge u. a. 1994, ISBN 0-521-46713-6, S. 298–381.

Einzelnachweise

1. ↑ ^{a b c} Horn: The Hadamard Product. In: Johnson (Hrsg.): Matrix Theory and Applications. 1990, S. 87–170, hier S. 88.
2. ↑ Christian Voigt, Jürgen Adamy: Formelsammlung der Matrizenrechnung. Oldenbourg, München u. a. 2007, ISBN 978-3-486-58350-2, S. 13. 
3. ↑ ^{a b} Horn: The Hadamard Product. In: Johnson (Hrsg.): Matrix Theory and Applications. 1990, S. 87–170, hier S. 95.
4. ↑ George P. H. Styan, McGill University: Hadamard Products and Multivariate Statistical Analysis
5. ↑ ^{a b} Elizabeth Million, University of Puget Sound: The Hadamard Product
6. ↑ ^{a b c} Horn: The Hadamard Product. In: Johnson (Hrsg.): Matrix Theory and Applications. 1990, S. 87–170, hier S. 96–100.
7. ↑ ^{a b} Horn: The Hadamard Product. In: Johnson (Hrsg.): Matrix Theory and Applications. 1990, S. 87–170, hier S. 100–104.
8. ↑ Christoph Überhuber, Stefan Katzenbeisser, Dirk Praetorius: MATLAB 7. Eine Einführung. Springer, Wien u. a. 2005, ISBN 3-211-21137-3, S. 81. 
9. ↑ Gordon Wetzstein, Douglas Lanman, Matthew Hirsch, Ramesh Raskar: Supplementary Material: Tensor Displays: Compressive Light Field Synthesis using Multilayer Displays with Directional Backlighting. In: MIT Media Lab. Abgerufen im 1. Januar 1 Vorlage:Cite web/temporär
10. ↑ Boguslaw Cyganek: Object Detection and Recognition in Digital Images: Theory and Practice. John Wiley & Sons, 2013, ISBN 978-1-118-61836-3, S. 109 (google.com).