Moment (Bildverarbeitung)

Momente, siehe Momente einer Verteilung, sind in der Bildverarbeitung bestimmte gewichtete Mittelwerte aus den Helligkeitswerten der einzelnen Pixel eines Bildes. Sie werden gewöhnlich so gewählt, dass sie gewünschte Eigenschaften des Bildes widerspiegeln oder gewisse geometrische Interpretationen besitzen. Momente sind hilfreich, um einzelne Objekte in einem segmentierten Bild zu beschreiben. Grundlegende Eigenschaften von Bildern, die durch Momente berechnet werden können, sind Fläche (oder Summe der Helligkeitswerte), Schwerpunkt und Ausrichtung.

Nicht zentrierte Momente

Für eine zweidimensionale stetige Funktion ${\displaystyle f(x,y)}$ ist das Moment ${\displaystyle (p+q)}$-ten Grades definiert als

${\displaystyle M_{pq}=\int \limits _{-\infty }^{\infty }\int \limits _{-\infty }^{\infty }x^{p}y^{q}f(x,y)\,dx\,dy}$

für ${\displaystyle p,q=0,1,2,\ldots }$

Auf digitale Grauwertbilder mit der Grauwertfunktion ${\displaystyle g(x,y)}$ angewandt ergeben sich die nicht zentrierten Momente ${\displaystyle M_{ij}}$ aus

${\displaystyle M_{ij}=\sum _{x}\sum _{y}x^{i}y^{j}g(x,y)}$

In einigen Fällen können die nicht zentrierten Momente berechnet werden, indem die Grauwertfunktion als Wahrscheinlichkeitsdichtefunktion aufgefasst wird. Dazu teilt man obige Formel durch

${\displaystyle \sum _{x}\sum _{y}g(x,y)}$

Laut dem Eindeutigkeitstheorem von Athanasios Papoulis (1991) existieren Momente jeglichen Grades, wenn ${\displaystyle f(x,y)}$ stückweise stetig ist und nur in einem endlichen Teil der xy-Ebene ungleich Null wird. In diesem Fall ist die Folge von Momenten ${\displaystyle (M_{pq})}$ durch ${\displaystyle f(x,y)}$ eindeutig bestimmt. Ebenso bestimmt ${\displaystyle (M_{pq})}$ die Funktion ${\displaystyle f(x,y)}$ eindeutig. In der Praxis reichen jedoch meist wenige Momente niedrigen Grades aus um ein Bild hinreichend genau zu charakterisieren.

Beispiele

Einfache Bildeigenschaften, die durch nicht zentrierte Momente bestimmt werden können, sind unter anderen:

• Fläche (für Binärbilder) oder Summe der Grauwerte (für Grauwertbilder): ${\displaystyle M_{00}}$
• Schwerpunkt: ${\displaystyle \{{\bar {x}},\ {\bar {y}}\}=\left\{{\frac {M_{10}}{M_{00}}},{\frac {M_{01}}{M_{00}}}\right\}}$

Zentrale Momente (translationsinvariante Momente)

Zentrale Momente sind invariant bezüglich Translationen, sie sind definiert als

${\displaystyle \mu _{pq}=\int \limits _{-\infty }^{\infty }\int \limits _{-\infty }^{\infty }(x-{\bar {x}})^{p}(y-{\bar {y}})^{q}f(x,y)\,dx\,dy}$

Auf digitale Grauwertbilder mit der Grauwertfunktion g(x,y) angewandt ergeben sich die Zentralen Momente μ_ij aus

${\displaystyle \mu _{ij}=\sum _{x}\sum _{y}(x-{\bar {x}})^{i}(y-{\bar {y}})^{j}g(x,y)}$

Die zentralen Momente bis zum Grad 3 sind:

${\displaystyle \mu _{00}=M_{00},}$

${\displaystyle \mu _{01}=0,}$

${\displaystyle \mu _{10}=0,}$

${\displaystyle \mu _{11}=M_{11}-{\bar {x}}M_{01}=M_{11}-{\bar {y}}M_{10},}$

${\displaystyle \mu _{20}=M_{20}-{\bar {x}}M_{10},}$

${\displaystyle \mu _{02}=M_{02}-{\bar {y}}M_{01},}$

${\displaystyle \mu _{21}=M_{21}-2{\bar {x}}M_{11}-{\bar {y}}M_{20}+2{\bar {x}}^{2}M_{01},}$

${\displaystyle \mu _{12}=M_{12}-2{\bar {y}}M_{11}-{\bar {x}}M_{02}+2{\bar {y}}^{2}M_{10},}$

${\displaystyle \mu _{30}=M_{30}-3{\bar {x}}M_{20}+2{\bar {x}}^{2}M_{10},}$

${\displaystyle \mu _{03}=M_{03}-3{\bar {y}}M_{02}+2{\bar {y}}^{2}M_{01}.}$

Es kann gezeigt werden, dass:

${\displaystyle \mu _{pq}=\sum _{m}^{p}\sum _{n}^{q}{p \choose m}{q \choose n}(-{\bar {x}})^{(p-m)}(-{\bar {y}})^{(q-n)}M_{mn}}$

Beispiele

Informationen über die Ausrichtung des Bildes können gewonnen werden, indem man zuerst die drei zentralen Momente zweiten Grades verwendet, um eine Kovarianzmatrix zu berechnen.

${\displaystyle \mu '_{20}=\mu _{20}/\mu _{00}=M_{20}/M_{00}-{\bar {x}}^{2}}$

${\displaystyle \mu '_{02}=\mu _{02}/\mu _{00}=M_{02}/M_{00}-{\bar {y}}^{2}}$

${\displaystyle \mu '_{11}=\mu _{11}/\mu _{00}=M_{11}/M_{00}-{\bar {x}}{\bar {y}}}$

Die Kovarianzmatrix des Bildes ${\displaystyle g(x,y)}$ ist dann

${\displaystyle \operatorname {cov} [I(x,y)]={\begin{bmatrix}\mu '_{20}&\mu '_{11}\\\mu '_{11}&\mu '_{02}\end{bmatrix}}}$.

Die Eigenvektoren dieser Matrix entsprechen der großen und kleinen Halbachse der Helligkeitswerte. Somit kann die Ausrichtung des Bildes aus dem Winkel des Eigenvektors mit dem größten Eigenwert gegenüber der Achse, die diesem Eigenvektor am nächsten liegt, bestimmt werden. Es kann gezeigt werden, dass dieser Winkel Θ durch die folgende Formel berechnet werden kann.

${\displaystyle \Theta ={\frac {1}{2}}\arctan \left({\frac {2\mu '_{11}}{\mu '_{20}-\mu '_{02}}}\right)}$

Die Eigenwerte der Kovarianzmatrix sind

${\displaystyle \lambda _{i}={\frac {\mu '_{20}+\mu '_{02}}{2}}\pm {\frac {\sqrt {4{\mu '}_{11}^{2}+({\mu '}_{20}-{\mu '}_{02})^{2}}}{2}},}$

Die Exzentrizität des Bildes ist

${\displaystyle {\sqrt {1-{\frac {\lambda _{2}}{\lambda _{1}}}}}.}$

Skalierungsinvariante Momente

Es können Momente η_{i j} mit i + j ≥ 2 konstruiert werden, die invariant bezüglich Skalierung und Translation sind, indem man das entsprechende zentrale Moment durch das entsprechend skalierte Moment vom Grad 0 teilt.

${\displaystyle \eta _{ij}={\frac {\mu _{ij}}{\mu _{00}^{\left(1+{\frac {i+j}{2}}\right)}}}}$

Rotationsinvariante Momente

Es ist weiterhin möglich, Momente zu konstruieren, die zusätzlich invariant bezüglich einer Bildrotation sind. Häufig benutzt wird die Hu-Menge invarianter Momente.^[1]

${\displaystyle {\begin{aligned}I_{1}=\ &\eta _{20}+\eta _{02}\\I_{2}=\ &(\eta _{20}-\eta _{02})^{2}+(2\eta _{11})^{2}\\I_{3}=\ &(\eta _{30}-3\eta _{12})^{2}+(3\eta _{21}-\eta _{03})^{2}\\I_{4}=\ &(\eta _{30}+\eta _{12})^{2}+(\eta _{21}+\eta _{03})^{2}\\I_{5}=\ &(\eta _{30}-3\eta _{12})(\eta _{30}+\eta _{12})[(\eta _{30}+\eta _{12})^{2}-3(\eta _{21}+\eta _{03})^{2}]+\\\ &(3\eta _{21}-\eta _{03})(\eta _{21}+\eta _{03})[3(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}]\\I_{6}=\ &(\eta _{20}-\eta _{02})[(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}]+4\eta _{11}(\eta _{30}+\eta _{12})(\eta _{21}+\eta _{03})\\I_{7}=\ &(3\eta _{21}-\eta _{03})(\eta _{30}+\eta _{12})[(\eta _{30}+\eta _{12})^{2}-3(\eta _{21}+\eta _{03})^{2}]-\\\ &(\eta _{30}-3\eta _{12})(\eta _{21}+\eta _{03})[3(\eta _{30}+\eta _{12})^{2}-(\eta _{21}+\eta _{03})^{2}]\end{aligned}}}$

Das erste, I₁, ist ungefähr gleichzusetzen mit dem Trägheitsmoment um den Schwerpunkt des Bildes, wenn die Helligkeitswerte der Pixel als physikalische Dichte interpretiert werden.

Anwendungsbeispiele

Momente sind für zweierlei Dinge gut geeignet. Zum einen dienen sie zur Klassifikation von Objekten in binarisierten, also Schwarzweiß-Bildern, welche das Ergebnis einer Vorverarbeitung sind, die entscheidet, welche Teile eines Bildes zu einem Objekt gehören (schwarz = 1) und welche nicht (weiß = 0). Auch ein Bild, das außer Schwarz und Weiß auch Grauwerte enthält, weil sich der vorverarbeitende Algorithmus nicht immer sicher war, ob ein Pixel zum Objekt oder zum Hintergrund gehört, ist verwertbar, indem die Graustufen auf den Wertebereich [0, 1] normiert werden.

Am Beispiel der Texterkennung sieht man, dass ein „T“ und ein „I“ zwar links–rechts-symmetrisch sind und sich somit im Schwerpunkt ${\displaystyle {\bar {x}}}$ nicht unterscheiden, allerdings sich im Moment ${\displaystyle \mu _{20}}$ durch die unterschiedliche Varianz unterscheiden und außerdem im Moment ${\displaystyle \mu _{03}}$ stark abweichen. Für dieses Moment sollte aufgrund der Oben–Unten-Symmetrie für „I“ ein Wert nahe 0 herauskommen, während ein gescanntes T oben deutlich mehr Pixel aufweist als unten und hier einen stark negativen Wert erhält (für nach unten zunehmende y-Werte).

Zum anderen kann mit Momenten die Anordnung beliebiger extrahierter Features aus Bildern oder ähnlichem zueinander verglichen werden. Hat man beispielsweise mittels eines Eckenfinders einige Ecken extrahiert, lässt sich mithilfe der Momente feststellen, in welchem Teil des Bildes innerhalb einer Bildfolge (=Video) Veränderung stattfindet. Verwendet man hierfür die translationsinvarianten zentralen Momente, so ist die Erkennung stabil gegenüber Wackeln der Kamera.

Weblinks

• Merkmalsextraktion mittels Momenten, Universität Osnabrück
• Statistical Moments, University of Edinburgh
• Analysis of Binary Images, University of Edinburgh

Quellen

• Ming-Kuei Hu, "Visual Pattern Recognition by Moment Invariants", doi:10.1109/TIT.1962.1057692

Einzelnachweise

1. ↑ Zhihu Huang, Jinsong Leng: Analysis of Hu's moment invariants on image scaling and rotation. In: 2010 2nd International Conference on Computer Engineering and Technology. Band 7, April 2010, S. V7–476–V7–480, doi:10.1109/iccet.2010.5485542 (ieee.org [abgerufen am 25. November 2017]).