Lucas-Kanade-Methode – Wikipedia
In der Computer Vision ist die Lucas-Kanade-Methode ist eine weit verbreitete Differentialmethode zur optischen Flussschätzung, die von Bruce D. Lucas und Takeo Kanade entwickelt wurde. Es wird angenommen, dass der Fluss in einer lokalen Nachbarschaft des betrachteten Pixels im Wesentlichen konstant ist, und es werden die grundlegenden optischen Flussgleichungen für alle Pixel in dieser Nachbarschaft nach dem Kriterium der kleinsten Quadrate gelöst.[1][2]
Durch die Kombination von Informationen aus mehreren nahe gelegenen Pixeln kann die Lucas-Kanade-Methode häufig die inhärente Mehrdeutigkeit der optischen Flussgleichung auflösen. Es ist auch weniger empfindlich gegenüber Bildrauschen als punktuelle Methoden. Da es sich jedoch um eine rein lokale Methode handelt, kann sie keine Flussinformationen im Inneren einheitlicher Bereiche des Bildes liefern.
Konzept[edit]
Bei der Lucas-Kanade-Methode wird davon ausgegangen, dass die Verschiebung des Bildinhalts zwischen zwei nahe gelegenen Zeitpunkten (Frames) klein und in der Nähe des Punkts ungefähr konstant ist p unter Berücksichtigung. Somit kann angenommen werden, dass die optische Flussgleichung für alle Pixel innerhalb eines Fensters gilt, das bei zentriert ist p. Der lokale Bildflussvektor (Geschwindigkeitsvektor)
muss befriedigen
wo
sind die Pixel im Fenster und
sind die partiellen Ableitungen des Bildes
in Bezug auf die Position x, y und Zeit t, am Punkt ausgewertet
und zur aktuellen Zeit.
Diese Gleichungen können in Matrixform geschrieben werden
, wo
Dieses System hat mehr Gleichungen als Unbekannte und ist daher normalerweise überbestimmt. Die Lucas-Kanade-Methode erhält eine Kompromisslösung nach dem Prinzip der kleinsten Quadrate. Es löst nämlich das 2 × 2-System
- oder
wo
ist die Transponierte der Matrix
. Das heißt, es wird berechnet
wobei die zentrale Matrix in der Gleichung eine inverse Matrix ist. Die Summen laufen ab ich= 1 bis n.
Die Matrix
wird oft als Strukturtensor des Bildes am Punkt bezeichnet p.
Gewichtetes Fenster[edit]
Die obige einfache Lösung der kleinsten Quadrate gibt allen die gleiche Bedeutung n Pixel
im Fenster. In der Praxis ist es normalerweise besser, den Pixeln, die näher am zentralen Pixel liegen, mehr Gewicht zu geben p. Dafür verwendet man die gewichtete Version der Gleichung der kleinsten Quadrate,
oder
wo
ist ein n×n Diagonalmatrix mit den Gewichten
der Pixelgleichung zugeordnet werden
. Das heißt, es wird berechnet
Das Gewicht
wird normalerweise auf eine Gaußsche Funktion des Abstandes zwischen eingestellt
und p.
Verwenden Sie Bedingungen und Techniken[edit]
Um die Gleichung
lösbar sein,
sollte invertierbar sein, oder
Eigenwerte erfüllen
muss nicht zu klein sein. Auch wenn
zu groß ist, bedeutet dies, dass der Punkt p befindet sich an einer Kante, und diese Methode leidet unter dem Aperturproblem. Damit diese Methode richtig funktioniert, ist die Bedingung, dass
und
sind groß genug und haben eine ähnliche Größe. Diese Bedingung gilt auch für die Eckenerkennung. Diese Beobachtung zeigt, dass man leicht erkennen kann, welches Pixel für die Lucas-Kanade-Methode geeignet ist, indem man ein einzelnes Bild untersucht.
Eine Hauptannahme für dieses Verfahren ist, dass die Bewegung klein ist (zum Beispiel weniger als 1 Pixel zwischen zwei Bildern). Wenn die Bewegung groß ist und gegen diese Annahme verstößt, besteht eine Technik darin, zuerst die Auflösung der Bilder zu verringern und dann die Lucas-Kanade-Methode anzuwenden.
[3]
Um mit dieser Methode eine Bewegungsverfolgung zu erreichen, kann der Strömungsvektor iterativ angewendet und neu berechnet werden, bis ein Schwellenwert nahe Null erreicht ist. An diesem Punkt kann angenommen werden, dass die Bildfenster sehr ähnlich sind.[1] Auf diese Weise kann der Punkt in jedem aufeinanderfolgenden Verfolgungsfenster über mehrere Bilder in einer Sequenz verfolgt werden, bis er entweder verdeckt ist oder den Rahmen verlässt.
Verbesserungen und Erweiterungen[edit]
Der Ansatz der kleinsten Quadrate geht implizit davon aus, dass die Fehler in den Bilddaten eine Gaußsche Verteilung mit dem Mittelwert Null haben. Wenn man erwartet, dass das Fenster einen bestimmten Prozentsatz von enthält “Ausreißer” (grob falsche Datenwerte, die nicht dem folgen “gewöhnliche” Gaußsche Fehlerverteilung) kann man statistische Analysen verwenden, um sie zu erkennen und ihr Gewicht entsprechend zu reduzieren.
Die Lucas-Kanade-Methode an sich kann nur verwendet werden, wenn der Bildflussvektor
zwischen den beiden Rahmen ist klein genug, damit die Differentialgleichung des optischen Flusses Bestand hat, die oft kleiner als der Pixelabstand ist. Wenn der Flussvektor diese Grenze überschreiten kann, z. B. beim Stereo-Matching oder bei der Registrierung verzerrter Dokumente, kann die Lucas-Kanade-Methode weiterhin verwendet werden, um eine grobe Schätzung desselben zu verfeinern, die auf andere Weise erhalten wird. Zum Beispiel durch Extrapolation der für vorherige Frames berechneten Flussvektoren oder durch Ausführen des Lucas-Kanade-Algorithmus für verkleinerte Versionen der Bilder. Tatsächlich ist die letztere Methode die Grundlage des beliebten Feature-Matching-Algorithmus Kanade-Lucas-Tomasi (KLT).
Eine ähnliche Technik kann verwendet werden, um differentielle affine Verformungen des Bildinhalts zu berechnen.
Recent Comments