Optischer Fluss

• Beleuchtungsänderung

• Bewegung des Sensors

• Bewegung der Objekte

• Signalrauschen

• Grauwertfluss (Optischer Fluss): Dies ist die beobachtete scheinbare Bewegung von Strukturen im Bild. Er beschreibt den Verlauf der Änderung von Intensitäten (Grauwerten) zwischen zwei Bildern einer Sequenz

• Bewegungsfeld: physikalische Bewegung in 3D, die in 2D abgebildet wird (nicht bekannt, soll dargestellt und geschätzt werden)

1: Pfeile

2: Farbcode

• Ausdehung hat keinen Einfluss auf den optischen Fluss, da es nur um die rotierende Bewegung geht und hier keine translation stattfindet

• Travelling Zoom

• Bewegung entlang der optischen Achse bei gleichzeitigem gegenläufigen Zoom

• optischer Fluss ist radial, mit längeren Vektoren, je weiter entfernt vom Bildzentrum

Ix​u+Iy​v+It​=0

• Ix​ und Iy​ die räumlichen Bildgradienten (die Ableitungen der Intensität nach x und y)

• It ist der zeitliche Gradient

• Die Variablen u und v sind die gesuchten Geschwindigkeitskomponenten (Verschiebungsparameter) des Flussvektors in der Bildebene

Annahmen:

• konstante Helligkeit auch wenn das Objekt sich bewegt

• Kleine Bewegungen: Die Gleichung basiert auf einer Taylor-Reihenentwicklung erster Ordnung. Damit diese Linearisierung gültig ist, muss die Bewegung zwischen zwei aufeinanderfolgenden Bildern hinreichend klein sein

  (zusammen: optical flow constraint equation)

Lucas-Kanade-Tracker (auch als KLT-Tracker bezeichnet) ist ein lokales, gradientenbasiertes Verfahren zur Bestimmung des optischen Flusses oder zur Verfolgung von Bildmerkmalen in einer Bildsequenz. Das Ziel des Verfahrens ist es, für eine lokale Umgebung (ein Fenster oder „Patch“) die Verschiebung (u,v) zwischen zwei Bildern so zu schätzen, dass die Summe der quadratischen Differenzen (SSD) der Intensitätswerte minimiert wird. Mathematisch wird dabei die Differenz der Grauwerte unter Verwendung einer Taylor-Reihenentwicklung erster Ordnung linearisiert

Annahmen:

• konstante Helligkeit

• kleine Bewegungen

• räumliche Kohärenz, lokale Glattheit (Flussvektoren sollten innerhalb einer kleinen Umgebung gleich sein)

• ausreichende Bildstruktur (bei homogen Bilder tritt das Aperturproblem auf und eine Bestimmung ist nicht eindeutig möglich)

• mit der Bildpyramide, dabei wir schrittweise die Auflösung reduziert

• so erscheint eine physisch große Verschiebung als eine kleine Pixelverschiebung, da weniger Pixel vorhanden sind

• von grob-zu-fein bis die Bewegug in der Originalauflösung bestimmt ist

• jedem einzelnen Pixel wird ein Verschiebevektor zugeordnet(für Videokompression, manipulation, Bildsequenzanalyse)

Probleme:

• Aperturproblem

• wenig Struktur, homogene Bildbereiche

Annahmen:

• Globale Glattheitsbedingung: Es wird angenommen, dass die Bewegung benachbarter Pixel voneinander abhängig ist und einem ähnlichen Geschwindigkeitsmuster folgt

• Durch diese Bedingung (bekannt aus dem Verfahren von Horn & Schunck) wird die Bestimmung des Flusses zu einem Optimierungsproblem, bei dem Informationen aus strukturierten Bildbereichen in homogene Bereiche „transportiert“ werden (Filling-in-effect)

• Lokale Glattheit (z. B. Lucas-Kanade-Tracker):

    ◦ Annahme: Der optische Fluss (u,v) ist innerhalb einer kleinen lokalen Nachbarschaft (Fenster W) konstant.

    ◦ Lösung: Nutzt Informationen mehrerer Pixel für ein überbestimmtes Gleichungssystem.

    ◦ Pro/Contra: Stabil gegen Rauschen und liefert Maße für die Schätzqualität, erzeugt jedoch keinen dichten Fluss (Lücken in homogenen Bereichen).

• Globale Glattheit (z. B. Horn & Schunck):

    ◦ Annahme: Die Bewegung benachbarter Pixel ist voneinander abhängig (ähnliches Geschwindigkeitsmuster über das gesamte Bild).

    ◦ Lösung: Minimierung eines globalen Energiefunktionals unter Berücksichtigung einer Glattheitsbedingung.

    ◦ Pro/Contra: Erzeugt einen dichten optischen Fluss (Vektor für jedes Pixel) durch den Filling-in-effect (Transport von Info in strukturlose Bereiche). Ist jedoch anfälliger für die Verteilung lokaler Fehler über das gesamte Feld.

Zentraler Punkt: Lokale Glattheit sucht Stabilität in der Nachbarschaft; globale Glattheit erzwingt ein lückenloses Feld durch bildweite Kopplung