Analytische Computer Vision

Pixelweise Berechnung der Differenz zwischen Ref und Zielbild

Vorteil: Einfach

Nachteil: gleich große negative wie positive Abstände heben sich auf

Pixelweise Berechnung des Differenzbetrag zwischen Ref- und Zielbild

Vorteil: gleich große negative wie positive Abstände heben sich nicht mehr auf

Nachteile:

• +1 und -1 sind gleich gute Fehlerwerte, jedoch landet man mit einem rechts und mit dem anderen links von Minumum —> symmetrische Konstellation

• viele minimale Fehlerchen genauso schwer wiegen, wie ein gravierender Fehler.

Pixelweise Berechnung des quadratischen Abstands zwischen Ref- und Zielbild

Vorteil: geringere Chance für eine symmetrische Konstellation

Nachteil:

• viele minimale Fehlerchen genauso schwer wiegen, wie ein gravierender Fehler.

• Lösung -> Ziehen der Wurzel weglassen und nur die quadrierten Fehler aufaddierten, dann haben große Bildabweichungen sehr großen Einfluss auf die Fehlersumme und bei kleinen Fehlern bleibt der Einfluss auf den Gesamtfehler klein.

1. Summe der Differenz

2. Summer der Differenzbeträge

3. Summe der quadratischen Differenz

Der Abstand zweier Bilder bezeichnet man als Korrelation.

Allgemein ist es wie folgt definiert:

• Korrelation ist ein Maß für den statistischen Zusammenhang zwischen zwei Datensätzen.

• Unabhängige Datensätze sind daher unkorreliert.

Ziel-> Einen Bereich zu finden, der die höchste Übereinstimmung mit dem vorgegebenen Template hat.

Vorgehen:

1. Verschieben des Templates jeweils eine Pixelspalte und am Ende der Reihe eine Zeile nach unten.

1. Korrelation (Abstand) zwischen Template und Bildausschnitt berechnen

Korrelationsbasierte Matching-Methoden sind im Allgemeinen nicht imstande, Verdrehungen und Größenänderungen zwischen Bild und Template zu bewältigen.

Um eine Skalierung oder Rotation zu berücksichtigen, müsste man alle möglichen Winkel und Skalierungen probieren, was es unpraktikabel macht.

Marker basiertes Tracking

Kontrast und unverkennbare Strukturen, wie Ecken, eignen sich gut als wieder-identifizierbare Bildmerkmale (Features).

Beispiele:

• Eine bestimmte Gruppierung weißer Pixel auf schwarzem Hintergrund

• Kanten und Ecken in einer bestimmten Anordnung zueinander

• Lokale Muster im Bild, die eine auffallende Struktur mit auffallenden Eigenschaften haben und dadurch einen Wiedererkennungswert haben

Arbeitsschritte, um Feature Tracking auszuführen:

1. ein Detektor sucht nach markanten Bildregionen (Merkmale)

2. ein Deskriptor beschreibt die typischen Eigenschaften der Bildregion (Merkmalen) in kompakter Form

3. beim Matching werden anhand der, in Kurzform beschriebenen Eigenschaften, die korrespondieren den Bildausschnitte bestimmt

Die Qualität der Detektion ist davon abhängig, wie invariant (robust) das Verfahren gegenüber Veränderungen von Bildmerkmalen ist.

1. Perspektivische Verzerrung (Kamera Wackeln)

2. Sonstige Verzerrung, die bei der Aufnahme von Bildern und Videos entstehen (Objektive wie Weitwinkel, Fischauge)

3. Beleuchtungseffekte (Schattierung, Schatten, spiegelnde Reflexionen)

4. Affine Transformation (Rotation, Skalierung, Scherung)

Skalierungsräume bzw. Bildpyramiden ermöglichen im SIFT-Verfahren eine robustere und skalierungsinvariante Merkmalsextraktion.

Durch die Anpassung der Standardabweichungen in den Gauss-Filtern kann der DOG-Filter so konfiguriert werden, dass er entweder feine oder breite Kanten im Bild verstärkt.

Feine Kanten -> kleineren Standardabweichungen

Breite Kanten -> große Standardabweichungen

DOG-SIFT:

Von jedem Stockwerk werden mehrere Bilder kopiert und mit einem anderen Gaußwert geglättet (Oktave), dann werden die Differenzen zwischen benachbarten Bildern berechnet.

Vergleich der 8 benachbarten Pixel und je 9 im Bild über und unter dem Bild (DOG)

Nur der Pixel wird nur als Extrema gespeichert, dessen Grauwert größer oder kleiner ist als der Grauwert alle umliegender Pixel.

Pixel, die zwar lokal betrachtet markant sind, sich von den benachbarten Extrema aber nicht genügend unterscheiden. Sollte die Differenz der Intensitäten zweier benachbarter Extrema einen bestimmten Schwellwert unterschreiten, werden sie aussortiert. Im nächsten Schritt werden die Keypoint-Kandi- daten aussortiert, die auf einer Kante liegen, da sich Pixel entlang einer Kante sehr ähnlich sind.

Eine 16 x 16 Pixel großes Quadrat wird um den jeweiligen Keypoint, der sich in der Mitte befindet, gelegt. Für jeden Pixel wird ein Gradient berechnet (siehe links „Image gradients“). Jeweils 1⁄4 der Gradienten (links) werden auf acht Richtungen (rechts) diskretisiert . Dabei spielt wie bei 5. die Länge des Gradienten eine Rolle sowie jetzt zusätzlich die Lage des Gradienten in Abhängigkeit zum Keypoint. Liegt der Gradient näher m Keypoint wird der stärker gewichtet. Zusätzlich werden die Gradienten normalisiert.

1. Zunächst wird für das gesamte Kamerabild die Keypoints berechnet.

2. Danach werden die Keypoints auf Basis ihrer vom Deskriptor beschriebenen Eigenschaften miteinander verglichen.

3. Um fehlerhafte Zuordnungen zu vermeiden, werden nicht eindeutige Zuordnungen verworfen.

4. Sollte es mehrere Übereinstimmungen (Matchs) geben, wird der, mit der höchsten Übereinstimmung gewählt. Sollte der Unterschied zwischen beiden Matchs sehr klein sein, werden beide verworfen.

IRIS Erkennung

Venen-Erkennung

Stiching (Panoramabilder)

Die Mach'schen Streifen zeigen, wie das visuelle System in der Lage ist, den Kontrast zwischen benachbarten Bereichen zu verstärken. Die hellen und dunklen Streifen erzeugen eine starke räumliche Kontrastwahrnehmung und verdeutlichen, wie unsere Wahrnehmung feine Unterschiede in der Helligkeit verstärken kann.

• Hohe Kontrastunterschiede

  • also lokale Minima und Maxima im Grauwertbild

  • solche Minima und Maxima können Kanten oder Eckpunkte sein

  • Masche Streifen stützen diese Hypothese

• auch flächige Bildelemente sind „aussagekräftige“ Bildbereiche

  • durch ihre Form erkennt man bekannte Objekte

  • zusammengesetzt bilden sie Strukturen bekannter Objekte

Eine Multiplikation der Funktionen in einem Raum (Orts- oder Frequenz-raum) entspricht also einer linearen Faltung der durch die Fourier-Analyse Transformierten, im jeweils anderen Raum.

Multiplikation von Funktionen im Raum == Lineare Faltung durch Fourier-Analyse

Tiefpassfilter - Weichzeichner (Gauß / Box)

Berechnung: Einen linearen Faltungskern dargestellt werden, zum Beispiel einen Gaußschen Kernel.

Hochpassfilter - Kantenerkennung

Berechnung mit linearen Faltungskern mit Differenzoperator:

• Filtermasken haben positive und negative Koeffizienten

• Die Filterkoeffizienten sind normalisiert:

  Was bedeutet, die Summe der Koeffizienten ergibt

Sobel x:

-1 0 1

-2 0 2

-1 0 1

Sobel y:

-1 -2 -1

0 0 0

1 2 1

Glättungsverhalten ist abhängig von Sigma

je größer Sigma, umso weicher.

Verwendung DOG-> zwischen zwei Bildern mit niedrigen und hohen Sigma -> Kanten werden gekennzeichnet

Der Gradient eines Bildes ist ein Vektor, der die Richtung der größten Veränderung im Bild und die Stärke dieser Veränderung angibt. In einem zweidimensionalen Bild wird der Gradient üblicherweise in horizontaler (x-Richtung) und vertikaler (y-Richtung) Komponente ausgedrückt.

Der Gradienten pro Pixel wird mittels Differenzoperator ermittelt

Sobel x:

-1 0 1

-2 0 2

-1 0 1

Sobel y:

-1 -2 -1

0 0 0

1 2 1

2x2Roberts Operator

01 1 0

-10 0-1

Prewitt Operator

-1 0 1 1 1 1

-1 0 1 0 0 0

-1 0 1 -1 -1 -1

Variante A:

das Filterergebnis wird in ein Zwischenbild gespeichert und anschließend ins Originalbild kopiert.

Variante B:

Das Originalbild wird zuerst in ein Zwischenbild kopiert, und diese wird gefiltert. Das Ergebnis der Filterung wird im Originalbild abgelegt.

Ein einfacher, diskreter Operator zur Kantenerkennung in der Bildverarbeitung.

Er erkennt Kanten in einem Bild, indem er die Ableitung in horizontaler und vertikaler Richtung berechnet und die Gradientenstärke approximiert.

Durch die Einfachheit kommt er ohne ein Zwischenbild aus.

bei Anwendung:

x x+1

y ( 0 1)

y+1 (-1 0)

wird als Kante erkannt

high —————————————

nur wenn benachbarter Pixel eine Kante ist wird er als Kante Akzeptiert

low —————————————

wird nicht als Kate erkannt

Bei Canny Edge wird mehr das Rauschen unterdrückt im Vergleich mit Kantendetektoren wie Laplace Prewitt oder Sobel.

Ecken einzigartige und gut unterscheidbare visuelle Strukturen in einem Bild.

Im Gegensatz zu Linien oder einfarbigen Flächen bieten Ecken Unabhängigkeit von Rotation und Skalierung durch, da sie in alle Richtungen eine signifikante Änderung aufweisen, wenn man die Pixel vergleicht.

Eine Ecke ist nicht eindeutig, da sich z.B. Ecken von Dreiecken oder Recken im Winkel unterscheiden, aber es auch eine Ecke entstehen wenn zwei Linien sich schneiden.

Unterschiede:

Winkel

Rotation

usw

Wenn 12 Pixel um den Ecken-Kandidaten im Abstand von 3 um den Schwellwert heller oder dunkler sind, wird der Kandidat als Ecke erkannt.

Der FAST-Detektor findet alle Ecken, die nicht achsenparallel liegen

Die Ecken, die parallel zu den Koordinatenachsen des Bildes verlaufende, werden oft nicht erkannt

1. Pixel 1,5,9 und 13 prüfen, ob heller als Kandidaten—> wenn 3 heller oder dunkler weiter

2. Restliche Pixel prüfen —> wenn 12 heller oder dunkler -> Kandidat Ecke sonst keine Ecke

1. Vom Vordergrundpixel werden die Gradenbüschel in das ab-Koordinatensystem überführt

2. Vorkommen der Geraden in dem diskret unterteilten Zellen des ab Koordinatensystem werden aufsummiert

3. Die Zellen im ab-Koordinatensystem, die die meisten Geraden aus dem Geradenbüscheln auf sich vereinigen können, sind die gesuchten Geraden im xy-Koordinatensystem

Alternativ können statt Steigung (a) und schnittpunkt durch die Y-Achse (b) auch die Hessische Normalform verwendet werden:

Winkel und p=Länge des Vektors, der orthogonal auf der Geraden steht und durch den Nullpunkt des xy-Koordinatensystems geht.

ab-Koordinatensystem -> Damit können Kanten, die parallel zur y-Achse im Bild verlaufen, nicht oder nur mit einer gewissen Ungenauigkeit gefunden werden.

Da delta x = 0 ist, sind diese Geraden nicht definiert.

Hessche Normalform:

• Erkennt auch kanten die parallel zur y-Achse im Bild verlaufen