• Informatik

• Ingenierwissenschaften

Die Kalssifizierung von Objekten und die Bewegungserkennung

Die Forschung begann in den 1960er Jahren

• Erkennungsaufgaben: Erkennen und Klassifizieren verschiedener Objekte oder Personen in Bildern;

• Bewegungsanalyse: Erkennen und Verfolgen der Bewegung von Objekten, Personen oder der Kamera;

• Bildwiederherstellung: Filtern und Entfernen von Rauschen aus Bildern und Videos; und

• Geometrierekonstruktion: Schätzen eines 3D-Modells eines realen Objekts oder einer Szene.

In der Computer Vision gibt es vier Arten von Erkennung:

• 🔹 Objekterkennung: Was ist auf dem Bild?

• 🔹 Identifizierung: Wer oder was genau ist es?

• 🔹 Posenabschätzung: Wo und wie ist das Objekt positioniert?

• 🔹 OCR: Welche Texte stehen auf dem Bild?

Alle diese Aufgaben helfen Computern dabei, die visuelle Welt zu verstehen und sinnvoll zu nutzen.

• Die Bewegungsanalyse beschäftigt sich damit, wie sich Objekte im Laufe der Zeit bewegen.

• In der Computer Vision wird sie genutzt, um z. B. Kameras, Fahrzeuge oder Personen zu verfolgen und ihre Bewegung zu verstehen.

1. Odometrie: misst oder schätzt die Bewegung und Position eines Objekts, entweder mit Sensoren oder durch Bildanalyse (visuelle Odometrie).

2. Tracking: verfolgt ein bestimmtes Objekt über mehrere Bilder hinweg – z. B. Menschen, Fahrzeuge oder Tiere in einem Video.

Beispiel:

• Ein autonomer Reinigungsroboter kann mithilfe der visuellen Odometrie einschätzen,wo er sich gerade im Raum befindet und welche Bereiche er schon gereinigt hat.

Beispiel:

• In einem Video kann ein System die Bewegung eines Autos verfolgen,um seine Richtung und Geschwindigkeit zu bestimmen.

Bildrekonstruktion – einfach erklärt

• Bei der Bildrekonstruktion geht es darum, Bilder zu verbessern oder wiederherzustellen, die verschwommen, verpixelt oder beschädigt sind.

• Das Ziel ist, aus einem schlechten Bild wieder ein klareres und qualitativ besseres zu machen.

• Hier wird aus mehreren Bildern ein 3D-Modell einer Szene oder eines Objekts erstellt.

• In der Architektur oder im Film kann man ein Gebäude oder eine Figur digital rekonstruieren,indem man es aus verschiedenen Perspektiven fotografiert.

Computer Vision hat mit fünf großen Herausforderungen zu kämpfen:

1. Lichtverhältnisse ☀️

2. Ähnliche Objekte 🔍

3. Größenunterschiede 📏

4. Drehungen 🔄

5. Verschiedene Positionen 📍

• Erkennung

• Bewegungsanalyse

• Bildwiederherstellung

• Geometrierekonstruktion

• Ein Pixel ist die kleinste Einheit eines Bildes.

• Das Wort setzt sich aus den beiden Begriffen „pictures“ (pix) und „element“ (el) zusammen

• Mit der „Auflösung“ eines Bildes wird die Anzahl der Pixel angegeben. Je höher die Auflösung, desto mehr Details sind auf dem Bild zu erkennen

🎨 Farbdarstellungen – einfach erklärt

Wenn ein Computer ein Bild speichert, muss er jede Farbe in Zahlen umwandeln, damit sie digital verarbeitet werden kann.

Diese Zahlen beschreiben, welche Farbe ein einzelner Pixel (Bildpunkt) hat.

⚫ Monochrome Bilder (Schwarz-Weiß)

• Die einfachste Form der Farbdarstellung.

• Jeder Pixel hat nur zwei mögliche Werte:

  • 0 = Schwarz

  • 1 = Weiß

• Solche Bilder nennt man monochrom oder binär.

🌈 True Color (24-Bit-Farbdarstellung)

• Hier wird jeder Pixel mit 24 Bits dargestellt.

• Diese 24 Bits werden in 3 Gruppen à 8 Bits aufgeteilt:

  • R = Rot

  • G = Grün

  • B = Blau

• Jede dieser Farben kann zwischen 0 und 255 liegen.

👉 So entstehen über 16 Millionen Farben (256 × 256 × 256 = 16.777.216 mögliche Farbtöne).

🎨 Was bedeutet CMYK?

CMYK steht für:

• C = Cyan (Blaugrün)

• M = Magenta (Pink)

• Y = Yellow (Gelb)

• K = Key = Schwarz

Diese vier Farben werden übereinander gedruckt, um alle anderen Farbtöne zu erzeugen. Das nennt man ein subtraktives Farbmodell – weil jede Farbschicht Licht wegnimmt (absorbiert), statt es zu addieren wie beim RGB-Modell.

• Es wird vor allem im Druckbereich verwendet – also z. B. für Zeitungen, Plakate oder Verpackungen.

Man nutzt sie, um:

• Effekte auf Bilder anzuwenden (z. B. Schärfen, Weichzeichnen),

• Rauschen zu entfernen (Glättung),

• fehlende Bereiche zu ergänzen (Inpainting),

• oder wichtige Merkmale zu erkennen, wie Kanten oder Ecken.

🔲 Die 2D-Faltung (engl. Convolution)

Eine häufig verwendete Methode, um Filter auf Bilder anzuwenden, ist die 2D-Faltung.

So funktioniert sie:

1. Man hat ein Bild, das aus vielen Pixeln (kleinen Kästchen mit Farbwerten) besteht.

2. Dann nimmt man eine kleine Matrix, die man Kernel oder Faltungsmatrix nennt. – Diese ist meist 3×3 oder 5×5 groß.

3. Der Kernel wird Schritt für Schritt über das ganze Bild geschoben.

4. An jeder Position werden die Pixelwerte des Bildes mit den Werten des Kernels multipliziert und addiert. Das ergibt einen neuen Pixelwert im gefilterten Bild.

🧱 Auffülltechniken (Padding) – einfach erklärt

Wenn man ein Bild mit einer Faltungsmatrix (Kernel) bearbeitet, entsteht ein Problem an den Bildrändern:

• Am Rand fehlen Pixel, die der Kernel für seine Berechnung eigentlich braucht.

• Damit das Bild trotzdem vollständig verarbeitet werden kann, werden an den Rändern zusätzliche Pixel eingefügt.

Dieser Vorgang heißt Padding (oder Auffüllen).

📸 Warum braucht man Padding?

Ohne Padding wird das Bild bei jeder Faltung kleiner, weil an den Rändern keine vollständige Berechnung möglich ist.

Padding sorgt also dafür, dass:

• das Bild gleich groß bleibt,

• und die Randbereiche ebenfalls richtig verarbeitet werden.

🧩 Drei häufige Arten von Padding:

1. 🟦 Constant Padding (Konstantes Auffüllen)

   • → Die leeren Felder werden mit einem festen Wert gefüllt – meistens 0 (also Schwarz). Beispiel: gut geeignet, wenn man einfach neutrale Ränder möchte.

2. 🟩 Replication Padding (Nachbarschaftsauffüllen)

   • → Der Wert der angrenzenden Pixel wird kopiert, um die leeren Felder am Rand zu füllen. Beispiel: Der äußerste Pixelwert einer Zeile wird nach außen hin wiederholt.

3. 🟨 Reflection Padding (Spiegelauffüllen)

   • → Die Randbereiche werden gespiegelt. Beispiel: Der Pixel links neben dem Rand wird durch den Pixel auf der gegenüberliegenden Seite ersetzt. So entsteht ein symmetrischer Rand um das Bild.

📷 Was bedeutet Verzeichnung?

• Wenn eine Kamera ein Bild aufnimmt, sollte sie die Realität möglichst genau abbilden. Das heißt:

  • Gerade Linien in der echten Welt sollten auch gerade auf dem Foto erscheinen.

In der Praxis passiert das aber oft nicht, weil Kameraobjektive (vor allem Weitwinkel- oder günstige Linsen) das Bild verzerren.

Diese Bildfehler nennt man Verzeichnungen (engl. distortions).

🔵 1. Radiale Verzeichnung

🟣 2. Tangentiale Verzeichnung

🔵 1. Radiale Verzeichnung

Die radiale Verzeichnung entsteht durch die rundliche Form des Kameraobjektivs. Dabei werden gerade Linien zum Rand hin gebogen.

Die Stärke dieser Verformung hängt von der Objektivgröße ab:

• Kleine oder Weitwinkelobjektive → stärkere Verzeichnung

• Große oder Teleobjektive → geringere Verzeichnung

🟣 2. Tangentiale Verzeichnung

Die tangentiale Verzeichnung entsteht nicht durch die Form des Objektivs, sondern durch eine schiefe Ausrichtung zwischen:

• dem Kameraobjektiv und

• dem Bildsensor.

Wenn beide nicht exakt parallel sind, werden Linien im Bild verschoben oder verzogen – das Bild wirkt leicht geneigt oder verzerrt.

Korrektur → mithilfe mathematischer Modelle und Kamerakalibrierung

Damit diese Korrektur funktioniert, braucht man:

• die intrinsischen Parameter der Kamera (z. B. Brennweite, Bildmittelpunkt)

• und die extrinsischen Parameter (z. B. Position und Ausrichtung der Kamera).

Die Kamerakalibrierung ist ein wichtiger Schritt in der Computer Vision,um herauszufinden, wie eine Kamera die reale Welt "sieht".

Sie hilft uns zu verstehen, wie 3D-Punkte aus der echten Welt auf ein 2D-Bild (Foto) abgebildet werden. Nur wenn diese Beziehung bekannt ist, kann man:

• Verzeichnungen (Bildfehler) korrigieren,

• Abstände und Größen im Bild richtig messen,

• und 3D-Modelle aus Fotos rekonstruieren.

1. Intrinsische Parameter (kameraintern)

2. Extrinsische Parameter (kameraposition)

Intrinsische Parameter (kameraintern)

Diese beschreiben die Eigenschaften der Kamera selbst, z. B.:

• Brennweite (wie stark das Objektiv vergrößert),

• optisches Zentrum (wo die Mitte des Bildes liegt),

• Verzeichnungsparameter (wie stark das Objektiv das Bild verzerrt).

Extrinsische Parameter (kameraposition)

Diese geben an, wo und wie die Kamera in der realen Welt positioniert ist:

• Rotation → in welche Richtung die Kamera zeigt,

• Translation → wo sie sich im Raum befindet.

1. 3D-Koordinatensystem der realen Welt → beschreibt die tatsächliche Position von Punkten im Raum.

2. 3D-Kamerakoordinatensystem → zeigt, wo die Kamera steht und wohin sie schaut.

3. 2D-Koordinatensystem des Bildes → beschreibt, wo die Punkte im aufgenommenen Foto liegen.

Die Abbildung geschieht in zwei Schritten:

1. 3D-Welt → Kamera (mit extrinsischen Parametern)

2. Kamera → 2D-Bild (mit intrinsischen Parametern)

• Eine Praktische Kalibrierung mit einem Schachbrettmuster

• Es stammt von Zhang

🔍 Was sind Merkmale (Features)?

Ein Merkmal ist ein Punkt von Interesse in einem Bild,

der wichtige Informationen für eine bestimmte Aufgabe enthält.

• Das kann z. B. eine Ecke, eine Kante oder eine gleichmäßig gefärbte Fläche (Blob) sein.

🧱 Die drei Hauptschritte des Feature Engineerings

1. Merkmalserkennung

2. Merkmalsbeschreibung / -extraktion

3. Merkmalsabgleich (Feature Matching)

1. Merkmalserkennung

Hier werden interessante Punkte im Bild gefunden — z. B. Ecken, Kanten oder auffällige Flächen. Beispiele:

• Blobs → Bereiche mit ähnlicher Farbe oder Helligkeit.

• Kanten → dort, wo sich die Helligkeit stark ändert (Jain et al., 1995).

• Ecken → Übergänge zwischen zwei Kanten.

➡️ Beispiel: Wenn man Tomaten auf einem Bild erkennen will, könnten Blobs helfen, da sie runde, gleichfarbige Flächen beschreiben.

2. Merkmalsbeschreibung / -extraktion

Sobald Merkmale erkannt sind, werden ihre Eigenschaften numerisch beschrieben. Der entstehende Merkmalsdeskriptor enthält Informationen über:

• die Farbe,

• die Textur,

• oder das lokale Muster der Pixel rund um das Merkmal.

➡️ Beispiel: Ein Deskriptor einer Tomate könnte rötliche Farbwerte und eine runde Struktur beschreiben.

3. Merkmalsabgleich (Feature Matching)

Die extrahierten Deskriptoren können mit anderen Bildern verglichen werden, um ähnliche Merkmale zu finden. So kann man z. B. erkennen, ob dieselbe Tomate oder Gurke in verschiedenen Bildern vorkommt.

➡️ Beispiel: Wenn man einen Merkmalsdeskriptor einer Gurke hat, kann man ihn mit anderen Deskriptoren vergleichen, um alle Gurkenstücke im Bild zu erkennen.

Semantische Segmentierung (vereinfacht erklärt)

Bei der semantischen Segmentierung – auch Bildsegmentierung genannt –

• wird ein Bild so analysiert, dass jedes Pixel einer bestimmten Kategorie (z. B. Hintergrund, Auto, Mensch) zugeordnet wird.

• Das bedeutet: Der Computer erkennt, welche Teile des Bildes zusammengehören, und färbt sie entsprechend ein.

Ein solches Netz besteht aus zwei Hauptteilen:

1. Convolution-Teil (Faltungsschichten): Er erkennt und extrahiert Merkmale im Bild – zum Beispiel Kanten oder Formen.

2. Deconvolution-Teil (Entfaltungsschichten): Er nutzt diese Merkmale, um das ursprüngliche Bild wieder „aufzubauen“ und jedem Pixel eine passende Kategorie zuzuordnen.

1. Autonomes Fahren: Erkennen von Autos, Fußgänger:innen, Straßen und Fahrspuren

2. Satellitenbilder (GeoSensing): Analyse von Landnutzung, z. B. Wälder, Felder oder Wasserflächen

3. Bewegungserkennung: Verfolgen von Körperteilen (z. B. Armen, Beinen, Kopf)

4. Medizin: Erkennen von Krankheitsbereichen, z. B. Tumoren im Gehirn

💡 Grundlagen

• Bildgenerierung: KI erzeugt neue, realistische Bilder.

• Wichtige Methoden:

  1. Variational Autoencoder (VAE)

  2. Generative Adversarial Networks (GAN)

  3. Diffusionsmodelle

Prinzip:

• Sie lernen, wie man Bilder komprimiert und wiederherstellt

• Besteht aus Encoder (komprimiert Bild) und Decoder (stellt Bild wieder her).

Ein GAN besteht aus zwei neuronalen Netzen, die gegeneinander arbeiten:

• Generator: versucht, realistische Bilder zu erzeugen

• Diskriminator: versucht zu erkennen, ob ein Bild echt oder künstlich ist

Beide lernen gegenseitig voneinander:

• Der Generator wird immer besser im „Fälschen“.

• Der Diskriminator wird immer besser im Erkennen.

So entstehen am Ende sehr realistische Bilder – z. B. Gesichter, Landschaften oder Kunstwerke.

Probleme:

• Schwer zu trainieren (instabil)

Diffusionsmodelle (kurz erklärt)

• Diffusionsmodelle sind die neueste Generation der Bildgeneratoren.

• Sie arbeiten schrittweise: Ein verrauschtes (unscharfes) Bild wird langsam „entrauscht“, bis ein neues, realistisches Bild entsteht.

• Sie gelten heute als besonders stabil, präzise und vielfältig.

• Generator – erzeugt synthetische Daten (z. B. Bilder), die möglichst realistisch wirken sollen

• Diskriminator – unterscheidet zwischen echten und vom Generator erzeugten Daten und gibt Feedback, um den Generator zu verbessern

VAEs basieren auf einer Encoder-Decoder-Architektur.