PHYSIK
Was ist Licht?
Welche zwei Modelle für Licht kennen wir?
Licht = sichtbares Spektrum elektromagnetischer Strahlung
-> 380 -720nm
Welle-Teilchen Dualismus:
Licht als elektromagnetische Welle erklärt:
-> Farbe
-> Polarisation
-> Interferenz
-> Beugung
Licht als Teilchen (Photonenmodell) erklärt:
-> Schrotrauschen
=> vermutlich ist Licht weder noch, aber Modelle helfen uns, Eigenschaften zu erklären
Wie erklären wir uns Schrotrauschen?
Licht als diskrete Teilchen (Photonen)
-> Je intensiver das Licht ist, desto höher ist die Anzahl der Photonen pro Sekunde, die auf einen Punkt treffen
-> Photonenstrom hat einen durchschnittlichen Fluss und Schwankungen um diesen Wert herum
-> Schwankungen in der Anzahl der Photonen sind in Bildern als Rauschen sichtbar - Poisson-Rauschen/Schrotrauschen
Wie erklären wir uns Farbe physikalisch?
Farbe = Beleuchtung + spektrale Reflektanz des Objekts + unsere Wahrnehmung (Empfindlichkeit der Retina)
-> spektrale Strahlungsverteilung
-> Beleuchtung: mit welchen Wellenlängen wird das Objekt angestrahlt?
-> Objekt: welche Wellenlängen reflektiert das Objekt in welchem Maß?
-> Wahrnehmung: für welche Wellenlängen sind wir am empfindlichsten?
Warum erzeugt RGB-LED Licht oft eine schlechte Farbwiedergabe?
RGB-LED:
= RGB Farben als Peak bei gewünschten Wellenlängen (weiß: RGB, gelb: RG etc.) wegen
-> “Löcher” im Spektrum
Weiß-LED:
= blaue LEDs mit Phosphorschicht
-> Phosphor wandelt kurzwellige Energie in mittlere Wellenlängen um
-> Spektrum hat nur ein “Loch”
Farbwiedergabe: am Beispiel orange Paprika
Gelbe RGB-LED:
-> hat peaks bei rot und grün, orange ist genau in der Mitte
-> Paprika sieht rot aus
W-LED + gelbe Filterfolie:
-> peak bei orange
-> Paprika sieht korrekt aus
Bei Hauttönen ähnlich: Puder hat andere spektrale Reflektanz als Haut, bei Tageslicht sieht alles okay aus, unter Studiolampen nicht!
Was ist die Lösung gegen falsche Farbwiedergabe von RGBW Scheinwerfern?
-> zusätzlich zu RGB(W) auch Cyan- und Lime-LEDs
-> gleichmäßige Abdeckung des gesamten Lichtspektrums
= 5-Kanal oder 6-Kanal Licht
WAHRNEHMUNG
Wie ist das Auge aufgebaut?
-> Iris + Pupille = Blende
-> Linse = Objektiv
-> Netzhaut (Retina) = Sensor
Pigmentepithel
Stäbchen
Zapfen
Ganglien
-> Fovea
-> Sehnerv
Welche Sehzellen gibt es in der Netzhaut?
Stäbchen (rods)
= Nachtsehen (scotopic)
Zapfen (cones)
= Tag- und Farbsehen (photopic)
Ganglienzellen
= neuronale Verschaltung + Weiterleitung
-> 120 Mio Stäbchen vs. 8 Mio Zapfen!
Wann und wie sehen wir mit den Stäbchen?
-> bei Dunkelheit
-> nur SW-Sehen (“Nachts sind alle Katzen grau”)
-> in der Fovea kaum Stäbchen, eher in Peripherie
Wann und wie sehen wir mit den Zapfen?
-> bei Helligkeit
-> drei Zapfentypen
S (short) - blaues, kurzwelliges Licht
-> seltenster Zapfentyp
M (medium) - grünes, mittelwelliges Licht
-> häufigster Zapfentyp
L (long) - rotes, langwelliges Licht
-> M+L sind für Helligkeit zuständig
Wie sind die Zapfen in der Netzhaut verschaltet?
Opponentenverarbeitung der Farbe:
-> Ganglienzellen hemmen oder aktivieren nach einem Gegenfarbensystem
-> wird ein Zapfen einer Farbe angeregt, so werden die Signale umliegender Zapfen der Gegenfarbe gehemmt (ON/OFF)
=> spart “Übertragungsbandbreite” in höhere Schichten des Gehirns
Luminance pathway:
= Helligkeit (L+M)
Chromatic pathways:
-> Rot-Grün System (L-M)
-> Blau-Gelb System (S - (L+M))
Was sind die Konsequenzen aus der Opponentenverschaltung der Zapfen?
Gegenfarben rot-grün und gelb-blau werden gegenseitig gehemmt
-> es gibt kein rötliches Grün
-> es gibt kein gelbliches Blau
Was ist Helligkeits- und Farbadaptation?
= Fähigkeit des Auges, sich unterschiedlichen Lichtverhältnissen anzupassen
Helligkeitsadaptation
-> Können über einen Bereich von ca. 30 Blenden in der Helligkeit adaptieren
-> Dunkeladaptation: Stäbchen brauchen bis zu 30 min um vollständig zu adaptieren
-> Helladaptation: Zapfen reagieren schneller und wir adaptieren innerhalb von Sekunden an hellere Umgebung
-> weiß nicht auf maximale Helligkeit graden
Farbadaptation
-> Farbkonstanz
Farbadaption kompensiert die Beleuchtungsfarbe solange die Beleuchtung nicht zu gesättigt ist (“discount the illuminant”)
sonst müssten Objekte an verschiedenen Tageszeiten verschiedene Farben haben
-> trotzdem gewisse Adaptation an Lichttemperatur, wie beim Skifahren
-> immer weiß oder Gegenfarbe im Bild haben, wenn man eine Farbe leuchtend erzählen will, sonst adaptieren wir
-> Nachbilder können auch nicht nur die Gegenfarbe sein, zB Weihnachtsbaum mit weißen Kerzen, Kerzen erscheinen im Nachbild gelb statt schwarz
Visualisierung des Farb-Gamuts: uv- oder xy-?
uv-Diagramm ist besser geeignet, da das xy-Diagramm visuell sehr ungleichabständig ist
-> JND-Ellipsen (“Just noticable difference”) sind im xy-Diagramm sehr unterschiedlich
-> durch Umwandlung in uv-Gamut werden die Ellipsen untereinander ähnlicher
Was ist die Helligkeitswahrnehmung des Menschen?
Helligkeit = physikalische Größe Luminanz entspricht linear der Energie
-> Wahrnehmung für dunkle Reize (nahe schwarz) einer Potenzfunktion (Stevens’ Potenzgesetz)
-> Wahrnehmung für hellere Reize folgt einer logarithmischen Funktion (Weber-Fechner-Gesetz)
Was ist “mittleres Grau”?
18% Grau
-> eine als mittleres Grau wahrgenommene Fläche (= genau in der Mitte zwischen Weiß und Schwarz) reflektiert ca- 18% der linearen Luminanz relativ zu einer weißen Fläche
-> Wegen logarithmischer Wahrnehmung (Weber-Fechner und Stevens Potenzgesetz)
Welche Fraquenzen nehmen wir am besten wahr? Was nehmen wir nicht wahr?
-> Wir sehen überwiegend nur die mittleren Frequenzen
-> Hohe und niedrige Frequenzen werden nur stark abgeschwächt oder gar nicht wahrgenommen
-> Betrachtungsposition und Betrachtungswinkel sind bei Bildbearbeitung sehr wichtig
-> sehr schnelle und sehr langsame Veränderungen werden auch nicht wahrgenommen
-> Konstruktivismus = Wahrnehmung von Farben hängt nicht nur von den physikalischen Eigenschaften des Lichts ab, sondern auch stark von den kognitiven Prozessen und Erfahrungen des Individuums (Beispiel Fläche A vs. B sind eigentlich gleiche Farbe)
OPTIK
Welche Einflüsse hat die physische Größe der Kamera?
-> Stabilisierung
-> Mobilität
-> Look (z.B. Authentizität bei Schulterkamera)
Welche Bildseitenverhältnisse sind üblich?
1:1,33 - 4:3
-> Academy
-> früher klassisches 16/35mm Analogfilmformat und SD
1:1,77 - 16:9
-> TV
-> HD und UHD Video
1:1,85 - Breitbild
-> flat
-> Kinoformat
1:2,35 - 1:2,55 - CinemaScope
-> extremes Breitbildformat
-> oft und ursprünglich anamorph
=> Wahl des Formats muss mit allen Stakeholdern abgeklärt werden
Welche Einflüsse hat die Sensorgröße?
Größerer Sensor erlaubt größere:
-> Lichtempfindlichkeit (über Eintrittspupille)
-> Tiefenschärfe
-> erreichbare Schärfe (Beugungsbegrenzung -> Detailauflösung ist an dem Punkt nicht mehr veränderbar)
Welche Einflüsse hat die Blende?
Wie hängen Sensorgröße und Blende zusammen?
Höhere Blendenzahl = kleinere Blende -> weniger Licht tritt ein
-> Halbierung des Durchmessers entspricht Viertel der Lichtmenge (daher Skala in √2 Schritten: 1, 1.4, 2.0, 2.8, 4, 5.6, 8, 11, 16, 32, 45, 64,…)
-> eintretende Lichtmenge: offene Blende = viel Licht, geschlossene Blende = wenig Licht
Tiefenschärfe: Höhere Blendenzahl = höhere Schärfentiefe
Maximal erreichbare Schärfe (Aberration/Beugung)
-> Aberrationen bei großer Blendenöffnung, da Licht am Rand und in der Mitte der Linse unterschiedlich gebrochen wird
-> Beugung bei kleiner Blendenöffnung ausgeprägter
Zusammenhang mit Sensorgröße:
Obere Reihe: bei gleicher Sensorgröße
Untere Reihe: bei gleicher Blende
Was ist die Brennweite?
Welche Einflüsse hat die Brennweite und wie hängt sie mit der Sensorgröße zusammen?
= Abstand zwischen Hauptebene und Linse
-> Vergrößern der Brennweite = schmalere Schärfeebene des Bildes, weniger Tiefenschärfe
-> unterschiedlicher Bildwinkel
Zusammenhang Brennweite zu Sensorgröße
-> dieselben Bildwinkel werden bei größeren oder kleineren Sensoren bei unterschiedlichen Brennweiten erreicht
-> 30° Bildwinkel bei Kleinbild/Vollformat (ca. 43mm) mit 80mm Brennweite
-> 30° Bildwinkel bei APS-C Sensor (ca. 22mm) mit 50mm Brennweite
-> unterschiedliche “Normalbrennweiten”
Was ist bei der Wahl der Objektivfassung zu beachten?
Objektivfassung = Mount
- Für unterschiedliche Mounts sind unterschiedliche Optiken verfügbar
-> Film-Spezialoptiken für PL-Mount
-> Sehr lange Brennweiten nur für B4-Mount
-> Industrie-Optiken nur für C-Mount
-> Spezielle Makro Optiken nur für Foto-Mounts
- es gibt Adapter für kurze, spiegellose Mounts, für die Veränderung des Auflagemaßes
Warum benötigt eine Bewegtbildkamera einen optischen Tiefpassfilter vor dem Sensor?
OLPF = Optical Low Pass Filter
-> nötig, um Abtasttheorem zu genügend (mit mindestens doppelter Höchstfrequenz abtasten)
-> filtert hochfrequente Bildinformationen heraus, um Moire-Effekt zu reduzieren (= Anti-Aliasing)
-> Sehr hochauflösende Fotosensoren: Übertragungsfunktion der Optik übernimmt Rolle des OLPF
a) ohne OLPF b) mit OLPF
Warum ist ein OLPF in der Fotographie heute nicht mehr üblich?
-> In der Fotografie sind Aliasing-Artefakte mangels Bewegung weniger auffällig + Sensorgitter haben so hohe Auflösung, dass es solche Musterfrequenzen meistens in der Natur nicht gibt
-> Amateure: Weiche Optik übernimmt Rolle des OLPF
-> Profis: Umgehen Problematik mit Blende oder spezielle Filter
=> im Film OLPF nach wie vor notwendig
Wozu werden Mikrolinsen verwendet?
Was sind die Herausforderungen bei Mikrolinsen?
= verbessern Lichtempfindlichkeit
-> Licht wird durch Mikrolinse so gestreut, dass es auf lichtempfindlichen Bereich des Sensors landet, statt am Rand blockiert zu werden
-> besonders effizient bei geringem Füllfaktor (wie viel des Sensors ist tatsächlich lichtempfindlich)
Probleme:
- Vignettierung durch schräg einfallendes Licht (bei Analogfilm)
-> Mikrolinse zur Mitte des Sensors einrücken
- Narcisuss Artefakte (= Reflektion der Mikrolinse an der letzten Linse der Optik)
Sind Mikrolinsen auch bei rücklichtig belichteten Sensoren notwendig?
BSI = back side illumination
-> BSI haben potenziell höhere Lichtempfindlichkeit durch Wegfall der Lichtblockierenden Leiterbahnen
-> Rückseitig belichtete Sensoren sind besonders bei kleinen Photosensorgrößen oder großer Lithographie vorteilhaft
-> brauchen ebenfalls Mikrolinsen
SENSORSTACK
Wie funktioniert das Bayer Pattern?
Lichtempfindlichen Photozellen des Sensors erfassen nur Helligkeitswerte
-> Für Farbinformationen wird vor jeder einzelnen Zelle des Sensors ein winziger Farbfilter in einer der drei Grundfarben angebracht
Bayer Pattern = Üblich gebräuchlicher Farbfilter
-> Grünanteil im Menschlichen Auge leistet größten Beitrag zur Helligkeitswahrnehmung
-> grün wird privilegiert im Flächenanteil
Was bedeutet die Bayer-Architektur für OLPF?
-> OLPF muss noch weicher designed werden
Welche RGB-Auflösung hat eine Bayern Pattern Kamera?
Wie zählt man Pixel bei Monitoren?
Durch Aufteilung der Pixel in 4 weitere
RGB-Auflösung = 24 MP (megapixel)
->
Erläutern Sie die Farbarchitektur eines Foveon Sensors.
Foveon Sensor = Dreischichtsensor
-> 3 lichtempfindliche Silizium-Schichten übereinander
-> Silizium absorbiert verschiedene Wellenlängen bei unterschiedlicher Eindringtiefe
=> Farbtrennung erfolgt über die Eindringtiefe der unterschiedlichen Wellenlängen
Sinnvoll?
-> jeder Bildpunkt kann genutzt werden -> schärferes Bild durch höhere Auflösung
-> viel Platz für Transistoren benötigt
-> Eindringtiefe ist nur Durchschnittswert -> Rauschen!
-> hat sich nur bei SIGMA durchgesetzt
Erläutern Sie die Farbarchitektur eines 3-Chip-Strahlenteilers.
= Prismenblock mit drei dichroitischen Spiegeln
-> nutzt gesamte Lichtmenge = volle Farbauflösung
-> nicht kompakt, da lange Optikwege
-> hat sich in TV durchgesetzt
Vergleichen Sie Farbarchitekturen untereinander.
Was ist ein Fotoelement?
Im Fotoelement werden Photonen zu Elektronen gewandelt und während des Belichtungsvorgangs gespeichert.
-> Jedes Fotoelement kann nur eine endliche Anzahl an Elektronen speichern = Full Well Capacity
-> Verhältnis Photonen zu Stromstärke ist für jedes Fotoelement unterschiedlich
-> Jeder Sensor muss individuell kalibriert werden
-> Auslesevorgang ist sequentiell und kann z.B. zu rolling shutter Effekt führen
Was versteht man unter toten Pixeln?
Wie werden diese korrigiert?
-> Jeder Sensor enthält tote Pixel, oft eine große Anzahl (bis zu 1% der Pixel)
-> Hot pixel (immer weiß), dead pixel (immer schwarz), blinking pixel (teilweise defekt)
-> Hot und dead pixel können leicht gefiltert werden, da sie komplette schwarz- oder Weißwerte haben
Korrektur (blinking pixels):
-> Statisch: Detektion bei Kamerakalibrierung durch dead pixel mask
-> Dynamisch: Pixel mit bestimmter Standardabweichung zum Umfeld als tot klassifizieren
-> Methode: Lineare Interpolation
-> Die dynamische Korrektur toter Pixel birgt große Risiken der Bildveränderung, aber bietet auch Chance, Rauschen zu vermindern
Erklären Sie Analog-Digital-Wandlung.
Was ist Sensorlinearisierung?
- In der Analog-Digital-Wandlung wird die Stromstärke des abfließenden Stroms gemessen
-> Umwandlung des kontinuierlichen Stroms in diskrete digitale Werte
-> Je nach Sensor ein ADC (analog digital converter) pro Sensor oder pro Spalte
Sensorlinearisierung:
Die Analog Linear Wandlung liefert nur annähernd lineare Werte!
-> Jedes Photoelement hat seine eigene Kennlinie
-> Einfachste Methode: Geradengleichung: y = m*x+b
-> Offset b, Steigung m
-> In der Praxis kompliziertere Verfahren
Welche Arten von Rauschen gibt es?
Schrotrauschen
-> Photonenrauschen
-> Standardabweichung wird mit wachsender Photonenanzahl kleiner! (relativ gesehen)
Thermisches Rauschen
-> Wärme erzeugt durch thermische Bewegung
der Elektronen ein Signal
-> Ausleserauschen von den AD-Wandlern (messbar durch Auslösen mit Objektivkappe)
Fixed Pattern Noise
-> Resultat nicht ideal korrigierter Pixel-Nicht-Linearitäten
-> Erscheinung sehr viel störender als zufällig
verteiltes Rauschen
SENSORNAHE BILDVERARBEITUNG
Was ist Weißabgleich?
Manuelle Einstellung:
-> Farbkanäle werden multipliziert
-> Bilder rauschen mehr im blau, da blau die energiereichsten Wellenlängen sind
-> fix einstellen
-> Retina adaptiert typischerweiße auf den weißesten Bereich
-> Hauttöne am besten 3200K
-> Graukarte hilft bei Belichtung
Grey World Assumption
= Summe aller Pixel ist im Durchschnitt ein mittleres Grau
-> passt, wenn Farben relativ gleichmäßig im Bild verteilt sind
-> Auto WB kann manchmal nicht gut anpassen:
Was ist Kameracharakterisierung?
= ähnlich wie Monitorkalibrierung
-> Kamera hat nicht die gleiche spektrale Empfindlichkeit wie Zapfen der Retina
-> vergleicht ausgespieltes Bild mit dem Sollwert, dann wird charakterisiert/kalibriert, sodass für unser Auge “richtige” Farbreize geliefert werden
-> Kameras kriegen das noch nicht hin
-> typischerweise als lineare Abbildung (3x3 Matrix) implementiert
Color Checker
-> Durchschnittsfarbwerte von Bildaufnahmen aus der ganzen Welt
-> man stellt seine Belichtung und WB ein und filmt die Color Checker Tafel vor dem Subjekt der Szene
-> Matrix ist in Rohdaten gespeichert
-> in Post kann man eigene Matrix (Farbprofil) aus dem Color Checker ermitteln und so “true colors” bekommen
Was ist Demosaicing?
= Interpolation von Zwischenwerten
-> Rekonstruktion einer farbigen Rastergrafik aus den Helligkeitswerten eines mit Farbfiltern (Mosaic) überlagerten Bildsensors
-> bei Bayer Pattern = Debayering
-> benachbarte Grundfarbenwerte werden interpoliert, um RGB-Wert jedes Sensels zu haben
-> an Kanten führt die Interpolation zu Farb-Aliasing
Beispiel: An schwarz-weiß Kante werden einzelne Sensel falsch berechnet, da der Pixel auf der Kante liegt
z.B. erster roter Pixel: rot ist 100%, da weiß, Hälfte der benachbarten blauen Sensel ist auf weiß, die andere Hälfte auf schwarz -> blau wird auf 50% gesetzt, grün ist auch nur auf weiß = 100%
-> ergibt interpoliert statt weiß gelb!
-> Lösung = OLPF
TEMPORALE AUFLÖSUNG
Welches sind typische Bildwiederholraten?
Kino: 24 fps
Fernsehen: 50 fps (Europa) bzw. 60 fps (USA)
-> Zeilensprungverfahren -> Halbbilder (also eigentlich dann 25/30 ganze fps)
-> nach Netzfrequenz ausgerichtet (50 Hz oder 60 Hz)
Ab welcher Bildwiederholrate haben wir eine artefaktfreie Wiedergabe?
Phi Phänomen -> ab 10-12 fps verschwimmen einzelne Bilder im Gehirn und geben die Illusion von Bewegung
ABER: Während Filmrolle weitergezogen wird, muss die Belichtung stoppen, sonst “big blurry mess”
-> wahrgenommenes Ruckeln/Flickern nimmt bei 50 FPS ab
-> 24 fps mit Butterfly Shutter (2 mal den gleichen Frame zeigen) erlaubt bei weniger Frames eine höhere Framrate!
-> ABER: es gibt keine genaue Bildwiederholrate ab der keine Artefakte mehr sichtbar sind, je nach Geschwindigkeit einer Bewegung sind sehr hohe Bildwiederholraten nötig
Was ist die Integrationszeit und was beeinflusst sie?
= Belichtungszeit, also Zeitdauer, in der Licht auf den Film oder Sensor fällt
-> Steuert die Helligkeit des Bildes und die Bewegungsunschärfe (Motion Blur)
-> Kurze Belichtungszeit (z.B. 90°) = wenig Licht, hohe Schärfe, ruckelt mehr
-> Lange Belichtungszeit (z.B. 270°) = viel Licht, viel Bewegungsunschärfe, weicheres Bild
-> Typischerweise die Hälfte der Standzeit des Bildes
bei 24 fps 180° Shutter
-> eigentlich bei 1/50s Belichtung und 24 fps ist der Shutter 172.8° bzw. man dreht dann einfach 25 fps bei 1/50s mit 180°
Was ist der Wagenradeffekt?
Tritt auf, wenn Belichtungszeit und Bewegung des Rades synchron sind
-> sieht aus, als würde Rad stehenbleiben, da einzelne Speichen nicht mehr unterscheidbar
-> wenn Wagenrad die Bildfrequenz erst ein- und dann überholt: Rad scheint sich immer langsamer zu drehen und dann rückwärts zu laufen
--> temporales Aliasing
= Verletzung des Abtasttheorems: Frequenz ist höher als Abtastrate
Was ist HFR und was muss dabei beachtet werden?
HFR = high frame rate
-> Framerates von 48-120 fps oder sogar noch mehr
-> Empfindlichkeit für Bewegungsruckeln ist auch von Helligkeit des Reizes abhängig
Bei HDR Monitoren nimmt maximale Helligkeit zu und damit auch Bewegungsunschärfe
-> in HDR und 24 FPS muss noch langsamer inszeniert werden
Last changed7 months ago