Filmtechnik

Licht = sichtbares Spektrum elektromagnetischer Strahlung

-> 380 -720nm

Welle-Teilchen Dualismus:

Licht als elektromagnetische Welle erklärt:

-> Farbe

-> Polarisation

-> Interferenz

-> Beugung

Licht als Teilchen (Photonenmodell) erklärt:

-> Schrotrauschen

=> vermutlich ist Licht weder noch, aber Modelle helfen uns, Eigenschaften zu erklären

Licht als diskrete Teilchen (Photonen)

-> Je intensiver das Licht ist, desto höher ist die Anzahl der Photonen pro Sekunde, die auf einen Punkt treffen

-> Photonenstrom hat einen durchschnittlichen Fluss und Schwankungen um diesen Wert herum

-> Schwankungen in der Anzahl der Photonen sind in Bildern als Rauschen sichtbar - Poisson-Rauschen/Schrotrauschen

Farbe = Beleuchtung + spektrale Reflektanz des Objekts + unsere Wahrnehmung (Empfindlichkeit der Retina)

-> spektrale Strahlungsverteilung

-> Beleuchtung: mit welchen Wellenlängen wird das Objekt angestrahlt?

-> Objekt: welche Wellenlängen reflektiert das Objekt in welchem Maß?

-> Wahrnehmung: für welche Wellenlängen sind wir am empfindlichsten?

RGB-LED:

= RGB Farben als Peak bei gewünschten Wellenlängen (weiß: RGB, gelb: RG etc.) wegen

-> “Löcher” im Spektrum

Weiß-LED:

= blaue LEDs mit Phosphorschicht

-> Phosphor wandelt kurzwellige Energie in mittlere Wellenlängen um

-> Spektrum hat nur ein “Loch”

Farbwiedergabe: am Beispiel orange Paprika

Gelbe RGB-LED:

-> hat peaks bei rot und grün, orange ist genau in der Mitte

-> Paprika sieht rot aus

W-LED + gelbe Filterfolie:

-> peak bei orange

-> Paprika sieht korrekt aus

Bei Hauttönen ähnlich: Puder hat andere spektrale Reflektanz als Haut, bei Tageslicht sieht alles okay aus, unter Studiolampen nicht!

-> zusätzlich zu RGB(W) auch Cyan- und Lime-LEDs

-> gleichmäßige Abdeckung des gesamten Lichtspektrums

= 5-Kanal oder 6-Kanal Licht

-> Iris + Pupille = Blende

-> Linse = Objektiv

-> Netzhaut (Retina) = Sensor

• Pigmentepithel

• Stäbchen

• Zapfen

• Ganglien

-> Fovea

-> Sehnerv

Stäbchen (rods)

= Nachtsehen (scotopic)

Zapfen (cones)

= Tag- und Farbsehen (photopic)

Ganglienzellen

= neuronale Verschaltung + Weiterleitung

-> 120 Mio Stäbchen vs. 8 Mio Zapfen!

-> bei Dunkelheit

-> nur SW-Sehen (“Nachts sind alle Katzen grau”)

-> in der Fovea kaum Stäbchen, eher in Peripherie

-> bei Helligkeit

-> drei Zapfentypen

• S (short) - blaues, kurzwelliges Licht

  -> seltenster Zapfentyp

• M (medium) - grünes, mittelwelliges Licht

  -> häufigster Zapfentyp

• L (long) - rotes, langwelliges Licht

-> M+L sind für Helligkeit zuständig

Opponentenverarbeitung der Farbe:

-> Ganglienzellen hemmen oder aktivieren nach einem Gegenfarbensystem

-> wird ein Zapfen einer Farbe angeregt, so werden die Signale umliegender Zapfen der Gegenfarbe gehemmt (ON/OFF)

=> spart “Übertragungsbandbreite” in höhere Schichten des Gehirns

Luminance pathway:

= Helligkeit (L+M)

Chromatic pathways:

-> Rot-Grün System (L-M)

-> Blau-Gelb System (S - (L+M))

Gegenfarben rot-grün und gelb-blau werden gegenseitig gehemmt

-> es gibt kein rötliches Grün

-> es gibt kein gelbliches Blau

= Fähigkeit des Auges, sich unterschiedlichen Lichtverhältnissen anzupassen

Helligkeitsadaptation

-> Können über einen Bereich von ca. 30 Blenden in der Helligkeit adaptieren

-> Dunkeladaptation: Stäbchen brauchen bis zu 30 min um vollständig zu adaptieren

-> Helladaptation: Zapfen reagieren schneller und wir adaptieren innerhalb von Sekunden an hellere Umgebung

-> weiß nicht auf maximale Helligkeit graden

Farbadaptation

-> Farbkonstanz

• Farbadaption kompensiert die Beleuchtungsfarbe solange die Beleuchtung nicht zu gesättigt ist (“discount the illuminant”)

• sonst müssten Objekte an verschiedenen Tageszeiten verschiedene Farben haben

-> trotzdem gewisse Adaptation an Lichttemperatur, wie beim Skifahren

-> immer weiß oder Gegenfarbe im Bild haben, wenn man eine Farbe leuchtend erzählen will, sonst adaptieren wir

-> Nachbilder können auch nicht nur die Gegenfarbe sein, zB Weihnachtsbaum mit weißen Kerzen, Kerzen erscheinen im Nachbild gelb statt schwarz

uv-Diagramm ist besser geeignet, da das xy-Diagramm visuell sehr ungleichabständig ist

-> JND-Ellipsen (“Just noticable difference”) sind im xy-Diagramm sehr unterschiedlich

-> durch Umwandlung in uv-Gamut werden die Ellipsen untereinander ähnlicher

Helligkeit = physikalische Größe Luminanz entspricht linear der Energie

-> Wahrnehmung für dunkle Reize (nahe schwarz) einer Potenzfunktion (Stevens’ Potenzgesetz)

-> Wahrnehmung für hellere Reize folgt einer logarithmischen Funktion (Weber-Fechner-Gesetz)

18% Grau

-> eine als mittleres Grau wahrgenommene Fläche (= genau in der Mitte zwischen Weiß und Schwarz) reflektiert ca- 18% der linearen Luminanz relativ zu einer weißen Fläche

-> Wegen logarithmischer Wahrnehmung (Weber-Fechner und Stevens Potenzgesetz)

-> Wir sehen überwiegend nur die mittleren Frequenzen

-> Hohe und niedrige Frequenzen werden nur stark abgeschwächt oder gar nicht wahrgenommen

-> Betrachtungsposition und Betrachtungswinkel sind bei Bildbearbeitung sehr wichtig

-> sehr schnelle und sehr langsame Veränderungen werden auch nicht wahrgenommen

-> Konstruktivismus = Wahrnehmung von Farben hängt nicht nur von den physikalischen Eigenschaften des Lichts ab, sondern auch stark von den kognitiven Prozessen und Erfahrungen des Individuums (Beispiel Fläche A vs. B sind eigentlich gleiche Farbe)

-> Stabilisierung

-> Mobilität

-> Look (z.B. Authentizität bei Schulterkamera)

• 1:1,33 - 4:3

  -> Academy

  -> früher klassisches 16/35mm Analogfilmformat und SD

• 1:1,77 - 16:9

  -> TV

  -> HD und UHD Video

• 1:1,85 - Breitbild

  -> flat

  -> Kinoformat

• 1:2,35 - 1:2,55 - CinemaScope

  -> extremes Breitbildformat

  -> oft und ursprünglich anamorph

=> Wahl des Formats muss mit allen Stakeholdern abgeklärt werden

Größerer Sensor erlaubt größere:

-> Lichtempfindlichkeit (über Eintrittspupille)

-> Tiefenschärfe

-> erreichbare Schärfe (Beugungsbegrenzung -> Detailauflösung ist an dem Punkt nicht mehr veränderbar)

• Höhere Blendenzahl = kleinere Blende -> weniger Licht tritt ein

  -> Halbierung des Durchmessers entspricht Viertel der Lichtmenge (daher Skala in √2 Schritten: 1, 1.4, 2.0, 2.8, 4, 5.6, 8, 11, 16, 32, 45, 64,…)

  -> eintretende Lichtmenge: offene Blende = viel Licht, geschlossene Blende = wenig Licht

• Tiefenschärfe: Höhere Blendenzahl = höhere Schärfentiefe

• Maximal erreichbare Schärfe (Aberration/Beugung)

  -> Aberrationen bei großer Blendenöffnung, da Licht am Rand und in der Mitte der Linse unterschiedlich gebrochen wird

  -> Beugung bei kleiner Blendenöffnung ausgeprägter

Zusammenhang mit Sensorgröße:

Obere Reihe: bei gleicher Sensorgröße

Untere Reihe: bei gleicher Blende

= Abstand zwischen Hauptebene und Linse

-> Vergrößern der Brennweite = schmalere Schärfeebene des Bildes, weniger Tiefenschärfe

-> unterschiedlicher Bildwinkel

Zusammenhang Brennweite zu Sensorgröße

-> dieselben Bildwinkel werden bei größeren oder kleineren Sensoren bei unterschiedlichen Brennweiten erreicht

-> 30° Bildwinkel bei Kleinbild/Vollformat (ca. 43mm) mit 80mm Brennweite

-> 30° Bildwinkel bei APS-C Sensor (ca. 22mm) mit 50mm Brennweite

-> unterschiedliche “Normalbrennweiten”

Objektivfassung = Mount

- Für unterschiedliche Mounts sind unterschiedliche Optiken verfügbar

-> Film-Spezialoptiken für PL-Mount

-> Sehr lange Brennweiten nur für B4-Mount

-> Industrie-Optiken nur für C-Mount

-> Spezielle Makro Optiken nur für Foto-Mounts

- es gibt Adapter für kurze, spiegellose Mounts, für die Veränderung des Auflagemaßes

OLPF = Optical Low Pass Filter

-> nötig, um Abtasttheorem zu genügend (mit mindestens doppelter Höchstfrequenz abtasten)

-> filtert hochfrequente Bildinformationen heraus, um Moire-Effekt zu reduzieren (= Anti-Aliasing)

-> Sehr hochauflösende Fotosensoren: Übertragungsfunktion der Optik übernimmt Rolle des OLPF

a) ohne OLPF b) mit OLPF

-> In der Fotografie sind Aliasing-Artefakte mangels Bewegung weniger auffällig + Sensorgitter haben so hohe Auflösung, dass es solche Musterfrequenzen meistens in der Natur nicht gibt

-> Amateure: Weiche Optik übernimmt Rolle des OLPF

-> Profis: Umgehen Problematik mit Blende oder spezielle Filter

=> im Film OLPF nach wie vor notwendig

= verbessern Lichtempfindlichkeit

-> Licht wird durch Mikrolinse so gestreut, dass es auf lichtempfindlichen Bereich des Sensors landet, statt am Rand blockiert zu werden

-> besonders effizient bei geringem Füllfaktor (wie viel des Sensors ist tatsächlich lichtempfindlich)

Probleme:

- Vignettierung durch schräg einfallendes Licht (bei Analogfilm)

-> Mikrolinse zur Mitte des Sensors einrücken

- Narcisuss Artefakte (= Reflektion der Mikrolinse an der letzten Linse der Optik)

BSI = back side illumination

-> BSI haben potenziell höhere Lichtempfindlichkeit durch Wegfall der Lichtblockierenden Leiterbahnen

-> Rückseitig belichtete Sensoren sind besonders bei kleinen Photosensorgrößen oder großer Lithographie vorteilhaft

-> brauchen ebenfalls Mikrolinsen

Lichtempfindlichen Photozellen des Sensors erfassen nur Helligkeitswerte

-> Für Farbinformationen wird vor jeder einzelnen Zelle des Sensors ein winziger Farbfilter in einer der drei Grundfarben angebracht

Bayer Pattern = Üblich gebräuchlicher Farbfilter

-> Grünanteil im Menschlichen Auge leistet größten Beitrag zur Helligkeitswahrnehmung

-> grün wird privilegiert im Flächenanteil

-> OLPF muss noch weicher designed werden

Durch Aufteilung der Pixel in 4 weitere

RGB-Auflösung = 24 MP (megapixel)

->

Foveon Sensor = Dreischichtsensor

-> 3 lichtempfindliche Silizium-Schichten übereinander

-> Silizium absorbiert verschiedene Wellenlängen bei unterschiedlicher Eindringtiefe

=> Farbtrennung erfolgt über die Eindringtiefe der unterschiedlichen Wellenlängen

Sinnvoll?

-> jeder Bildpunkt kann genutzt werden -> schärferes Bild durch höhere Auflösung

-> viel Platz für Transistoren benötigt

-> Eindringtiefe ist nur Durchschnittswert -> Rauschen!

-> hat sich nur bei SIGMA durchgesetzt

= Prismenblock mit drei dichroitischen Spiegeln

-> nutzt gesamte Lichtmenge = volle Farbauflösung

-> nicht kompakt, da lange Optikwege

-> hat sich in TV durchgesetzt

Im Fotoelement werden Photonen zu Elektronen gewandelt und während des Belichtungsvorgangs gespeichert.

-> Jedes Fotoelement kann nur eine endliche Anzahl an Elektronen speichern = Full Well Capacity

-> Verhältnis Photonen zu Stromstärke ist für jedes Fotoelement unterschiedlich

-> Jeder Sensor muss individuell kalibriert werden

-> Auslesevorgang ist sequentiell und kann z.B. zu rolling shutter Effekt führen

-> Jeder Sensor enthält tote Pixel, oft eine große Anzahl (bis zu 1% der Pixel)

-> Hot pixel (immer weiß), dead pixel (immer schwarz), blinking pixel (teilweise defekt)

-> Hot und dead pixel können leicht gefiltert werden, da sie komplette schwarz- oder Weißwerte haben

Korrektur (blinking pixels):

-> Statisch: Detektion bei Kamerakalibrierung durch dead pixel mask

-> Dynamisch: Pixel mit bestimmter Standardabweichung zum Umfeld als tot klassifizieren

-> Methode: Lineare Interpolation

-> Die dynamische Korrektur toter Pixel birgt große Risiken der Bildveränderung, aber bietet auch Chance, Rauschen zu vermindern

- In der Analog-Digital-Wandlung wird die Stromstärke des abfließenden Stroms gemessen

-> Umwandlung des kontinuierlichen Stroms in diskrete digitale Werte

-> Je nach Sensor ein ADC (analog digital converter) pro Sensor oder pro Spalte

Sensorlinearisierung:

Die Analog Linear Wandlung liefert nur annähernd lineare Werte!

-> Jedes Photoelement hat seine eigene Kennlinie

-> Einfachste Methode: Geradengleichung: y = m*x+b

-> Offset b, Steigung m

-> In der Praxis kompliziertere Verfahren

• Schrotrauschen

  -> Photonenrauschen

  -> Standardabweichung wird mit wachsender Photonenanzahl kleiner! (relativ gesehen)

• Thermisches Rauschen

  -> Wärme erzeugt durch thermische Bewegung

  der Elektronen ein Signal

  -> Ausleserauschen von den AD-Wandlern (messbar durch Auslösen mit Objektivkappe)

• Fixed Pattern Noise

  -> Resultat nicht ideal korrigierter Pixel-Nicht-Linearitäten

  -> Erscheinung sehr viel störender als zufällig

  verteiltes Rauschen

Manuelle Einstellung:

-> Farbkanäle werden multipliziert

-> Bilder rauschen mehr im blau, da blau die energiereichsten Wellenlängen sind

-> fix einstellen

-> Retina adaptiert typischerweiße auf den weißesten Bereich

-> Hauttöne am besten 3200K

-> Graukarte hilft bei Belichtung

Grey World Assumption

= Summe aller Pixel ist im Durchschnitt ein mittleres Grau

-> passt, wenn Farben relativ gleichmäßig im Bild verteilt sind

-> Auto WB kann manchmal nicht gut anpassen:

= ähnlich wie Monitorkalibrierung

-> Kamera hat nicht die gleiche spektrale Empfindlichkeit wie Zapfen der Retina

-> vergleicht ausgespieltes Bild mit dem Sollwert, dann wird charakterisiert/kalibriert, sodass für unser Auge “richtige” Farbreize geliefert werden

-> Kameras kriegen das noch nicht hin

-> typischerweise als lineare Abbildung (3x3 Matrix) implementiert

Color Checker

-> Durchschnittsfarbwerte von Bildaufnahmen aus der ganzen Welt

-> man stellt seine Belichtung und WB ein und filmt die Color Checker Tafel vor dem Subjekt der Szene

-> Matrix ist in Rohdaten gespeichert

-> in Post kann man eigene Matrix (Farbprofil) aus dem Color Checker ermitteln und so “true colors” bekommen

= Interpolation von Zwischenwerten

-> Rekonstruktion einer farbigen Rastergrafik aus den Helligkeitswerten eines mit Farbfiltern (Mosaic) überlagerten Bildsensors

-> bei Bayer Pattern = Debayering

-> benachbarte Grundfarbenwerte werden interpoliert, um RGB-Wert jedes Sensels zu haben

-> an Kanten führt die Interpolation zu Farb-Aliasing

Beispiel: An schwarz-weiß Kante werden einzelne Sensel falsch berechnet, da der Pixel auf der Kante liegt

z.B. erster roter Pixel: rot ist 100%, da weiß, Hälfte der benachbarten blauen Sensel ist auf weiß, die andere Hälfte auf schwarz -> blau wird auf 50% gesetzt, grün ist auch nur auf weiß = 100%

-> ergibt interpoliert statt weiß gelb!

-> Lösung = OLPF

• Kino: 24 fps

• Fernsehen: 50 fps (Europa) bzw. 60 fps (USA)

  -> Zeilensprungverfahren -> Halbbilder (also eigentlich dann 25/30 ganze fps)

  -> nach Netzfrequenz ausgerichtet (50 Hz oder 60 Hz)

Phi Phänomen -> ab 10-12 fps verschwimmen einzelne Bilder im Gehirn und geben die Illusion von Bewegung

ABER: Während Filmrolle weitergezogen wird, muss die Belichtung stoppen, sonst “big blurry mess”

-> wahrgenommenes Ruckeln/Flickern nimmt bei 50 FPS ab

-> 24 fps mit Butterfly Shutter (2 mal den gleichen Frame zeigen) erlaubt bei weniger Frames eine höhere Framrate!

-> ABER: es gibt keine genaue Bildwiederholrate ab der keine Artefakte mehr sichtbar sind, je nach Geschwindigkeit einer Bewegung sind sehr hohe Bildwiederholraten nötig

= Belichtungszeit, also Zeitdauer, in der Licht auf den Film oder Sensor fällt

-> Steuert die Helligkeit des Bildes und die Bewegungsunschärfe (Motion Blur)

-> Kurze Belichtungszeit (z.B. 90°) = wenig Licht, hohe Schärfe, ruckelt mehr

-> Lange Belichtungszeit (z.B. 270°) = viel Licht, viel Bewegungsunschärfe, weicheres Bild

-> Typischerweise die Hälfte der Standzeit des Bildes

• bei 24 fps 180° Shutter

  -> eigentlich bei 1/50s Belichtung und 24 fps ist der Shutter 172.8° bzw. man dreht dann einfach 25 fps bei 1/50s mit 180°

Tritt auf, wenn Belichtungszeit und Bewegung des Rades synchron sind

-> sieht aus, als würde Rad stehenbleiben, da einzelne Speichen nicht mehr unterscheidbar

-> wenn Wagenrad die Bildfrequenz erst ein- und dann überholt: Rad scheint sich immer langsamer zu drehen und dann rückwärts zu laufen

--> temporales Aliasing

= Verletzung des Abtasttheorems: Frequenz ist höher als Abtastrate

HFR = high frame rate

-> Framerates von 48-120 fps oder sogar noch mehr

-> Empfindlichkeit für Bewegungsruckeln ist auch von Helligkeit des Reizes abhängig

• Bei HDR Monitoren nimmt maximale Helligkeit zu und damit auch Bewegungsunschärfe

  -> in HDR und 24 FPS muss noch langsamer inszeniert werden