Sitzung 4 - Eye Tracking (Datenerhebungsmethoden)

• Blickbewegungsmessung(Eye-Tracking) = Messung der Blickbewegungen einer Person (oder eines Tieres) als Indikator für den Aufmerksamkeitsfokus

Messprinzip der meisten aktuellen Eye-Tracker(aber es gibt verschiedene Varianten):

• Zwei kleine Kameras registrieren die Pupillenposition von einem oder beiden Augen sowie optional auch die Hornhaut-Reflexion zweier Infrarot-Lichtstrahlen für eine noch höhere räumliche Genauigkeit der Messung

• Veränderungen der Pupillenposition relativ zur Betrachtungsvorlage (meist Monitor), die auf Kopfbewegungen zurückzuführen sind, werden aus dem Signal herausgerechnet

• Bei manchen Geräten wird über eine weitere Kamera die Kopfposition erfasst, einige Geräte kompensieren Kopfbewegungen hingegen durch bewegliche Pupillen-Kameras oder entsprechende Signalverarbeitungssoftware

• Damit das Aufnahmegerät „weiß“, in welchem räumlichen Verhältnis die Pupillen zur Beobachtungsvorlage (z. B. Bildschirm) stehen, muss vor der Aufnahme eine Kalibrierung mit anschließender Validierung durchgeführt werden

• Geräte, die am Kopf angebracht sind, kompensieren zudem leichtes Verrutschen der Apparatur

• Die aktuellen Eye-Tracker zeichnen mit hoher räumlicher und zeitlicher Genauigkeit (Aufnahmefrequenz bis zu 1000hz) die Blickposition auf (x-und y-Koordinate der Fixation auf der Beobachtungsvorlage) sowie viele weitere Parameter, u. a. Start-und Endzeitpunkt der Fixation (= kurzzeitiges Verweilen des Auges in einer Position), aktueller Durchgang, aufgenommenes Auge, Sakkaden(= Bewegung des Auges zwischen den Fixationen) etc.

Visuelle Aufmerksamkeit

• meint die Beachtung von visuellen relevanten Reizen und das Ignorieren von irrelevanten visuellen Reizen

• visuelle Aufmerksamkeit bündelt die begrenzten kognitiven Ressourcen und ist zu einem beliebigen Zeitpunkt auf einen relativ kleinen Ausschnitt der Umgebung beschränkt

• Um also die Umwelt in seiner Komplexität und spezifische Objekte darin visuell angemessen verarbeiten zu können, sind permanente Aufmerksamkeitsverlagerungen notwendig.

• Dabei ist ausschließlich die offene Aufmerksamkeit (overtattention) beobachtbar (Posner, 1980), welche an Blickbewegungen gekoppelt ist und durch Eye-Tracking-Technologie gemessen werden kann.

• Die Blickrichtung kann dabei einen wichtigen Indikator für den aktuellen kognitiven Aufmerksamkeitsfokus darstellen (Auge-Geist-Hypothese; Just & Carpenter, 1976), wobei einschränkende empirische Befunde dazu berichtet wurden (z. B. Anderson et al., 2004).

AVs, die sich aus Blickbewegubgsdaren generieren lassen:

• Länge einer Sakkade

• Dauer der Fixation

• Dauer der Fixation & Bildgröße

• ROI & dwell time

• basale Bildeigenschaften

• Die Abbildung links zeigt die Häufigkeit, mit der Sakkaden einer bestimmten Länge (angegeben in Grad visuellem Winkels von 1 bis 20) vorkommen.

• „Time-Window1“ meint die ersten 6 Sekunden nach Stimulus-Onset, „Time-Window2“ das folgende 6-Sekunden-Zeitfenster.

• Man sieht, dass man anfangs mehr längere Sakkaden macht, um den Stimulus möglicherweise großflächig abzuscannen (p< .001).

• Das „möglicherweise“ ist hier wichtig, denn man kann sich auch vorstellen, dass eine Person, die eine Internetseite (wie im obigen Beispiel) betrachtet, zwar viele lange Sakkaden macht, dabei jedoch immer nur zwischen zwei Punkten auf der Internetseite hin-und herspringt.

• Hat die Person dann wirklich viel von der Seite gesehen, d.h. diese räumlich extensiv exploriert? -> Nein, wenn wir berücksichtigen, dass nur ein kleiner Teil des Sehfeldes scharf wahrgenommen wird (siehe Folie zuvor)

• Insofern braucht man ein zusätzliches Maß, welches angibt, wie stark die Fixationen über die Internetseite streuen, d. h. wie gleichmäßig die Fixationen verstreut sind oder aber wie stark diese in einem Areal ein Cluster bilden.

• Ein schönes Maß dafür ist die Entropie (da sie keine Annahmen über die Struktur des Stimulus macht)

• Man sieht oben rechts am Histogramm aber, dass die häufigeren langen Sakkaden im Zeitfenster 1 tatsächlich dafür genutzt wurden, auch mehr von der Seite zu explorieren, da die Entropie im Zeitfenster 1 signifikant größer ausfiel als im Zeitfenster 2.

• kurzer Hinweis: Man sieht oben sehr schön, dass die durchschnittliche Dauer einer Fixation vom Bildtypstark abhängt

  -> Bei anderen Formen von Stimuli, z. B. ein geschriebener Text, ist die Dauer z. T. auch deutlich kürzer.

Hinweis:

• In der Studie von Kaspar et al. (2019) war der Effekt des demographischen Targetings auf die Dwell-Time (und weitere Blickbewegungsparameter) mittel bis groß, wie die Effektstärken(d) auf der vorrangegangenen Folie zeigten.

• Bei Köster et al. (2016), obwohl bzgl. des Aufbaus der Websiten und Werbungen sehr vergleichbar mit der Studie von Kasparet al. (2019), war der Effekt der Werbung (hier als personalisiert vs. unpersonalisiert bezeichnet) deutlich kleiner, wie oben in Abb. A zu sehen ist

• Der Grund ist vermutlich der Einfluss der Aufgabe (Top-Down-Einfluss)

• Das heißt, wir haben hier den Kontrast „searchtask“ versus „freeviewing“

• Es ist leicht nachvollziehbar, dass die Werbung eine höhere Chance hat, Aufmerksamkeit auf sich zu ziehen, wenn Nutzer*innen im Internet einfach frei surfen (freeviewing) anstatt sich auf das Finden einer bestimmten Information in einem Artikel zu fokussieren (search task).

• Mit einer search task ist ein starker top-down wirkender Einfluss auf die Aufmerksamkeitssteuerung verbunden, mit free viewing weniger (was aber nicht heißt, dass hier nicht andere top-down wirkende Einflussfaktoren im Spiel sein können wie z. B. die aktuelle emotionale Stimmung der Person oder situationsvariante Persönlichkeitseigenschaften, die mit dem Stimulusmaterial interagieren und eine bestimmte Explorationsmotivation erzeugen können, vgl. Kaspar & König, 2011a)

Zuerst sollten wir noch klären, warum die obige Frage „Wie sehr orientiert sich die Ausrichtung der visuellen Aufmerksamkeit an basalen Bildeigenschaften?“ die Art der hier dargestellten Analyse nicht völlig korrekt abbildet:

• Die hier dargestellte Analyse ist eine Zusammenhangsanalyse, d. h. man darf die hier dargestellten Zusammenhänge streng genommen nicht kausal interpretieren.

• Demnach darf man auf Basis der durchgeführten Analyse nicht schlussfolgern, dass die untersuchten Bildeigenschaften die Blicke der Betrachter*innen leiten, auch wenn das naheliegend erscheinen mag.

• Man sieht oben auf der X-Achse verschiedene Kontraste aufgelistet (byc/bytc= blue-yellow; lum= luminance/Helligkeit; rg= red-green; sat= saturation/Sättigung; sob= edges/Kanten) und die gestrichelte Linie bei 0,50 (Y-Achse) bedeutet, dass der entsprechende Kontrast keinen Zusammenhang (keine Korrelation) mit den Fixationswahrscheinlichkeit zeigt. Die Werte, die signifikant darüber liegen (wie viele der obigen Balken), bedeuten, dass es einen Zusammenhang gibt.

• Aus der Studie, Seite 7: „After image features had been calculated, correlations between image features and fixation likelihood were computed by means of area under the Receiver Operating Characteristic (ROC) curve measurement (AUC).”

• ROC kennen vielleicht einige von Ihnen aus der Allgemeinen Psychologie und der dort oft behandelten Signalentdeckungstheorie.

Aktuelle Eye-Tracking Systeme lassen sich in mobile Systeme (head-mounted eyetracker), die am Kopf befestigt werden, sowie externe Geräte (remote eyetracker) unterteilen.

Beide Systeme haben Vor-und Nachteile:

Head-mounted Eye-Tracker:

+ kann bei einem mobile Aufzeichnungsrechner (Notebook oder Smartphone) auch außerhalb des Labors genutzt werden und erlaubt die Blickbewegungsmessung unter besonders ökologisch validen Bedingungen

- Durch Kinn-und Kopfstütze (bei einigen „schweren“ Modellen) oder Kopf-Gurte ist die Bewegung der Proband*innen unter Umständen eingeschränkt

-Druckempfindungen durch Kopf-Gurte können als unangenehm empfunden werden und verkürzen somit die maximal zumutbare Untersuchungszeit

-Ausufernde Bewegungen der Proband*innen sollten vermieden werden, da dies zu Verrutschen der Messapparatur und damit zu Verzerrungen in der Datenaufzeichnung führen kann (aber es gibt auch Geräte, die diesbezüglich sehr unempfindlich sind, siehe Video unten)

Remote Eye-Tracker:

+ Die berührungslose Aufzeichnung beeinträchtigt die Proband*innen u. U. weniger als bei head-mounted Systemen

+ Der Kopf kann frei bewegt werden, was zu einem realistischeren Sehempfinden führen kann

-Das System kann nur innerhalb des Labors benutzt werden

Eye Tracking Systeme bieten heute hohe Aufnahmegenauigkeit, aber dennoch gibt es Probleme, die es bei der Datenauswertung-und Interpretation zu lösen gilt:

1) Wie lang muss eine Fixationsdauer mindestens sein, um eine valide Fixation zu repräsentieren? (oft werden 40-50ms als Minimalwert festgelegt)

• Auge steht nie ganz still, daher muss man für eine Fixation genau definieren, ab wann das Auge relativ gesehen still steht

• dies wird definiert über die Geschwindigkeit, mit der das Auge beschleunigt: Wenn ein bestimmter Schwellenwert überschritten wird und eine bestimmte Bewegungsgeschwindigkeit anhält, ist es eine Sakkade

• Ein kurzes Unterschreiten dieses Schwellenwertes würde die Krieterien für eine Fixation somit erfüllen, aber fragwürdig, ob bei einer Fixationsdauer von 2ms von einer Fixation zu reden ist -> kann in diesem Zeitfenster den fixierten Bildbereich nicht vertieft verarbeiten

• Daher werden 40-50ms als Minimalwert festgelegt

2) Was bedeutet eine lange oder kurze Fixationsdauer? Langeweile? Erhöhte Explorationsmotivation? -> weitere Blickbewegungsparameter notwendig

• Wird versucht zu erklären anhand der Studie mit der steigenden Fixationsdauer über fünf Präsentationen derselben Bilder

• Konnte schlussfolgern, dass die zunehmende Dauer der Fixationen bedeutet, dass die Probanden in späteren Präsentationsdurchgängen die Bildausschnitte intensiver (länger) betrachteten, um interessante Details auf den Bildern zu explorieren

• ABER: lange Fixationen müssen nicht zwingend die Explorationsmotivation reflektieren. Manchmal machen probanden im Labor sehr lange Fixationen (teilweise einige Sekunden) -> waren i.d.R. müde und haben vor sich hingestarrt

• In solchen Fällen sind die Fixationen also eher als Artefakte zu klassifizieren und sollten ggf. nicht in die Analysen aufgenommen werden, da sie die Mittelwerte über alle Fixationen beträchtlich verzerren könnten.

• Um diese Fälle präventiv zu vermeiden, sollten daher Pausen eingelegt werden, wenn ein Experiment sehr lange (ab ca. 20min) andauert.

3) Der Eye-Tracker gibt einen ganz bestimmten Pixel (z. B. mit den Koordinaten 349x769) als Fixationsort an, doch wie groß ist das Areal um diesen Pixel herum, welches tatsächlich im Fokus der Aufmerksamkeit steht?

• Menschen sehen nur einen relativ kleinen Bereich des Sehfeldes scharf, daher sind permanente Augenbewegungen notwendig

• Gleichzeitig ist es aber natürlich auch so, dass wir mehr als nur einen einzigen Pixel scharf sehen können, wenn wir eine bestimmte Bildposition fixieren.

• Das ist nicht trivial, denn der Eye-Tracker gibt uns nur die Koordinaten eines Pixels aus.

• Wir müssen also über Modelle und auf Basis unseres Wissens über die Physiologie des Auges und Sehsystems abschätzen, wie groß der Bereich des scharfen Sehens um diesen Pixel herum ist.

Ist die fixierte Stelle die einzige, auf die in diesem Moment die Aufmerksamkeit gerichtet war?

• Befunde aus der EEG-Forschung legen nahe, dass dies nicht zwingend sein muss, d. h. es können durchaus mehrere (sogar räumlich getrennte) Bildbereiche gleichzeitig mit Aufmerksamkeit bedacht werden (Müller et al., 2003)

Ist die fixierte Stelle überhaupt jene, die im Aufmerksamkeitsfokus ist?

• Der Eye-Tracker erlaubt nur das Erfassen der „offenen“ Aufmerksamkeit (overtattention), nicht jedoch der „verdeckten“ Aufmerksamkeit (covert attention)

• Covert Attention: Ein Beispiel wäre eine Lehrkraft, die eine*n bestimmte Schüler*in mit ihren Augen fixiert, gleichzeitig aber „im Augenwinkel“ sehr aufmerksam verfolgt, was ein*e andere*r Schüler*in macht, der*die zuvor schon einmal den Unterricht gestört hat.

• Zwar sind die Augen und damit die over tattention nicht auf diese*n Schüler*in gerichtet, doch er*sie wird dennoch mit Aufmerksamkeit bedacht.

• Diese können wir aber mit der Methode des Eye-Trackings nicht erfassen.

Wie analysiert man z. B., ob die primären Bildeigenschaften (z. B. Farbkontraste der Betrachtungsvorlage oder sich bewegende Stimuli) das Blickverhalten beeinflusst haben (sog. Bottom-Up-Einfluss) oder ob es eher höhere kognitive Funktionen waren (z. B. das Gedächtnis, die Motivation oder Emotion; sog. Top-Down-Einfluss)?

• Nicht nur statische Kontraste von Bildeigenschaften können mit dem Blickverhalten korrelieren.

  • Insbesondere plötzlich auftauchende Stimuli ziehen die visuelle Aufmerksamkeit auf sich, aber auch sich bewegende Stimuli.

• In der angegebenen Studie von Hamborget al. (2012) zeigte sich beispielsweise, dass ein permanent animiertes Werbebanner deutlich mehr Fixationen auf sich zog als ein vom Layout her identisches, aber nicht animiertes Banner.

• Blickverhalten wird immer bestimmt durch botton-up wirkende Einflüsse (Merkmale der Stimuli) und top-down wirkende Einflüsse (Interesse, Motivation, Emotion, Aufgabenstellung etc.).

• Wäre es so, dass wir alle unsere Blicke konsistent über die Zeit nur an den Eigenschaften der Stimuli ausrichten würden (= ausschließlich bottom-upwirkende Einflüsse), dann sollten wir wohl kaum die oben abgebildeten Veränderungen bei einer Person über die Zeit (und die hier nicht dargestellten großen Unterschiede zwischen den Betrachter*innen) beobachten können.

• Diese erklären sich also über top-down wirkende Einflüsse (z. B. individuelle Explorationsmotivation bzw. Interesse an den Bildern).

Wir sehen oben zwei Dinge:

• Einerseits schaute sich die ausgewählte Person die Bilder bei jeder neuen Darbietung anders an, andererseits erkennen wir auch, dass die räumliche Ausbreitung der Fixationen während der ersten Darbietung (Stimulus ist neu) deutlich extensiver war als zur fünften Darbietung (Stimulus war mittlerweile sehr bekannt).

• Über alle 45 Proband*innen der Studie sieht man ganz rechts auch diesen Effekt auf den sogenannten Fixation DensityMaps.

• Die in den Bildern angegebenen Werte sind übrigens die Entropie-Werte, die die räumliche Ausbreitung der Fixationen quantifizieren (zwei Berechnungsarten, daher zwei Werte).

• Auch an diesen sehen wir, dass mit zunehmender Bekanntheit der Stimuli das Ausmaß an räumlicher Exploration abnimmt (die deskriptiven Unterschiede sind dabei klein, aber diese stellen relativ große Unterschiede dar –die Werte variieren nicht zwischen 0 und z. B. 20, das erklärt sich über die mathematische Berechnungsmethode).

• Abschließend ein Beispiel für den Einfluss des aktuellen emotionalen Zustands einer Person (manipuliert über ein emotional positives versus negatives Priming) und der emotionalen Valenz der dargestellten Bilder auf einem Online-Nachrichtenportal (negatives vs. positives Bild).

• Beide emotionale Faktoren sind top-down wirkende Einflüsse.

• Die Grafiken sind aus Kaspar et al. (2015) und zeigen, dass im Falle eines positiven Primings sowohl mehr Sakkaden zu negativen (vs. positiven) News gemacht wurden, als auch mehr negative News richtig erinnert wurden (es wurden insgesamt 24 Nachrichtenseiten mit jeweils pos./neg. Hauptnews gezeigt).

Anwendungsbeispiele der Blickbewegungsmessung:

• Untersuchung menschlicher visueller Aufmerksamkeit und Wahrnehmung unter natürlichen Bedingungen

• Analyse des Blickverhaltens von Kraftfahrzeugfahrer*innen

• Zur Designoptimierung von Mensch-Maschine-Schnittstellen und Internetseiten

• Im Bereich der Marketingpsychologie zur Optimierung von Packungsdesigns oder der Positionierung von Produkten im Supermarkt

• Analyse von Lernfortschritten

• Analyse des Blickverhaltens beim Lesen

• In Kombination mit EEG-Ableitung zur besseren Artefaktkontrolle und einer eindeutigeren Interpretation der EEG-Daten

• Zur Validierung anderer Methoden (z. B. Methode des Lauten Denkens)