5. Sitzung - Störvariablen & Kontrolltechniken

Teilnehmer

• Geschlecht, Intelligenz, Einkommen, Ängstlichkeit, Sucht, Haustier,…,

• alle Eigenschaften mit potentiellem (direktem oder indirektem) Einfluss auf die AV

Versuchsleiter

• Geschlecht, Alter, Autorität, Status, Attraktivität, Strenge,…

• Erwartungen bzgl. der Untersuchungsergebnisse…

Situation

• Lärm, Beleuchtung, Tageszeit, Jahreszeit, Konjunktur, Publikum,

• Messinstrument, Reaktivität der Messung, demandcharacteristics

Versuch: Reihenfolge/Messwiederholung

• Positionseffekte

• Übungs-, Erinnerungs-, Ermüdungseffekte

• Sensibilisierungseffekte

Standardisierung, Automatisierung, Versuchsleiter-Training

Versuchsablauf standardisieren:Präzises und detailliertes Ablaufprotokoll festlegen

• Systematische & unsystematische Störeinflüsse reduzieren, die durch Unterschiede im Ablauf entstehen können (z.B. unterschiedliche Instruktionen der Versuchsleitung)

Versuchsleiter:intrainieren:

• Einüben des standardisierten Ablaufs (idealerweise anhand Ablaufprotokoll, s.o.)

• Systematische & unsystematische Störeinflüsse reduzieren, die durch abweichende Instruktion/Durchführung entstehen können

Versuchsablauf automatisieren:

• Ersetzen der Versuchsleitung, z.B. durch Computer

• Effekt vgl. mit Standardisierung & VL-Training

• „Elimination“ der Versuchsleiter:in(z.B. VL-Erwartungen, Ungenauigkeit)

Verblindung

Vorenthalten von Information über Hypothese bzw. Bedingung(en)

Kontrolliert systematische Störeffekte dieses Wissens

Drei Varianten:

EinfacheVerblindung:

• Versuchsteilnehmer:in hat keine Kenntnis über Hypothese/Bedingungen

• Häufig eingesetzt; minimaler Standard zur Vermeidung von Demand-Effekten

Doppelte Verblindung:

• Versuchsteilnehmer:in und Versuchsleiter:in haben

• keine Kenntnis über Hypothese/Bedingungkontrolliert z.B. Erwartungseffekte der Versuchsleiter:in

• oft nicht streng umgesetzt/umsetzbar (zBwenn VL die Bedingung aktiv gestaltet)

Dreifache Verblindung:

• Versuchsteilnehmer:in, Versuchsleiter:in, undAuswerter:inhaben keine Kenntnis über Versuchsbedingung (etc.)

• kontrolliert Verfälschung der Ergebnisse, z.B. Effekte in gewünschte Richtung

• noch selten; von Auswertungssoftware schlecht unterstützt

Verblindung der Datenauswertung

Hintergrund:

• Viele Entscheidungen während Aufbereitung & Auswertung, die zusammengenommensubstantiellenEinflussauf Ergebnishabenkönnen

• Interessen/MotivationenkönnendieseEntscheidungenbeeinflussen, und damitdie Schlussfolgerungenausden Datenverzerren

Bsp. fürmöglicheInteressen/Motivationen:

• klares Datenmuster, ohneunerwartete(schwererklärbare) Effekte

• eigeneTheorie/Hypothesebestätigen

• konkurrierende Hypothese anderer Forschergruppewiderlegen

• als erste:reinneues Phänomenentdecken /beschreiben

-> Vorübergehende Verblindung verhindert motivationale Verzerrungen

-> VerblindungalsTechnik zur UmsetzungaktivenSelbstzweifels(wiss. Selbstkontrolle)

“The first principle [of science] is that you must not fool yourself —and you are the easiest person to fool.” (R. Feynman)

Verblindung der Datenauswertung (2)

Varianten (Bsp.):

• Cellscrambling: Labels der Versuchsbedingungen vertauschen

• Variable blinding: Variablennamen ähnlicher Variablen vertauschen

• Noising: Zufallszahl zu jedem Datenpunkt hinzufügen

• Biasing: Effekt hinzufügen, um Unterschiede zwischen Bedingungen zu erzeugen/verdecken

• Blind injection: „Signal“ wird zufällig in Daten eingefügt (z.B. Teilchenphysik)

Vorgehen:

• Daten werden „verblindet“ (durch unabhängige Person/Software) -> Auswerter:inkann die Daten nicht inhaltlich interpretieren, kein Bezug zu Hypothese möglich (interessengeleitete Verfälschung unmöglich)

• Datenaufbereitung und –Auswertung werden anhand verblindeter Daten fertig vorbereitet (Auswertungsskript wird erstellt)

• „blind“ geplante Auswertung wird auf „entblindete“ Daten angewandt

-> Variable Blinding: Weiss nichtw as vorher und was nachher Messung ist

 -> Blind injection Variante von Biasing

• Ausprägung der Störvariable in allen Bedingungen gleichhalten

• Verhindert systematische (mit UV konfundierte) und unsystematische (zufällig variierende) Störeinflüsse

Bsp. Umgebungslärm:

• könnte Leistung systematisch stören (& so einen Effekt erzeugen/maskieren)

• oder Fehlervarianz erhöhen (Leistungsvariabilität durch Lärm verhindern Entdeckung des Effekts der UV)

• Konstanthalten: in allen Bedingungen gleichen Lärm erzeugen

• Situation/Kontext -> alle Versuchsbedingungen in gleicher Umgebung durchführen (Labor gut geeignet)

• Temperatur -> identisch klimatisierte Laborräume

• Instruktion -> identische Wortwahl in allen Versuchsbedingungen (Einfluss der Versuchsleitung)

Elimination

Einfluss der Störvariablen komplett verhindern

Verhindert systematische und unsystematische Störeinflüsse

Bsp. Umgebungslärm (2)

• könnte Leistung systematisch stören (& so einen Effekt erzeugen/maskieren)

• oder Fehlervarianz erhöhen (Leistungsvariabilität durch Lärm verhindern Entdeckung des Effekts der UV)

-> Elimination: Schallisolierung (Lärm kann Leistung nicht mehr beeinflussen)

• Licht ->Fenster abdunkeln

• Anwesenheit anderer Personen -> individuelle Datenerhebung (Teilnehmer:inallein im Raum)

• (z.B. Versuchsleiter Automatisierung)

-> Kann Effekte der Frustration getrennt erfassen von den Effekten der Sättigung und Interaktionen zwischen diesen Variablen auswerten/herauskriegen

Täuschung: Fehlinformation über einzelne Aspekte des Versuchs

• Verhindert systematische Effekte einzelner Aspekte der Situation; alle Vpnerhalten gleiche „Information“ (z.B. zu Gegenstand, Hypothese)

• besonders hilfreich bei demandcharacteristics: Aspekte der Situation, die

• (a) die wahren Hypothesen der Untersuchung verraten, oder

• (b) falsche Hypothesen nahelegen

• Teilnehmer:innenwollen VL „einen Gefallen tun“, indem sie der (wahren/vermuteten) Hypothese entsprechend reagieren

• Einfluss konstanthalten, indem man allen TN dieselbe „Hypothese“ nennt

• Bsp. Täuschung: falsche UV und/oder AV nennen

• Bsp. AV: Leistungstest, Täuschung: „Pilotversuch, Daten werden nicht gespeichert…“ reduziert Einfluss d. Prüfungsängstlichkeit

Problem: Frage der ethischen Vertretbarkeit

• nur vertretbar, wenn Fragestellung nicht anders untersuchbar

• frühestmögliche Aufklärung & Option, eigene Daten zurückzuziehen

-        Täuschung vertretbar (selten) -> schnell Aufklärung leisten

-        Option geben, Daten zurückziehen zu können

• entsteht durch Messwiederholung

• bestimmte Variablen erneut erfassen: VPn lernen dazu, sind Müde wegen der Aufgabe (gelangweilt)

• Bsp.: Konfundierung der UV mit  der Reihenfolge (2. Runde Leute vl schon müde)

• sehr aufwendig

• über alle 4 Bedingungen verteilt und realisiert

• Lern- und Müdigkeitseffekte dadaurch kontrolliert

• B meistens hinter A (Wenn B von A abhängig ist/beeinflusst wird wird dies nicht kontrolliert)

Kontrolle von StörvariablenFokus: Validität eigener Untersuchung maximieren

Zusammenfassung

Validitätsarten & Versuchsplanung

• Konstruktvalidität (Auswahl Operationalisierungen) -> Inhaltliche Literatur

• Externe Validität -> Zufallsauswahl; vermutete Moderatorvariablen als UV

• Interne & statistische Validität -> u.a. Kontrolle von Störvariablen

Max-Kon-Min-Prinzip

• Primärvariation (Effekt/Signal) maximieren (z.B. reliable Operationalisierungen)

• Sekundärvariation kontrollieren (Kontrolle systematischer Störvariablen)

• Fehlervariation minimieren (Standardisieren, Konstanthalten, Eliminieren, etc.)

Störvariablen & Kontrolltechniken

• Teilnehmer Randomisierung, Parallelisierung

• ersuchsleiter -> Standardisieren, Automatisieren, VL-Training, Verblinden

• Situation -> Konstanthaltung, Elimination, Kontrollfaktoren, Täuschung

• Versuch: Reihenfolge/Messwiederholung ->Ausbalancieren