1. Sitzung - Experiment

• möchte bessere Hypothesen usw. generieren können (Wissensfortschritt)

Zwei Bereiche wissenschaftlicher Arbeit

Entdeckungszusammenhang (contextofdiscovery)

• Entdeckung und Beschreibung von Phänomenen, Generierung von Hypothesen und Theorien

• meist offene Fragestellungen: „Welche Faktoren beeinflussen X?“ oder „Was geschieht mit X unter der Bedingung Y?“

-> hypothesengenerierende oder explorative Untersuchungen

Begründungszusammenhang (context of justification)

• Prüfung der Hypothesen auf logische Konsistenz, empirischen Gehalt, Kompatibilität mit bestehendem Wissen, empirische Adäquatheit

• Typischerweise geschlossene Fragestellungen: „Passiert Y, wenn X?“ „Trifft Hypothese XY zu?“ „hat die unabhängige Variable (UV) den erwarteten Effekt auf die abhängige Variable (AV)?

-> hypothesenprüfende Untersuchungen

Der Schwerpunkt der Vorlesungliegt auf hypothesenprüfenden Untersuchungen (Begründungszusammenhang).

Vorlesung Versuchsplanung

• Fokus auf hypothesenprüfende, insbesondere experimentelle Untersuchungen, wie sie im Experimentalpraktikum durchgeführt werden (andere Untersuchungstypen werden kurz angesprochen)

• Ziel der experimentellen Versuchsplanung ist es, eine empirische Untersuchung so zu planen, durchzuführen, und auszuwerten dass eine Kausalhypothese möglichst valide (und ökonomisch)überprüft werden kann.

  -> Validität: Gültigkeit oder allg.Güte der Hypothesenprüfung

  -> ökonomisch: mit möglichst geringem Aufwand

• Leitfrage: Wie muss eine experimentelle Untersuchung gestaltet sein, damit sie Erkenntnisse über die Gültigkeit der Kausalhypothese liefern kann?

Verschiedene Typen von Hypothesen

Kausalhypothesen

• Hypothesen über Ursache-Wirkungs-Beziehungen

• Experimenteller Versuchsplan

Korrelationshypothesen

• Hypothesen über Zusammenhänge zwischen Merkmalen

• korrelativer Versuchsplan

Deskriptive/beschreibende Hypothesen

• Forschungsfragen bezüglich der Ausprägung einzelner Variablen

• populationsbeschreibender Versuchsplan

Hypothesen über Merkmalsausprägungen/

populationsbeschreibende Designs

Hypothese über Merkmalsausprägungen: X hat [mindestens/höchstens] die Ausprägung A in Grundgesamtheit G

• „Über 50% aller Jugendlichen in Deutschland spielen täglich Computerspiele“

Überprüfung mit populationsbeschreibendem Designs

• z.B. Beobachtungsstudie an einer einfachen Zufallsstichprobe:

• Für eine zufällig ausgewählte Stichprobe von Jugendlichen in Deutschland wird erfasst, wie häufig sie am Computer spielen

-> Bei populationsbeschreibenden Designs geht es um die möglichst präzise Schätzung von Populationskennwerten

Korrelationshypothesen/

korrelative Designs

Korrelationshypothese: X steht mit Y in [pos/neg] Zusammenhang

• „Die Häufigkeit des Computerspielens bei Jugendlichen steht in einem positiven Zusammenhang mit ihrer Gewaltbereitschaft“

• „häufiges Computerspielen geht einher mit höherer Gewaltbereitschaft“

• „Jugendliche, die häufig am Computer spielen, sind gewaltbereiter“

Überprüfung mit Hilfe eines korrelativen Designs

• z.B. querschnittlicheskorrelatives Design:

• An einer Stichprobe von Jugendlichen wird die Häufigkeit des Spielens am Computer und die Gewaltbereitschaft gemessen

• beide Variablen werden zueinander in Beziehung gesetzt

Korrelative Designs sind zur Prüfung von Zusammenhangshypothesen geeignet

• aber nicht zur Prüfung von Kausalhypothesen

Kausalhypothesen/ experimentelle Designs

Kausalhypothese: X verursacht Y

• „Computerspielen verursacht eine erhöhte Gewaltbereitschaft von Jugendlichen.“

• „Computerspielen erhöht die Gewaltbereitschaft von Jugendlichen.“

  
  

Überprüfung mit Hilfe eines experimentellen Designs

• z.B. einfaktoriellerZufallsgruppen-Versuchsplan:

• Zufällige Aufteilung einer Stichprobe von Jugendlichen in eine Experimentalgruppe (Spielen am Computer) und eine Kontrollgruppe (neutrale Aktivität)

• Messung der Gewaltbereitschaft und Vergleich der Gruppen

• Gibt es systematische Unterschiede in der Gewaltbereitschaft, können sie nur durch Computerspielen verursacht worden sein

-> Experimente erlauben die Prüfung von Kausalhypothesen

Kausalität ≠ Korrelation

Sachverhalt: Zusammenhang zwischen H und E

• H wird häufig zusammen mit E beobachtet

Mögliche Kausalbeziehungen:

(1) H verursacht E

• Die Henne legte das Ei

(2) E verursacht H

• Aus dem Ei wuchs die Henne

(3) Eine dritte Variable S (bzw. eine Menge von zusammenhängenden Variablen X1, …, Xn) verursacht sowohl H als auch E

• Sowohl Henne als auch Ei wurden von eine:rDritten geschaffen

-> Korrelation impliziert nicht Kausalität

Kausalität und Intervention

InterventionistischeAuffassung von Kausalität

• "to think of a relation between events as causal is to think of it under the aspect of (possible) action. [...]   that p is the cause of q [...] means that I could bring about q if I could do (so that) p. (von Wright, 1971)

• The paradigmatic assertion in causal relationships is that manipulation of a cause will result in the manipulation of an effect. [...]   Causation implies that by varying one factor I can make another factor vary.(Cook & Campbell, 1979, S. 36)

Methodologische Implikation:

-> aktive Manipulation der interessierenden Variablen

Kausalität: Ursachen als INUS-Bedingungen (1)

Ursache: “insufficient but necessary part of an unnecessary but sufficient condition”

• Teil einer Menge von Bedingungen; für sich genommen nicht hinreichend (insufficient),

• als Bestandteil der Menge aber notwendig (necessary) für das Auftreten des zu erklärenden Sachverhalts.

• Die Bedingungsmenge insgesamt ist nicht notwendig (unnecessary),

• aber hinreichend (sufficient) für das Auftreten des zu erklärenden Sachverhalts.

Beispiel: Waldbrand verursacht durch Streichholz.

• Insufficient: Es braucht auch (z.B.) Sauerstoff.

• Necessary: Eine Flammenquelle wird benötigt.

• Unnecessary: Feuerzeug geht auch.

• Sufficient: Sauerstoff, Streichholz, Trockenheit zusammen hinreichend.

Kausalität: Ursachen als INUS-Bedingungen (2)

Konzeptuelle Implikationen:

• Ursachen sind nur als Teil einer Menge von Randbedingungen (ermöglichenden Bedingungen) wirksam

• Theorien können sich auf unterschiedliche Teile der Bedingungsmenge beziehen

Methodologische Implikationen:

• Idealmodell für die Überprüfung von Kausalhypothesen:

• Vergleich von Bedingungskonstellationen, die sich nur im Hinblick auf das Vorhandensein der vermuteten Ursache unterscheiden

• Kontrolle aller anderen Faktoren (Kontrolle von Störvariablen)

• Systematische Beobachtung, ob der zu erklärende Sachverhalt eintritt oder nicht

Fazit:

aktive Manipulation der interessierenden Variablen

Kontrolle aller anderen Faktoren

Das Experiment: Kernelemente

1. Kausalhypothese

   • Vermutung über den Einfluss einer Variable auf eine andere Variable

2. Manipulation einer UV

   • es werden zwei (oder mehr) Bedingungen aktiv hergestellt, die sich nur bzgl. einer einzigen Variable unterscheiden

   • diese Variable wird Unabhängige Variable (UV) genannt

   • z.B. „Ego-Shooterverursachen erhöhte Gewaltbereitschaft“

     
     

3. Kontrolle aller anderen Variablen

   • Randomisierung: jede Person (Untersuchungseinheit) wird per Zufall einer der Bedingungen zugewiesen

   • z.B. per Münzwurf entscheiden, was eine Person spielen muss

   • Versuchsplanerische Kontrolle aller anderen Störvariablen

4. Beobachtung (Messung) einer AV, Vergleich der Bedingungen

   • Ausprägung der interessierenden Abhängigen Variable (AV) wird gemessen

   • z.B. die Gewaltbereitschaft der Personen messen & vergleichen:                

   •   Ist die Gewaltbereitschaft der Ego-Shooter-Bedingung größer?

Voraussetzung für Leistungsverbuchung: Eigenen experimentellen Versuchsplan entwickeln

1. Eine psychologische Hypothese aufstellen

   • Kausalhypothese (X beeinflusst Y)

   • der Literatur (beliebiger Bereich der Psychologie) entnehmen, oder aus Theorie schlüssig herleiten

   • Struktur: mind. 2x2-Design mit Replikation & Erweiterung (s.u.)

2. Die Frage beantworten: Wie muss ich eine experimentelle Untersuchunggestalten, damit sie neue Erkenntnisse über die Gültigkeit meiner Kausalhypothese liefern kann?

   • im Laufe des Semesters die jeweils neuen Inhalte der Vorlesung auf die eigene Untersuchungsplanung anwenden

   • die Ergebnisse Ihrer Überlegungen jeweils stichwortartig notieren

   
   

3. Ergebnis: fertige Versuchsplan-Skizze (ggf. im Expraumsetzbar)

   • Form: Methodenteil Artikel (Abschnitte: Design, Versuchspersonen, Material, Prozedur, Datenaufbereitung & Auswertungsplan)

   • Abgabe: Datei in ILIAS hochladen(stichwortartig, ca. 2-3 Seiten)

   • Angebot: Kurzvortrag in VL mit Feedback zum Versuchsplan (bei Interesse bitte Email)

     
     

(1) sich kritisch mit Untersuchungen anderer auseinandersetzen

• andere Untersuchungen kritisch rezipieren, hinterfragen, interpretieren

• und ggf. mit verbesserter Methodik selbst replizieren

(2) Fragestellung präzisieren & einen Versuchsplan entwickeln, der diese Hypothese überprüfen gestattet

• eigene Untersuchungen möglichst valide planen, durchführen, auswerten

• unter Berücksichtigung ihrer verbleibenden methodischen Schwächen angemessen vorsichtig interpretieren

Forschungsprozess: (1) und (2) kombinieren (iterativ, arbeitsteilig)

• Untersuchungen aus der Literatur kritisch rezipieren, d.h. mögliche Validitätsproblemeidentifizieren -> Alternativerklärungen formulieren, d.h. neue Hypothesen aufstellen

• daraus Ideen ableiten für neue Untersuchungen zur Prüfung der neuen Hypothesen

-> neue Untersuchung wird durch Andere kritisch rezipiert & verbessert…

Zu (1): Kritische Diskussion empirischer Untersuchungen

• Nicht-begutachtete Arbeiten (Manuskripte, Preprints, Buchkapitel,…)Methodik wurde von den Autoren für angemessen befunden

• Besondere Vorsicht bei Interpretation der Ergebnisse

Begutachtete empirische Untersuchungen

• Haben einen Begutachtungsprozess durchlaufen, bei dem die Arbeit von (zwei oder mehr) anderen Wissenschaftlern geprüft wurdeEinige Fehler werden durch Begutachtung entdeckt & behoben

• Aber: Die Validität der Ergebnisse ist dadurch nicht sichergestellt!Es werden immer wieder Fehler in veröffentlichten Artikeln entdeckt

• Auch hier: Vorsicht bei Interpretation der Ergebnisse

Validitätsprüfung durch wissenschaftliche Gemeinschaft

• Beginnt mit öffentlicher Bereitstellung (in Zeitschrift oder Repository)

• andauernder Prozess (Probleme u.U. erst viele Jahre später bekannt)

Zu (2): Eigene Untersuchung planen -Replizieren & erweitern

Standard-Vorgehensweise „Replikation & Erweiterung“

• Kombination von Replikationsversuch eines Befunds (Effekt von UV A) mit Hypothesenprüfung bzgl. theoretischer Interpretation (Einflussgrößen)

• Replikations-Hypothese „Es gibt einen Effekt von UV A“

• Erweiterungs-Hypothese: „Effekt von UV A wird beeinflusst durch UV B“

Typischerweise mindestens zweifaktorielles Design

• Faktor A (KG, EG): experimentelle Manipulation aus Originalstudie

• Faktor B (Replikation, Erweiterung): Manipulation zur Prüfung eigener Hypothese

Replikation prüft Robustheit des Basisbefunds (Effekt Faktor A)-

• „Manipulation check“: Ist Original-Befund robust?

• Erfolgreiche Replikation stellt sicher, dass Effekt der Erweiterungs-Manipulation (UV B) interpretiert werden kann (nur wenn Effekt von A überhaupt vorliegt, kann er durch UV B potentiell beeinflusst werden)

Erweiterung (Faktor B) relevant für theoretische Interpretation

• Prüft Alternativerklärungen für Original-Befund (z.B. Konfundierungen)

• Untersucht Bedingungen, unter denen Original-Befund auftritt (z.B. Eigenschaften von Versuchssituation, TeilnehmerInnen, Kontext)

Replikation & Erweiterung –Fiktives Beispiel:Stift zwischen Zähnen (vs. Lippen) verbessert Stimmung (Strack, Martin, & Stepper, 1988)

Originalstudie zur „FacialFeedback“-Hypothese

• TN bewerten Lustigkeit von Comics (AV) mit Stift, den sie im Mund halten

• Manipulation (UV): Stift zwischen den Zähnen (smile) vs. Lippen (frown)

• Hypothese: „Facialfeedback“ –Mimik beeinflusst affektive Reaktion

Mögliche Replikation & Erweiterung:

• Replikationsversuch: Original-Design replizieren (UV A: Zähne vs. Lippen)

• Wagenmakers et al (2016): Original-Befund nicht repliziert; aber: TN mit Videokamera gefilmt

• Interpretation unklar: Original unglaubwürdig? Änderung problematisch? Direkter Vgl. fehlt!

• Erweiterungs-Hypothese: Selbstaufmerksamkeit reduziert facialfeedback

• Erweiterung: Prüfung des Beobachtungseffekts (UV B: mit vs. ohne Video)

Effekt UV A -> Facial-feedback-Effekt: Mimik beeinflusst Stimmung

Effekt UV B -> Selbstaufmerksamkeit beeinflusst den Facial-feedback-Effekt

Warum ist die Replikationsbedingung notwendig?

Ziel: Kausalhypothese über Ursache/Randbedingung des Befunds prüfen

• Mittel: Experimentelle Manipulation der Ursache als Faktor

• Ohne Replikationsbedingung: nur 1 Stufe des Faktors, d.h. keine Manipulation; Kausalhypothese nicht experimentell geprüft!

• Bsp.: Studie will Effekt der Beobachtung auf FacialFeedback prüfen……

• aber realisiert nur die Bedingung „mit Video“ (Zähne vs. Lippen)

• … um zu beobachten, ob unter dieser Bedingung FacialFeedback auftritt

Fall 1: es zeigt sich ein FacialFeedback-Effekt. Interpretation?

• (a) die in Erweiterungs-Bedingung realisierte Manipulation hat keinen Einfluss

• (b) unbekannter anderer Grund, warum der Effekt doch zustande kam

Fall 2: es zeigt sich kein FacialFeedback-Effekt. Interpretation?-

• (a) die in Erweiterungs-Bedingung realisierte Manipulation eliminiert den Effekt

• (b) unbekannter anderer Grund, warum der Effekt nicht zustande kam

-> Prüfung Kausalhypothese bezüglich der Moderatorvariable erfordert direkten Vergleich mit Replikations-Bedingung!

• Jeder Befund/Erkenntnisstand ist stets nur vorläufig

• unterliegt andauernder Überprüfung/Revision durch wiss. Gemeinschaft

• Validitätsprüfung: Replikation & Überprüfung alternativer Interpretation

Erster Schritt der Validitätsprüfung: Replizierbarkeit

• durch Originalautor (in streng hypothesentestender Untersuchung)

• unabhängige Replikation durch andere Forscher

• Erfolgreiche unabhängige Replikation: Vertrauen in empirischen Befund

Zweiter Schritt: Fokus auf theoretische Interpretation des Befunds

• Erklärung prüfen: Konfundierungen? Alternative, bessere Theorien?

• Prüfung von Hypothesen über Moderatorvariablensetzen Replizierbarkeit voraus

• Kausale Interpretation erfordert direkten Vergleich der Replikations-& Erweiterungsbedingungen

-> Prüfung kausaler Hypothesen: Replikation undErweiterung