Forschungsdesigns - Vorlesung 2

Beobachtungsstudien:

• Keine Intervention

• Kein Einsatz von experimentellen Kontrolltechniken

• Beobachtung eines bestimmten Zeitraums / Verhaltensweise

Interventionsstudie:

• konkrete Intervention (entweder selbstinduziert oder extern)

• Einsatz von experimentellen Kontrolltechniken

• Effekt der Intervention soll beurteilt werden

• Experimentalstudien

Kausalhypothesen

• Wenn —> Dann (Ursache X —> Wirkung Y)

• Je —> Desto (Ursache X —> Wirkung Y)

Bedingungen:

• 1. Es muss ein Zusammenhang zwischen X und Y bestehen

• X muss Y zetilich vorhergehen (schließt allerdings Rückwirkung nicht aus)

• Der Zusammenhang zwischen X und Y darf nciht durch andere Einflüsse (Z) bedingt sein

= Qualität der verwendeten Forschungsmethoden

Ausmaß, in dem ein Beweisstück eine Behauptung über Ursache und Wirkung stützt

= Allgemeingültigkeit / Generalisierbarkeit

= Messung eines Konstrukts

Liegt vor, wenn ein Kontrukt weder durch systematischen noch durch andere Konstrukte verfälscht ist

Geringe interne Validität bei:

• Zwischenzeitlichen Geschehen

• Reifungsprozessen der Probanden während der Studie

• Messeffekte: Zweiter Durchlauf besser als erster Durchlauf

• Hilfsmittel d.h. Veränderung des Messinstrument (Effekt durch wechselnden Versuchsleiter)

• Verzerrte Auswahl und Ausfälle (von Probanden)

Geringe externe Validität bei:

• Reaktivität oder reaktive Effekte: Versuchspersonen verhalten sich anders als im Alltag

• Reaktive Effekte der experimentellen Situation: Setting weicht gravierend von Alltag ab

Verletzung internen Validität:

• Existenz einer anderen Ursache als behauptet

• Ursache-Wirkungs-Richtung wirkt entgegengesetzt als vermutet

Verletzung der externen Validität:

• Fehlerhafte Verallgemeinerung der Untersuchungsergebnisse von der speziellen Untersuchungssituation

Verletzung der Konstruktivität:

• Bezeichnung der Einfluss- und / oder Wirkungsgrößen sind falsch

Verletzung der statistischen Schlussvalidität:

• Zusammenhang ergibt sich allein durch Zufälligkeit der Aufteilung in Treatment- und Kontrollgruppen

Elimination:

• Alle denkbaren Störfaktoren werden durch Isolation ausgeschlossen

  
  

Konstanthaltung:

• unvermeidliche Einflüsse in Interventions- und Kontrollgruppen möglichst gleichartig wirken lassen

Bildung von Kontrollgruppen

• Matching

• Randomisierung

Bildung von Personenpaaren, mit jeweils den gleichen Merkmalsausprägungen, für Interventions- und Kontrollgruppen

• Falls Randomisierung nicht möglich

• Besonders bei ex-post-Studien

• Unterschiedliche Verfahren

Zufällige Zuweisung der Versuchspersonen zu entweder Interventions- oder Kontrollgruppen

soll bewirken, dass Unterschiede zwischen den Gruppen in der Zielgröße wirklich auf den Stimulus und nicht auf andere Einflüsse zurückgeführt werden

Störfaktoren ausschließen

sichere Prüfung “kausaler” Einflüsse, die zwischen Stimulus und Zielgröße vermutet werden

= Reiz, der dem Experiment induziert wird

Löst Kausalen-Zusammenhang der Variablen aus

= Merkmal, das durch den Stimulus verändert werden soll

Zufällige Aufteilung (Randomisierung) der Untersuchungsgruppen in mind. zwei Gruppen

Kontrolliertes Setzen eines Stimulus in mind. einer der Gruppen (experimental oder Interventionsgruppe)

Messung der Zielgröße in den Gruppen vor und nach Wirkung des Stimulus

Einmalige Messung

Vorher / Nachher Messung

Salomon-Viergruppenversuchsplan

Quasi-Experimentelle Designs

Ex-post facto Designs

einmalige Messung bei Versuchs- und Kontrollgruppe

Kausaleffekt OT  - OC

Vorher / Nacher - Messung mittels Difference-in-Difference Technik

Kausaleffekt:

• (OT2 – OT1) – (OC2 – OC1)

Zeitpunkt 1 vor der Intervention

Zeitpunkt 2 nach der Intervention

wird am häufogsten durchgeführt

Elimination bzw. Konstanthaltung von Störfaktoren durch Versuchsleiter möglich

—> Interne Validität hoch

Reaktivität auf Laborsituation durch unnatürliche Situation

—> u.U. externe Validität gering

Mögliche Reaktivität auf erste Messung

• Nicht vorhanden bei natürlichen Experimenten

Vorwert für Versuchsgruppe nicht bekannt

Störfaktoren können kaum kontrolliert werden ohne Eingriffe in die Alltagsgewohnheit

—> interne Validität gering

Versuchspersonen bleiben in ihrer Alltagsumgebung und reagieren natürlicher

—->externe Validität hoch, durch Minimierung von Reaktivitätseffekten

Zwei Kausaleffekte:

• (OT2 – OT1) – (OC2 – OC1)

• OT22 – OC22

Bei Versuchsgruppe 2 und Kontrollgruppe 2 findet KEINE ex-ante Messung statt

Man möchte ausschließen, dass Effekt nicht durch Stimulus allein, sondern durch Wechselwirkung zwischen Stimulus und der vorherigen Messung entsteht

Implikation aus Abweichung unklar

• Keine analytische Berechnung des “Netto-Effekts” möglich

• Reine Gegenüberstellung der beiden Effekte aus den beiden Gruppen

Erwartungshaltung der Versuchspersonen

• mögliche Lösung z.B. Doppelblind-Design mit Placebos

Laborexperimente in Sozialwissenschaften nutzen häufig Studenten als Versuchspersonen

Abspringen von Versuchspersonen (ungleiche gruppengröße)

Ethische Probleme (z.B. Arzneimittel zur Krebstherapie)

Kontrollgruppen vorhanden aber keine Randomisierung

Einteilung in Interventions- und Kontrollgruppen erfolgt durch Selbstselektion

Minimierung des Selektionsbias durch ex-post-Matching möglich

Partner aus Interventions- und Kontrollgruppen werden gesucht, die nach definierten Eigenschaften Ähnlichkeiten aufweisen

Natürliche Experimente

• = Intervention wird von Dritter Seite induziert

Klassische Quasi-Experimente

• = Intervention wird von Forschern induziert

Weder Bedingungen für Experiment, noch Quasi-Experiment sind gegeben

Befragung findet statt, aber wird erst im Nachhinein einer Intervention zugeordenet

Klassiches Survey-Design:

• Einmalige und gleichzeitige Messung aller relevanten Variablen

Paneldesign:

• Mehrmalige, wiederkehrende Messunga aller relevanten Variablen

Varianz der unabhänggen Variablen ist nicht gegeben

• Merkmalseigenschaft tritt nur selten auf

Kausale Reihenfolge der Variablen durch gleichzeitige Messung von abhängiger und unabhängiger Variable fraglich

• Bei Paneldesigns deutlich geringer

Kontolle von Drittvariablen ist wesentlich schwieriger

• unbeobachtete Effekte beeinflussen abhängige Variablen

Querschnittdesign:

• Erhebung erfolgt zu einem einzigen Zeitpunkt

Trenddesign:

• Gleiche Variablen, mehrere Zeitpunkte, unterschiedliche Stichproben

Paneldesign:

• Gleiche Variablen, mehrere Zeitpunkte, gleiche Stichprobe

Vorteile:

• Kostengünstig

• Zeitgünstig

• Datengewinnung und -verarbeitung

Nachteile:

• Keine vorausschauenden Informationen

Vorteile:

• Beobachtung sozialen Wandels und Stabilität

• Günstiger als Panelerhebungen

Nachteile:

• Kosten- und zeitintensiver als reine Querschnitte

• Nur aggregierte Informationen über die Zeit vergleichbar

Vorteile:

• Alles möglich: Querschnitt, Trend und Panel

• Individuelle Verläufe weitgehend ohne Recall-Problem

• Aktuelle Infos zu sozialem Wandel (vs. Retrospektiveerhebung)

• Kostenerspranis: Redundanz weiterer Querschnitterhebungen

Nachteile:

• Kosten- und zeitintesiv (großes, langfristiges Projekt)

• Aufwendige Datenerhebung, -verwaltung und -analyse

• Dauert, bis Verlaufsdaten vorliegen

• Paneleffekte: Veränderung der Teilnehmer durch wiederholte Befragung

• Panelsterblichkeit: bestimmte Teilnehmer nehmen nicht mehr teil

Individualdaten vs. Aggregatdaten

Querschnitt-, Trend- und Länderschnittdaten (Paneldaten, Verlaufsdaten)

• Trenddaten = nur Veränderung auf Aggregatebene

• Paneldaten = auch individuelle Veränderung (Entwicklung im Zeitablauf)

• Verlaufsdaten = vollständiger Verlauf einer Variable ohne Lücken

Zeitreihendaten = Paneldaten mit kleinem Stichprobenumfang

Mikrodaten

Betrachtung auf Personenlevel / Individuum

Makrodaten

Betrachtung von Durchschnitten über Personen hinweg

Einzelfallstudie

Primärdatenanalyse

Sekundärdatenanalyse

Kohortenstudien

Untersuchung einer Untersuchungseinheit

Tiefergehende Analyse auf Untersuchungseinheit möglich

Keine Generalisierung auf andere Einheiten möglich

—> geringe externe Validität

Verwendung von Daten, die spezifisch für Studie erhoben wurden

Vorteile:

• Variablen und Skalierung können spezifisch ex-ante definiert werden

• Störgrößen können gut kontrolliert werden (vor allem bei Randomisierung)

Nachteile:

• Teuer

• Eher kleine Stichproben

• Generalsisierbarkeit häufig fraglich

  —> geringe externe Validität

Verwendung von bereits erhobenen Daten

Bspw. Durch Datenarchive

Vorteile:

• Kosten- und Zeitersparnis

• Häufig große Stichproben

• Häufig hohe Praxisrelevanz und Generalsisierbarkeit

  —> hohe externe Validität

Nachteile:

• Störgrößen schwer kontrollierbar

  —> geringe interne Validität

Befragung von Altergruppen oder Geburtenjahrgängen

ex-post oder ex-ante Kohortedesign

Effekte (nur bei Längsschnittdesign separierbar)

• Alterseffekte

• Kohorteneffekte

• Periodeneffekte

Altersgruppe

• = zugehörigkeit von Personen zu einem bestimmten Zeitpunkt

Kohorte

• =Willkürliche Zusammenfassung von Angehörigen benachbarter Geburtsjahrgänge