VL 4: Forschungsdesigns

Merkmale kausalität

• Zeitliche kontingenz: Ursache geht effekt vorraus

• statistische kontigenz: ursache hängt mit effekt zusamenn

• fehlende alternativerklährungen

Deskriptive Kausalität:

• resultat lässt sihc auf absichtliche, experimentelle manipualtion zurückführen (nicht zwingend verstanden<9

Explanative Kausalität:

• intervention lässt sich in kausal-wirksame und unwesentliche teile zerlegen

• setzt getestes kausalmodell vorraus

  
  

• Status von (kausalen) Erklärungen

  • Hinreichend: kausale Variable beidngt ohne andere Faktoren Ergebnis

  • Notwendig: kausale Variable ist zwingend notwendig damit ergebnis zustande kommt

• INUS Bedingung

  • Nicht hinreichender aber notwendiger Teil einer nicht-notwendigen aber hinreichenden Bedingung

  • “insufficient, but necessary part of an unnecessary but sufficient condition

• Molare Kausalität:

  • Intervention besteht azs Paket von Merkmalen die nocht weiter differenziert werden -> diese sagen Paket von Ergebnissen voraus

• Molekulare Kausalität:

  • spezifischen Kausalen zusammenhänge zwischen einzelnen Prädiktoren und einzelnen Ergebnissen sind bekannt

  • spezifischen Vorraussagen köbnnen abgegeben werden, welcher Prädiktor welchen Effekt vorraussagt

• Statistische Validität

  • wie hoch und reliabel (replizierbar) ist Kovariation zwischen angenommener Ursache und angenommenen Effekt

• Interne Validität

  • beobachtete Kovariation kausaler Natur? (gültigkeit ursahce-wirkung)

• Externe Validität

  • Extension (Geltungsbereich der Studienergebnisse): auf welche Bereiche ist kausale Wirkmechanismus beschränkt?

  • Generalisierbarkeit (übertragen der Befunde auf andere Personen/Bereiche…)

-> ohne interne validität keine externe validität

• Anwendungsbereich des Begriffs

  • Psychologische Diagnostik

  • Evaluation

• Grundlegende Fragen

  • Welche Rückschlüsse sind erlaubt

  • Welche Interpretation ist zulässig

• Spezifische Aspekte

  • bewerten des ergebnisses

  • verallgemeinern des ergebnisses

  • Extrapolieren des ergebnissen auf andere bereiche

  • erklären des ergebnisses

  • entschiedungen als kosnequenz des ergebnisses

• schüler:innnn die regelmäßig am Sprachtraining teilnehmen, schneiden im sprachtest besser ab (konvergente Validität)

• jedoch nicht im mathe test (diskriminante validität)

-> vorgehen entspricht “starkem Ansatz” der Validierung nach cronbach

bei “schwachem Ansatz” exisiteren keine theorien, wird nur exploriert

(misst das kosntrukt was es messen soll)

• interne Bedrohung:

  • unkalrheit zeitliche rehenfolge von UVs und AVs

  • Konfundierung der Intervention mit weiteren Ergebnissen (drittvariablen)

  • slektive zuweisung v. personen/gruppen / sleektiver ausfall

  • refungseffekte

  • Boden/deckeneffekte

  • regression zur Mitte

  • effekte merhfachen messens

• Kompensation der Interventionseffekte durch andere Instanzen

• Rivslität zwischen Gruppen

• Demoralisierung in benachteiligter Gruppe (KG strengt sich nicht an)

• Transfer von wirksamen Interventionen pber Gruppen (IG gibt wissen/techniken weiter)

• Konzeptuelle Bedrohung

  • Interaktion des kausalen Effektes mit Merkmalen der Perosnen, Internvetion, Beobachtung, Kontext

  • kontextabhöngige Mediation: kausaler Effekt pber Kontextmerkamle vermittelt

• Qualitativ unzureichende Messung

  • unangemessene expliaktion Kosntrukt

  • konfundierungen bei der messung durch andere kosntrutke

  • zu homogene messmethoden (z.b. nur fragebogen)

  • zu kleine Menge v. Indikatoren für alle Facetten

• Reaktive Effekte bei Messung

  • placebo

  • reaktives antwortverhalten slebstauskünfte

  • versuchsleitererwartung

• A priori: Kontrolle im Forshcungsdesin

  • potentiell relevant variablen a-priori im design integrieren -> effekt kann so abgeschätzt werden

• A posteriori: Statistische Kontrollen

  • wenn potentielle konfundierende variablen nicht im Design berücksichtigt aber erhoben wurden -> effekte a-posteriori statisitshc kontrollieren

• Fragen, wenn Bedrohung nicht ausgeschlossen werden kann

  • Trifft bedrohung im vorliegneden Fall zu?

  • Ist bedorhung nicht nur theoretisch sondern auch im konkreten Fall auch plausibel?

  • Beeinflusst Bedrohung den Effekt in dieselbe Richtung wie Intervention?

• i.d.R. wird Genrelaisierung angestrebt, über:

• Units

  • von spezifischen Gruppen/Personen

  • Auf Grundgesamtheit v. Personen/Einheiten

• Treatments

  • v. spezifishcen Methoden/Maßnahmen

  • Alle Wirkvariablen

• Observations

  • v. spezifischen Ergebnis-Variablen

  • alle kriterienvariablen

• Settings

  • vom aktuellen kontext

  • auf alle bedingungen

• Oberfllächen-Ähnlichkeit

  • Übereinstimmung Studienmerkmale (utos) mit Ziel der Generalisierung (UTOS)

• Ausschluss von Irrelevanzen

  • Identifikation utos-Merkmale, die für UTOS merkmale irrelvant sind

• Unterscheidung vornehmen

  • Merkmale identifizieren die utos-Merkmalen ähnlich sind, aner für die Relationen nicht gelten

• Interpolation/Extrapolation

  • Interpolation: Generalisierung innerhalb beobachteten Werte

  • Extrapolation: Generalisierung außerhalb beobachteter werte

• Kausale Erklärung

  • Bei Kenntnis der kausalen Mechanismen können sie auf andere Sachverahlte übertragen werden

• O1, O2, O3

  • observations zu verschiedenen Zeitpunkten

• O1A, O1B

  • Beobachtungen mit verschiedenen Instrumenten (A&B)

• {O1A, O1B}

  • A und B zum gleichen Zeitpunkt erhoben

• X

  • Inetrvention

• X (mit strich unten)

  • Entfernte/ausgelassene Intervention

• −− −−

  • Linie zwischen Gruppen die nicht durch Randomisation getrennt wurden

• −−−−−−

  • Linie randomisierte Gruppe

• R

  • Randomisiert

• NR

  • nicht randomisiert

• mit randomisierung und experimentellen treatment können meisten bedorhungen ausgeschlossen werden:

  • individuelle vorgeschichte, reifung, regresssion zur mitte, Testeffekte, Selektionseffekte

  • Alle Effekte können weiter existeiren, Effekte solten aber probabilsitisch gleich über die Gruppen sein

  • Nur selektiver Dropout bleibt als Bedrohung

• fast alle Vorzüge von Experimenten

• allerdings: zwischen natürlcihen Gruppen können Unterschiede exisiteren die mit treatment interagieren

• stellt Generalisierbarkeit in Frage

• bei Post Design können a-priori Unterschiede zum Grupppenutnerschied beigetragen haben (könnte man im pre-post design testen)

• 
  

• pre-post design höhere teststärke

• Nachteil: pre-test könnte effekte auf post-test haben (Gedächtnis, Sensibilisierung)

• vier gruppen, idealerweise durch randomisation (R), wenn nicht anders möglcih NR

  • 2 IG, 2 KG

  • jeweils 1mal mit Vortest, 1mal ohne Vortest

• Überprüfung von

  • Interventionseffekten im Kontrollgrupopendeisgn

    • 1 vs. 2; 3 vs 4; {1,3} vs {2,4}

  • Effekte der Testwiederholung (Reaktivität der Messung):

    • 1 vs. 3, 2 vs. 4; {1 vs. 3} vs. {2 vs 4}

• Eine Gruppe, ein Posttest

  • X O1

    • Kausalität kann nicht erschlossen werden

    • Effektstärke kann nicht erschlossen werden

• Eine Gruppe, mehrere Posttests

  • X {O1A,….,O1N}

    • Verwendung multipler AVs, wobei Therpioe voraussagt, in lweche Effekte auftreten sollen, welche nicht

    • Selbst bei vorrausgesagten Mustern, Kausalität fraglich

    • Effektstärke kann nicht erschlossen werden

    • 
      

• eine Gruppe, Prä- und Posttest

  • O1 X. O2

    • Effektstärke schätzbar (O2-O1)

    • Kausalität fraglich: könnte Entwicklung/Reifung unabhängig von Intervention gegeben haben

• Eine Gruppe, doppelter Pretest, Posttest

  • O1 O2 X O3

    • Über Differenz O2-O1 lässt sich (lineare) Entwicklung/Reifung abschätzen

      • Kommt ws zu Verädnerungen in Steigung (O3-O2) spricht dies für Interventionseffekte

    • Für nicht-lineare Reifung mpssten ncoh mehr Datenpunkte gesammelt werden

    • Effektstärke schätzbar

    • Effekte aber schwer zuverallgemeienrtn da nur eine Gruppe von Personen (evtl. mit speziellen Merkmale)

• Eine Gruppe, nicht äquivalente Prä und Posttests

  {O1A, O1B} X {O2A, O2B}

  • Multiple Verfahren zu Prä-& Posttest; Theorie sagt voraus in welchem Test/Merkmal es Veränderung geben soll

  • Bedrohung durch Reifung

• Entferntes Treratment Design

O1 X O2 …. O3 X/ O4

• Test ob Effekte in AV systematisch mit Intervention einhergehen (oder zeitlich erfolgen); setzt vergelichbare zeitlcihe Abstände voraus

• bei hinreichend Messungen aussagekräftig, obwohl es keine KG gibt