Quantitative forschungsmethoden II

• die interne Validität,

• die externe Validität,

• die Populationsvalidität,

• die Situationsvalidität,

• die Variablenvalidität,

• die Ableitungsvalidität und

• die statistische Validität.

Die interne Validität eines Experiments ist gegeben, wenn Veränderungen in der AV ausschließlich auf die Variation der UV zurückgeführt werden können, d.h. wenn alle Störvariablen kontrolliert sind. Nur dann können die Ergebnisse kausal interpretiert werden.

Die externe Validität eines Experiments bezieht sich auf die Generalisierbarkeit der Studienergebnisse. Drei grundlegende Aspekte können unterschieden werden:

• Populationsvalidität

• Situationsvalidität

• Variablenvalidität

Die Übertragbarkeit auf die Grundgesamtheit (Population) wird bestimmt durch die Stichprobenauswahl. Höchste Generalisierbarkeit üblicherweise durch große, möglichst„repräsentative“ Zufallsstichproben (die in der Praxis aber selten verfügbar sind).

Die Generalisierbarkeit auf andere Situationen ist im (Labor-)Experiment nicht unbedingt gegeben, da die konsequente Kontrolle der Störvariablen zu einer speziellen Untersuchungssituation führt. Andererseits ist die Isolierung und Untersuchung spezifischer Relationen genau das Ziel von Experimenten, also schwer vermeidbar – Abwägung von interner versus externer Validität.

Die Variablenvalidität beinhaltet die Übertragbarkeit der Ergebnisse auf andere Formen der Operationalisierung der UV und AV. Wird dadurch bestimmt, ob die Operationalisierung den„Bedeutungskern“ trifft (ein IQ-Test sollte Intelligenz und nicht Aufmerksamkeit messen).

Die Ableitungsvalidität erfasst das Ausmaß der korrekten Konkretisierung der theoretisch- inhaltlichen Hypothese bis auf die Ebene der Testhypothesen.

Die statistische Validität beurteilt die die Güte der Auswahl und Anwendung der statistischen Analyseverfahren.

Unter Präzision versteht man die Wahrscheinlichkeit, dass ein in der Population tatsächlich vorhandener Zusammenhang bzw. Unterschied durch die Untersuchung auch wirklich nachgewiesen werden kann.

Primärvarianz: Unterschiede in der AV, die auf Variation der UV zurückgehen, d.h. Anteil der interindividuellen Variabilität der durch die UV erzeugt wird

Sekundärvarianz: Unterschiede in der AV, die nicht auf Variation der UV zurückgehen, sondern Störvariablen.

• Laborexperiment

• Feldexperiment

• Quasi-Experiment

• Feldstudie

• Vorexperimentelle Untersuchung

• Ex-post-facto Studie

• Korrelationsstudie

• Veränderungsstudien

• Einzelfallforschung

• Unterscheidung zwischen UV und AV?

•  Zeitliche Abfolge UV und AV?

• Randomisierte Zuordnung der

  VersuchsteilnehmerInnen?

•  Anzahl der Bedingungen (k)

• Ort der Durchführung?

• Manipulation der UV(n) durch ForscherInnen; k ≥ 2 Bedingungen

• Sequenz UV ➝ AV

•  Kontrolle der Störvariablen

• Randomisierung der Vpn

•  Im Labor durchgeführt

• Hohe interne Validität, mögliche Einschränkungen der externen Validität

• Manipulation der UV(n) durch ForscherInnen; k ≥ 2 Bedingungen

• Sequenz UV ➝ AV und Manipulation der UV

• Kontrolle der Störvariablen

• Randomisierung der Vpn

• Geringere interne Validität als Laborexperiment, aber höhere externe Validität

• Beispiel: Studie zu Pausen und Problemlösen, wenn z.B. in Schule oder Uni durchgeführt

• Unterscheidet sich vom Laborexperiment durch fehlende Randomisierung der Vpn

• Vorhandene Gruppen basierend auf Variablen wie Schulabschluß, Geschlecht oder sozioökonomische Faktoren

• Eine Schulklasse wird mit Methode 1 unterrichtet, die andere mit Methode 2 – keine Randomisierung bei der Zuordnung der Vpn zu den Gruppen, aber UV wird variiert

•  Einschränkungen bzgl. der internen Validität, da Vpn-Merkmale schlechter kontrolliert werden

•  Unterscheidet sich vom Laborexperiment durch i) fehlende Randomisierung der Vpn und ii) wird im Feld, nicht Labor durchgeführt

• Niedrigere interne Validität als (Labor-) Experiment, aber potentiell höhere externe Validität

• Bei der vorexperimentellen Anordnung wird auf die Variation der UV verzichtet.

• Es handelt sich um eine Form der Voruntersuchung (z.B. Pilotstudie)

• Wie beim Quasi-Experiment untersucht man existierende Gruppen, definiert über Ereignisse, die in der Vergangenheit liegen (ex-post-facto = nach dem Ereignis)

• Unterschied: UV wird nicht manipuliert

• Körpergewicht und Selbstwahrnehmung

• Personen, die eine Werbung (nicht ) gesehen haben

• Erfolg von Schülern, die virtuell oder nicht unterrichtet wurden

• Korrelationsstudie bestimmt die Richtung und Höhe des Zusam- menhangs zwischen mindestens zwei Variablen X und Y.

• Die numerische Erfassung des Zusammenhangs erfolgt mit dem Korrelationskoeffizient rxy

• Korrelationskoeffizient rxy schwankt zwischen r = –1 (negativer Zusammenhang, z.B. Schulnoten – Intelligenz ) und r = +1 (positiver Zusammenhang, z.B. Größe – Gewicht).

Wichtig:

Der Begriff Korrelationsstudie bezieht sich auf das experimentelle Design und die fehlende Trennung von UV und AV – die Verwendung korrelativer Analysen (Berechnung von Korrelationskoeffizienten) führt nicht dazu, dass z.B. aus einem Experiment eine Korrelationsstudie wird!

In Veränderungsstudien geht es um die mittelfristige bis langfristige Veränderungsmessung (z.B. Altersforschung, Lebensspannenpsychologie), die meist mittels nicht- experimenteller Designs erfasst werden, weil die Effekte von Alter, Geburtskohorte/-jahrgang/Generation, und historische Periode/Epoche nicht experimentell variierbar sind.

Unterscheidung zwischen

Querschnittstudie: Eine Studie wird zu einem Messzeitpunkt untersuche, dabei werden Personen verschiedenen Alters untersucht; forschungsökonomisch durchzuführen, aber Konfundierung von Alter und Kohorte; keine altersbedingte Veränderung, sondern altersbedingte Unterschiede zum Erhebungszeitpunkt!

Längsschnittstudie: Dieselbe Stichprobe wird zu mehreren Messzeitpunkt erhoben

Bei dem Einzelfall kann es sich um eine einzelne Person, aber auch eine Organisation, eine Veranstaltung, ein Ereignis, eine Unterrichtseinheit, etc. handeln

z.B.

• der Pawlosche Hund

• Skinners Tauben.

• H.M dem Teile des Temporallappens entfernt worden waren, so dass er sich kein neues semantisches Wissen mehr aneignen konnte.

Einzelfallforschung (N=1-Forschung) Eine einzelne Untersuchungsheit (z.B. Person) wird wiederholt unter kontrollierten Bedingungen beobachtet und mit der Basisrate (base line) verglichen, um die Wirkung der UV zu messen.

AB-Plan

Vergleich Baseline (Basisratenphase) versus Treatment (Interventionsphase); aber geringe interne Validität, da es nicht-kontrollierte Störfaktoren geben kann, die den Unterschied erklären

ABA- und ABAB-Plan

Wiederholter Vergleich Baseline (Basisratenphase) versus Treatment (Interventionsphase); Stärkung der internen Validität; Kritik: Man muss eine erfolgreiche Intervention zurücknehmen (in der zweiten A-Phase) -> ethisch bedenklich

• Je nach Fragestellung mögen unterschiedliche Ansätze geeignet sein

• Das Experiment gilt als Königsweg, weil es Konfundierung durch Randomisierung (im Mittel) ausschließt; kein anderer Ansatz lässt uns so starke Aussagen über Kausalität treffen

• Vorwurf gegenüber Experiment: zu künstlich; höchste interne Validität, dafür aber eingeschränkte externe Validität; außerdem aufwändig

• In der Praxis sind oft nur quasiexperimentelle Zugänge möglich, aus praktischen/technischen (Geschlecht experimentell randomisieren) oder ethischen Gründen (bspw. Gehalt experimentell randomisieren)

• Praxis: Nur ein Ansatz wird im allgemeinen nicht ausreichen, eine Theorie vollständig zu stützen -> Triangulation