4. Sitzung - Kontrolltechniken

-> ausschließen, dass externe Variablen keinen Einfluss auf Zusammenhang haben

• Würde Ergebnis in anderer Untersuchung gleich/anders ausfallen?

Max-Kon-Min-Prinzip: Drei Arten der Variation

Primärvariation (Effekt der UV, intern/statist. Val.):

• Systematische Variation der Zielgröße, hervorgerufen nur aufgrund der interessierenden Faktoren

Sekundärvariation (systematische Störvariablen, intern. Val.):

• Systematische Variation der Zielvariable, hervorgerufen durch die Störfaktoren (nicht durch die interessierenden Faktoren)

Fehlervariation (unsystematische Störvariablen, statist. Val.):

• Unsystematische Variation der Zielvariable, die weder auf den Einfluss von (identifizierbaren) Stör-noch auf die Manipulation derinteressierenden Einflussfaktoren zurückzuführen ist

Merkregel der Versuchsplanung:

• Maximieren der Primärvariation (Effekt/Signal)

• Kontrollieren der Sekundärvariation (Verzerrung ->         können Effekt den es gibt maskieren; Richtung/Größe verändern)

• Minimieren der Fehlervariation (Rauschen im Hintergrund gering halten)

Max-Kon-Min-Prinzip: Maximierung der Primärvariation

Ziel: möglichst großer experimenteller Effekt

• Wahl einer Operationalisierung mit möglichst großen Effekten

• Möglichst reliable Implementation der UV (Person in Kontrollgruppe sollte nicht frustriert sein; in Experimentalgruppe maximal Frustriert)

• Realisierung von extremen Faktorstufen der UV (Einfluss von Rauschne auf Lernen)

• Auswahl möglichst vieler Stufen (weitere Operationalisierung -> Teststärker)

—> … alle weiteren Maßnahmen, die Effektgröße maximieren können

Max-Kon-Min-Prinzip: Kontrolle der Sekundärvariation (Störvariablen)

Störvariablen (SVn): alle Variablen (außer der interessierenden UV), die potentiell einen Einfluss auf die AV haben können

• besonders problematisch, wenn mit der UV assoziiert (konfundiert): Effekt ist u.U. nicht auf die UV zurückzuführen, sondern auf eine nicht-kontrollierte SV, die systematisch mit der UV variiert

• Effekt/Unterschied in AV beobachten -> kann Effekt der verborgenen Störvariable sein

• BSp.: Unterschiedliche Therapiearten haben unterschiedlich starke Effekten

• Aber: nicht nur die Therapieart unterschiedlich, sondern auch Motivation der Klienten usw.

• hat wiederum Einfluss auf Therapieerfolg

• Effekt würde auf Motivation zurückführen, wird aber in Untersuchung nicht deutlich

• solche Korrelationen müssen kontrolliert/eliminiert werden

• kann aus Versuch letztendlich nichts schlussfolgern

• können Effekte vortäuschen/verdecken

Unsystematisch:

• durch starkes Rauschen könne sie real existierenden Effekt verdecken

• Power adäquat wählen um Problem zu lösen

• motivierte alle in EG

• Problem: wissen nicht, welcher Faktor den Effekt hervorruft

Systematische StörvariablenKonsequenzen

Eine Störvariablen ist systematisch,wenn sie mit der UV kovariiert, d.h. „konfundiert“ ist (d.h. in verschiedenen Versuchsbedingungen unterschiedlich stark ausgeprägt ist)

• können fälschlicherweise einen Effekt der UV auf die AV suggerieren

-> Trainierte zeigen bessere Leistung (AV), aber nicht wegen Training (UV), sondern wegen höherer Motivation (SV)

• können einen tatsächlich vorhandenen Effekt verschleiern -> z.B. überwiegend unmotivierte TN im Training: positiver Effekt des Trainings (UV) wird durch negativen Effekt der Motivation (SV) verdeckt

-> Konsequenz systematischer SVn: falsche Schlussfolgerungen hinsichtlich des Effekts der UV auf die AV sind möglich, wenn SV nicht berücksichtigt wird

Unsystematische Störvariablen

Eine Störvariable ist unsystematisch, wenn sie nicht mit der UV kovariiert(d.h. in allen Versuchsbedingungen ungefähr gleich stark ausgeprägt ist); auch Fehlervarianz/“Rauschen“.

• gibt es in jeder Untersuchung; vergrößern die Fehlervarianz der AV

• können systematische Effekte der UV durch hohe Fehlervarianz überdecken

• können das Auftreten von Effekten nicht erklären

• kann z.B. durch Wahl einer reliablen Messung (Operationalisierung) der AV reduziert werden

-> Konsequenz: Wenn kein Effekt gefunden wird, kann dies an der erhöhten Fehlervarianz liegen. Wenn ein Effekt beobachtet wird, kann die unsystematische SV nicht dafür verantwortlich sein.

Zwei Ziele:

1) Kontrolle systematischer Fehler/Störvariablen

„… die gemeinsame systematische Variation von möglichen Störfaktoren mit der hypothesenrelevanten UV zu verhindern und die statistische Assoziation zwischen den potentiellen Störfaktoren und der UV auf den Wert Null zu bringen….“

-> erhöht interne Validität

2) Reduktion unsystematischer/zufälliger Fehler/SVn

Reduktion der Fehlervarianz erhöht den Anteil der Effektvarianz an der Gesamtvarianz

-> erhöht Teststärke/statistische Validität

Max-Kon-Min-Prinzip Zusammenfassung

Merkregel der Versuchsplanung:

Maximieren der Primärvariation (Effekt/Signal)

• Möglichst starke experimentelle Manipulation wählen

• z.B. Wahl reliabler Operationalisierungen der UV

Kontrollieren der Sekundärvariation (Verzerrung/Bias)

• Kontrolle systematischer Fehler/Störvariablen

• Konfundierung gefährdet interne Validität

• Konfundierung als unvollständiges Design

Minimieren der Fehlervariation (Rauschen)

• Reduktion unsystematischer/zufälliger Fehler/SVn

• z.B. Wahl reliabler Operationalisierungen von UV und AV

• Fehlervariation reduziert Teststärke (Entdecken von Effekten)

• Unsystematische Störvariablen gefährden statistische Validität

Randomisierung= zufällige Zuweisung der Untersuchungseinheiten zu Bedingungen/Gruppen

• Technik zur Kontrolle in der Person liegender, unveränderlicher Störvariablen

• vorhandene Störvariablen werden nach Zufall auf die Gruppen verteilt

Ergebnis der Randomisierung:

• SVnsind nicht mitBedingungszugehörigkeit konfundiert (nicht systematisch)

• Bedingungen/Gruppen sind bzgl. aller Variablen gleich (bis auf Zufallsschwankungen; Gruppengröße N ≥ 30)

• Definition Experiment: Wenn bzgl. einer UV randomisiert wird, dann ist die Untersuchung bzgl. dieser UV ein Experiment

Randomisierung und interne Validität

Beispiel: Untersuchung zum Effekt von Stress

• Wirkung einer therapeutischen Intervention zur Stressreduzierung

• Zwei Gruppen: EG/Therapie und KG/keine Therapie

• Vergleich der Stress-Werte nach der Untersuchung

• Frage: Wurden die Unterschiede durch die Therapie verursacht?

-> Mögliche Bedrohung der internen Validität durch externe Stressoren (Scheidung, Umzug, etc.)

->Randomisierung: gleiche Wahrscheinlichkeit externer Störeinflüsse in beiden Gruppen

Achtung: Randomisierung≠ Zufallsstichprobe!

Zufallsstichprobe: zufällige Auswahl aus der Population

• Jede/R hat die gleiche Chance, ausgewählt zu werden

• erhöht Ähnlichkeit von Stichprobe und Population (Vergleichbarer)

• „Generalisierbarkeit“

• Unterschiede sind zufällig zustande gekommen

Randomisierung: zufällige Zuweisung bereits ausgewählter Probanden zu Bedingungen/Gruppen

• Jede/R hat die gleiche Chance, in jede Bedingung zu gelangen

• erhöht Ähnlichkeit der verglichenen Bedingungen/Gruppen

• interne Validität

Varianten der Randomisierung

• Einfache Randomisierung

• Mit vs. ohne Zurücklegen

• Blockrandomisierung

• Blockrandomisierungmit ungleichen Gruppengrößen

• Adaptive Randomisierung

Varianten der Randomisierung

• Einfache Randomisierung

• Mit vs. ohne Zurücklegen

• Blockrandomisierung

• Blockrandomisierungmit ungleichen Gruppengrößen

• Adaptive Randomisierung

Änderung der Zuordnungswahrscheinlichkeiten im Laufe der Studie

• Kann zum Einsatz kommen, falls die anfängliche Randomisierung zu ungleichen Gruppengrößen führt

• Versuch, im Verlauf der Studie dem Unterschied zwischen den Gruppen entgegenzuwirken

• Vorteil: Vergleichbare Gruppengrößen bei der Beendigung der Studie

• Nachteil: Validitätsgefährdung (Gruppen sind von der Eingangsreihenfolge her unterschiedlich zusammengesetzt)

• Per Zufall 2 Schulklassen aus der Population aller Schulklassen auswählen; durch Münzwurf ermitteln, welche Klasse EG bzw. KG bilden

• nicht Versuchspersonen, sondern Klassen werden randomisiert

• Schüler in inden zufällig gezogenen Klassen können sich systematisch unterscheiden

• aus einem Telefonbuch werden nach Zufall 2 Seiten gezogen; Personen auf der einen Seite werden zur EG, die auf der anderen Seite zur KG zugeordnet

• Randomisierungvon Gruppen; die eigentlichen Untersuchungseinheiten (Personen) werden nicht randomisiert

• systematische Unterschiede zwischen Telefonbuch-Seiten möglich (Stadt vs. Land, Stadtteile, …)

• Teilnehmer, die (zufällig) zuerst erscheinen, werden der KG (EG) zugeordnet; auch z.B. paarweise/abwechselnde Zuordnung

• die (jeweils) ersten Vpnkönnen sich systematisch von den (jeweils) zweiten Teilnehmern unterscheiden, z.B. bzgl. Pünktlichkeit, Dominanz, …