6. Sitzung - Interne Validität

-> Problem kann nicht immer durch randomisierung eliminiert werden

• wenn Vortest Effekt auslöst und Treatment nicht, kann man das nicht herausfinden

• gibt keinen Vgl. ohne Vortest

• Reaktiv: Untersuchten reagieren darauf, dass sie untersucht, werden

Weitere Beispiele:

• Wissensprüfung in einem Vortest (Aktivierung „verschütteter“ Kenntnisse)

• Lern-, Übungseffekte zwischen Prä-und Posttest

• Motivation kann durch Vortestgesteigert werden

• Müdigkeit oder Langeweile können durch Vortest gesteigert werden

-> Nicht jede Untersuchung in diesem Sinne reaktiv:

• Unbemerkt (versteckte Kamera)

• Unbeeinflussbar (Körpergröße)

Lösungsmöglichkeiten:

1) Störeinfluss minimieren (Reaktivität des Untersuchungselements reduzieren)

• Bei problematischem Vortest z.B. durch zeitlich ausreichender Abstand zwischen Vortest und Untersuchung

2) Störeinfluss miterheben (Reaktivität empirisch untersuchen)

• BspVortest: z.B. Versuchsplan, in dem Gruppen mit vs. Ohne Vortest verglichen werden (Solomon-Vier-Gruppen-Plan)

• angucken, ob es Effekt des Vortest oder Interaktion mit Treatment gibt

Externe Ereignisse mit Einfluss auf die Probanden

• z.B. Ereignis in den Nachrichten (Tschernobyl, 9/11, Fukushima)

• relevant bei Prä-Post-Designs (Zeit zwischen Vor-und Nachtest)

• besonders relevant, wenn… unterschiedliche Gruppen zu unterschiedlichen Zeitpunkten getestet werden

• …oder aus unterschiedlichen Gebieten/Populationen stammen und unterschiedlichen lokalen Historiesausgesetzt sind

• Experimentalgruppe (links): Treatment zuerst durchführen (X) dann beobachten (O) und dann tritt Historie Ereignis ein (H), bevor man Kontrollgruppe beobachtet hat

• History Ereignis beeinflusst somit systemisch nur Ergebnisse der Kontrollgruppe und nicht der EG

• Gruppen dann nicht mehr vergleichbar

• Schlüsse nicht valide

Rechte Abbildung:

• Wenn unterschiedlichen Gruppen aus verschiedenen Teilpopulationen stammen

• Sind unterschieldichen Einflüssen, Histories ausgesetzt

• History A und B -> Unterscheide in externen Einflüssen die unterschiede in der AV hervorrufen können

—> Gruppen nicht vergleichbar

—> Validitätsprobleme

-> auch ohne Intervention hat sich ein gewünschter Effekt eingestellt

Bsp. History

• Intervention: Experten empfehlen Hausärzt:innenangemessene Medikation bei Herzinfarkt (Beta-Blocker statt Lidocain)

• Prüfung der Wirksamkeit: Vergleich der Verschreibungsrate von Beta-Blockern vs. Lidocainvor & nach der Intervention

-> Gleiche Entwicklung in Experimental-und Kontrollgruppe

• Erklärung: Gleichzeitig mit der untersuchten Maßnahme fanden weitere Interventionen/Veränderungen statt

• intervention took place during explosion of news media reporting that could have influenced the prescribing behavior of physicians.

• At the same time, the US Department of Health and Human Services launched a national program targeting the drugs in the study

• and the American College of Cardiology and the American Hospital Association jointly released new guidelines for the early management of patients with acute myocardial infarction

• in KG gibt es bereits Effekte die für EG gedacht war

• Intervention wude vorgenommen

•  ganz viele History Ereignisse, die Wirkung hervorgerufen haben

• Intervention keine eigene Wirkung mehr

Veränderung des Messinstruments über die Zeit

bes. relevant bei Messwiederholungen; Messung zu untersch. Zeitpunkten

• Personen ermüden, sammeln Erfahrung mit Messung (Fragen bekannt) oä.

• Beurteiler verändern ihre Kriterien über die Zeit (Kalibrierung)

• Reaktionszeittasten werden durch häufige Benutzung schneller

• Testversionen A und B nicht äquivalent

• bei Längsschnittstudien verändern sich Fragebögen oder die Bedeutung der Items im aktuellen Sprachgebrauch (IST 70 -> IST 2000, FPI)

• Teilnehmer = Instrumente

• können sich verändern (werden müde; Beobachter können Kriterien über Zeit verändern)

• Kalibrierung: Urteil wird angepasst

Abbildung links lesen:

• Vortestmessung mit A (OA), Treatment (X), Nachtestung/nachher Messung mit B (OB)

• Nicht äquivalent -> vorher- nachher Werte nicht gut vergleichbar

• Teste verändern sich -> A Version wird angepasst und eine Vergleichsgruppe wird mit anderen Messinstrumenten getestet -> keine gute Vergleichbarkeit

Instrumentation – vor allem bei längeren Untersuchungen problematisch

• Tests für psychologische Konstrukte werden optimiert & verbessert -> verändern sich

• Begriffe ändern sich (werden in nachfolgenden Generationen anders interpretiert)

• Messung zu Prä-Messung (starke Fehlerabweichung in positive Richtung)

• zweite Messung: Person wird weniger extremen Fehlerwert erhalten (eher aus mittleren Bereich)

• Messwert einer Person die anfangs extrem positiven Wert erzielt hat mit großer WSK kleiner/weniger extrem bei 2. Messung

• Messfehler die bei ersten Mal extrem waren und werden beim zweiten Mal weniger Extrem ausfallen = Regression zur Mitte

• Extreme Fehler wiederholen sich i.d.R. nicht

Problem bei Selektion (z.B. aufgrund von Extremwerten)

• wenn Gruppen aufgrund hoher oder niedriger Testwerte in die Studie aufgenommen werden (z.B. Studie nur mit hoch belasteten Patienten)

• Interpretation schwierig, wenn Prä-Werte von Kontroll-und Experimentalgruppe sich signifikant unterscheiden: UV? Regression?

• Regressionseffekte „wirken“ auch rückwärts und simultan (z.B. Messung anderer Variablen) -> verändern sich keine wahren Werte der Person (Messfehler)

Lösungsansatz: Regressionseffekte kontrollieren

• Falls Untersuchung einer Extremgruppe ein wichtiges Ziel der Studie ist:

(1) möglichst große Stichprobe der Extremgruppe rekrutieren

(2) randomisierte Zuweisung der Extremgruppe auf die Bedingungen

„Reifung“ der Probanden durch psychische oder physische Veränderungen über die Zeit

• Probanden werden älter, erfahrener, „erwachsener“, Pubertät etc.

• wichtig bei Prä-Post-Designs mit großem zeitlichen Abstand zwischen den Messzeitpunkten; bei Langzeitstudien

• aber auch kurzfristig (Ermüdung)

• z.B. bei Förderprogrammen im Bildungsbereich (Schule)

  ->  Tagesrythmen; Veränderung über den Tag

  -> Leute vormittags oft am Leistungsfähigsten; Nachmittagstief usw.)

-> ähnlich History, aber ohne Attribution auf spezifische externe Ursache (beide unterschiedlich zu handhaben)

• Lösungsansatz:Alle Gruppen sollten gleiche Alterszusammensetzung haben, ähnlichen Umwelten ausgesetzt sein

Systematischer (selektiver) Ausfall von Probanden (Attrition)

• Treatment ist anstrengender, daher mehr Abbrecher

• nur die „Geeigneten“ halten durch (und sind auch noch erfolgreich)

• Probanden in der Kontrollgruppe sind nicht motiviert; unzufrieden, weil sie kein Treatment erhalten haben, ....

• eventuell auch wirkliche Todesfälle (z.B. Längsschnittstudie im Alter)

Beispiele:

• Umfragen mit freiwilliger Teilnahme: Interesse am/Meinung zum Thema beeinflusst Teilnahme-Bereitschaft

• Internetstudien (erleichterter Abbruch der Teilnahme): interessierendes Merkmal beeinflusst Abbruchquote

Achtung: Problem nichtdurch Randomisierung behebbar!

• Entsteht erst in der bzw. durch die zugewiesene Bedingung

• Wichtig: Warum traten diese Ausfälle auf? z.B. Nachbefragungen

Lösungsansätze

• Bedingungen bzgl. Ausfallursachen möglichst gleich halten

• Ausfallursachen untersuchen; Studie anpassen & wiederholen

Bedingungen bzgl. TN-Eigenschaften nicht vergleichbar

• Probanden sind (zufällig oder absichtlich) systematisch derart auf die Bedingungen verteilt, dass unterschiedliche Ausgangswerte entstehen

• Besonders bei Quasi-Experimenten problematisch, da dort keine zufällige Zuordnung zu den Bedingung möglich

• Bsp.: Will jemand bei einer klinischen Untersuchung an einer Studie nicht teilnehmen, kommt die Person u.U. in die KontrollgruppeZusammenhang zwischen Bedingung und Motivation

-> Lösung: Lösung: Randomisierung wo möglich (sonst Parallelisierung)

• die dafür sorgen, das Bedingungen bezüglich der Teilnehmer Eigenschaften nicht vergleichbar sind

• Eigenschaften verteilen sich nicht gleich auf die Bedingungen sondern systematisch unterschiedlich

• unterschiedliche Ausgangswerte bezüglich AV usw.

• Geht um Grippeimpfungen die Todesfälle bei älteren ProbandInnen reduzieren

• X Achse: Todesfälle und Einweisung ins Krankenhaus für Grippe

• Y Achse: Vgl des Risikos für geimpfte vs. Nicht geimpfte

• Negative Werte bedeuten das geimpfte Personen weniger häufig an diesen Problemen leiden (weniger Todesfälle und weniger Krankenhauseinweisungen)

• Signifikanten Unterschiede konnten festgestellt werden

• gesünderen personen haben Grippeimpfung bekommen

• weniger gesunden keine Impfung gehalten

• Unterschiede unklar zu attribuieren

• geht Unterschied auf GH oder Impfung zurück?

Zusammenwirkung Selection–Maturation

Maturationverstärkt durch Selektion entstandene Gefährdung

• falls Maturationin unterschiedlichen Gruppen zu unterschiedlichen Zeitpunkten beginnt (oder unterschiedliche Verläufe nimmt) kann es zu einem Zusammenwirken der Gefährdungen kommen

z.B. Untersuchung zum Effekt von Leistungsstipendien:

• Bezieher von Stipendien sind fähiger (Selektionsbias)

• Bezieher haben höhere Verbesserungsgeschwindigkeit (Reifung)

• beides erhöht scheinbar den „Effekt“ des Stipendiums

Allgemein: gleichzeitiges Auftreten mehrerer der genannten Gefährdungen kann zu additiven und interaktivenEffekten führen

• ist klar, das UV zuerst realisiert wurde, bevor man Wirkung erhoben hat/eingetreten ist?

• Interne Validität gefährdet, wenn zeitliche Reihenfolge nicht festgelegt -> kausale Wirkungsrichtung nicht eindeutig interpretierbar

• Frage der zeitlichen Reihenfolge dann vor allem relevant für interne Validität -> vor allem dann, wenn wir Ursache nicht aktiv selbst herstellen (z.B. korrelative Untersuchungen)