VL 1 - Einführung: Designs und Methoden

Zusammenfassung:

1. Forschungsfrage: Welche Frage wollen Sie beantworten?

2. Verfügbarkeit von Daten: Die Beschaffung von Daten aus sekundären Quellen, z. B. aus Krankenakten, spart Ressourceb

3. Stichprobenverfahren: Ziel ist es, sicherzustellen, dass die Stichprobe für die Zielpopulation repräsentativ ist. Ungeeignete Stichprobenverfahren können zu einer nicht repräsentativen Stichprobe oder Verzerrungen führen…

4. Datenerhebung: Hier wird davon ausgegangen, dass die Datenerhebung durchführbar ist: WIe? Wer? Was? …

5. Kosten des Designs, zeitliche Auswirkungen und Verlust der Nachbeobachtung: Diese Aspekte müssen berücksichtigt werden, insbesondere bei der Konzeption einer Längsschnittstudie.

6. Kontrollen: Schlussfolgerungen über den Zusammenhang zwischen Exposition/Intervention und Ergebnis können nur gezogen werden, wenn die Studien eine Kontrollgruppe umfassen (d. h. sie sind vergleichend)

7. Ethische Fragen: Insbesondere bei experimentellen Studien ist eine ethische Genehmigung der Studie erforderlich. Es gibt potenziell erhebliche ethische Implikationen, wenn positive Interventionen für einen Teil der Studie existieren und für einen anderen nicht

• Experimentelle Designs:

  • Beinhalten eine aktive Intervention bspw. eine Gruppe erhält eine bestimme Therapieform (Experimentalgruppe) und eine weitere Gruppe eine andere oder keine Therapieform (Kontrollgruppe)

• Nicht-experimentelle Designs:

  • Führen Messungen durch, ohne die Situation oder das zu untersuchende Phänomen zu verändern

Systematische Reviews und Metaanalysen

• Nicht-experimentelle Designs lassen sich je nach Zielsetzung unterteilen in deskriptive und korrelative Designs.

• Deskriptive Designs→zielen darauf ab, (einen Zustand) zu beschreiben

• Korrelative Designs→zielen darauf ab, Assoziationen zu untersuchen, um Vorhersagen zu treffen oder kausale Zusammenhänge zu erforschen

• Deskriptive epidemiologische Forschung, die darauf abzielt, das Auftreten (Inzidenzen) und Prävalenzen bestimmter psychologischer Probleme zu dokumentieren

• Deskriptive Studien verwenden deskriptive (beschreibende) Statistik für die Ergebnispräsentation:

  • Prozentsatz, Mittelwert, Median, Inzidenz und Prävalenz

Um Assoziationen zwischen zwei oder mehr Variablen zu untersuchen, braucht es neben der deskriptiven Statistik noch Inferenzstatistik→korrelative Designs

• Korrelative Studien zielen darauf ab, die Beziehung von zwei oder mehr Variablen zu untersuchen

• Sie untersuchen ob Variablen kovariieren, korrelieren oder miteinander assoziiert sind

• Korrelationsstudien messen eine Reihe von Variablen für jede/n Teilnehmer/in mit dem Ziel, die Zusammenhänge zwischen diesen Variablen zu untersuchen

• Cave! Zu korrelativen Designs gehören sowohl lineare Assoziationen, als auch nicht-lineare Assoziationen zwischen Variablen

Querschnitt:

• cross-sectional-study/Querschnittsstudie: Erhebe Veränderungen retrospektiv, z.B.: „Wie alt waren Sie, als Stress am Arbeitsplatz besonders groß war?“. Problem: Erinnerungsverzerrungen

• Trendstudie: führe die gleiche Studie (selbe Methoden) mehrfach an unterschiedlichen (aber vergleichbaren) Individuen durch

Längsschnitt:

• Panel-Studie: führe die gleiche Studie (selbe Methoden) mehrfach an denselben (aber vergleichbaren) Individuen durch -> Schlüsse über individuelle Veränderungen möglich

• Kohortenstudie: Panel-Studie, die an bestimmter Kohorte durchgeführt wird (z.B. Geburtsjahrgang, Opfer eines kollektiven Traumas etc.)

• Klinische Studie (speziell: RCT) : wie Kohortenstudie, aber mit (rand., kontr.) Intervention. „Kohorte“ hier = Individuen, die an best. Krankheit/Störung leiden (Ein- und Ausschlusskriterien erfüllen)

• Querschnittstudien (cross-sectional): alle Beobachtungen/Messungen erfolgen zu einem Zeitpunkt

• Längsschnittstudien (longitudinal): Beobachtungen/Messungen erfolgen zu zwei oder mehreren Zeitpunkten

• Korrelative Studien verwenden sowohl einfache statistische Assoziationsmessungen: Chi-Quadrat und Korrelationskoeffizient

• Oder multivariate Methoden: multiple Regression, Faktoranalyse, logistisch- lineare Berechnungen, Pfad-Analysen, latente Strukturanalysen, Strukturgleichungsmodell

• 2. Abbildung, die messzeitpunkte sind besser und öftewr gewählt! Bildet die Realität viel besser ab!

• Die goldene Regel für Forschungsdesigns: Korrelation ist nicht gleich Kausalität

• Korrelationen können stark auf kausale Einflüsse hinweisen, aber sie können sie nicht eindeutig belegen (obwohl das Fehlen einer Korrelation im Allgemeinen eine kausale Beziehung ausschließt)

• Wir haben es in der Psychologie und Epidemiologie häufig mit probabilistischen und nicht mit deterministischen Ursachen zu tun. Wenn wir also sagen, dass Rauchen Lungenkrebs verursacht oder dass Armut zu Krankheiten führt, sprechen wir nicht von einer sicheren Kausalität (es gibt immer Ausnahmen), sondern von einem erhöhten Risiko.

Vier allgemein vereinbarte Bedingungen für Kausalität sind:

1. Kovariation: die beiden Variablen müssen zusammen auftreten

2. Vorrangigkeit: Die hypothetische Kausalvariable muss der Effektvariable zuverlässig vorausgehen

3. Ausschluss von alternativen Erklärungen: Andere Erklärungen für die beobachtete Kovariation müssen vernünftigerweise ausgeschlossen werden.

4. Logischer Mechanismus: Es muss eine plausible Erklärung für die angenommene kausale Beziehung geben.

Kausales Denken: Kausalität wird hier grafisch abgebildet

• Psycholog*innen denken heute gewöhnlich an ein Experiment als eine Studie, die eine zufällige Zuordnung zu zwei oder mehr Gruppen oder Bedingungen beinhaltet

• Experimentelle Designs sind für klinische Psychologen von besonderem Interesse, weil die therapeutische Arbeit selbst als eine experimentelle Intervention betrachtet werden kann.

• Die meisten Studien zur Wirksamkeit von Psychotherapie verwenden ein experimentelles Design

• Die Behandlung, die durch den Forschenden manipuliert wird ist die unabhängige/experimentelle Variable

• Das Maß für den Effekt der Versuchsvariablen ist bekannt als die abhängige oder Ergebnisvariable

• Experimentalgruppe→Gruppe, die eine Maßnahme/Intervention bekommt

• Kontrollgruppe→bekommt keine Maßnahme/Intervention

• Offene, klinische Studie (open clinical trial) oder Einzelgruppen Experiment →Experiment, in dem es nur eine Experimentalgruppe ohne Kontrollgruppe gibt. Wird häufig für einen ersten Test einer vielversprechenden Behandlung genutzt, bevor diese mit einer Kontrollgruppe oder einer anderen Behandlung verglichen wird (eine randomisierte klinische Studie).

• Randomisierte, experimentelle Designs (im Gegensatz zu nicht-randomisierten oder quasi-experimentellen Versuchsplänen) zeichnen sich durch die zufällige Zuordnung von Teilnehmer*innen zu den Versuchsbedingungen aus

• Der große Vorteil liegt in der Reduzierung von Selektionsverzerrungen(selection-bias)

• Es können einzelne Variablen manipuliert werden, was Rückschlüsse auf kausale Zusammenhänge zulässt

• Vorherrschendes Design in Medizin und Psychologie RCT – Randomisierte Kontrollierte Stichprobe (randomized controlled trials)

ein Beispiel (grafisch) für ein RCT

Das Pretest-Posttest Design ist ein Beispiel für ein Design mit Messwiederholung, bei welchem die gleichen Teilnehmer*innen zu zwei oder mehr Zeitpunkten erhoben werden

Blockierende Faktoren sind Faktoren, die individuelle Unterschiede zwischen den Teilnehmern (z. B. die Art des Problems) innerhalb des gesamten Forschungsdesigns darstellen (dies wird auch Stratifizierung genannt)

Das Verfahren besteht darin, dass die Teilnehmer*innen in die entsprechenden Kategorien eingeteilt werden, bevor die Randomisierung zu den experimentellen Behandlungen erfolgt

Die Randomisierung

Die Stratifizierung

1. Kontrollgruppe→bedeutet, dass dieser Gruppe ein „Wirkstoff“ fehlt (wie beilandwirtschaftlichen Experimenten, bei denen die Versuchsgruppen verschiedene Düngemittel erhalten und die Kontrollgruppe keinen)

2. Vergleichsgruppe→impliziert, dass eine praktikable alternative Behandlung gegeben ist

3. No-treatment control→Kontrollen ohne Behandlung, bei denen die Kontrollgruppe überhaupt keine Behandlung erhält, werden verwendet, um einen maximalen Kontrast zur untersuchten Therapie zu erzielen

4. Wartelisten-Kontrollgruppe (wait-list-control)→Die Klient*innen, die nach dem Zufallsprinzip der Wartelistengruppe zugewiesen werden, erhalten dasselbe Baseline Assessment und werden dann auf eine Warteliste gesetzt, um die Intervention zu erhalten, sobald die Experimentalgruppe die Intervention abgeschlossen hat

1. Placebo-Kontrollgruppen→Studien, bei denen die Patienten eine Zuckerpille oder eine andere pharmakologisch inaktive Substanz erhalten

1. double-blind studies→klinische Studien, bei denen Weder Arzt*innen noch Patient*innen wissen, welche die Experimental- bzw. Kontrollgruppe ist

1. Triple blind studies→zusätzlich wissen auch die Forschenden nicht, welche Gruppe Experimental- bzw. Kontrollgruppe ist

1. Vergleichende Behandlungsgruppen→verwenden statt eines Placebos eine etablierte Vergleichsbehandlung, von der man erwarten kann, dass sie den gleichen Nutzen hat wie die experimentellen Behandlung

1. Dismantling studies→zielen darauf ab, herauszufinden, welche Komponenten einer Behandlung wirksam sind. Die vollständige Behandlung wird mit einer Vergleichsgruppe verglichen, die diese Behandlung minus eine Komponente erhält.

Die zufällige Zuweisung zu Versuchsgruppen gewährleistet nicht, dass die Gruppen gleichwertig sind oder gleich bleiben.

Bei vielen Experimenten gibt es Dropouts, d. h. einige Teilnehmer brechen die Studie ab, bevor die Behandlung abgeschlossen ist und die Nachuntersuchungen erhoben werden. Durch den Abbruch wird die Gleichwertigkeit von Versuchs- und Kontrollgruppe reduziert

Es kann zu „Leck“ zwischen den Bedingungen kommen. Wenn zum Beispiel dieHälfte der Patienten auf einer Krankenhausstation eine nützliche Fähigkeit, z. B. Entspannung, erlernt, können sie diese dann anderen Patienten in der Kontrollgruppe beibringen

• Randomisierte Experimente sind kostspielig und zeitaufwendig und sollten daher nur dann eingesetzt werden, wenn es bereits Beweise dafür gibt, dass die experimentelle Behandlung vorteilhaft ist

• Die Randomisierung ist ethisch nicht vertretbar, wenn es darum geht, die Auswirkungen von negativen Erfahrungen, z. B. Rauchen, Drogenkonsum, Katastrophen oder psychische Traumata, zu untersuchen. In diesen Fällen müssen nicht-randomisierte experimentelle Designs oder korrelative Designs verwendet werden (weshalb interessierte Parteien, wie z. B. Tabakunternehmen, mehr Spielraum haben die Ergebnisse anzufechten)

• Randomisierte Studien berücksichtigen nicht die Wahl des Patienten. Außerhalb von Forschungsstudien wählen die Patienten eine Behandlung auf der Grundlage ihrer individuellen Präferenzen: In randomisierten Studien können die Patienten daher eine Behandlung erhalten, die sie nicht wollen und mit der sie daher möglicherweise weniger gut zurechtkommen.

a. Complete-case-Analyse

• verwendet nur die Fälle, für die die Werte bei allen Messzeitpunkten vorhanden sind („completer“)

• -> gleiche Auswertungsstichprobe zu jedem Zeitpunkt

• oft systematischer Dropout = Ausfall aus Studie (ab bestimmtem Zeitpunkt keine Messwerte mehr), systematisch: Dropout hat mit Therapieerfolg (Outcome) zu tun -> Bias (durch Selektion)

• Klinische Studien: meist bleiben diejenigen in der Therapie, die mit ihr besser zurechtkommen/bei denen sie besser wirkt

• meist also: Dropout bewirkt Überschätzung des Therapieeffekts! → Wird in der Regel nicht als alleinige Analyse akzeptiert → Intent to Treat Analyse!

b. LOCF-Analyse („Last observation carried forward“)

• Fehlende Werte werden durch den letzten beobachteten Wert (desselben Patienten)ersetzt

• Beispiel: Patient hat vor Therapie Wert von 22 in BDI (Beck-Depressions-Inventar II,„mittelschwere Depression“) und scheidet ohne weitere Messung aus Studie aus -> Wert bei allen folgenden Messzeitpunkten (z.B. post Therapie) auf 22 gesetzt

• -> Schätzungen von Interventionseffekten werden oft „konservativ“ (d.h. Unterschätzung; für Dropouts nimmt man bei Therapie- wie Kontrollgruppe an: keine Veränderung - > kein Unterschied (falls randomisiert))

• I.d.R. aber: Annahme falsch, dass Dropouts ihre Werte nicht mehr ändern

• Generell: Varianz der Effektschätzung unterschätzt (Konfidenzintervalle zu schmal):zwar gehen alle Fälle in Analyse ein, aber es wird nur Information vervielfältigt, um fehlende Werte zu ersetzen

• Fixed-effect: Annahme: ein Regressionskoeffizient ist gleich für alle Individuen, z.B. β0 = Intercept-Parameter = z.B. Grundniveau von „Ängstlichkeit“ vor Intervention (im Modell haben alle x-Variablen, hier nur t = Zeit, den Wert 0)

• Random-effect: Annahme: Parameter variiert über Individuen; diese Variation (als SD/Varianz) ist schätzbar, wenn man Messwiederholungen hat -> Ausmaß der Heterogenität des Parameters

• Mixed-Effects-Modell: Manche β als „fixed“ gewählt (z.B. β1 = Unterschied zwischen Therapiegruppen), manche als „random“ (z.B. β0 = „Grundniveau“ in Outcome Y, oft heterogener als Effekte).

Falls Modell mit Kovariablen (Zeit, Interventionsgruppe ...):

Hausman-Test

• Teste, ob die β im Fixed-effects-Modell verschieden von denen im Random- effects-Modell sind

• -> Teststatistik mit Chi2-Verteilung (Prozedur hausman in Stata).

Falls Modell ohne Kovariablen:

Likelihood-ratio-Test

• teste allgemein, ob Modell mit mehr Parametern „mehr Erklärungswert“ hat als Modell, in dem manche Parameter = 0 (vergleicht geschachtelte, „genestete“ Modelle; hier SD für Variation eines Parameters über Individuen = 0).

• hier speziell: Random-effects-Modell mit Fixed-effects-Modell verglichen. -> Teststatistik mit Chi2-Verteilung (-> Beispiel folgende Folien).

• β0 (Grundniveau) oft als random, β1 (Behandlungseffekt) oft als fixed spezifiziert

• Annahme „fixed“ bedeutet nicht, dass man annimmt, dass ein β tatsächlich gar nicht über i variieren würde (diese Annahme stimmt bestimmt so gut wie nie)

• ... sondern nur, dass „random“ kein Modell mit deutlich besserer Modellpassung/wesentlich anderen Ergebnissen liefern würde

Vorteile:

• Berücksichtigt Regression zur Mitte

• Kann mit Dropouts umgehen → alle Beobachtungen werden verwendet um die Werte zu den einzelnen Messzeitpunkten zu schätzen (Voraussetzung: Missings sind zufällig – ansonsten Bias)

Die Studie verwendet randomisierte Zuweisungen zu den Bedingungen, um Selektionseffekte auszuschließen, zusammen mit einer Analyse, die zeigt, dass die Gruppen nach der Randomisierung tatsächlich ähnlich waren

Spezifische Interventionen: Die Intervention ist spezifiziert, so dass klar ist, welche Therapie durchgeführt wird, sie bei allen Therapeut*innen gleich ist und von anderen Prüfer*innen bei Bedarf wiederholt werden kann

Geeignete Kontrollgruppen werden verwendet, damit klar ist, womit die Therapie verglichen wird

Die Gruppen wurden abgesehen von der experimentellen Variable gleich behandelt (z.B. gleich lang, vergleichbare Therapeut*innen etc.)

muss ich noch auf deutsch zusammenfassen

• verschiedene KG, wo und wann sie eingesetzt werden

• darauf achten: was für eine KG ist es und ob es eine Warte Listen KG ist oder nicht!

Was ist eine gute Kontrollbedingung? Worauf sollte geachtet werden: Welches Risiko liegt vor?

Wie schwer ist die erkrankung?

Was ist das beste, was verfügbar ist?

Gab es bereits effektive Behandlungen?

—>Pat dürfen es nicht schlechter haben/ Nachteil haben wenn sie an einer Studie teilnehmen

je nach Phase unterschiedliche Kontrollbedingungen

—> welche KG wende ich in welcher Phase an? Siehe abbildung?!

Treatment as usual:

diese KG kann sehr breit in versch. Kontexten eingesetzt werden

ethisch sehr günstige Variante

1. Definieren Sie die Forschungsfrage

   i. Entwickeln Sie eine Forschungsfrage

   ii. Prüfen Sie, ob es bereits Meta-Analysen zur gleichen Fragestellung gibt (einschließlich präregistriert)

2. Literaturrecherche

   i. Definition von Ein- und Ausschlusskriterien

   ii. Festlegung der Suchstrategie (Datenbanken, "graue Literatur", Suchbegriffe)

   iii. Screening der Ergebnisse für die Aufnahme (normalerweise in mehreren Schritten) durch mindestens 2 unabhängige Gutachter

   iv. Dokumentation der Literatursuche (PRISMA-Flussdiagramm)

3. Extraktion der Effektgröße

   i.Wählen Sie eine Art von Effektgröße aus (z. B. standardisierte mittlere Differenz, Odds-Ratio, Korrelationskoeffizient)

   ii. Umrechnung in ein gängiges Effektgrößenmaß (mit Formeln oder verfügbaren Rechnern)

4. Entwickeln Sie einen Codierungsbogen

   i. Kodieren Sie die Informationen entsprechend den gewünschten Analysen

5. Wahl der Analysemethode

   i. Metaanalyse

   ii. Meta-Regression

   iii. Qualitative Analyse (Überprüfung)

6. Auswahl der Software

   i.SPSS, STATA, JAPS,../R

7. Analyse

   i. Analyse von Publikationsverzerrungen (z. B. Funnel Plots, Eggert Test, Failsafe N, Trim & Fill)

8. Report results

   i. forest plots

   ii. Tabellen mit Testergebnissen

funnel plot with pseudo 95% KI

grafische Idee wie man dem Publikationsbias auf die Schliche kommt:

je weiter rechts, desto stärker der Effekt

hier wird der Standardfehler dargestellt:

er hängt sehr stark ab von der SP Größe und daraus berechnet sich der KI

-> je größer der Standardfehler, desto kleiner die SP!

normalerweise sollte hier kein Muster entstehen! nicht so wie hier …

es sollten systematisch punkte fehlen, wenn ForscherInnen sich gedacht haben, dass sie ihre Studien nicht veröfentlichen Wollen

-> ist das symetrisch oder fehlen punkte? -> es sieht symetrisch aus, bis auf den letzten Punkt -> es fehlt am anfang an punktenPublikationsbias