VL12: Meta-Analyse

• Statistische Schwankungen

  • Zufallsschwankungen (sampling error) bei Stichprobenziehung

  • bei kleinen: Abweichung größer

• Systematische Moderatoren (Population, Kontextfaktoren)

  • Population: Alter, Geshclecht, Motivation…)

  • Regionale Unterschiede, Versorugng durch andere Angebote

  • Jahreszeit, Wochentag, Uhrzeit

-> konditionen haben einfluss

• Designeffekte und Umsetzung

  • AVs, Art der Messung (Instrument)

  • Art der Analyse, (statistische) Kontrolle für Drittfakoren

  • Implementierung: institutionelle Umsetzung der Maßnahme nach Protokoll?

• Narrative Reports

  • Qualitative Dekription bisheriger Befunde

  • Oft exemplarische Auswahl Studien

    • (um was geht es?,3-4- seiten)

• Box count

  • Auszählen wie oft ein Ergebnis statistisch signifikanz geworden ist (seltener)

• Effektstärke

  • mittlere Effektstärke über Studien berechnen

  • Schätzen der Heterogenität der ES über studien

• Moderatoren: Subgruppenanalysen, Kotnexteffekte

  • Subgruppen-spezifische Effektstärke Berehcnung

  • Testen von Moderatoren der ES

• Netzwerk Meta-Analysen

  • Vgl. der Effekkte von versch. Interventionen untereinander

    • Erlaubt theoretisch Vergleich der Effekte von Interventionen, die nie zusammen untersucht wurden

• Relevanz offener Fragen

  • Gibt es Effekt?

  • Wie groß Effekt?

  • Effekt größer als bei vergleichbaren Interventionen?

  • Bei wem und unter welchen Umständen zeigt sich Effekt?

• Hoher Stellenwert

  • Beantwortung offener Forschungsfragen

  • Relevanz für politische Entscheidungen

  • Leitlinien fpr Behandlung im klinischen Bereich

• Fragestellung/Anliegen Studie

  • von Anfang explizit machen, einschließlich testender Moderaotren

  • Praxis: oft zuerst Arbeiten gelesen, die Fragen/Moderaotren aufwerfen

• Design, Metohden, Berichtlegung

  • Nach PRISMA-Kriteriuen

• Präregisitreren

  • Fragestellung, Suchstrategie, Metohden und Interpretation vor Durchführung fixieren

• Suchbegriffe

  • Inhaltliche Schlüsselwörter: “Agststörung”, “Expositionstherapie”

  • Methodische Schlüsselbegriffe: “Randomized Controlled Trial”

  • Kombinationen und Logik v. Kombinationen (und/oder..)

• Datenbanken

  • PsycINFO,

  • PubMed

  • GoogleScholar

  • Emabse

  • Cochrane Central Register of controlled trials (präregisitrierung)

• Einschluss und Auschlusskriteiruen

  • Studiendesign, Anzahl Probande, AVs, verwendetet Instrumente

  • Aber: Selektion im 2. Schirtt, Dokumention aller Ausschlüsse

• Pre-Post Within

  • eine Stichprobe, Daten von Prä- und Post Messung

  • Effekt lässt sich berehcnen, Validität (kausale Rückschlüsse) schwierig

• Post-Between

  • mid. 2 Stichproben; Datenm nur zur Postmessung

  • Gruppenunterschiede lassen sich bei randomisierter Zuweisung und Annahme probabilisitscher Äquivalenz der Gruppen vor Intervention kausal interpretieren

• Pre-Post-Between

  • Äquivalenz der Gruppen zum Prätest kann explizit überprüft werden

  • Auch bei a-priori Gruppenunterschieden lassen sich zwishcen Gruppen Prä-Post Differenz interpretieren (wenn es keine Varianzeinschränkungen gitb)

• Königsweg in Forschung

Merkmale

• Randomisierung: jeder TN sollte mit gleicher Wahrscheinlichkeit einer Gruppe zugewisen werden

• Kontrollgruppe: gibt informative Kontrollgruppe, keine wirksame Intervention (treatment as usual)

• (doppelte) Verblindung: niemand weiß Gruppenzugehörigkeit (rater, behandler, pat.)

• Vermeidung Placebo Effekte

• Effekte vom selektiven Drouput beahcten; anwendung Kontrolltechniken (intention to treat)

• kein slektives Berichten von guten Effekten

Sicherstellen von standardisierung

• Intervention klar in Manualen beschrieben?

• Therapeuten ausreichend geschult?

• Maßnahmen so umgesetzt wie vorgesehen? (laufende supervision)

• Supervisions-Qualität: definierte Verhaltensmerkmale , Einsatzmerkmale mehrere Rater

Implementierung

• werden Maßnahmen in IG so umgestezt wie nach Manual?

• Werden in KG keine wirksamen Maßnahmen ergriffen?

Selektiver Dropout

• Dropout unterscheidet sich zwischen Gruppen

• i.d.r. verlassen Personen Studie, die keinen Sinn darin sheen

  • keine Wirksamekit/Verbesserung

Intention-to -treat Analyse

• um biases zu vermeiden: nicht analysieren der Mittelwerte der finalen Gruppen sodnern aller Personen, die Bedingungen zugewiesen wurden

  • einschließlich Perosnen die abgebrochen haben

  • Angemessene Imputation fehlender Werte

• Vorab Veröffentlichung des Studien Protokolls (Suchstrategie, Studienauswahl, Analysemethoden, AVs)

• In Zeitschrift

  • Einreichen ersten Teil studie (Theorie, Fragestellung, Methoden)

  • Bei Annahme werden Ergebnisse auch akzeptiert (egal welches Ergebnis)

• Auf Webseite (mit Datumsstempel)

  • soll post-hoc modifiaktion des protokolls verhindern

  • durhc anmeldung metaanalyse soll doppelte durchführung verhindert werden

    • AsPredicted

    • Openscience Foundation

    • Propero

Kontinuierliche Daten

• Vgl. von Mittelwerten (Gruppen o. Messwiederholung) bei kontinuierlichen Variablen

• Cohens d, Hedges g

Dichotome Daten

• Vgl. von Mittelwerten (Gruppen o. Messwiederholung) bei dichotomen oder kategoriale AVs

• Odds Ratio (OR), relative risk (RR)

Korrelationsdesign

• Zusammenhang von Variablen

• Korrelationen (r) o. erklärte Varianz R’2

• Messmodelle (Faktorladungen, Interzeptem Residuen)

Herausfordeurng: je nach studie werden Effekte mit unterschiedlichen Effektmaßen berichtet

Vorgehen: Transformation der Effekte in gemeinsames Effektmaß notwendig

-> anschließend berehcnugn der gemeinsamen Statisitken

Punkt: mittlerer effekt