Forschungssynthesen

• große Menge an wissenschaftlichen Ergebnissen

• Ergebnisse zur gleichen Fragestellung können sich widersprechen

• Einzelne Studien können versch. Probleme haben (Stichproben, Design)

• Zunehmend schwer, Forschungsstand zu überblicken

• Aktuellen Stand in einem Forschungsgebiet zusammenfassen

• Aussagen über die Wirksamkeit von Interventionen machen

• höhere Validität durch Mehrfachbestätigung

• können Probleme von Einzelstudien ausgleichen

• Forschungssynthese ermöglicht die Identifikation und Kontrolle von Ergebnismoderatoren

• Grawe et a. Metaanalyse zur Wirksamkeit verschiedener Psychotherapiemethoden

• Versuch, den Schulenstreit in der Psychotherapie zu überwinden und empirische Evidenz als Handlungsbasis für die Praxis zu etablieren

• Narratives Review -> verbal zusammenfassen und bewerten

• Metaanalyse -> statistische Befunde aus Primärstudien zu einer Fragestellung werden quantitaitv zusammengefasst

• systematisches Review -> systematischer als Narratives Review, rechnerische Bestimmung von Effekten z.B. Standardisierung nach Richtlinien der Campbell Collaboration (können auch Metaanalysen beinhalten)

• Systematisches Review oft mit Metaanalysen, systematische Zusammenfassung spezifischer Effekte

  • quantitative Metaanalyse -> statistische Zusammenfassung einzelner Effektstärken

• Narratives Review Zusammenfassung breiterer Phänomene und Theorien - wie hat sich das Verständnis von etwas über die Zeit entwickelt

1. Formulierung der Forschungsfragen

2. Literatursuche

3. Auswahl der Primärstudien

4. Interpretation und Integration der Ergebnislage

5. Präsentation der Ergebnisse

• Äpfel-Birnen-Problem —> Konstrukte werden unterschiedl. operationalisiert -> muss gut begründet werden welche Studien man ein- und ausschließt

• Garbage-in-garbage-out —> schlechte Qualität der Einzelstudien —> muss Gewichtung der Studien anhand methodischer Qualität geben

• Problem abhängiger Untersuchungsereignisse -> eine Studie in mehreren Publikationen berichtet/stichprobe in mehreren Publikationen genutzt -> spezielle statistische Methoden

• Missing-Data Problem -> Effekte werden nicht angemessen berichtet und können nicht in einheitliche Effektstärkemaße transformiert werden —> Autorinnen anfragen

1. Formulierung der Forschungsfragen

2. Literatursuche

3. Auswahl und Kodierung der Primärstudien

4. Berechnung einheitlicher Effektgrößen

5. Entscheidung für ein metaanalytisches Modell

6. Berechnung und Signifikanzprüfung des Gesamteffekts

7. Homogenitätsanalysen der Effektgrößen

8. Moderator-ANalysen

9. Präsentation und Interpretation der Ergebnisse

• bereits untersuchte Forschungsfrage muss aufgegriffen werden —> muss durch einfach Effektmaße untersuchbar sein

• Konzeptspezifikation -> welche theoretischen Konstrukte sollen untersucht werden

• Welche Aussage soll mit der Metaanalyse getroffen werden? -> Kausalaussagen? Beschärnkung auf experimentelle Kontrollgruppenstudien?

• möglichst vollständige Erfassung aller thematisch einschlägigen Arbeiten

• Elektronische Datenbanken -> PsychINFO, PubMed, Web of Science etc.

  • Die Datenbank und Suchbegriffe sollten genannt werden sodass die Suche transparent und replizierbar bleibt

• Screening von Literaturverzeichnissen bereits gewählter Arbeiten

• Anschreiben von Forschenden aus dem Fachgebiet -> nach unpublizierten Arbeiten fragen

• Definition der Einschlusskriterien

• Screening-Datei mit Studien und Selektionskriterien

  • Dokumentation der ausgeschlossenen Arbeiten

• Flow-Chart zur Veranschaulichung d. Suchprozesses

1. Language Bias

   1. nur Literatur in der SPrache der Autorinnen der Metaanalyse

      1. Lösung: mehr AUtorinnen oder Einschränkung der Population

2. Publication Bias

   1. theoriekonforme Ergebnisse werden publiziert, nicht sig / theoriekonträre Arbeiten landen in der Schublade

• Funnel-Plot mit Effektgröße gegen Standardfehler oder n

• sollte: symmetrisch sein

• Zentraler Grenzwertsatz: wenn SE kleiner bzw. Stichprobe größer —> näher an wahrem Wert und damit näher zusammen

• nichtpublizierte Literatur und DAten miteinbeziehen

• “Graue Literatur”

• Trim and Fill-Methode

Identifikation und Gegenmaßnahme für Publication Bias

• Bestimmt Anzahl fehlender nicht-publizierter Effektgrößen durch iteratives Verfahren

• immer wieder nach Ausschluss einzelner Studien die überrepräsentiert sind (Trimming) den Funnel-plot auf Symmetrie prüft

• Imputationsverfahren durch spiegeln der extremsten getrimmten Effekte an mittlerem Effektwert wird die Datenlage Aufgefüllt (Fill)

• Liefert eine bereinigte Effektgröße

1. Theoretisch begründete Inklusions- und Exklusionskriterien

   1. Instrumente (z.B. ein best. Fragebogen)

   2. Studiendesign z.B. nur RCT

   3. ABhängigkeit zwischen Effekten sollte vermieden werden

2. Bewertung der Studien hinsichtl. weiterer Variablen

   1. Methodische Güte z.B. KG

   2. verwendete Instrumente

   3. Art der Studie (ambulant vs. stationär)

3. Bewertung durch zwei unabhängige Rater für Transparenz und Replizierbarkeit

• Effektstärken müssen über Studien hinweg vergleichbar gemacht werden, um sie zu einem Gesamteffekt zu integrieren

• die meisten Effektgrößen-Maße können in das Delta-Maß überführt werden

• Delta interpretierbar wie ein Korrelationskoeffizient mit WB -1 bis 1

• es gibt 2 Klassen metaanalytischer Modelle (wahl konzeptionell begründet, kann aber auch datengetrieben erfolgen)

  • Fixed effect Modell für homogene Populationseffekte

  • Random effects modell für heterogene Populationseffekte

• beide werden durch Moderatormodell erweitert

• Bei Ergebnisintegration wird durchschnittlicher Effekt geschätzt —> je nach Modell eine oder zwei Varianzkomponenten für die Residuen

• Alle Studieneffekte Yi erfassen einen Populationseffekt (homogene Populationseffekte)

• Die Studien unterscheiden sich reinzufällig um ein unsystematisches Residuum E mit Mittelwert 0 und Residualvarianz 𝜎 2

• Residuen werden meist als normalverteilt angenommen

• Gesamteffekt

  • Naiv wäre: Mittelwert der Effekte

  • Sinnvoll: gewichtetes Mittel

• Gewichte

  -> Stichprobengröße (in der Vergangenheit)

  -> Besser: berichtete Standardfehler (bzw. Präzision 1/SE) —> hier gehen auch andere Einflussgrößen als N ein

• Fixed Effects modell: alle Studien replizieren denselben Populationseffekt

• Streuungen in Effektgrößen sollten weitgehend durch Stichprobenfehler erklären lassen

• Es kann statistisch geprüft werden ob die Streuung der Effektgrößen > als die stichprobenbedingte Zufallsstreuung

• Dann sollte für Auswerung Random-Effects Modell verwendet werden