5. Metaanalyse

• Zusammenfassung von Primäruntersuchungen

• Forschungsergebnisse werden statistisch zusammengefasst

• Review: sammelt alles Wissen zu einem Thema, fasst das zusammen und bewertet es kritisch

• Hauptergebnis Metaanlyse: mittlerer Effekt über viele Studien

• Stichprobe nur Teil einer Gesamtpopulation

• macht viele Einzelunterscheidungen -> viele einzelne Stichproben

• schätzt dann den mittleren Effekt aus all diesen Stichproben -> Mittelwert

• Einzelfallstudien: sagen gar nicht aus

• Signifikanzzählen: kann verzerren -> schwache Effekte übersehen, signifikanz hängt von Stichprobengröße ab

• Metaanalyse: integriert über verschiedene Studien -> fasst alles zusammen

1. Suche nach passenden Studien

2. Aussortieren nach Kriterien

3. Umrechnung von Effektgrößen

4. Integration: Metaanlyse

5. Korrekturen

• braucht Klarheit über Fragestellung

• umfassende Suche:

  • Literaturdatenbank

  • Internet

  • bekannte Artikel und Zeitschriften

  • bekannte Kollegen

• Kriterien vor Beginn festlegen

• können im Prozess angepasst werden -> benötigt Dokumentation

• Man muss darauf achten, dass

  • Studien keine Duplikante sind

  • Studien methodische Mindestanforderungen erfüllen

  • Studien sich wirklich auf das Thema beziehen

  • Methodisch/inhaltlich unterscheiden

• Stufenweise filtern:

  • Automatisches aussortieren

  • Screening: Titel und Abstract überfliegen

  • komplettes Paper lesen

• Vorgehen beim Aussortieren am besten in Flowchart dokumentieren -> PRISMA

• je nach Studie gibt es unterschiedliche Effektgrößen:

  • Cohen`s d

  • r-Korrelation

  • Cohens´s f² - Regressionsanalyse

  • Hedges`d

  • Partielles Eta-Quadrat - Varianzanalyse

• alle Größen haben das Prinzip: systematische Varianz/Gesamtvarianz -> kann Effektgrößen zu einheitlicher Größe zusammenfassen

• suchen den mittleren Effekt EG über alle Studien

• einfachster Ansatz: mitteln aller Effektgrößen

• Problem dabei:

  • Stichprobengröße

  • Unterschiedliche methodische Qualität

  • Unterschiedliche Inhalte/Operationalisierungen

  • Unterschiedliche Messeinflüsse

• Ergebnis: mittlere Effektgröße + Konfidenzintervall

• Publication bias: nicht signifiknte Ergbnisse werden nicht veröffentlicht

• Questionable Research Practises (QRP) -> Harking, p-Hacking

  -> Effekte werden in der veröffentlichten Literatur überschätzt

• ich weiß, wie Daten rein statistisch aussehen müssten

• kann diese statistischen Annahmen mit den echten Daten vergleichen

• wenn etwas zu sehr abweicht/ anders aussieht, spricht das für QRP

• alle Studien müssen exakt dieselbe Population messen

• alle Studien brauchen gleich große Stichprobe

• viele Daten innerhalb der stark signifikanten 5% -> gegen publication bias

Anzahl unpublizierter, nicht signifikanter Studien, damit Metaanalyse keinen signifikanten Effekt findet

-> theoretische Gedankenspielerei

Wieviel unpublizierte Studien bräuchte man, um insgesamt keinen signifikanten Effekt mehr zu haben?

-> Kritisch, wenn X>5k+10

-> X= Anzahl unpublizierter Studien

-> K= Anzahl aufgefundener Studien

-> je größer X, desto stabiler gefunderer Effekt

• Grundidee: je größer Stichprobe, desto exakter die Schätzung; je kleiner die Stichprobe, deso mehr Abweichungen

• Abgeschnittene Verteilung -> Zeichen für publication bias -> Daten wurden verändert, damit Ergebnis passt

• Lücken in der Nähe der Signifikanz sprechen für p-Hacking

• Trim and Fill Methode: Welche Punkte muss man hinzufügen, damit Verteilugn symmetrisch wird? -> damit kann man Schätzung der Effektgröße korrigieren

• Inhaltlich unterschiedliche Studien werden zusammengeworfen

• methodische Qualität der Studien wird nicht unterschieden

• nur signifikante Ergebnisse einbezogen

• Integration von Studien ist trotzdem notwenig -> Idee der Metaanalyse ist alternativlos

• Systematic Review:

  • Literatursuche und Dokumentation wir bei Metaanalyse

  • Ergebnisse eher qualitativ-zusammenfasend

• (klassisches) Review:

  • wie Literaturübersicht, nur schlechter dokumentiert -> kann bias nicht ausschließen

  • für Weiterentwicklungen von Theorien

  • eher qualitativ-zusammenfassend

  • Vorteil: kann auch kleinere Studien mit einbeziehen

• man muss Methoden kennen, aber auch verstehen -> Mitdenken ist immer notwenig

• man muss in Kontakt gehen mit dem Gegenstand, der einen interessiert -> sich reindenken/ausführlich damit beschäftigen