VL13: Meta-Analyse Vertiefung

• Bei ausreichenden Informationen:

  • Aus deskripitven Statistiken (M,SD,N) slebst berechnen

  • Mnachmal ES aus alternativen Angaben berechenen, wenn z.b. nur M und CI sngeben ist

  • manchmal M und CI aus Grafiken extrahieren mit Software

• Bei unzureichenden Informationen:

  • Originaldatenin Repository abrufbar um slebst zu recherchieren=

  • Autoren anschreiben

Heraisforderung

• kontinuierliche Variablen ofr arbiträr in Gruppen unterteilt, z.b. Beruf, Einkommen, Berufserfahrung

Fals kontinuierliche Originaldaten verfügbar

• Alternative Cuts bei kontinuierlichem Variablen testen (wenn verfügbar)

• Durchführung von sensivitätsanalysen: Wie strk beeinflusst Setzung des Kriteriums das Ergebnis?

Falls Daten nicht verfügbar:

• Subgruppenanalyyyen (Studien mit homogenen Schwellen)

• Moderatoranalysen: Schwellensetzung explizit als Moderator testen

• Annahmen müssen getroffen werden wenn Inforamtionen nicht vorhanden sind

• z.b. oft Prä-Post Korrelation in AV nicht angegeben

  • kann mit Simulation abgeschätzt werden in welchen Ausmaß Ergebnis durch Einsetzen verschiedener Werte beeinlfusst würde(auf Effektschätzer und CI)

  • je höher Prä-Post Korrelation desto höher Effektstärke Schätzer da SD kleiner ausfällt (Korrelation Cohens d damit berechnet)

Vorgehen:

• wenn studie keine Prä-Post Korrelationen haben wurden variierende Werte für Korrelation eingesetzt (X-Achse)

• Effekte auf Mittelwert und CI: Y-Achse

ERGEBNISSE:

• MODERATE GEWICHTSREDUKTION (d=-.05)

• Höhe Prä-Post Korrelation kaum Auswirkung auf mittleren Effektschätzer, jedoch wird CI enger geschätzt

Qualitativ verschiedenen AVs

• Bei mehrdimensionaler Erfassung von Kosntruktion/Störung (z.b. Angst in Slebstebricht, physiologische Reaktion, Kebensqualität…)

• Fall genug Studien von AVs berichten, Meta-Analyse für jede AV

Verschiedene Instrumnte mit gleicher Messintention

• Falls ein Instrument psychometrisch deutlich besser ist, dieses verwenden

• Sonst: Mittelwert über die AVs berechnen, am besten unter berücksichtigung von deren Korrelationen

Mehrere Messzeitpunkte

• Für Meta-Analyse Auswahl von Mszp die in bestimmte Zeitintervalle fallen z.b. Studien mit Follow-up nach 3 monaten, nach 6, nach 1 jahr

• Falls nicht ausreichend Studien für alle Intervalle, Auswhal des Intervalls mit größmöglciher Ähnlichkeit

• falls trotzdem noch Variation: Zeit als Moderator?

Tools zur Abschätzung der Qualität

• Jadad Skala/Oxford Skala (5 Kriterien)

• Cochrane Risk of Bias tool (7 Kriteiruen)

• PRISMA (27 qualitätsitems, “preferred reporting items of systematic reviews and meta-analyses)

• Diskussionswürdig:

  • Ausschluss: von studien mit unzureichender Qualität (Frage: nach summenwert/ Baiss eines beosnderen Kriteirums)

  • Subgruppenanalyse: Effekte von guten und schlechten Studien seperat schätzen

  • Moderator-Analysen: Alle Studien aufnehmen, Studienqualität als Moderator der Effektstärke untersucht (oft in schlechten Studien größere Effekte

• Forest PLot zeigt Variation in Ergebnissen der Studien

• Nicht direkt ersichtlich wie viel der Varianz auf sampling error zurückgeht oider Heterogenität

Simoniqn-Lairs Schätzer als Varianz Schätzer

• Q= Maß Heterogenität

• C= Korrekatur fpr Q

• W= Gewichtung Meta-Analyse

• Y= ES

• Y’2= Varianz Es

W= gewichtung, Y= ES, V=df

• besser interpretierbar, je größer desto größer Heterogenität

• Range von 0-100

• wenn es relevante Heterogenität gibt, ist dies Hinweis auf “wahre” Gruppenunterschiede

  -> Moderaotren suchen, die das erklären

Pseudo R`2

• Effektstärke eines Moderators kann über Pseudo-R’2 angegeben werden (Anteil der Heterogenität die durch Moderator erklärt wird)

Mittlerer Effket aller studien: Risiko des Ereignisses ist hakb so groß wie in Refernzgruppe

• Analog der linearen Regression

  • Effektstärken der Studien solen vorausgesagt werden über potentiell erklärende Moderatorvariablen

  • kontinuierliche & kategoriale Prädikotren möglich

  • Lineare Effeekte, Polynome.Interaktionseffekte usw. können geschätzt werden

• Besonderheuten

  • individuellen Datenpunkte sind Studien

  • Studien werden (proportional der Fallzahl) gewichtet

  • Methode: Weightes Least Squares (WLS): w*(Y-Y/)`2

    • W=gewicht, Y=beobachteter Wert, Y/= geschätzt

• Voraussetzung

  • varaition in testenden Variablen

• Test ob Effekt von Therapeutenerfahrung auf Therapieerfolg sich über Jahre verändert hat

• Erfolg von erfahreneen größer (d=.15)

• Plot lässt keine Aussage pber allgemeine ES zu)

Vorausetzung

• vorliegen von Originaldaten (teilnehmer)

Typischer Einsatz:

• Forschergruppen (reanalyse multizentrischer Datensätze), zunehmend auch über publizieret Rohdaten möglich

Vorteile:

• Standardisiertes Vorgehen bei Aufbereitung und Scorung von Rohdaten möglich

• Ermögloch Kovariaten und statistische Kontrollen in gleicher Weise anzuwenden

• höhere Messpräzision als bei konventionellen Meta-Analysne

• “Goldstandard” systematischer Reviews

2- Step Verfahren

• 1. Aufbereiten/Scoren der Originaldaten nach identischem Protokoll

• 2. Durchführen koventionellen Metaanalyse über Scores

• Methode: i.d.r. Random-interceots Modell auf Basis von ES; auch r geht als ES Wert ein

Multi-Level Analysen

• Simultane Berehcnung der Effekte mit Mehrebenen Modellen z.b. Mzp., Perosnen, Kliniken

• Erlaubt prinipiell Random-slope Modelle,

• Erlaubt Test von explanatorischen Variablen (Moderaotren) auf allen Ebenen

• Simulation der Teststärke auf Basis von 1000 Meta-Analysen mit je k=5 Studien: AD= agregierte Daten, IPD= individual participant Data

• IPD Meta-Analysen haben deutlich höhere Teststärke (90.8%) relativ zu AD Meta-Analysen (14.8%)

• Fehlende Zeit und Ressourcen

  • kein bedeutsames Problem wenn Gründe nicht systematich mit Ergebnissen zusammenhängen

    • z.b. geringes Interesse bei keinem Effekt

• Schlechte Studienqualität

  • Von Autoren zurückgehalten/Zeitschriften abgelehnt

  • kein bedeutsames Problem wenn Gründe nicht systematich mit Ergebnissen zusammenhängen

• Unerwünschte Ergebnisse

  • Aus sicht der Autoren/Gutachtern/Heraisgebern

  • Problematisch: selektives piblizieren verzerrt Gesamtevidenzlage

Generelle Idee:

• bei kleineren Studien (kleinem N, geringe Präzision) könnten Effekte zufällig weiter von wahren Effekten abweichen

• testen, ob systematischen zusammenhang zw. Präzision und Effektstärke gibt

Mögliches Vorgehen:

• Beggs Rang-Korrelation (zw. Präzision und ES)

• Funnel-Plots

• Trim-und-Fill Metohde: Wie würde symmetrisches Publikationsergebnis ausshen) (kann im Funnel Plot visualisiert werde)

  • Schätzen der Anzahl von nicht-publizierten Studien und korrigierten Gesamteffektstärke

• bei hoher präzision (kleiner SE;oben in Plots) werden geringe Abweichungen vom wahren Effekt erwartet

• mit wachsendem Standardfehler sollte stärkeres Abweichen reusltieren (-> Trichterform erwartet)

  • stichprobenkennwerte sollten symmetrisch streuen

• Bei asymmetrie scheinen Studien zu fehlen

• Studien werden aufgefüllt sodass symmetrischer Funnel-Plot resultiert

• Anzahl von Studien wird durch iterative Methode besitmmt

• kann dann ein “korrigierter” Effektschätzer berechnet werden

• ausgefüllten Studien nicht real -> korrigierte Wert sollte nciht als wahrer Wert bezeichnet werden

  • Praxis: nicht-korrigierte wert mit zusätzlich trim and fill wert

• erst bei k>= 10 studien sind funnel-plots und TAF-Analysen aussagekräftig