Block 6 - Übergreifende Aussagen machen: Meta-Analysen

1. Formulierung einer klaren & eindeutigen Fragestellung

2. Ausarbeitung & Ausführung der Literatursuche

3. Abstract screening

4. Volltext screening

5. Daten-extraktion

6. “Risk of bias” Bewertung

7. Datenanalyse

8. Publikation

Eine Metaanalyse:

• Kombiniert die Ergebnisse von 2 oder mehreren Studien

• Schätzt einen “mittleren” oder “gemeinsamen” Effekt

• Optionaler Teil eines systematischen Reviews

Eine Metaanalyse wird durchgeführt, um:

1. Quantifizieren der Wirksamkeit einer Behandlung und/oder der Unsicherheit

2. Power erhöhen

3. Präzision verbessern

4. Unterschiede zwischen Studien untersuchen

5. Widerspruch zwischen Studienergebnissen auflösen

6. Neue Hypothesen generieren

“garbage in - garbage out”

1. Metaanalyse ist nur so gut, wie die eingeschlossenen Studien

2. Falls Ergebnisse eingeschlossener Studien verzerrt sind:

   • ist Ergebnis der Metaanalyse ebenfalls nicht korrekt

3. Bei erheblichen Reporting-Bias führt eine nicht repräsentative Studienauswahl zu irreführenden Ergebnissen

4. Jede Studie sollte die gleiche Fragestellung haben

   • erfordert meist subjektive Einschätzung

5. Wenn eine breitgefächerte Auswahl von Studien kombiniert wird, kann auch nur eine weitgefasste Frage beantwortet werden

6. Wenn Studien zu unterschiedlich, ist Antwort möglicherweise nicht aussagekräftig o. tatsächliche Studieneffekte werden nicht sichtbar

1. Mehr als eine Studie hat den gleichen Endpunkt gemessen

2. Studien sind hinreichend ähnlich, um in der Metaanalyse (MA) ein aussagekräftiges & nützliches Ergebnis zu erzielen

3. Endpunkte wurden mit ähnlichen Methoden erhoben

4. Daten sind in einem nutzbaren Format vorhanden

PICOS ist eine Methode zur Erstellung einer Fragestellung einer Studie

• Participants (Teilnehmer)

  • z.B. Erwachsene mit chronischen Rückenschmerzen

• Intervention (Verfahren)

  1. Komplexe Yoga-Intervention

  2. Yoga-Intervention ohne Meditation

  3. Yoga-Intervention ohne Yogahaltungen

• Control (Kontrollbedingung)

  1. Keine Therapie

  2. Bewegungstherapie

  3. Entspannungsverfahren

• Outcomes (Zielpatameter)

  • Hauptzielparameter

    • Schmerzintensität

    • schmerzbedingte Einschränkungen

  • Sekundäre Zielparameter

    • Lebensqualität

• Study types (Stuienarten)

  • Randomisierte kontrollierte Studien

PRISMA:

• Preferred Reporting Items for Systematic Reviews and Meta-Analyses

Ist eine Checkliste zum Aufbau einer Studie die vor der Veröffentlichung einer Studie ausgefüllt werden muss

☞ Die Informationen zu "Risk of Bias" (Risiko der Verzerrung) und "externer Validität" (Übertragbarkeit der Studienergebnisse) sind zentral für das Verständnis der Glaubwürdigkeit und Anwendbarkeit von Forschungsergebnissen

• Risk of Bias bewerten die interne Validität

Interne Validität

• bezeichnet das Ausmaß, in dem der beobachtete Effekt in einer Studie nicht durch systematische Fehler verzerrt wurde

• die Ergebnisse einer Studie sind tatsächlich auf die untersuchte Intervention und nicht auf andere Faktoren zurückzuführen

• Bezieht sich auf die Genauigkeit & Zuverlässigkeit der Ergebnisse innerhalb der Studie

Arten von Bias, die die interne Validität beeinflussen:

1. Selection Bias:

   • Verzerrung durch Unterschiede in den Patientencharakteristika zwischen den Studiengruppen

     • Zum Beispiel:

       • Eine Gruppe hat mehr ältere Teilnehmer als die andere

2. Performance Bias:

   • Verzerrung durch Unterschiede in der Behandlung - abgesehen von der untersuchten Intervention

     • Zum Beispiel:

       • Eine Gruppe erhält zusätzlich zur Therapie eine andere Art von Pflege

3. Detection Bias:

   • Verzerrte Erfassung von Endpunkten

     • Zum Beispiel:

       • Im Studienprotokoll wurde Schmerz als Untersuchungsvariable angegeben, am Ende stand jedoch die Lebensqulität im Mittelpunkt

4. Attrition Bias:

   • Verzerrung durch Unterschiede in der Anzahl und den Gründen für fehlende Daten zwischen den Studiengruppen

     • Zum Beispiel:

       • Mehr Teilnehmer brechen die Studie in einer Gruppe ab als in der anderen

5. Reporting Bias:

   • Verzerrung durch selektives Berichten von positiven Ergebnissen

     • Zum Beispiel:

       • Nur positive Ergebnisse werden veröffentlicht, negative bleiben unerwähnt

Externe Validität

• bezieht sich darauf, wie gut die Ergebnisse einer Studie auf andere Kontexte, Populationen und Zeiten übertragbar sind

• Es geht um die Generalisierbarkeit der Ergebnisse

Faktoren, die die externe Validität beeinflussen:

1. Patientencharakteristika:

   • Alter, Geschlecht, Schweregrad der Erkrankung, Risikofaktoren (bio-psycho-soziale), Komorbiditäten

   • Zum Beispiel:

     • Die Studie wurde nur an jungen Männern durchgeführt, Ergebnisse sind vielleicht nicht auf ältere Frauen übertragbar

2. Behandlungsplan:

   • Dosierung, Häufigkeit und Art der Verabreichung, Begleitbehandlungen

   • Zum Beispiel:

     • Eine spezielle Therapieform wurde untersucht, die in der alltäglichen Praxis schwer umsetzbar ist

3. Setting:

   • Versorgungsstufe (primär, sekundär, tertiär), Erfahrung & Spezialisierung des Leistungserbringers

     • Zum Beispiel:

       • Die Studie wurde in einem hochspezialisierten Zentrum durchgeführt, was die Übertragbarkeit auf allgemeine Kliniken einschränkt

Zusammenhang zwischen Risk of Bias und externer Validität

1. Interne Validität (Risk of Bias):

   • Wenn eine Studie hohe interne Validität hat (geringer Bias), sind die Ergebnisse innerhalb der Studie zuverlässig

   • Allerdings bedeutet dies nicht automatisch, dass die Ergebnisse generalisierbar sind (externe Validität)

2. Externe Validität:

   • Eine Studie kann intern valide sein, aber wenn die Stichprobe oder das Setting sehr spezifisch sind, könnten die Ergebnisse nicht auf andere Populationen oder Kontexte übertragbar sein

Zum Beispiel:

• Eine gut kontrollierte klinische Studie (hohe interne Validität) zeigt, dass eine bestimmte Therapie bei jungen, gesunden Probanden effektiv ist

• Diese Ergebnisse sind aber möglicherweise nicht auf ältere Patienten mit mehreren Vorerkrankungen übertragbar (niedrige externe Validität)

Zusammenfassend:

• Interne Validität:

  • Hohe interne Validität wird durch Minimierung von Bias (Selection, Performance, Detection, Attrition, Reporting) erreicht

  • Sie stellt sicher, dass die Ergebnisse der Studie intern zuverlässig sind

• Externe Validität:

  • Hohe externe Validität bedeutet, dass die Ergebnisse der Studie auf andere Populationen, Settings und Zeiten übertragbar sind

  • Sie wird durch die Vielfalt der Teilnehmer und Settings und die Repräsentativität der Studie für die allg. Bevölkerung sichergestellt

☞ Beide Validitätsarten sind entscheidend, um die Gesamtnützlichkeit & Anwendbarkeit der Forschungsergebnisse zu bewerten

1. Random sequence generation (Erzeugung der Zufallsfolge)

   • selection bias - (Selektionsverzerrung)

2. Allocation concealment (Verdeckung der Zuweisung)

   • selection bias - (Selektionsverzerrung)

3. Blinding of participants and personal (Verblindung von Teilnehmern und Personal)

   • performance bias - (Leistungsbias)

4. Blinding of outcome assessment (Verblindung der Ergebnisbewertung)

   • detection bias - (Erkennungsbias)

5. Incomplete outcome data (Unvollständige Ergebnisdaten)

   • attrition bias - (Ausfallbias)

6. Selective reporting (Selektive Berichterstattung)

   • reporting bias - (Berichterstattungsbias)

7. Other bias (Andere Verzerrungen)

1. Selection Bias (Selektionsverzerrung)

   • Random sequence generation (Erzeugung der Zufallsfolge)

     • Beschreibung:

       • Methode zur Erzeugung der Zuweisungssequenz

     • Bewertungskriterien:

       • Niedriges Risiko:

         • Computer-gestützte Zufallszahlen, Münzwurf, Losziehung

       • Hoches Risiko:

         • Geburtsdatum, Erscheinung, Vorlieben

   • Allocation concealment (Verdeckung der Zuweisung)

     • Beschreibung:

       • Methode zur Verdeckung der Zuweisungssequenz

     • Bewertungskriterien:

       • Niedriges Risiko:

         • Zentrale Zuweisung (webbasiert), nummerierte, undurchsichtige, versiegelte Umschläge

       • Hoches Risiko:

         • Offene Zufallsliste, Alternation oder Rotation

2. Performance Bias (Leistungsbias)

   • Blinding of participants and personnel (Verblindung von Teilnehmern und Personal)

     • Beschreibung:

       • Methode zur Verblindung der Studienteilnehmer und des Personals hinsichtlich der erhaltenen Intervention.

     • Bewertungskriterien:

       • Niedriges Risiko:

         • Placebo

       • Hoches Risiko:

         • Open-Label

3. Detection Bias (Erkennungsbias)

   • Blinding of outcome assessment (Verblindung der Ergebnisbewertung)

     • Beschreibung:

       • Methode zur Verblindung der Ergebnisbewerter hinsichtlich der erhaltenen Intervention

     • Bewertungskriterien:

       • Niedriges Risiko:

         • Der Ergebnisbewerter ist nicht in die Intervention involviert

       • Hoches Risiko:

         • Der Ergebnisbewerter führt auch die Intervention durch

4. Attrition Bias (Ausfallbias)

   • Incomplete outcome data (Unvollständige Ergebnisdaten)

     • Beschreibung:

       • Vollständigkeit der Ergebnisdaten für jedes Hauptergebnis

     • Bewertungskriterien:

       • Niedriges Risiko

         • Drop-out ≤ 10%; Drop-out > 10%, aber Intention-to-treat-Analyse

       • Hoches Risiko:

         • Drop-out > 10% und keine Intention-to-treat-Analyse

5. Reporting Bias (Berichterstattungsbias)

   • Selective reporting (Selektive Berichterstattung)

     • Beschreibung:

       • Methode zur Untersuchung der Möglichkeit einer selektiven Ergebnisberichterstattung durch den Prüfer

     • Bewertungskriterien:

       • Niedriges Risiko

         • Studienprotokoll vorhanden und übereinstimmend

       • Hoches Risiko:

         • Primäres Ergebnis nicht spezifiziert; Ergebnis fehlt

6. Other Bias (Andere Verzerrungen)

   • Beschreibung:

     • Angabe wichtiger Bedenken hinsichtlich Bias, die nicht in den anderen Domänen behandelt wurden.

   • Bewertungskriterien:

     • Hoches Risiko:

       • Finanzierung; unangemessene Statistiken.

☞ Diese Kriterien helfen, die interne Validität einer Studie zu bewerten, indem sie sicherstellen, dass die Studienergebnisse nicht durch systematische Fehler verzerrt sind

☞ Ein Forest Plot (auch als Wald-Diagramm bekannt) ist ein grafisches Werkzeug, das ☞ Metaanalysen verwendet wird, um die Ergebnisse mehrerer Studien zu einem bestimmten Thema darzustellen

• Elemente eines Forest Plots:

  • Horizontale Achse: Zeigt die Effektgröße an (z.B. Risikoquote, Odds Ratio, Mittelwertdifferenz).

  • Studien: Jede einzelne Studie wird als horizontale Linie dargestellt.

  • Quadrate: Jedes Quadrat repräsentiert die Punkt-Schätzung der Effektgröße der jeweiligen Studie. Die Größe des Quadrats ist oft proportional zur Studiengewichtung (z.B. Stichprobengröße).

  • Konfidenzintervalle: Die horizontalen Linien, die von jedem Quadrat ausgehen, stellen das 95%-Konfidenzintervall der Effektgröße dar.

  • Vertikale Linie: Meist bei einer Effektgröße von 1 (für Ratios) oder 0 (für Differenzen), repräsentiert den Null-Effekt (keine Wirkung).

  • Diamant: Am unteren Ende des Plots wird oft ein Diamant dargestellt, der die zusammengefasste Effektgröße und ihr Konfidenzintervall aus der Metaanalyse zeigt.