VL14: Studienqualität und Wissenschaftsethik

• Nürnberger Code, ethische Richtlinien:

  • informierte Einwilligung

  • Abrechen der Teinlahme

  • Verhinderung unnötigen Leidens

  • nur wissenschafltich sinnvolle Untersichungen

  • Kosten Nutzen Abwägung

• Deklaration von Helsinki

  • Handbuch ärztlicher Ethik mit Fallbeispielen

• Ethik Kodex der APA

  • Zentral: Schutz der Menschenwürde (inkl. Persönlihckeitsrechte und Integrität der Untersuchten)

    • Freiwillig und informierte Einwilligung

    • Schutz vor Schädigung

    • Anonymisierung/Vetrauenvolle Daten

• Universal Declaration of Ethical Principles for Psychologists der International Union of Psychological Science (IUPsyS)

  • Als Kritik an APA (zu amerikanisch)

  • nicht sehr detailliert, APA& DGP weiter zentrale Referenz

    
    

• Fast identische Leitlinien mit APA

• Probandenaufklärung gemäß DGP:

  • Zwekc der Forschung

  • Dauer

  • Recht, Teilnahme zu beenden

  • Absehbare Konsequenzen Nicht-Teilnahme

  • Absehbare Risiken

  • Erkentnisgewinn

  • Anonymität gewährleistung

  • Mögliche Auwandsentschädigung

  • Adressat für Fragen

Studienplanung und Ethikantrag

• Planung Studie mit Berücksichitgung aktuellen ethischer Leitlinien

• Begründung der Studie unter Berücksichtigung von Risiken und Nutzen, informierte Einwilligung, Vermeidung unethischer Fragen, Schutz vor Beeinträchtigung und Gewährleistung Anonymität

Ethikkomission und Votum

• Begutachtung des Antrag, willigt ein

• bei vielen Zeitschrift muss dies vorliegen

Umgang mit Verletzungen

• ggf. strafrechtliche Konsequenzen

• Wissenschaftliche Sanktionen, ggf. Präventionsmaßnahmen

• Psychologie hat schlechte Replizierbarkeit

• Hohe Retraction (zurückziehung eines Artikels)

  • wegen sclhcter replizierbarkeit oder kleinem N

• je höher Impact factor eines journals, desto höher Retraction

• belohnung für “hochkarätige” Publikation

  • förderung, position

• Forscher haben viele Freiheitsgrade

  • Umgang Ausreißern

  • Analysemethoden

  • AVs berichtete Auswahl

  • Einschluss/Ausschluss Kovariaten

  • Auswahl UVs die berichtet werden

  • weitererhebung bis signifikanz

• Forschung nach “Regeln de Wissenschaft” (auch gütekriterien)

• Metohden auf Basis des aktuellen Forschungsstandes

• selbstkritisch reflektieren und kritik durch andere (Peer Review)

• Primärdaten sichern und min. 10 Jahre bewahren

• Kein Plagiarismus (alles kenntlich machen)

• Faire Festlegung Autorenschaft Publiaktionen

• Keine Sabotage der Forschungstätigkeit von anderen

• Ofennelegung von Untersuchungsmaterialen

  • eigene Fragebögen, Skripte experimentelle Studien, Details zu Hardware/Geräten etc.

• Offenlegen von Rohdaten

  • nicht nur aufbereitete scores

• Offenlegen von Analyseskripten

  • Datenaufbereitung: Behandlung von Extremwerten, missings etc.

  • Finale Modellierungen und Tests

• Offenlegen von Publikationen

  • Erkenntnisse Allgemeinheit zugänglich machen

• erlauben Forschungsergebnisse kostenfrei mit Allgemeinheit zu teilen

  • kostenfrei

1. Sudienplanung

   • Literaturüberblick

   • Theorie

   • Hypothesen

   • Methoden

   • Stichprobe

   • Analyseplan und Entschiedungsbaum

   • Theorie und Methodik schreiben

2. Studiendurchführung

   • Datenerhebung

   • Auswertung und Interpretation nach Plan/Präregisitrierung

   • ggf. explorative Auswertung

   • Ergebnisse und Diskussion schreiben

• vorabveröffentlichung des Studien-Protkolls (Suchstrateige, Studienauswahl, Analysemethoden, AVs)

Zeitschrift

• Einreichen erster Teil Studie (Theorie,Frage,Methoden)

  • wenn angenommen, auch Ergebnisse akzeptiertz

Webseite (registierung mit Datum)

• soll post-hoc modifikation verhindern

• doppelte durchführung von metaanlaysen verhindert werden durch anmeldung

-> AsPredicted

-> Open Science Foundation (OSF)

-> Prospero

• Open Data

• Open Materials

• Preregistered

-> Vergabe für Artikel soll als Anerkennung für echte hochwertige Forschung dienen

-> belohnung/verstärkung

• Ausgangspunkt: Unzufriedenheit mit klassischen Metriken (Publikationsazhal etc.)

• San Fransisco Declaration on. research Assessement (DORA)

  • erstellen von verantwortungsvollen Kriteiruen für Bewertutng Forschung

• Coalition for Advancing Research Assessement (CoARA)

  • seit 2022: Erarbeiten von Kriterien zur besseren bewertung von Forschungsqualität

• müssen von allen Studien erfüllt werden um als wissenschaftlich zu gelten

1. Wissenschafltiches Forschungsproblem

2. Wissenschafltihcer Forscungsprozess

   • wissenschafltiche Methoden?

3. Wissenschafts- und Forschungsethik

4. Dokumentation des Forschungsprojektes

   • Nachvolllziehbar im Detail dokumentiert=

• Kriterien korrepsondieren mit Standards, werden aber von Studien unterschiedlich gut erfüllt

1. inhaltliche Relevanz

   • trägt Studie zum Erkenntnisfortschirtt bei oder löst praktische Probleme?

2. Methodische Strenge

   • Metohden geeignet, regelkonform umgesetzt?

3. Ethische Strenge

   • Wie konsequent werden einzelne Standards erfüllt?

4. Präsentationsqualität

   • vollsätdnigkeit, gut lesbar präsentiert? Wie umfassend werden Standards der Berichterstattung eingehalten?

1. Forschungsthema

   • relevant

2. Forschungsstand

   • Qualität Literaturrecherche

   • Qualität Erarbeitung des Forschungstandes

   • Qualität Theoriebildung

   • Schlüssigkeit der abgeliteten Forschungshypothesen

3. Untersuchungsdeisgn

   • Interne und Externe Validität

4. Operationalisierung

   • Objektivität, Reliabilität, (Konstrukt)Validität

5. Stichprobenziehung

   • Repräsentativität/Zufallstichprobe der relevanten Population

1. Datenerhebung

   • sachgerehcte erhebung und dokumentation

   • Forschungsethik

2. Datenaufbereitung

   • Datenbereininung

3. Datenanalyse

   • Hypothesenbasierte inferenzstatistische Datenanalyse

   • Geeignete statistische Verfahren

4. Ergebnispräsentation

   • Relevanz

   • Forschungsethik: Identifikation Tn verhinder, Einverstädnnis für Veröffentlichung muss vorliegen

   • Wissenschaftsethik: grenze der AUssagekraft diskutieren, Forschungsförderung vorlegen, keine überinterpretation

   • Standards der Berichterstattung: alles nachvollziehabr dargestellt

1. Vetrauenswürdigkeit (Credibility)

   • Ergebnisse und Interpretation sind vertrauenwürdig

     • Datenerhebung duchr lange Zeiten im Feld

     • Kombination von Daten,Metohden, Forschern (triangulation)

     • Peer Debriefing (nachbesprechung)

     • Überdenken der Vorannnahmen mit Gegenbeispielen (Negative Case analysis)

     • Überprüfung der Interpretationen anhand Rohdaten

     • Kommuniaktive Validierung durchRücksprache mit Probanden (Member checking)

2. Übertragbarkeit (Transferability)

   • Ergebnisse aus Studie sind auf andere Kontexte übertragbar

     • Thick description

1. Zuverlässigkeit (Dependability)

   • Forshcungsprozess wurde nachvollziehbar gestaltet und durchlaufen

     • Forschungs-Auditorium bei dem Vogrhenesweise begründet wird

     • Zuverlässigkeit kann auch durch Triangulation/parallele durchführung geprüft werden (overlap methods)

2. Bestätigbarkeit (Confirmability)

   • Studienergebnisse sind nicht durch Vorurteile, Interessen, Perspektiven der vorschenden vorbestimmt

     • Forschungs-Aud. (Confirmability Audit)

     • einschl. Ergebnisse Triangulation sowei Selbstreflexion der Forschenden

     • Bestätigbarkeit und Zuverlässigkeit sind im Forschungs-Audit. prüfbar

Relevanz Metaanalysen

• Bewertung von Theorien

• Bewertung Effizienz sozialer Maßnahmen (Meta-Evaluation)

• Leitlinien fpr Behandlung im klinischen Bereich

Qualitätsstandards

• Qualitätsskalen zur Überprüfung von Charakteristika der Originaldaten und Integration im Rahmen der Meta-Analyse

  • Jadad/Oxford Skala (5 Fragen)

  • Conchrane Risk of Bias Tool (7)

  • PRISMA Kriterien (27)

Fragen

• Studie als randomisiert beschrieben? (1)

• Randomisierung sachgerecht (1)

• doppelblind beschrieben? (1)

• Verblindung sahcgerecht (1)

• Ausfälle (Dropouts) begründet (1)

Bewertung

• min. 2 Rater müssen Studie bewerten. bei Wert <3 schlechte Qulität

Amerkung

• grobe Bewertung

• nicht auf alle Interventionen gut anwendbar

• Metrikskala fraglich: Alle Punkte gleiches Gewicht?

• oft wird nicht Qualität sodnern Darstellung im Artikel bewertet

Fragen

• Selection bias: random seuqence (Personen zufällig gewählt)

• Selection bias: Allocation concealment (verblindet zugewiesen?)

• Reporting bias: selective Reporting

• Other bias: other sources of bias

• performance bias: Blinding (persons)

• Detection bias: Blinidng (outcone assessement)

• Attrition bias: Incomplete outcome dara

Anmerkung

• Für randomisiert kontrollierte Studien (RCT) gedacht, Anwendung v.a. Meta-Analysen

• Differenzierte einschätzung ls JADAD

• Metrik des Summenscores fraglich; Kriterien austauschbar

  -> differenzierte Berichtlegung in Tabellenform sinnvoll

(1) Titel

• Identifikation als Meta-Analyse/ systmatic review möglich

(2) Zusammenfassung (Abstract)

• Strukturierte Zusammenfassung mit Srtichworten

(3) Hintergrund und Rationale

• Wissenschaflticher Hitnergrund, Begründung der Studie

(4) Ziele

• Angabe der Fragestellungen mit Bezug auf Teilnehmer, Interventionen, Vergleihce, Kriterien, Studiendesign (engl. PICOS)

(5) Protokoll und Registrierung

• Studienprotokoll existiert? wenn ja: wo?, Infos zur Registrierung inkl. Registirerungsnummer

(6) Auswahlkriterien

• Merkmale Studie und Berichte die als Auswahlkriterien verwendet wurden mit Begründung

(7) Informationsquellen

• Beshcreibung Informationsquellen, die bei Suche vewendet wurden, inkl letztes Suchdatum

(8) Suche

• Sichstrategie beschreibung inkl. gewählte Limitierungen

(13) Effektschätzer

• die wichtigsten

(14) Synthese der Ergebnisse

• Beschreibung der Metohden zum Umgang mit Daten und Kombination der Ergebnisse; falls berechnet: einschl. Maßzahlen zur Homogenität der Ergebnisse (l’2) für jede Meta-Analyse

(15) Risiko der Verzerrung pber Studien hinweg

• Beurteilung des Verzerrungsrisikos, die kumulative Evidenz beeinflussen könnten

(16) Zusätzliche Analysen

• Methoden für zusätzliche Analysen (z.b. Subgruppen) mit Beschreibung

(17) Auswahl Studien

• Anzahl der Vorauswahl, auf Eignung geprüft, in Übersicht eingeschlossen mit Begründung für Ausschlüsse (ideal: Flussdiagramm)

(18) Studienmerkmale

• Für jeden Studie: Merkmale nach denen Daten extrahiert wurden (z.b. Fallzahl, PICOS..) , Literaturstelle Studie

(19) Risiko der Verzerrung innerhalb der Studie

• Daten zum Risiko, wenn möglich: Güte der Zielkriterien

(20) Ergebnisse einzelner Studien

• Darstellung aller Endpunkte (Wirksamkeit&Nebenwirkungen): a) einfach zusammenfassende Daten für IG; b) Effektschätzer und CI

(21) Ergebnissynthese

• Darstellung Meta-Analyse inkl. CI und Heterogenitätsmaße

(22) Risiko von Verzerrungen über Studien hinweg

(23) Zusätzliche Analysen

• falls durchgeführt (z.b. Subgruppenanalysen, Meta-Regression…)

(24) Zusammenfassunf der Evidenz

• Hauptergebnisse inkl. Stärke der Evidenz für jedes Hauptzielkriteirum; Relevanz fpr Zielgruppen

(25) Einschränkungen

• af Studienebene, Ebene Zielkriteiren, Ebene Überischt

(26) Schlussfolgerungen

• Interpretaion unter Berücksichtigung Forschungsstand

(27). Finanzielle Unterstützung

• Quellen, Funktion Geldgeber

• für z.b. pharmakologie sehr sinnvoll

• nicht alle Kriterien aud psychologische Fragestellung übertragbar

  • Manipulation der UV nur bei Experimenten möglich, nicht bei korrelativen Studien von Differentiellen Merkmalen oder Entwicklungspsychologie

  • Bei möglicher Manipualtiob: randomisierte Zuweisung oft unethisch

  • Verblindung oft nicht möglich: 1. Therapeuten wissen wann sie therapierenm, 2. Patienten merkmen wenn sie in iG sind

Realisierbare Gütemerkmale

• Kontrollgruppendesign

• Randomisierte Zuweisung

• Berücksichitgung Dropout, Intention to Treat Analysen

• belastbares Kriterium als AV

Herausfordeurng

• Doppelte Verblindung kaum möglich

• Therapeutenmerkmale und Internvetion nicht unabhängig: können nicht alle Intervnetion gleich gut

• Therapien unterschieden sich in Dauer und Intensität: Macht konstanthalten der Interventionsdauer über Therapiebedinugngen Sinn?