9. Vorlesung: Replikationskrise und Open Science

A: Laut Open Science Collaboration (2015) nur 39 %.

• Ursprungsstudien: 97 % signifikant

• Replikationen: 36 % signifikant

• ⇒ Replikationsrate = 39 %

A: Psychologische Forschung soll allgemeingültige Zusammenhänge über Verhalten finden.

• Wenn Replikation oft scheitert, ist die Zuverlässigkeit der Befunde gefährdet

• Vertrauen in Wissenschaft sinkt

A: Nein – Betrug ist selten und erklärt nur einen kleinen Teil.

Hauptgründe liegen in:

1. Strukturen des Wissenschaftssystems

2. Statistik- & Stichprobengröße

3. Individuellen Faktoren

A: Definition: Bevorzugte Veröffentlichung signifikanter Ergebnisse (p < 0,05), während nicht-signifikante Ergebnisse oft untergehen („File-Drawer-Problem“).

• Führt zu verzerrtem Bild der Forschungslage

• Druck zu „Publish or perish“ → mehr Bias

A: Kleine Stichproben → größere Zufallsschwankungen → instabile Effekte

• „Salami-Taktik“: große Studien künstlich zerteilen, um mehr Paper zu produzieren

• Mehr Paper ≠ verlässlichere Ergebnisse

A: Graubereich zwischen sauberer Forschung und Betrug, um signifikante Ergebnisse zu erzielen.

Beispiele:

• p-Hacking: Daten so lange umformen, bis p < 0,05

• HARKing: Hypothese erst nach Blick auf die Daten formulieren

A: Mehr falsch-positive Ergebnisse

• Über 90 % publizierte Befunde „positiv“ → viele davon nur Zufall oder methodische Schwäche

• Nicht-signifikante Befunde bleiben unterrepräsentiert

A: Warnsignale:

1. Kleine Stichprobe, aber riesiger Effekt

2. Unerwartete, extrem neue Erklärung für häufiges Verhalten

3. „p = 0,049“ – gerade so signifikant

A:

• Code-Fehler bei Datenanalyse

• Hype – Übertreibung schwacher Befunde

• Seltener: Betrug

A:

• Ohne Transparenz: Nur Autor*innen sehen Daten → Fehler & QRPs schwer erkennbar

• Lösung: Offener Zugang zu allen Forschungsschritten → leichter überprüfbar

A: Definition: Idee, dass jeder Schritt des wissenschaftlichen Prozesses frei zugänglich & transparent sein sollte.

Beispiele:

• Materialien, Rohdaten, Analysecode öffentlich

• Präregistrierung vor Studienstart

A:

• Keine Paywall – wissenschaftliche Artikel für alle frei verfügbar

• Finanzierung: Gebühr bei Veröffentlichung statt teure Abos

• Vorteil: Weltweit zugänglich, inkl. Forschende ohne Uni-Zugang

A: Definition: Öffentliche Festlegung von Hypothesen, Methoden & Analyseplan vor Datenerhebung.

• Macht p-Hacking & HARKing sichtbar

• Transparenz über Stichprobengröße (Power-Analyse)

A: Deutlich weniger signifikante Effekte

• Beispiel: Kaplan & Irvin (2015) – Anteil positiver Effekte fiel von 59 % auf 10 %

A: Zweistufiges Begutachtungsverfahren:

1. Einleitung, Methode, Hypothese vor Datenerhebung begutachtet

2. Annahme unabhängig von Signifikanz → kein Druck zu p-Hacking/HARKing

A: Alle Stimuli, Daten & Analyse-Skripte sind frei zugänglich.

• Ermöglicht Replikation und Fehlerkontrolle

• Wichtig: Verwendung offener Software wie R statt teurer, proprietärer Tools

A:

• Gutachten & Gutachter*innen öffentlich

• Reduziert Gefälligkeitsgutachten, Bias & erzwungene Zitationen

A:

• Kostenfreie, offen lizenzierte Bildungsmaterialien (z. B. NOBA-Psychologiebücher)

• Ziel: Wissen weltweit zugänglich machen – besonders in Ländern mit teuren Lehrbuchpreisen

1. Open Access Journals

2. Präregistrierung

3. Open Materials

4. Open Data

5. Open Source Software

6. Open Code

7. Open Peer Review

8. Open Educational Resources