6. Vorlesung: Die güte empirischer Studien

A: Weil nur dann verschiedene Forscher unter gleichen Bedingungen zu denselben Ergebnissen kommen.

• Unabhängig von Versuchsleiter und Versuchsbedingungen

• Erreicht durch Standardisierung von Durchführung, Auswertung und Interpretation

Details merken: Ohne Objektivität kann weder Reliabilität noch Validität bestehen.

1. Durchführungsobjektivität – Alle Testleiter führen den Test exakt gleich durch.

2. Auswertungsobjektivität – Rohdaten werden immer gleich ausgewertet.

3. Interpretationsobjektivität – Gleiche Ergebnisse werden gleich interpretiert.

• Unterschiedliche Testbedingungen (z. B. mal viel, mal wenig Lärm)

• Unterschiedliche Anweisungen oder Testleiter-Verhalten

• Keine einheitlichen Auswertungsregeln

• Keine klaren Interpretationskriterien

A: Reliabilität = Zuverlässigkeit einer Messung → liefert bei gleichbleibendem Verhalten stabile Ergebnisse.

• Voraussetzung: Objektivität

• Frage: „Wie sehr kann ich dem Messwert vertrauen?“

1. Test-Retest

2. Interrater

3. Paralleltest

4. Split-Half

5. Interne Konsistenz

A: Gleiche Methode, gleiche Stichprobe, zwei Zeitpunkte → Korrelation der Ergebnisse.

• Hoch = Werte bleiben stabil

• Niedrig = große Unterschiede zwischen Test und Retest

A: Ob verschiedene Beurteiler bei denselben Personen ähnliche Einschätzungen abgeben.

• Hoch = gleiche Ergebnisse

• Niedrig = stark unterschiedliche Urteile

A: Grad der Übereinstimmung zweier Testversionen mit gleicher Schwierigkeit.

• Hoch = beide Versionen messen gleich

• Niedrig = große Unterschiede

A: Ob erste und zweite Hälfte eines Tests ähnliche Ergebnisse liefern.

• Oft Odd-Even-Methode (ungerade vs. gerade Fragen)

• Hoch = beide Hälften stimmen überein

A: Ob alle Items einer Skala dasselbe Konstrukt messen.

• Hoch = ähnliche Punktwerte pro Item

• Niedrig = starke Unterschiede zwischen Items

A: Validität = Misst die Untersuchung wirklich das, was sie messen soll?

• Voraussetzung: Objektivität + Reliabilität

• Frage: „Trifft der Messwert das richtige Ziel?“

A: Veränderungen der abhängigen Variable lassen sich ausschließlich auf die unabhängige Variable zurückführen.

• Erreicht durch Kontrolle von Störvariablen

• Schwach, wenn Störvariablen das Ergebnis verfälschen

A: Wenn Ergebnisse auf die reale Welt übertragbar sind.

• Umfasst: Populationsvalidität, Situationsvalidität, Variablenvalidität

A: Übertragbarkeit der Stichprobenergebnisse auf die gesamte Population.

• Benötigt: große, repräsentative, zufällig ausgewählte Stichprobe

A: Übertragbarkeit von Laborergebnissen auf natürliche Alltagssituationen.

• In Laborstudien oft gering, weil künstliche Bedingungen herrschen

A: Ob Ergebnisse mit einer anderen abhängigen Variable, die dasselbe misst, ähnlich ausfallen.

• Beispiel: Zwei unterschiedliche Depressionsfragebögen liefern ähnliche Resultate

• Hohe interne Validität = starke Kontrolle → künstliche Bedingungen

• Hohe externe Validität = realistische Bedingungen → mehr Störvariablen

• Forscher müssen oft Trade-off machen

A: Ob die richtigen statistischen Verfahren korrekt angewendet und interpretiert wurden.

• Sinkt bei Verletzung der Voraussetzungen (z. B. Normalverteilung für Varianzanalyse)

A: Misst der Test inhaltlich genau das Zielkonstrukt – ohne Vermischung mit anderen Faktoren.

• Beispiel: Intelligenztest misst Intelligenz, nicht Gedächtnis oder Motivation

A: Gültigkeit eines theoretischen Konstrukts, gemessen am Vergleich zu ähnlichen und unähnlichen Tests.

• Konvergent: hohe Übereinstimmung mit ähnlichen Tests

• Diskriminant: geringe Übereinstimmung mit unähnlichen Tests

A: Ein Test sagt ein externes Kriterium vorher oder stimmt damit überein.

• Vorhersagevalidität: Testwert → zukünftiger Erfolg

• Simultane Validität: Testwert ↔ aktueller Erfolg

A: Eindruck für Laien, was der Test misst („Sieht aus wie ein IQ-Test“).

• Spezialfall der inhaltlichen Validität

• Wird selten gemessen, kann aber Kooperationsbereitschaft erhöhen

• Reliabilität = Messung ist stabil

• Validität = Messung trifft das richtige Ziel

→ Ohne stabile Messung (Reliabilität) kann keine echte Gültigkeit (Validität) entstehen.

A: Anteil der korrekt erkannten positiven Fälle bei tatsächlichem Vorliegen der Eigenschaft.

A: Anteil der korrekt erkannten negativen Fälle bei Nicht-Vorliegen der Eigenschaft.

• Beispiel: Gesunde werden als gesund erkannt

• Formel: Spezifität = TN / (TN + FP)

A: Alle kranken Personen werden erkannt (kein False Negative).

A: Alle gesunden Personen werden korrekt erkannt (kein False Positive).

• Sensitivität: 96 % → erkennt fast alle Depressiven

• Spezifität: 57 % → erkennt nur etwas mehr als die Hälfte der Gesunden korrekt

• Gut als Screening, nicht als alleinige Diagnose

A: Hohe Werte bei beiden → oft nur mit langen, komplexen Tests erreichbar.

• Screening: kürzere Tests → teils geringere Werte

• Enddiagnose: ausführliche Verfahren

A: Wahrscheinlichkeit, dass ein tatsächlich vorhandener Zusammenhang auch nachgewiesen wird.

• Hängt von Stärke des Effekts & Störvariablen ab

• Gilt als modernes Zusatzkriterium zur Studienqualität

1. Objektivität

2. Reliabilität

3. Validität

4. Sensitivität

5. Spezifität