VL6 - Validität

• Die interne Konsistenz ist eine Verallgemeinerung der Halbierungsmethode.

• Der Test wird dabei in so viele Teile zerlegt, wie Items vorhanden sind.

• Bekanntester Kennwert:

  • Cronbachs Alpha

• Cronbachs Alpha entspricht dem:

  • Mittelwert aller möglichen Testhalbierungen

Die Formel enthält:

• m

  • Anzahl paralleler Messungen bzw. Items

• sᵢ²

  • Varianz der einzelnen Items

• sₜ²

  • Varianz des gesamten Tests

  • also des Summenwerts aller Items

Details merken:

• Cronbachs Alpha wurde nach der Folie von Cronbach (1951) eingeführt.

Cronbachs Alpha macht mehrere Annahmen, die laut Folie oft unrealistisch sind:

1. Alle Items repräsentieren das Konstrukt im gleichen Ausmaß

2. Alle Items hängen sehr stark mit dem Gesamtwert zusammen

→ Dadurch kann die interne Konsistenz ungenau geschätzt werden.

Der Omega-Koeffizient gilt als alternative Schätzmethode der internen Konsistenz.

Vorteile laut Folie:

• macht weniger Annahmen

• nutzt realistischere Annahmen

• basiert auf:

  • den itemspezifischen Zusammenhängen

  • mit dem gemessenen Merkmal

Zusätzlich:

• bietet Konfidenzintervalle

• zeigt dadurch:

  • interne Konsistenz ist ebenfalls nur eine Schätzung

• Je mehr Items ein Test enthält, → desto höher fällt meist Cronbachs Alpha aus.

Dadurch kann sogar:

• ein Test mit

  • heterogenem Konstrukt

  • und niedrig korrelierenden Items

trotzdem ein hohes Alpha erreichen.

Wenn ein kurzer Test eine sehr hohe interne Konsistenz besitzt:

→ sind die Items meist redundant.

Das bedeutet:

• die Items ähneln sich sehr stark.

• Homogene Merkmale → besitzen meist eine höhere interne Konsistenz

• Heterogene Merkmale → besitzen meist eine niedrigere interne Konsistenz

Die Folie stellt deshalb die Frage:

• Muss ein Test überhaupt immer eine sehr hohe interne Konsistenz haben?

Die Folie beschreibt:

• Die Reliabilität des Gesamttests → ist höher als die Reliabilität einzelner:

  • Items

  • Testhälften

Ein Weg zur Steigerung:

• Testverlängerung

  • also mehr Items hinzufügen

Mit der Spearman-Brown-Formel kann bestimmt werden:

• wie sich die Reliabilität verändert,

• wenn ein Test verlängert wird.

Voraussetzung:

• die einzelnen Testteile messen dasselbe Merkmal.

Neben der Testverlängerung nennt die Folie:

• umsichtige Konstruktion des Tests

Beispiele:

• Konstruktionsstrategien

• Antwortformat

• Itemformulierung

Die Folie nennt mehrere Einflussfaktoren:

• Homogene Stichproben → führen eher zu niedrigeren Reliabilitäten

• Kleine Stichproben

  • deutlich unter 100 Personen → erlauben nur grobe Schätzungen der Korrelationen

Die Retest-Reliabilität sollte hoch sein bei:

• kurzen Retest-Intervallen

• einem stabilen Merkmal

Außerdem:

• Je größer das Retest-Intervall, → desto wichtiger wird die Stabilität des Merkmals.

Weitere Einflussfaktoren sind:

• Qualität der Items

• Objektivität

Die Folie unterscheidet:

• Leistungsdiagnostik → gewünschte Reliabilität etwa:

  • .90–.95

• Persönlichkeitsdiagnostik → gewünschte Reliabilität etwa:

  • .70–.80

Die Folie sagt:

• Individualdiagnostik → erfordert höhere Reliabilität als Kollektivdiagnostik.

Außerdem wichtig:

• Einsatzbedingungen des Tests

• Screening vs. genaue Diagnostik

• Kosten-Nutzen-Abwägung

• Längere Verfahren sind meist reliabler.

Aber:

• sie sind gleichzeitig → weniger ökonomisch in der Anwendung.

Die zentrale Frage lautet:

• Misst der Test, was er messen soll?

Validität bedeutet:

• Gültigkeit

Validität beschreibt:

• wie angemessen Schlussfolgerungen sind

  • vom Testwert

  • auf ein psychologisches Merkmal

  • oder auf Verhalten außerhalb der Testsituation

• Die Validität von Testwerten ist die:

  • Grundlage für Entscheidungen in der psychologischen Diagnostik.

• Nein.

• Laut Folie gibt es:

  • unterschiedliche Kennwerte zur Bestimmung der Validität.

Beispiel:

• Korrelation zwischen:

  • Intelligenztestergebnis

  • und Schulerfolg

Die Beurteilung erfolgt meist durch:

1. verbale Aussagen

2. zusätzlich:

   • Validitätskoeffizienten

Die Folie sagt:

• Die Validierung von Tests oder Fragebögen → ist eigentlich nie abgeschlossen.

Es entstehen immer neue validitätsbezogene Fragen.

Beispiele sind:

• Erfasst ein Verfahren wirklich Hoffnung?

• Kann ein Fragebogen bestimmen,

  • wie herausfordernde Aufgaben angegangen werden?

• Wie gut misst ein Bogen das Konstrukt Hoffnung?

Die Grafik nennt drei Arten:

1. Inhaltsvalidität

2. Kriteriumsvalidität

3. Konstruktvalidität

Die Inhaltsvalidität beschreibt:

• wie repräsentativ die:

  • Items

  • oder Aufgaben eines Tests

für das zu messende Merkmal sind.

Für ein Merkmal liegt laut Folie vor:

• eine inhaltliche:

  • Beschreibung

  • Definition

  • oder Theorie

Beispiele:

• Intelligenz

• Aggressivität

• Hoffnung

Die Items werden so ausgewählt, dass sie:

• das Merkmal → repräsentativ erfassen

Zusätzlich wichtig:

• genaue Dokumentation im Manual

• Beschreibung der Itemgenerierung und Itemauswahl

Die Folie nennt:

• Expert*inneneinschätzungen der Items

Dabei wichtig:

• Beurteiler*innenübereinstimmung

Kriteriumsvalidität beschreibt:

• den Zusammenhang zwischen:

  • Testergebnis

  • und konkreten Leistungen oder Verhaltensweisen außerhalb der Testsituation

Das Kriterium muss:

• für den vorgesehenen Einsatzbereich des Tests → relevant sein.

1. Übereinstimmungsvalidität

2. Vorhersagevalidität

3. Inkrementelle Validität

Übereinstimmungsvalidität bedeutet:

• Testdurchführung

• und Messung des Validierungskriteriums

finden: → nahezu gleichzeitig statt.

Andere Begriffe:

• concurrent validity

• konkurrente Validität

Durch einen Validitätskoeffizienten, zum Beispiel:

• die Korrelation zwischen:

  • Testergebnis

  • und Kriterium

Beispiel:

• Validierung eines Fragebogens zu:

  • Leistungsmotivation

  • Machtmotivation

  • Anschlussmotivation

Direkt nach dem Fragebogen könnten:

• Wettbewerbe inszeniert werden

• Gruppendiskussionen stattfinden

• soziale Kontaktsituationen erzeugt werden

Vorhersagevalidität bedeutet:

• Das Kriterium wird → erst später erhoben.

Andere Begriffe:

• prognostische Validität

• predictive validity

Ablauf laut Folie:

1. Messung:

   • Test oder Fragebogen

2. Wochen/Monate/Jahre später:

   • Messung des Kriteriums

Beispiel:

• Validierung von Studierfähigkeitstests

Ablauf:

1. Studierfähigkeit wird getestet

2. Jahre später wird:

   • der Studienerfolg erhoben

Ziel ist:

• ein relevantes Kriterium → möglichst umfassend zu erklären.

Die Folie nennt als Problem:

• Die Realität ist meist:

  • komplex

• Deshalb reicht:

  • eine einzelne Variable meist nicht aus.

Lösung laut Folie:

• Nutzung mehrerer Variablen zur Erklärung des Kriteriums.

Hinweis auf inkrementelle Validität:

• zusätzlicher Zuwachs an:

  • aufgeklärter Varianz im Kriterium

durch Hinzunahme des neuen Tests.

Erfasst werden:

1. Variable A

2. Variable B

3. Kriteriumsvariable

Dabei gilt:

• Variable B =

  • der zu validierende Test

A:

1. Semipartialkorrelation (sr)

   • unique contribution

2. ΔR²

   • Änderung der aufgeklärten Varianz

Die Semipartialkorrelation beschreibt:

• die Korrelation zwischen:

  • Variable B

  • und dem Kriterium

unter Kontrolle:

• des Anteils von Variable A im Kriterium

ΔR² beschreibt:

• den Anteil der Varianz im Kriterium, der ausschließlich von:

  • Variable B erklärt wird.

Die Folie nennt:

• hierarchische multiple Regressionsanalyse

Kriterium:

• schulische Leistung

Variable A:

• Liebe zum Lernen

• erklärt etwa:

  • 5 %

• sr ≈ .22

Variable B:

• Hoffnung

• erklärt zusätzlich:

  • etwa 10 % (ΔR²)

• sr ≈ .32

Die Folie beschreibt:

• Intelligenztests:

  • r = .51 mit Berufserfolg

• strukturierte Interviews:

  • ebenfalls r = .51

Kombination:

• Intelligenztest + Interview:

  • R = .63

→ inkrementelle Validität des Interviews:

• ΔR = .12

Die Folie nennt als Problem:

• pauschale Beurteilungen sind nicht möglich

• Faustregeln sind nicht brauchbar

Lösung laut Folie:

• Vergleichswerte suchen

Die Tabelle zeigt Korrelationen mit:

• Verhalten im Alltag

• Fremdbeurteilung

• Schulerfolg

• Ausbildungserfolg

• Studienerfolg

• Berufserfolg

Die Grafik enthält den Hinweis:

• Korrelationen mit Fremdbeurteilungen gehören eher zur:

  • Konstruktvalidität

Die Tabelle zeigt Zusammenhänge mit:

• Berufserfolg

• Ausbildungserfolg

• Bildungsniveau

• Schulerfolg

Konstruktvalidität bedeutet:

• empirische Belege dafür, dass ein Test:

  • genau das theoretische Konstrukt misst,

  • das gemessen werden soll

und nicht ein anderes.

Die Bedeutung liegt laut Folie:

• nicht primär in direkter praktischer Nutzung, sondern in:

• der theoretischen Klärung, was ein Test tatsächlich misst.

Die Folie nennt:

• Gruppenunterschiede

• Korrelationen

• interne Struktur

• Veränderung über die Zeit

• experimentelle Veränderung/Validierung

Die Folie betont:

• Es gibt nicht den einen Kennwert für Konstruktvalidität.

Sie wird über:

• verschiedene empirische Hinweise erschlossen.

Die theoretische Ebene geht davon aus:

• mehrere Konstrukte existieren

• und stehen in bestimmten Beziehungen zueinander.

Konvergente Validität bedeutet:

• Zusammenhänge mit Instrumenten, die:

  • ein gleiches oder ähnliches Merkmal messen

  • und bereits validiert sind.

Auch wichtig:

• Zusammenhänge zwischen:

  • Selbst- und Fremdeinschätzungen desselben Merkmals

Diskriminante Validität bedeutet:

• im Idealfall:

  • keine Zusammenhänge mit Instrumenten, die andere Merkmale messen.

Die Folie sagt:

• Koeffizienten der:

  • konvergenten Validität

müssen deutlich höher sein als:

• die der diskriminanten Validität.

Bei Verfahren zu Persönlichkeitseigenschaften:

• durchschnittlich:

  • r = .37

für Zusammenhänge zwischen:

• Selbst- und Fremdeinschätzungen

Bei Verfahren zu Verhaltens- oder emotionalen Problemen:

• durchschnittlich:

  • r = .25

zwischen:

• Selbst- und Fremdeinschätzungen

Die Folie sagt:

• Validität ist ein:

  • breit definiertes Gütekriterium

Deshalb ist die Aussage:

• „Dieser Test ist valide“ → nicht präzise genug.

Validität bezieht sich auf:

• einzelne Interpretationen

• und Verwendungen von Testergebnissen

Die Folie beschreibt:

• Interpretationen werden:

• durch theoretische Argumente

• und empirische Belege

        unterstützt.

Deshalb bleibt Validierung:

• ein kontinuierlicher und offener Prozess.

Die Folie nennt drei zentrale Fragen:

1. Welche Arten der Validität gibt es?

2. Wie werden die Arten der Validität ermittelt?

3. Wann spricht man von einer „guten“ Validität?

Die Folie verweist:

• Fragen zur Reliabilität → siehe Sitzung 5

Die heutige Sitzung ergänzt:

• Reliabilität

• und behandelt ausführlich:

  • Validität

Die Folie nennt:

• Nachbereitung der Sitzung

• offene Fragen klären oder notieren

• Literatur und Kommiliton:innen nutzen

• Fragen in MS Teams posten

Zusätzlich:

• Reaktivierung der Inhalte bearbeiten

Nächstes Thema:

• Auswahl diagnostischer Instrumente V

• Schwerpunkt:

  • Normen

Die Grafik zeigt folgende Abfolge:

1. Globale Fragestellung

2. Psychologische Fragen

3. Auswahl diagnostischer Instrumente

4. Diagnostische Untersuchung

5. Integration der Ergebnisse

1. Inhaltsvalidität

   • repräsentative Inhalte/Items

2. Kriteriumsvalidität

   • Zusammenhang mit Verhalten oder Leistungen außerhalb der Testsituation

3. Konstruktvalidität

   • misst der Test wirklich das theoretische Konstrukt?

1. Übereinstimmungsvalidität

   • Test und Kriterium gleichzeitig

2. Vorhersagevalidität

   • Kriterium später erhoben

3. Inkrementelle Validität

   • zusätzlicher Erklärungsbeitrag eines Tests

Höhere interne Konsistenz entsteht durch:

• mehr Items

• höhere Interkorrelationen der Items

• homogenere Merkmale

Mögliche Probleme:

• viele Items können Alpha künstlich erhöhen

• kurze Tests mit sehr hohem Alpha: → oft redundante Items

Außerdem:

• Cronbachs Alpha basiert auf teilweise unrealistischen Annahmen.

Weil Validität:

• unterschiedliche Interpretationen

• unterschiedliche Anwendungen

• und unterschiedliche theoretische Fragen umfasst.

Deshalb:

• mehrere Kennwerte nötig.

• Konvergente Validität → hohe Zusammenhänge mit ähnlichen Konstrukten

• Diskriminante Validität → geringe Zusammenhänge mit anderen Konstrukten