Validität

Unter Validität wird die Übereinstimmung von Testergebnissen mit dem, was der Test messen soll, verstanden. Es handelt sich um ein Urteil darüber, wie angemessen bestimmte Schlussfolgerungen vom Testwert auf das Verhalten außerhalb des Tests oder auf ein Merkmal der Person sind.

Zentrale Frage: „Misst der Test das, was er messen soll?“

Konstruktvalidität: Empirische Belege dafür, dass ein Test das Konstrukt erfasst, welches er erfassen soll - und nicht ein anderes

Inhaltsvalidität (Kontentvalidität)

Augenscheinvalidität

Konstruktvalidität

Kriteriumsvalidität

Der Begriff der Inhaltsvalidität bezieht sich darauf, inwieweit die Items, aus denen sich ein Test zusammensetzt, tatsächlich das interessierende Merkmal erfassen

• Sind alle relevanten Teilbereiche vertreten?

• Stehen die Teilbereiche in einem angemessenen Verhältnis

  zueinander?

• Sind keine Inhalte enthalten, die sich auf Irrelevantes beziehen?

Zur Beurteilung der Inhaltsvalidität geschieht in der Regel durch die Einschätzung von Experten

Voraussetzung: Das Merkmal muss hinreichend definiert sein

Zwei Fälle:

• Operational definierte Merkmale: Merkmalsdefinition ohne theoretische Vorannahmen; häufig bei kriterienorientierten Tests (Testverfahren, die das Erreichen oder Verfehlen eines konkreten Kriteriums ermitteln wollen)

• Theoretisch definierte Merkmale: Decken die Items alle theoretisch relevanten Aspekte des Konstrukts ab?

Augenscheinvalidität ist gegeben, wenn Lai*innen (einschließlich der Testpersonen) der Meinung sind, dass ein Inventar das Merkmal misst, das es messen soll

Hohe Augenscheinvalidität:

• Potentieller Vorteil: Motivation bei der Testperson, weil sie das Gefühl hat einen aussagekräftigen Test zu bearbeiten

• Potentieller Nachteil: Durchschaubarkeit und somit Verfälschbarkeit des Tests

Konstrukte: Nicht direkt beobachtbare (latente) Konzepte, die sich in gemessenen Variablen (Indikatoren – bspw. Items eines Fragebogens) niederschlagen

Die Existenz von Konstrukten kann also nur über messbare Sachverhalte (Indikatoren) erschlossen werden

Konstruktvalidierung: Untersuchung der Konstruktvalidität Geschieht über die Einbettung eines Konstrukts in ein

nomologisches Netzwerk

•  Anhand theoretischer Annahmen wird die Beziehung eines Konstrukts zu anderen Konstrukten definiert (Axiome)

•  Man postuliert ein Netzwerk aus positiven, negativen und Nullbeziehungen

• Korrespondenzregeln stellen die Verbindung her zwischen den Bereichen der Theorie und der Beobachtung

  • In welcher Form schlagen sich tatsächliche Merkmalsunterschiede in den Messungen nieder?

• Theoretische Annahmen müssen anhand beobachtbarer Variablen empirisch überprüft werden können

  • Lässt sich das durch die Theorie vorhergesagte Muster empirisch nachweisen?

Konvergente Validität: Der zu validierende Test korreliert stark positiv mit Tests desselben Konstrukts bzw. verwandter Konstrukte (z.B. Test zur Erfassung von verbaler Intelligenz mit einem anderen Test zur Erfassung verbaler Intelligenz)

Diskriminante Validität: Der zu validierende Test korreliert gering mit Tests nicht verwandter bzw. assoziierter Konstrukte (z.B. Test zur Erfassung von verbaler Intelligenz mit einem Test zur Erfassung von Aufmerksamkeit)

• Von einem Testergebnis kann auf ein für diagnostische Entscheidungen praktisch relevantes Kriterium außerhalb der Testsituation geschlossen werden

1. Übereinstimmungsvalidität (konkurrente Validität): Test- und

   Kriteriumswerte werden nahezu zeitgleich erhoben

2. Prognostische Validität (auch Vorhersagevalidität od.

   prädiktive Validität genannt): Testwerte werden zeitlich vor den Kriteriumswerten erhoben (bspw. Intelligenztest -> Vorhersage späteren Berufserfolgs)

3. Inkrementelle Validität: Bestimmung des Zuwachses an Validität durch weiteres Verfahren

I. Inhaltliche Passung des Kriteriums

II. Reliabilität des Tests und des Kriteriums

III. Variabilität der Test- und Kriteriumswerte in der untersuchten Stichprobe

• TestautorInnen müssen begründen, wieso sieh ein

  bestimmtes Kriterium gewählt haben

• Persönlichkeitsmerkmale können nicht als Kriterium fungieren, da es sich um Konstrukte handelt (siehe Konstruktvalidität)

Je unreliabler ein Test ist (d.h. je mehr Messfehler enthalten ist),

desto geringer fallen die Korrelationen mit Außenkriterien aus

• Bedeutet: Die Höhe der Korrelation mit dem Außenkriterium hängt von der Reliabilität ab

Weiteres Problem: Auch das Kriterium wird in der Regel nicht perfekt reliabel gemessen (und auch diese Unreliabilität wirkt sich in gleicher Weise beeinträchtigend auf die Höhe der Validitätskorrelationen aus)

• Lösung: doppelte Minderungskorrektur (Spearman, 1904)

• Ermöglicht es, die Korrelation zwischen den Testwerten und dem Außenkriterium unter der Berücksichtigung der beiden Reliabilitäten (in den Testwerten und im Kriterium)„hochzurechnen“

• Es wird also der Zusammenhang ermittelt, den man finden würden, wenn man beide Variablen messfehlerfrei gemessen hätte

Bei eingeschränkter Variabilität in Test unterschätzt die Korrelation zwischen Test und Kriterium den wahren Zusammenhang (=Kriteriumsvalidität)