VL8 Validität

Validität ist das Ausmaß wie gut der Test dasjenige Merkmal misst, das er vorgibt zu messen

Reliabilität benötigt homogene Items (vgl. Cronbachs Alpha/Interne Konsistenz)

Validität benötigt allerdings eher heterogene Items also, dass viele Facetten abgedeckt werden (Inhaltsvalidität)

ABER: Reliabilität gleichzeitig Voraussetzung für Validität, denn wenn wenig wahre Varianz gemessen wird, dann wird Konstrukt ebenso wenig gut abgebildet

Rel(Y)= Kov (Y, Y´)

-> Korrelation zwischen Y und Y´ geringer, wenn also subjektive Durchführung/Auswertung/Interpretation stattfindet und somit Fehlervarianz steigt. Der Anteil der wahren Varianz von der Gesamtvarianz sinkt somit.

• Itemanzahl erhöhen (vgl. Interne Konsistenz)

• Objektivität erhöhen

• NICHT Homogenität erhöhen-> sonst Verletzung der Trennschärfe

systematischer Einfluss von Eigenschaften der Erhebung (die unabhängig von dem zu messenden Merkmal sind) auf die Testwerte

Hier wenn:

Heterotrait-Monomethod größere Korrelation als Heterotrait Hetermethod

(HTMM > HTHM)

MTHM Korrelationen hoch sind und vor allem:

… MTHM höher als HTHM Korrelationen

… MTHM höher als HTMM Korrelationen

• Testdurchführende

• Erhebungsmethode

• Kontext der Erhebung

Korrelationen zwischen nicht verwandten Konstrukten durch Methodenbias

-> Vorliegen von starkem Methodenbias gefährdet die Validität des Tests

denn Validität= das Ausmaß, in dem der Test dasjenige Mermal misst das er messen soll

—> gibt es einen Methodenbias und Ergebnisse kommen unter anderem zustande, wegen der Methode (d.h. Methode verändert Ergebnisse), dann wird korrektes Konstrukt nicht gemessen

• Inhaltsvalidität

• Kriteriumsvalidität

• Konstruktvalidität

• beruht rein auf inhaltlichen Überlegungen, ob die Items zum Konstrukt passen

• Repräsentativität der Items für das interessierende Merkmal

• keine statistische Analyse

Beinhaltet

• Items müssen inhaltlich zum Konstrukt passen

• Items müssen alle Facetten abbilden

• Inhaltsbereiche müssen korrekt gewichtet sein

-> Inhaltsvalidität wird con Tesautoren oder Experten beurteilt

• Menschen haben Antworttendenzen (z.b. eher immer zuzustimmen) weshalb dann höhere Korrelation zw. Konstrukten vorliegt

• Soziale Erwünschtheit

• Durchführer ist sehr sympathisch oder unsympathisch-> verändert dann Motivation

• Menschen, die physisch attraktiv sind, werden ggf. anders von Testdurchführende bewertet

empirische Belege für den Zusammenhang zwischen Testergebnis und konkreten Leistungen oder Verhaltensweisen, die für Kriterien (also den Einsatzbereich) relevant sind

• Korrelliert Kritrium mit dem Test?

Konkurrente: gleichzeitige Erfassung von Testw ert und Kriterium (Querschnitt)

Prädiktiv: Kriterium zeitlich später erfasst -> Längsschnitt

• Reliabilität des Tests und Test mit dem man Kriterium misst

• Andere Einflussfaktoren auf Kriterium

• konzeptuelle Gemeinsamkeit Test und Kriterium z.B. Intelligenztest hohe Gemeinsamkeit mit Mathenote, da sie ähnliches messen

• alle anderen Faktoren wie Extremwerte, die die Korrelation beeinflussen können

• Kriterium wird durch Konstrukt prädiziert

  -> Konstrukt —> Kriterium

  z.B. Intelligenz-> hohe Matheleistung

• Korrellieren Kriterium u. Test hoch, so erfasst Test vermutlich wahres Konstrukt

Konkurrente Validitität: gleichzeitige Erfassung von Kriterium und Konstrukt

z.B. Intelligenztest und Mathenoten

Prädiktive: Kriterium wird erst später erfasst, da Konstrukt prädiktiv ist und Kriterium ggf. noch nicht aufgetreten ist

z.B. Einstellungstest (Konstrukt) und Berufserfolg (Kriterium)

Doppelte Minderungskorrektur

-> geht davon aus, dass weder Test noch Kriterium Messfehler haben

-> Einfluss wird rausgerechnet

(denn geringe Reliabilität führt auch zu geringer Validität)

dadurch werden also nun die wahren Werte Y mit den wahren Werten K korrelliert

ohne doppelte Minderungskorrektur, könnte Kriteriumsvalidität bei geringen Reliabilität verzerrt und kleiner wirken als es ist -> nicht weil Kriterium nicht mit Test korrelliert, sondern aufgrund von Messfehlern des Kriteriums/des Tests

• Bei sehr geringen Reliabilitäten kommt es zu einer zu starken Aufwertung und die Validität wird überschätzt

• verringert die Motivation reliable Testverfahren zu entwickeln

hat keinen einfluss

1. Faktorenanalyse-> induktiv

   ODER

2. Nomologisches Netzwerk

empirische Belege dafür, dass der Test das Konstrukt erfasst, welches er erfassen soll und !nicht ein anderes!

Möglichkeit, um Konstruktvalidität zu prüfen

-> Theoretische Aussagen oder Gesetze, die die Beziehung zwischen einem Konstrukt und einem anderen beschreiben

Besteht aus Konstrukt, welches kausal mit Kriterium zusammenhängt

Antezedente führt kausal zu Konstrukt

Korrelate = Konvergent: Tests, die ein ähnliches Konstrukt messen, sollten hoch mit Test korrellieren

Unverwandtes Konstrukt = Diskriminant: Tests, die ein anderes Konstrukt messen, sollten niedrig mit Test korrellieren

-> konvergente Validität und diskriminante Validität muss für Konstruktvalidität gegeben sein

Inhaltsvalidität = Repräsentativität der Items für das interessierende Merkmal

-> Manche Facetten sind überrepräsentiert, manche gar nicht

Inhaltsvalidität = Repräsentativität der Items für das interessierende Merkmal

Items repräsentieren nicht gleichermaßen alle Facetten des Konstrukts-> falsche Gewichtung

Items messen zusätzlich ein Konstrukt, das mit Test nichts zu tun hat

Inhaltsvalidität

Inhaltsvalidität hier gegeben

-> Items passen inhaltlich zum Konstrukt

-> Items decken die gesamte Breite des Konstrukts ab

-> Korrekte Gewichtung der Inhaltsbereiche im Test

und es wird kein anderes Konstrukt gemessen

z.B. Auswahlkontext -> Bewerber wolllen sozial erwünschte Antworten wählen

Theoretische Aussagen oder Gesetze, die die Beziehung zwischen dem Konstrukt und anderen Konstrukten beschreibt

• wenn er mit stark verwandten Konstrukten zusammenhängt (Korrelate)

• wenn er mit anderen Konstrukten nicht zusammenhängt (Diskriminante)

NEIN

• Erhebungsmethode (Selbstbericht)

• Testdurchführende /Beurteiler

• Kontext der Erhebung

—> Korrelation zwischen nicht verwandten Konstrukten durch Methodenbias!