Validität I

1. Inhaltsvalidität

• Sicherstellen, dass ein Test alle relevanten Aspekte des zu messenden Merkmals abdeckt.

• Der Test sollte den gesamten Bereich des Merkmals angemessen erfassen.

1. Kriteriumsvalidität

• Überprüfen, ob ein Test mit anderen bereits etablierten Messungen oder Kriterien korreliert.

• Unterscheidung zwischen konkurrenter Validität (Korrelation mit anderen Tests zur gleichen Zeit) und prädiktiver Validität (Vorhersage von zukünftigem Verhalten oder Ereignissen).

1. Konstruktvalidität

• Sicherstellen, dass ein Test tatsächlich das theoretisch konstruierte Merkmal misst.

• Konvergente Validität: Überprüfen, ob der Test mit anderen Tests korreliert, die das gleiche Konstrukt messen sollten.

• Diskriminante Validität: Überprüfen, ob der Test nicht mit Tests korreliert, die andere Konstrukte messen sollten.

• Faktorielle Validität: Überprüfen, ob die Ergebnisse des Tests den erwarteten Faktoren oder Dimensionen des theoretischen Konstrukts entsprechen.

Operational definierte Merkmale

• Merkmale werden anhand spezifischer Operationen oder Messverfahren definiert.

• Die Definition basiert auf konkreten Handlungen, Beobachtungen oder Messungen.

• Beispiele: Körpergröße wird gemessen, Intelligenz wird durch einen Intelligenztest erfasst.

Theoretisch definierte Merkmale

• Merkmale werden auf der Grundlage theoretischer Konzepte oder Modelle definiert.

• Die Definition basiert auf Annahmen, Hypothesen oder theoretischen Zusammenhängen.

• Beispiele: Persönlichkeitseigenschaften wie Extraversion oder Neurotizismus werden anhand theoretischer Konzepte beschrieben.

• beschreiben Merkmale anhand von konkreten messbaren Operationen oder Verhaltensweisen.

  • geben an, wie ein Merkmal gemessen oder beobachtet werden kann.

• basieren auf spezifischen Verfahren anstelle abstrakter Theorien.

• machen ein Merkmal reproduzierbar und überprüfbar.

• Inhaltsvalidität → verallgemeinernde Interpretation der Testergebnisse

• Das Testergebnis kann auf eine breite Menge / ähnliche Situation übertragen werden

• erlaubt eine verallgemeinerte Interpretation des Testergebnisses auf eine größere Anzahl von Situationen, die das gleiche Merkmal repräsentieren

• Hypothetische Menge aller möglichen Items, die ein bestimmtes Merkmal repräsentieren kann.

• Umfasst alle denkbaren Fragen, Aufgaben usw. die in einem Test/Studie verwendet werden können.

• Überprüfung für jedes Item: stellt sicher, dass es das zu messende Merkmal angemessen repräsentiert

• Überprüfung für den gesamten Test: Zusammensetzung der Items ist spiegeln das Merkmal ausgewogen und umfassend wider.

• basieren auf einer Theorie

• Theorie spezifiziert, wie bestimmte Unterschiede zwischen Personen erklärt werden und warum sich diese Unterschiede in den Testergebnissen zeigen

• ermöglichen eine tiefere Einsicht in die zugrunde liegenden Konstrukte

• gehen über eine rein beobachtbare Beschreibung hinaus

• ermöglichen eine genauere Interpretation von Testergebnissen und erklären, warum Personen unterschiedliche Antworten auf die Testitems geben

• um sicherzustellen, dass der Test das beabsichtigte Merkmal tatsächlich misst

• ermöglicht frühzeitige Identifizierung von unzureichenden Items

• Durch die Prüfung in den Phasen kann der Test verbessert und optimiert werden, um sicherzustellen, dass er valide ist

• Misst, ob ein Test das tatsächlich zu messende Konstrukt erfasst

• Bezieht sich auf die Interpretationen, die aus den Messergebnissen abgeleitet werden

• Misst der Test das Konstrukt und nicht ein anderes?

• Hohe Konstruktvalidität → Test erfasst das Konstrukt zuverlässig

• Schwacher Ansatz→ Validierung ohne formale Theorie

• Unterschiedliche Methoden

  • Inhaltsvalidität

  • Kriteriumsvalidität

  • Konvergente Validität

  • Diskriminante Validität

1. Experimenteller Ansatz: Untersuchung des Konstrukts als abhängige Variable oder unabhängige Variable in Experimenten.

2. Korrelativer Ansatz: Berechnung von Korrelationen zwischen Testwerten und anderen Variablen.

3. Interne Struktur: Überprüfung der Dimensionalität des Konstrukts mittels Faktorenanalyse.

4. Zeitliche Stabilität: Untersuchung von Veränderungen des Konstrukts über die Zeit.

5. Antwortprozess: Untersuchung des Prozesses, wie Antworten in einem Test entstehen, um mögliche Einflüsse auf die Konstruktvalidität zu identifizieren und zu minimieren.

6. Gruppenunterschiede: Vergleich der Testwerte zwischen verschiedenen Gruppen.

Konstrukt als abhängige Variable

• Konstrukt selbst wird gemessen

• Untersuchung, wie andere Faktoren/Bedingungen das Konstrukt beeinflussen

• Beispiele: Wie wirkt die Gabe eines Medikaments auf die Testwerte der Zustandsangst?

Konstrukt als unabhängige Variable

• Konstrukt wird als Einflussfaktor betrachtet

• Untersuchung, wie das Konstrukt andere Variablen beeinflusst

• Beispiele: Hat ein Test zur Extraversion einen Einfluss auf das Ausmaß sozialer Interaktion?

• Häufig angewendet in der Praxis.

• Berechnung von Korrelationen zwischen Testwerten (X) und einer anderen messbaren Variable (Y).

• Theoretische Annahmen über Richtung und Stärke der Zusammenhänge sind wichtig.

• Wenn die empirischen Korrelationen mit den theoretischen Annahmen übereinstimmen, wird die Interpretation unterstützt.

• Konvergente Validität: Hoher Zusammenhang zwischen X und Y (z. B. Intelligenztest validieren).

• Diskriminante Validität: Kein oder niedriger Zusammenhang zwischen X und Y (z. B. Extraversionstest und Neurotizismus).

• Konvergente Validität sollte deutlich höher sein als diskriminante Validität.

• Methode zur Untersuchung der Konstruktvalidität

  • Beurteilung der konvergenten und diskriminanten Validität, indem verschiedene Merkmale mit verschiedenen Methoden gemessen werden

• Matrix besteht aus einer Tabelle

  • Zeilen: Merkmale

  • Spalten: Messmethoden

• Als Übersicht: In die Matrix werden Korrelationen zwischen den Merkmalen eingetragen

• Konvergente Validität: hohe Korrelation zwischen den gleichen Merkmalen mit verschiedenen Methoden

• Diskriminante Validität: niedrige Korrelation zwischen unterschiedlichen Merkmalen mit derselben Methode

→ ermöglicht differenzierte Bewertung der Validität von Messmethoden und Merkmalen

→ unterstützt die Interpretation der Ergebnisse

1. Reliabilitätskoeffizienten sind die höchsten in der Matrix.

2. Konvergente Validitätskoeffizienten (Monotrait-Heteromethod) sind signifikant > 0

3. Diskriminante Validitätskoeffizienten (Heterotrait-Monomethod) sind kleiner als 2

4. Diskriminante Validitätskoeffizienten (Heterotrait-Heteromethod) sind kleiner als 2 und am kleinsten

5. Diskriminante Validität: Traitinterkorrelationen weisen unter allen Bedingungen (Monomethod, Heteromethod) identische Muster auf

• Überprüfung der internen Struktur eines Tests

• Bestätigung der angenommenen Zusammenhangsstruktur

• Prüfung, ob Testwerte mit zugrunde liegenden Faktoren korrelieren

• Feststellung der faktoriellen Validität des Tests

• Stärkung der Konstruktvalidität bei Bestätigung der angenommenen Struktur

• Wichtig, um sicherzustellen, dass der Test das gewünschte Merkmal erfasst

• Faktorenanalyse zeigt, ob der Test das misst, was er messen soll

• An der Retest-Reliabilität

• Ergänzend an Testwertveränderungen

• Beispiel: Intelligenz und viele andere Leistungsmerkmale nehmen mit der Zeit deutlich zu