4: Gütekriterien diagnostischer Instrumente 2

Definition:

• Unter Validität wird die Übereinstimmung von Testergebnissen mit dem, was der Test messen soll, verstanden. Es handelt sich um ein Urteil darüber, wie angemessen bestimmte Schlussfolgerungen vom Testwert auf das Verhalten außerhalb des Tests oder auf ein Merkmal der Person sind.

• Valide oder gültig ist ein Instrument in dem Maße, in dem es genau das misst, was es messen soll.

Formen

• Augenscheinvalidität

  • keine Form der Validität im engeren Sinne

• Inhaltsvalidität

  • auch Kontentvalidität genannt

• Kriteriumsvalidität

  • bei multiplen Prädiktoren: inkrementelle Validität wichtig

• Konstruktvalidität

Definition:

• Unter Augenscheinvalidität versteht man die Nachvollziehbarkeit der Testpersonen (bzw. psychologischer Laien) für das, was mit dem Test gemessen wird.

• Hohe Augenscheinvalidität kann das Vertrauen der Testperson in den Test und damit auch die Mitmachbereitschaft erhöhen.

• Gleichermaßen ist aber auch die Gefahr der Testverfälschung gegeben.

  
  

Definition:

• Unter Inhaltsvalidität (Kontentvalidität) versteht man, wie repräsentativ die Items eines Tests für das zu messende Merkmal sind.

• Die Testitems verstehen sich dabei als repräsentative Stichprobe aus dem Itemuniversum, mit dem das interessierende Merkmal erfasst werden kann (Repräsentationsschluss).

Beispiel 1:

• Schulleistungstests:

  • Ziel ist es, den Wissensstand in einem bestimmten Unterrichtsfach zu erfassen (Items curricular-basiert – sollten repräsentativ dafür sein, was Schüler bspw. am Ende des 4. Schuljahrs laut Lehrplan in Mathe, Deutsch.... wissen sollte)

Beispiel 2:

• Fragebögen zum Vorliegen einer psychischen Störung:

  • Grundlage bilden Diagnosesystem (DSM, ICD-10) – welche Symptome sollten vorliegen, um Störung diagnostizieren zu können?

Beispiel 3:

• Strukturiertes Interview zur Berufseignung:

  • Grundlage bildet Anforderungsanalyse. Wenn es gelingt zu allen berufsrelevanten Anforderungen (z.B. Durchsetzungsfähigkeit, Verhandlungsgeschick, kaufmännisches Wissen) treffende Interviewfragen zu entwickeln, ist Interview inhaltsvalide.

Definition:

• Ein Test weist Kriteriumsvalidität auf, wenn vom Verhalten innerhalb der Testsituation erfolgreich auf ein „Kriterium“ (Verhalten außerhalb Testsituation) geschlossen werden kann.

• Das Kriterium muss für den vorgesehenen Einsatzbereich des Tests relevant sein.

• Die Enge dieser Beziehung ist das Ausmaß an Kriteriumsvalidität (Korrelationsschluss).

Unterscheidung nach Zeitpunkt:

• konkurrente Validität (Übereinstimmungsvalidität):

  • Korrelationen des Tests mit Kriteriumsvariablen, die zum selben Messzeitpunkt gemessen wurden

• prädiktive Validität (Vorhersagevalidität):

  • Korrelationen des Test mit zeitlich später gemessenen Kriteriumsvariablen

• retrograde Validität:

  • Korrelationen des Tests mit zeitlich vorher gemessenen Kriterien

Beim Einsatz mehrerer Tests bzw. bei Verwendung mehrerer Prädiktoren:

• Güte der Vorhersage des Kriteriums empirisch überprüfbar (z.B. durch lineare Regression) -> multiple Validität

• Ausmaß, indem Vorhersage des Kriteriums durch Hinzunahme eines weiteren Tests/Prädiktors verbessert wird -> inkrementelle Validität

Definition:

• Unter Konstruktvalidität versteht man empirische Belege dafür, dass ein Test das Konstrukt erfasst, welches er erfassen soll – und nicht ein anderes.

Konstruktvalidität im weiteren Sinne:

• Nach Eid & Schmidt (2014) ist Konstruktvalidität der breiteste Validitätsbegriff. In ihm gehen alle anderen genannten „Aspekte“ der Validität auf (Synthese aus Inhalts- und Kriteriumsvalidität).

• Bei Validität geht es immer um die Zulässigkeit von Schlüssen im Sinne von: „Inwieweit können die Testwerte im Sinne des zu erfassenden Konstrukts interpretiert werden?“ (Eid & Schmidt, 2014)

• keine Einzelkennwerte... Validierung als Prozess!

Konstruktvalidität im engeren Sinne:

• Konvergente Validität

• diskriminante Validität

Definition:

• Im Rahmen der Konstruktvalidierung gilt die konvergente Validität als nachgewiesen, wenn Messungen eines Konstrukts, das mit verschiedenen Methoden erfasst wird, hoch miteinander korrelieren.

Wie hoch hängt die Ausprägung eines Merkmals mit Ausprägungen desselben Merkmals zusammen, das mit einer anderen Methode einem anderen test erfasst wird?

• Empfohlen werden Koeffizienten von r >.50.

Definition:

• Gilt im Rahmen der Konstruktvalidierung als nachgewiesen, wenn Messungen verschiedener Konstrukte mit derselben Methode nicht oder nur gering miteinander korrelieren.

Wie hoch hängt die Ausprägung eines Merkmals mit Ausprägungen eines anderen Merkmals zusammen, das mit derselben oder einer anderen Methode erfasst wird?

• Empfohlen werden Koeffizienten von r < .40

Konstruktvalidierung mittels Multi-Trait-Multi-Method-Korrelationsmatrix (Campbell & Fiske, 1959)

• dient Überprüfung der konvergenten und diskriminanten Validität

• Einsatz mehrerer Messmethoden (multimethod)

• Vergleich mehrerer Konstrukte (multitrait)

• Zu zeigen gilt, dass hohe Korrelationen zwischen Merkmalen nicht aufgrund gleicher Methoden (Methodenvarianz) zustande kommen

Methodenvarianz durch

• Soziale Erwünschtheit (jeder lügt!!!) in Selbstberichten

• Antwortstile bei Ratingskalen (u.a. Tendenz zur Mitte, Präferenz für Extremwerte)

• Ja-Sage-Tendenzen (Akquieszenz)

• Beobachtungs-bzw. Beurteilungsfehler (z.B. Halo-Effekt)

• Methodik der Messung per se

• -> d.h., zu zeigen gilt, dass Korrelationen ein und desselben Merkmals gemessen mit verschiedenen Methoden höher ausfallen als Korrelationen zwischen verschiedenen Merkmalen gemessen mit derselben Methode

Auf einen Blick:

Kriterien nur schwer anwendbar, wenn die Methoden sich hinsichtlich ihrer Reliabilitäten unterscheiden

• Gefahr, dass Korrelationsunterschiede nur Reliabilitätsunterschiede widerspiegeln

Die Korrelation zwischen zwei Variablen hängt immer auch davon ab, wie reliabel die beiden Variablen jeweils sind.

• Beispiel:

  • Eine Skala für Gewissenhaftigkeit (uV) soll Beurteilungen von Bankangestellten durch deren Vorgesetzte (Kriterium) vorhersagen.

Messfehler:

• Je größer der Messfehler, desto geringer die Korrelation

• Messfehler minimiert Varianzaufklärung

• Korrektur = Minderungskorrektur

Konfundierung mit gleichem Merkmal:

• Konfundierung mit dem gleichen Merkmal führt zu Erhöhung der Korrelation zwischen Prädiktor und Kriterium