5. Gütekriterien

• Die Qualität eines Testverfahrens zeigt sich anhand der “Stärke” seiner Gütekriterien

Strukturübersicht:

• Qualitätskriterien, die bei der Entwicklung, Anwendung & Intepretation von psychologischen Tests & Messinstrumenten berücksichtigt

• um sicherzustellen, dass diese zuverlässig & valide sind

• dienen als Maßstab für die Qualität von psychometrischen Instrumenten

• Verlässliche & gültige Ergebnisse

  • um fundierte Entscheidungen auf Grundlage der Ergebnisse zu treffen

• Vergleichbarkeit

  • gewährleisten, dass Testergebnisse vergleichbar sind, über vers. Personen und Zeitpunkte

• Aussagekraft

  • Interpretation der Testergebnisse ist sinnvoll & relevant, und erhöhen die Aussagekraft der durchgeführten Messungen

• Grad der Unabhängigkeit der Testergebnisse vom Untersucher

• Unabhängigkeit der Testergebnisse von der Testleitung

• In wissenschaftlichem Kontext bezieht sich Objektivität darauf, wie frei von persönlicher Meinung oder Voreingenommenheit eine Messung, Beobachtung oder Auswertung ist

Durchführungsobjektivität

• Gleichheit der Bedingungen

Auswertungsobjektivität

• eindeutige Auswertungsregeln

• “ohne Spielraum”

• …

Interpretationsobjektivität

• eindeutige Interpretationsregeln für die Test-Rohwerte

• Befunde führen zu gleichen Interpretationen

Bedingungen, die zur Erreichung der Interpretationsobjektivität beitragen:

• Anonyme Bewertung

• klare Bewertungskriterien

• mehrere Prüfer

• Feedback

• definiert sich durch die Zuverlässigkeit eines Tests, d. h. Grad der Genauigkeit, mit der z.B. eine Persönlichkeitseigenschaft gemessen wird

  • empirisches/statistisches Maß

  • Korrelationskoeffizient häufig maß der Reliabilitätsschätzung

• mehrere Messungen führen zum gleichen Ergebnis

• Re-Test, Testhalbierung

Innere Konsistenz (=test-technische Messgenauigkeit):

• Split-Half-Reliabilität

  • Häufig genutzte Methode zur Test-Halbierung

• Cronbachs α (alpha)

  Vorgehensweise:

  • einmalige Testvorgabe

  • Splittung in k-Testteile, die als äquivalent betrachtet werden (z.B. 20 Items = 20 Testteile)

  • Aussage über die technische Messgenauigkeit des Tests

Messgenauigkeit von Stabilität o. Bedingungskonsistenz:

• Test-Retest-Reliabilität (wiederholen)

  • identischer test wird an der selben Testpersonengruppe zu zwei im Abstand definierten Zeiten durchgefhührt

  • Rohwert beider Messzeitpunkte werden korreliert -> Korrelationskoeffizient definiert die Reliabilitätsschätzung

• Test-Paralleltest-Reliabilität

  Voraussetzung, Vorgehensweise, Aussage:

  • zweimalige Testvorgabe (Parallelform A & B)

  • Vorgabe an identischer Testpersonengruppe

  • Signifikanzprüfung beider Korrelationskoeffizienten

  Es gibt nur wenige Testverfahren, die Paralleltest-Formen aufweisen, Beispiel: Mathematiktest für Ausbildung und Beruf

Allg. Definition:

Ein Testverfahren ist dann valide, wenn es die Eigenschaft, die es zu messen vorgibt, auch tatsächlich misst

Inhaltliche Validität liegt dann vor, wenn die Testaufgabe selber einen eindeutigen Schluss auf die Fertigkeit zulässt

Beispiele:

• Fähigkeit, Farben zu sehen

• Fahrprüfung

Kriterienbezogene Validität liegt dann vor, wenn die Testergebnisse mit einem definierten Kriterium korrelieren

• innere kriterienbezogene Validität:

  Beispiel für das Kriterium:

  -> ein valider Test, der dasselbe Persönlichkeitsmerkmal erfasst

• äußere kriterienbezogene Validität:

  Beispiel für das Kriterium:

  -> Berufserfolg: operationalisiert durch Einkommen/Umsatz, Anzahl der Mitarbeiter und so weiter.

  (d.h. Übereinstimmung mit Realität außerhalb des Labors)

Konstruktvalidität liegt dann vor, wenn ein Test eine hohe Beziehung zu angenommenen o. erschlossenen Eigenschaften aufweist, d.h. alle Eigenschaften erfasst, die durch das Konstrukt abgebildet werden sollen

Beispiele:

• Extraversion

• Intelligenz: Logisches Denken, Sprachverständnis, Arbeitsgedächtnis

• Stressresistenz

Beziehnungen, u.a.:

• Obejektivität bestimmt die maximale Höhe der Reliabilität

• Reliabilität bestimmt die max. Höhe der Validität

• Ein Messverfahren kann eine sehr hohe Objektivität und sehr hohe Reliabilität - aber keine Validität - aufweisen