5: Gütekriterien diagnostischer Instrumente 3

Nebengütekriterien

• Normierung

• Ökonomie

• Nützlichkeit

• Unverfälschbarkeit

• Zumutbarkeit

• Akzeptanz

• Fairness

Definition:

• Die Normierung eines Tests liefert ein Bezugssystem, um die individuellen Testwerte einer Person mit den mittleren Testwerten einer größeren und meist repräsentativen Stichprobe von Testteilnehmern einordnen zu können.

• Wichtig, wenn ein Test zur Einzelfalldiagnostik eingesetzt werden soll

• Normwert gibt an, wie weit eine Person mit Testleistung unter oder über dem Mittelwert der Vergleichsstichprobe liegt

Voraussetzungen für Normierung:

• Repräsentativität der Stichprobe

• Standardisierte Durchführung des Tests/Fragebogen

Güte der Normierung ist abhängig von:

• Größe und Repräsentativität der Stichprobe

• Differenzierungsgrad nach relevanten Merkmalen

  • z.B. Alter, Geschlecht, Bildung

• Aktualität der Normen

• Normen sollten alle 8-10 Jahre überprüft und ggf. erneuert werden! (siehe z.B. DIN 33430)

Normwerte:

• Äquivalentnormen

• Abweichungsnormen

• Prozentrangnormen

Zuordnung der Rohwerte zum Durchschnittswert der individuellen Referenzgruppe

• z.B. Alter, Geschlecht, Bildungsstand, etc.

Häufig bei Entwicklungsstanddiagnostik

• z.B. kogn. Leistungsfähigkeit eines Kindes ausgedrückt in durchschn. Leistungsfähigk. eines bestimmten Alters

Bsp.: Die Aufmerksamkeit eines Kindes im Alter von 6 Jahren entspräche der eines durchschnittlichen...

• 5-Jährigen oder jünger (unterdurchschnittlich)

• 6-Jährigen (durchschnittlich)

• 7-Jährigen oder älter (überdurchschnittlich)

Transformation individueller Testwerte in Normwerte, welche angeben, wie weit eine Person über oder unter dem Durchschnitt einer repräsentativen Referenzpopulation liegt

Voraussetzung: Standardnormalverteilung

Indiv. Testergebnis dargestellt als Abweichung vom Mittelwert der Referenzgruppe in Einheit der Standardabweichung der Referenzgruppe

Übliche Äquivalenznormen:

• IQ-Werte

• T-Werte

Transformation individueller Testwerte in Normwerte, welche angeben, welchen Rang eine Person im Vergleich zur Referenzgruppe einnimmt, ausgedrückt in % von Merkmalsträgern, die gleich große oder kleinere Merkmalsausprägung aufweisen.

Keine Verteilungsannahme notwendig!

Berechnung:

Definition:

• Unter der Ökonomie eines Verfahrens versteht man dessen Kosten in Relation zur erzielbaren diagnostischen Aussage.

• Test ist ökonomisch, wenn Einsatz insgesamt wenig Geld, Zeit und Aufwand kostet und Aufwand/Kosten in angemessener Relation zu der zu erfassenden Information stehen

Beispiele:

• Gruppen- vs. Einzeltestung

• Computertestung vs. Papier- Bleistift-Testung

Ein Verfahren ist nützlich, wenn es...

• ein Merkmal misst, das von Interesse ist.

• Informationen liefert, die bereits vorhandene/eingesetzte Verfahren nicht liefern können (vgl. Inkrementelle Validität)

• das Merkmal zuverlässiger, valider und/oder ökonomischer erfasst werden kann als mit einem anderen Verfahren.

• die auf seiner Grundlage getroffenen Entscheidungen (Maßnahmen) mehr Nutzen als Schaden erwarten lassen.

Intelligenz: durchschnittliche Kriteriumsvalidität: r = .62; abhängig vom Komplexitätsgrad des Berufes

Persönlichkeit: Gewissenhaftigkeit ist validestes Persönlichkeitsmerkmal zur Vorhersage berufliche Leistung, durchschnittliche Validität von r = .27

dennoch werden Persönlichkeits- und Intelligenztest in Dtl. vergleichsweise selten in der personaldiagnostischen Praxis eingesetzt

Definition:

• Ein Test erfüllt das Gütekriterium der Zumutbarkeit, wenn er absolut und relativ zu dem aus seiner Anwendung resultierenden Nutzen die zu testende Person in zeitlicher, psychischer sowie körperlicher Hinsicht nicht über Gebühr belastet.

Einflussfaktoren: u.a. Dauer und Anstrengungsgrad der Durchführung, wahrgenommene Intensität der Aufgaben/Fragen

wenig zeitaufwendige Verfahren gelten in der Regel als zumutbar

Probleme mit Zumutbarkeit können sich negativ auf Akzeptanz eines Tests bzw. gesamte diagnostische Untersuchung auswirken

Definition:

• Ein Test erfüllt das Gütekriterium der Akzeptanz, wenn er von denjenigen, die ihn durchführen als angemessen und brauchbar zur Messung des jeweiligen Konstrukts erachtet wird.

Bsp. Eignungsdiagnostik:

• Insbesondere Intelligenztests haben Akzeptanzproblem

• Spezifische Fähigkeitstests besser von Testperson akzeptiert als allgemeine Fähigkeitstests

• transparente Verfahren (Augenscheinvalidität) werden in der Regel eher akzeptiert, ABER: Transparente Verfahren sind weniger verfälschungssicher!

• Geringe Akzeptanz reduziert Mitmachbereitschaft/Ernsthaftigkeit der Testbearbeitung

• Positive Wahrnehmung des Auswahlprozesses hat Auswirkung auf Bereitschaft, Stelle anzunehmen

• insbesondere in Zeiten des Fachkräftemangels wird Akzeptanz seitens der Bewerber zunehmend berücksichtigt

Definition:

• Ein Test erfüllt das Gütekriterium der Unverfälschbarkeit, wenn das Verfahren derart konstruiert ist, dass die zu testende Person durch gezieltes Testverhalten die konkrete Ausprägung ihrer Testwerte nicht steuern bzw. verzerren kann.

  
  

Definition:

• Ein Test gilt als fair, wenn es Messwerte liefert, die nicht durch die Zugehörigkeit der zu diagnostizierenden Person in irrelevanter Weise beeinflusst werden.

Bsp.: MathematiktestausTextaufgaben, der Kinder mit Migrationshintergrund benachteiligt

Lösung:GruppenspezifischeNormwerte für unterschiedliche Gruppen (z.B. Geschlecht, Alter, Bildungsgrad)

Wie informiere ich mich über Tests?

• Testmanual

• Kurzbeschreibung bei Verlagen (z.B. Hogrefe)

• Testdiagnostische Zeitschriften: z.B. Diagnostica, Zeitschrift für Differentielle und Diagnostische Psychologie

• Testbeschreibungen in Datenbanken, in denen Tests kostenlos zur Verfügung stehen, z.B. PSYNDEX Tests unter

• Testrezensionen -> Testbeurteilungssystem des Testkuratoriums (TBS-TK)

Vorteile:

• Einheitliche Bewertung von Tests

• Fördert Vergleichbarkeit von Tests

• Kurze Testrezensionen

• Einfache Zusammenfassung der Ergebnisse

• Bewertung von Tests, die sonst in der Wissenschaft keine Beachtung finden

Nachteile:

• Bislang wenige Rezensionen

• Teilweise eher milde Testbewertungen

• Wird es wirklich in der Praxis rezipiert?

  • Faktoren wie Akzeptanz durch Bewerber, Kosten, und Verbreitungsgrad sind oft wichtiger als Validität!