2 Diagnostische Gütekriterien

Standardisierung: Testbedingungen sind standartisiert bzw werden konstant gehalten. Das Material und die Instruktionen sind gleich. Es gibt eine genaue Anleitung zur Durchführung und Auswertung

Differenzierung: Merkmalsträger sollten sich im diagnostisch relevanten Verhalten maximal unterschieden. Wir sollten mit den Items differenzieren können, ob die Person eine hohe Intelligenz hat(richtig bewertet) oder eine mittlere (falsch beantwortet)

Objektivität: Ausmaß, in dem die Ergebnisse eines Testverfahrens unabhängig von der Person des Untersuchungsleiters und der Untersuchungssituation sind.

Reliabilität: Ausmaß, in dem das Testverfahren das zu messende Konstrukt zuverlässig und genau misst.

Validität: Ausmaß, in dem das Testverfahren auch tatsächlich das Konstrukt misst, welches rer Test zu messer vorgibt. Übereinstimmung zwischen empirischer Messung und theoretischer Konstruktebene

Ökonomie: Der Test sollte möglichst wenig Ressourcen erfordern

Nützlichkeit: Untersuchung eines Merkmals sollte ein praktisches Bedürfnis existiert

Normierung: Ausmaß, in dem individuelle (Roh-) Testergebnisse representative Aussagen auf Basis einer Vergleichsgruppe (sog. Einstichprobe) zulassen.

Testfairness: Teilnehmer unterschiedlicher sozialen Gruppen sollen bei gleichen Merkmalsausprägungen gleiche Testergebnisse erzielen.

Der Grundgedanke ist, das diemehrmalige Messung desselben Merkmals bei derseoben Person unter den selben Umständen (Objektivität) Ausschluss gibt über die Messgenauigkeit des Verfahrens.

Kommt es zu Abweichungen bei dieses Messungen, werden diese als Messfehler des Verfahrens betrachtet.

Messung: Je höher die Korrelation der Testergebnisse über verschiedene Messzeitpunkte hinweg, desto höher die Reliabilität. Eine Grundvoraussetzung ist die parallele Messung (es sollte sich also nicht verändert haben an den Merkmalen)

Schwerpunkt der KTT liegt auf der Betrachtung von Messfehlern.

1. Der beobachtete Messwert (X) einer Person in einem Test setzt sich additiv zusammen aus einem wahren Wert T(true score) und einem Messfehler E. => X = T+E

2. Der Mittelwert des Messfehlers über unendliche Messungen hinweg bei derselben Person ist 0. Der Erwartungswert für einen Messfehler liegt deshalb auch bei 0 => E(E) =O

3. Die Messfehler sind unabhängig vom wahren Wert. Was bedeutet dass die Korrelation vom Testergebnis und dem Messfehler 0 ist. => Corr(E,T) = 0

4. Messfehler zweier Test, Testteile oder Items A und B sind auch unabhängig voneinand. => Corr(Ea, Eb) = O

Die Annahmen sind empirirsch leider schwer überprüfbar. Unendlich oft wiederholte Messungen ohne den wahren Wert zu beeinflussen ist unrealistisch (zb. Trainingseffekte)

Die Annahmen sind auch nicht völlig plausibel.

Die gleiche Messgenauigkeit in Randbereich zu erziehel (ab IQ 130) wie in der Mitte (100) ist unwahrscheinlich.

Messfehler sind in der Praxis nicht komplett zufällig. (Zb. Soziale erwünschtheit)

Die Kritik ist gravierend

Warum also doch?

Der Grund ist pragmatisch, viele Verfahren die nach der KTT entwickelt wurden haben sich bewährt in der Praxis)

In der praxis ist die perfekte Parallele Messung nicht möglich.

Es ist realistisch dass sich bei mehreren Messungen das Merkmal bei derselben Person verändert -> Trainingseffekte, Ermüdung, etc.

Es entstehen unterschiedliche Verfahren um dennoch möglichst exakte Schätzung der Reliabilität abzugeben.

Dieselbe Messung wird an der selben Personenstichprobe zu zwei unterschiedliche Zeitpunkten durchgeführt. Die Korrelation der beiden Messungen ist der Schätzer für die Retest-Reliabilität.

Man setzt vorraus dass das Merkmal in diesem Zeitraum konstant ist. Herausforderungen sind natürlich Training, Ermüdung oder die Stabilität des Merkmals an sich.

Hier wird nicht der gleiche Test wiederholt, sondern 2 verschiedene Varianten des Test (Paralleltest). Die Korrelation zwischen diesen beiden Test gilt als Schätzer für die Paralleltest-Reliabilität.

Herausforderung ist das 100% parallität bei zwei Test nicht realistisch ist. (Außnahme d2 Test).

Gewöhnung und Training kann auch bei unterschiedlichem Material auftauchen.

Stehen keine Paralleltest oder auch keine seperaten Messzeitpunkte zur Verfügung, kann man den Test ja auch einfach in der Hälfte aufteilen. Die Korrelation beider Hälften ist dann der Schätzer.

Typischer Weise odd even Methode. Hier wird der Test in gerade vs. ungerade Items, um Reihenfolgeefekkte möglichst gering zu halten. Alternativ Zufallsaufwahl.

Herausforderung dass lediglich die Reliabilität des halben Test gemessen wird.

(Lösung: Spearman Brown Formel)

Jedes Item wird hier als eigener paralleler Test verstanden. Was bedeutet, dass alle Items miteinander korreliert werden. Der Mittelwert dieser Korrelation ist unser Schätzer. Er wird auch Cronbach Alpha genannt.

Wenn wir nach der Annahme der KTT gehen, sollten sich die Fehler bei sehr often messen rausmitteln. Zwangsläufig steigt also die Reliabilität mit steigender Testlänge.

Die Formel korrigiert die Reliabilität bei Verlängerung des Tests.

Die IRT beschreibt eine alternative KTT.

Hier geht man davon aus, das Testitems Indikatoren sind für latente Fähigkeiten oder Persönlichkeitsmerkmale.

Zb. Die Antwort auf einem Item in einem Intelligenztest ist ein Indikator für die zugrundeliegende Fähigkeit des Probanden.

Dabei wir ein probabilistischer Zusammenhang zwischen Testscore und latenter Dimension angenommen. Es gibt einen deterministischen Zusammenhang, eer lediglich durch Messfehler zufällig verfälscht wir.

In der PTT wird für jede Antwort eine Lösungswahrscheinlichkeit p ermittelt, die abhängt von:

1. Fähigkeit/Merkmalsausprägung der Testperson

2. Schwierigkeitsgrad der Utems

Vorteil: Es müssen weniger Fragen gestellt werden im Vergleich zur KTT, da die Itemschwierigkeit im Modell berücksichtigt wird.

Nachteil: Aufwendige Testkonstruktion

Ein Spezialmodell der IRT ist die sog. Guttmann Skala für dichotome Items.

Annhame: Wird ein Item positiv beantwortet, werden alle vorgehenden/leichteren Items auch positiv beantwortet. Es wird lediglich der Kipppunkt in der Rangreihe der Items identifiziert.

Nachteil: Modellannzsinf häufig in der Praxis verletzt, keine idealtypische deterministische Rangreihung.

Hohe Reliabilität ist nicht möglich wenn die Objektivität nicht gegeben ist. Der Test kann nicht genau messen, wenn es bereits an der Durchführung, Interpetation und der Auswertung hapert.

Geringe Reliabilität führt zwangsläufig zu einer verminderten Validität. Wenn ein Test nicht genau misst, ist es egal was er zu messen versucht. Das Ergebnis wird nicht aussagekräftig sein.

Logik: Das zu messende Konstrukt kann über eine theoretische Gesamtheit an Items (“Itemuniversum”) beschrieben werden. (Ein Beruf hat verschiedene Facetten). Eine hinreichend große, representative Teilmenge sollte gegenen sein, um Inhaltsvalidität feststellen zu können.

Die Inhaltsvalidität misst ob alle Komponenten des zu messenden Konstrukts erfasst wurden. Auch ob die gewählten Items geeignet sind, um die Konstrukte abzubilden.

Die Kriteriumsvalidität misst, ob eine Prognose durch den Test abgegeben werden kann. Das ist ein Verhalten in der Zukunft. (Krankheit, Berufserfolg, etc.)

Das Verhalten, welches man vorhersagt, wird Kriterium genannt.

Anders als bei der Inhaltsvalidität, kann man hier statistische Kennzahlen bestimmen. Reliabilität muss aber definitiv gegeben sein.

Man differenziert durch die zeitliche Verfügbarkeit des Kriteriums.

Übereinstimmunsvalidät/Konkurrente Validität

Hier ist das Kriterium bereits bei der Testung verfügbae (Abiturienten absolvieren gemeinsam mit dem Abi einen Intelligenztest)

Prädiktive/Prognostische Validität

Kriterium ist hier erst später verfügbar. (Intelligenztest bei Grundschülern soll Abi erfolg verhersagen)

Hier wird geprüft ob die empirirsch beobachteten Zusammenhänge des Konstrukts mit anderen Konstrukten zu den theoretischen Erwartungen passen.

Man unterscheidet zwei Arten der Konstruktvalidität:

1. Konvergente Validität: Inhaltlich ähnliche Merkmale sollten positive Korrelationen zum Testergebnis aufweisen

2. Diskriminante/Divergente Validität: Unverwandte Merkmale sollten keine korrelationen aufweisen und sich differenzieren.

Messing: MTMM- Mateix (Multi Trait Method Matrix)

Man Vergleicht Korrelationen mehrerer Traits über mehrere Methoden hinweg.

Sie beschriebt die Transparenz des Testverfaherns. Ist also für den Laien auch verständlich was hier gemessen wird?

Das ist wichtig, da es die Kooperationsbereitschaft der Testperson erhöht. Aber man kann auch argumentieren dass ein hoher Wert die Ergebnisse verfälschen könnte.