Zentrale Idee CAT
Jeder bekommt nur optimale items
bei besserer Leistung —> schwierigere Items
Item selektion für Individuum CAT
anhand von Antworten aus vorherigen Items
Vorwissen über Individuum
Building Blocks CAT
6 Stück
Item Pool
Teststart
Person Parameter Estimation
Item Selektion
Constraint Management
Testende
Effizienz CAT
Höhere Präzision
Kürzere Testungen
Daumenregel: Man braucht nur ca. 50% der Items
Basis von CAT
Item Response Theory
3PL Modell
Warum ist CAT AI?
Definiert als Fähigkeit
externale Daten richtig zu interpretieren
von den Daten zu lernen
Das Erlernte nutzen um durch flexible Anpassung bestimmte Ziele zu verfolgen
CAT Zukunftsorientierung
Adaptivität und Individualisierung
Computational power in den 2000ern erreicht
wird für LSA genutzt
schnelle Netzwerke & Cloud computing bringt neue Möglichkeiten mit sich —> online Anpassung und auf Populationsebene
Item Pool Konventionelles Testen vs. CAT
Kalibrierung fällt bei CAT weg (enormer Aufwand durch große Stichproben und Viele Items
CAT: von Beginn viel kleinere Validierungsstichproben nötig, jährlich einige wenige neue Items
CCS
Continuous Calibration strategy
Weglassen von initialer Kalibrierungsstudie (wie in konventionellen Testungen) .-> weniger Arbeit
von Beginn an kleiner item pool
Skalenwerte bleiben stabil, da laufend aktualisiert
kontinuierliche Verbesserung der geschätzten Parameter
Identifizieren problematischer Items
Kontrollieren von Item-Position effects & Carry-over effects
Item position effects
dass die Stelle d. Items die Beantowrtung beeinflusst zb durch Müdigkeit bei späteren Items
Carry over effects
wenn vorherige Items die Antwort auf spätere beeinflussen
-> Frage zu depressiver Verstimmung und danach Frage nach allg. Wohlbefinden
Anwendbarkeit CAT
neue adaptive Testungen entwickeln
lineare testung in CAT umwandeln
Durchführung CAT
Testungen anfangs nicht-adaptiv
im Laufe der Zeit immer mehr Adaptivität, Flexibilität und Präzision
laufende Skalierung
Arten von Items CAT
Link items —> bereits kalibriert, dienen als Referenz
new items -> noch nicht kalibriert
adaptive items -> basierend auf den individuellen Antworten angepasst
Arten von CLuster
linking cluster
calibration cluster
adaptive cluster
CCS über Testzyklen
Initiale Phase —> Calibration Cluster
Adaptive Phase —> Anfangs Calibration, Linking + adaptive CLuster
—> irgendwann nur noch Linking und adaptive
2pl Model MSE
mit mehreren Testzyklen reduziert sich der MSE
bei Stichprobe mit n=50 noch relativ hoher upper bound
bei n=100 auch upper bound niedrig, bei n=300 upper bound nicht mehr groß abweichend vom MSE
CAT ist …
intuitive Testweise
effizient
braucht psychometrie
ist AI
ist zukunftsorientiert
benötigt keine großen Items pools oder Kalibrierungsstichproben
Zuletzt geändertvor 4 Tagen