VL11 Informationsfunktion

• aus der IRT kann man Informationsfunktion des Items ableiten

  
  

  Item- Information= Beitrag eines Items zur Messung des Merkmals

  -> Es gibt also an wie gut Item interindividuelle Unterschiede abhängig von 0 erfassen kann

  -> je höher I, desto besser differenziert Item in dem Merkmalsbereich 0

• bei ausschließlich richtigen oder falschen Antwort entsteht in der Lilkelihood eine Horizontale ——- ohne Maximum

• Ohne Maximum können alle Items allerdings in jeder Merkmalsausprägung gleich gut/schlecht messen und adaptives Testen ist nicht möglich

• Durch richtige/falsche Antwort entsteht Maximum in Likelihood- Maximum, sodass also durch Tesinformationskurve modelliert werden kann welches Item für welche Merkmalsausprägung die maximale Information liefert

Hoher c Wert verringert Informationswert und demnach erhöht es Standardschätzfehler bei niedrigem teta !

• IRT ist Informationsgehalt abhängig von Teta -> Items können individuell gewäht werden

  -> denn Items können unterschiedl. gut Teta schätzen je nach Standardschätzfehler

• IN KTT ist standardmessfehler globaler Wert und Items messen jede Merkmalsausprägung gleich gut/gleich schlecht

Großer Itempool, dessen Items…

• konform mit verwendeten IRT-Modell sind

• lokal stochastisch unabhängig sind

• Ökonomie

• Zumutbar

• hohe Akzeptanz

die Information darüber, WER Item A richtig/falsch beantwortet hat, sollte keinen Aufschlus darüber geben wer item B richtig/falsch beantwortet

—> Kontrolliert man für Theta, gibt es also KEINEN Zusammenhang zwischen Items (Nullkorrelation)

-> Korrellieren die Items trotz Kontrolle von Theta, messen Items noch etwas anderes

-> Test ist dann mehrdimensional und ist nicht mehr nur abhängig von einer latenten Variable

In beiden Fällen: Für theta kontrolliert (gleiche Ausprägung)

Tabelle 1: lokale stochastische Unabhängigkeit gegeben

-> Itemantworten korrellieren nicht miteinander

-> Bei gleicher Merkmalsausprägung haben Personen gleiche Wahrscheinlichkeit Item zu lösen, unabhängig von vorheriger Antwort

Tabelle 2: lokale stochastische Unabhängigkeit verletzt

-> Itemantworten korrellieren miteinander

-> Ob Item 2 richtig beantwortet wurde, ist abhängig von Antwort auf Item 1

-> Trotz gleicher Merkmalsausprägung, beantworten Personen Items systematisch verschieden -> Item 1 richtig= auch Item 2 richtig usw—> Personen haben unterschiedl. Wahrscheinlichkeit item zu lösen, abhängig von vorheriger Antwort

Mögliche Erklärung:

Das Ergebnis von Item 1 ist notwendig (Zwischenergebnis), um Item 2 zu lösen

konventionelles Testen: Jeder bearbeitet alle Items (zufällige Reihenfolge)

adaptives Testen: Itemreihenfolge und welche Items gewählt werden, ist abhängig von vorangegangenen Antworten

Vorteile:

• höhere Zumutbarkeit -> zeitökonomisch

• höhere ökonomie-> weniger zeitaufwand /weniger Items mit gleichem Erkenntnisgewinn

• höhere Akzeptanz-> Itemschwierigkeit wird an Leistungsniveau angepasst

  
  

a= wie gut diskriminiert Item generell

I= wie gut diskriminiert Item in der Merkmalsausprägung

Ausprägung des Personenparameters 0 und der Item-Response-Funktion

-> Informationsfunktion hat Maximum dort, wo IRT maximale Steigung hat-> also da wo Item am besten differenziert

aber auch: wenn IRT sehr steil (= groß a), so flacht Informationsfunktion schneller ab

also: I(0) ist maximal wenn 0=b also wenn Lösungswahrscheinlichkeit =0,5 ist. Bei der Merkmalsausprägung wird am besten differenziert

-> bei 1 Pl und 2 Pl!

Rateparameter kommt hinzu

-> Ist funktion lange flach, so raten viele

-> im Raten steckt keine systematische Info also ist Information zu Personenunterschieden sehr gering

-> ist also Lösungswahrsch. über mehrere Merkmalsausprägung hinweg

Wie gut kann gesamter Test in welchen Fähigkeitsbereichen gut differenzieren?

für jede Merkmalsausprägung 0 wird Item-Information berechnet und summiert

-> es gilt für jede Merkmalsausprägung also ein Test-Informationswert über Items hinweg

Inhaltlich analog zur Reliabilität

KTT: Ein Wert pro Test über Items hinweg

IRT: Ein Wert pro 0 über Items hinweg

-> je höher Informationsgehalt, desto mehr systematische Informationen

die Zusammenhänge zwischen der Beantwortung verschiedener Items durch eine Person lassen sich alleine auf das latente Merkmal (Fähigkeit) zurückführen

also: bei 0 ist die Wahrscheinlichkeit, ein bestimmtes Item zu lösen, unabhängig von den vorherigen Itemantworten

demnach stochastisch ausgedrückt:

!Die bedingte Wahrscheinlichkeit eines Antwortmusters für n Items ist das Produkt der einzelnen bedingten Wahrscheinlichkeiten!

—> denn Lösungswahrscheinlichkeiten der Items sind alle unabhängig voneinander

• b, a, c erfolgen über Maximum-Likelihood-Schätzmethode

• ebenso der Fähigkeitsparameter 0 erfolgt über ML Schätzung auf Basis der Itemparameter-Schätzungen b,a,c und des Antwortmusters

• wichtig bei Parameterschätzung: lokale stochastische Unabhängigkeit

  
  

Standardschätzfehler und Messfehler: Messungenauigkeit

Standardschätzfehler:

• IRT

• abhängig von Teta

  
  

Standardmessfehler:

• KTT

• unabhängig von Teta

KTT:

• unabhängig von teta (da standardmessfehler auch unabhängig davon iist)

  -> Breite eines KIs über personen hinweg gleich

IRT:

• abhängig von teta (da Standardschätzfehler auch abhängig von teta)

  -> Breite eines Kis zwischen Personen unterschiedlich

oben: IRT

-> Breite des Kis und Standardschätzfehler abhängig von Teta

hier: Test kann vor allem mittlere Merkmalsausprägung gut schätzen, aber oberen/unteren Bereich nicht

unten: KTT

-> Standardmessfehler und Breite KI über Merkmalsausprägungen hinweg gleich

-> Test kann alle Merkmalsausprägungen gleich gut schätzen

Testgüte in der KTT durch die Messgenauigkeit (Reliabilität) bestimmt.

→ Faustregeln zur Einordnung der Zuverlässigkeit/Güte vorhanden

In der IRT gibt es keine solche eindeutige Orientierungshilfe. → Testgüte wird über die Testinformationsfunktion bestimmt und ist damit abhängig vom geplanten Einsatzbereich.

—-> Anwender*innen entscheiden auf Basis der Breite des zu erwartenden KIs (für den erwarteten Fähigkeitsbereich, in dem der Test eingesetzt werden soll)

konventionelles Testen: Alle Personen bearbeiten alle Items

adaptives Testen: Auswahl des nächsten Items abhängig von vorherigem Antwortverhalten

für 1 und 2 PL Modell gilt, dass Information eines Items für Teta= b maximal ist

im 3 PL Modell nicht

-> c verursacht einen Informationsverlust

dadurch: je größer c, desto geringer Information

-> demnach ist Maximum nach rechts verschoben

—> man benötigt höheres Teta, für maximale Information also maximum Information bei Teta > b

Es gibt Ratewahrscheinlichkeit

-> Informationsgehalt gering, da Personen raten können und im Raten keine systematische Information steckt!

Maximum der Information dort, wo IRT am steilsten ist (also am bes

Informationsgehalt ist maximal wo teta=b

1 PL Modell

2 PL Modell

Item mit größtem a ist am steilsten -> liefert also bei Teta=b größten Infromationsgehalt ABER flacht schnell ab

-> nur im mittleren Bereich großer Informationsgehalt

Item mit geringem a ist flach, aber liefert gleichmäßig Information über Merkmalsausprägungen

3 PLModell

Informationsgehalt ist nicht mehr maximal bei b= Teta

sondern: leicht nach rechts verschoben !

—> je größer c, desto geringer Informationsgehalt -> Maximum nach rechts verschoben

d.h. höhere Merkmalsausprägung als b nötig, für maximale Information

DENN: bei niedrigem Teta lässt sich Item kaum beantworten aber es gibt Ratewahrsch.

-> Daher Item bei niedrigem Teta eher wenig Informationen

->Erst bei höherem Teta ist Lösungswahrscheinlichkeit > Ratewahrscheinlichkeit

daher: erst ab dann steigt Informationsfunktion!!!!!