VL 11: IRT-1: 1,2,3, PL-Modelle

•        Modellierung (Zerlegung) der Antwortwahrscheinlichkeit (richitg vs. Falsch) in Personen- und Itemparameter

  •    Personenparameter (ξv): Fähigkeit, Einstellung, Disposition…

  •   Itemparameter: Schwierigkeit (σi), Trennschärfe (λi), Ratewahrscheinlichkeit (ρi)

•      Populationsunabhängigkeit: Unabhängigkeit von Personenparametern und Itemparametern, sodass Items unabhängig von der Person und somit einer spezifischen Population interpretierbar sind.

•       Unidimensionalität einer Skala: Diese lässt sich (u.a.) daran festmachen, dass die Items bei Kontrolle für den Personenparamter nicht mehr korreliert sind (= lokale stochastischen Unabhängigkeit)

• Bei unidimensionalen Skalen sollten Items und Personen sich so anordnen lassen, dass eine „Dreiecksmatrix“ von gelösten und nicht-gelösten Items resultiert

•   (bei Dreiecksmatrix kann Uni Dimensionalität erwartet werden)

•    Möglichkeit der Einteilung (Systematisierung) nach:

  • Modellparametern

  • Art der item charakteristischen Funktion

  • Separierbarkeit der Modellparamter

  • Art der manifesten und latenten Parameter

IRT-Modelle

• Latent-Class-Modelle: Annahme qualitativer Unterschiede zwischen Personen

• Latent-Trait-Modelle: Annahme kontinuierlicher latenter Variablen

• Determinisitsche Guttman-Modell geht davon aus, dass ein Item mit Schwierigkeit (σi) nie gelöst wird, wenn Personenparameter (ξv) unter der Schwierigkeit ist (ξv < σi) und immer gelöst wird, wenn Personenparameter über Itemschwierigkeit ist (ξv > σi)

•     Anstelle von Stufenfunktionen (wie deterministischen Guttman-Modell) gibt es bei probabilistischen Modellen monoton steigende (=S-förmige) Funktionen

•    Konzeptuell wird Item Schwierigkeit noch um eine (kumulative) Normalverteilung ergänzt, um zufälliges falsch und richtig antworten zu modellieren

  
  

•    Lord&Novick (1968): verwenden als Funktion die kumulative Normalverteilung (Normal-Ogive)

•    Rasch (1960) & Birnbaum (1968): mathematisch einfachere logistische Funktion:

•    Alle Items haben gleiche Itemcharakteristische Funktion, unterscheiden sich nur in ihrer Schwierigkeit (σ)

•    Wenn Anstieg (Lösungswahrscheinlichkeit p=.50) bei hohen Werten (rechts; >0) erfolgt, impliziert dies, dass hohe Fähigkeit (0) notwendig ist, um Item richtig zu beantworten

•       Alle Items haben gleiche Itemcharakteristische Funktion, unterscheiden sich nur in ihrer Schwierigkeit (σ)

•    „Ein-Parameter-Logistisches Modell“ mit logistischen IC-Funktion:

  
  

•       𝜉𝑣 = Personenfähigkeit; 𝜎𝑖 = Item Schwierigkeit; 𝑒 = Euler’schen Zahl (2.718 …)

•     Item Schwierigkeit ist definiert als Merkmalausprägung (gleiche Skala!), bei der Lösungswahrscheinlichkeit 0.5 beträgt

•     Item-Schwierigkeit lässt sich ablesen, wenn Wendepunkt der Funktion (Punkt des steilsten Anstieges) auf X-Achse projiziert wird

•    Bei Modellen ohne Ratewahrscheinlichkeit liegt Wendepunkt bei p=.50 Lösewahrscheinlichkeit

•    Im Fall der Modellgültigkeit sind alle IC-Funktionen parallel verschoben, mit dem Schwierigkeitsunterschied δ = σj – σi

• Aufgrund der Parallelität der Funktionen kann Schwierigkeitsunterschied zwischen Items unabhängig von Personenfähigkeit festgestellt werden

•     Stichprobenunabhängigkeit

•   Im Umkehrschluss kann Unterschied zwischen 2 Personenparametern (ξw- ξv) unabhängig davon festgestellt werden, ob einfache oder schwere Items verwendet werden

•   Diese Spezifische Objektivität ist Grundlage des adaptiven Tests

•     Als zweiter Parameter (über Item Schwierigkeit σi hinaus) kommt noch Item Diskrimination (λi) hinzu: Items diskriminieren unterschiedlich gut zwischen Personen

•   Als 2. Parameter (über Item Schwierigkeit σi hinaus) kommt noch Item-Diskrimination (λi) hinzu:

•    Wird angenommen, dass Items unterschiedlich gut zwischen Personen diskriminieren, also unterschiedliche Trennschärfen für latente Merkmal ξi besitzen

       Funktion des 2-Parameter-Modells ist demnach:

•       Birnbaum 2-Parameter-Modell weist weniger vorteilhafte Modelleigenschaften auf als 1-Parameter Rasch Modell: So besitzt es keine spezifische Objektivität

• Das „Rate-Modell“ hat 3 Parameter: über Itemschwierigkeit (σi) und Diskrimination (λi) hinaus noch einen Parameter, der Richtig-Raten (ρi) selbst bei sehr geringer Fähigkeit erfasst

•     Das „Rate-Modell“ hat 3 Parameter: über Itemschwierigkeit (σi) und Diskrimination (λi) hinaus noch einen Parameter, der Richtig-Raten (ρi) erfasst

•      Rate-Parameter macht Sinn für alle Testverfahren mit Multiple-Choice Format bei dem richtige Antwort auch geraten werden kann

•   Bei 5 Antwortalternativen wird eine Ratewahrscheinlichkeit von 20% erwartet

•    Allerdings wird ρi anhand der Daten geschätzt, und kann einen anderen Wert annehmen je nach Schwierigkeit der Distraktoren

•      Vollständige Formel lautet:

-      

•    Auch das 3-Parameter-Modell weist keine spezifische Objektivität auf

- Rtwahrscheinlichkeit (ρi) null ist, reduziert sich Modell zum 2-Parameter Modell

•    Ratewahrscheinlichkeit „schiebt“ die sigmoidale Funktion nach oben und staucht sie

  
  

•      Schwierigkeit wird weiterhin am Wendepunkt (Punkt des steilsten Anstiegs) abgelesen

•   Hier liegt pi=.20, sodass bei p=.60 (Mitte zwischen Ratewahrscheinlichkeit und 100% Wahrscheinlichkeit) abgelesen wird.

•      Ratewahrscheinlichkeit „schiebt“ die sigmoidale Funktion nach oben und staucht sie

•     Schwierigkeit wird weiterhin am Wendepunkt (Punkt des steilsten Anstiegs) abgelesen

• Beispiel: Hier liegt pi=.20, sodass bei p=.60 (Mitte zwischen Ratewahrscheinlichkeit und 100% Wahrscheinlichkeit) abgelesen wird.

•       Welches Modell beschreibt Daten am besten? (relativiert an seiner Komplexität?) -> id.r. wird ein möglichst einfaches Modell bevorzugt

•      Modell-Differenztests sind möglich, da Modelle genestet sind

•      Fit-Indizes für jedes Modell: RMSEA, CFI, TLI

•       Modellvergleichsindizes: AIC, BIC und Derivate

-       Items sind im Bereich ihrer stärksten Steigung am informativsten (Personen-Unterschiede werden am besten diskriminiert)

-       Informationskurve (Iv|ξv bzw. Iiv) kann als Produkt bedingter Lösungs- und Nicht-Lösungswahrscheinlichkeit des Items i bei gegeben ξv berechnet werden:

-       𝐼𝑖𝑣 = 𝑃(𝑥𝑣𝑖 = 1|𝜉𝑣) ∙ 𝑄(𝑥𝑣𝑖 = 0|𝜉𝑣)

-       Numerische Ausprägung Iiv der Iteminformationsfunktion ist für…

-       Position der IIC: Maximum liegt bei steilstem Anstieg der ICC

-       Höhe der IIC: Abflachung resultiert bei ungünstigen Item Charakteristiken wie einer geringen Diskrimination und hoher Ratewahrscheinlichkeit