Testtheorie 17-19

• äquidistante Kategorien

• Annahme: Invarianz der Kategorienparameter

• Kategoriewahrscheinlichkeit P(n)

• Veranschaulichung und Parametisierung = in Beziehung zueinander

• Eigenschaften der Parameter —

  > Schwierigkeitsparamter = nach Andersen Summe der Itemparamter in Modell nach Masters

  —> Schwierigkeitsparamter = nach Andrichs Durchschnitt Parameter im Modell nach Masters

• ganze Modellfamilie für Items mit polytopen, geordneten Itemantworten

• Score Category Response Function (SCRF) = Kategoriewahrscheinlichkeit

• Antwortmusterwahrscheinlichkeit

• kognitiver Prozess = endliche Zahl von Stufen genommen

• Processing Function M = beschreibt Wahrscheinlichkeit, Stufe k bei Fähigkeit n und gemeisterten Stunden k-1 zu erreichen

• Kategorieantwortwahrscheinlichkeit P (n)

• Abhängigkeitsstruktur innerhalb Items und kognitive Prozesse

• Schrittweises Lösen von Items

• binäre Modellierung: nächste Stufe nehmen oder nicht

• —> Erweiterung der bisherigen Modelle

• —> mehrere Merkmale gibt, die im Zusammenhang zur gezeigten Antwort stehen

• —> Ziel: Einfluss von mind. 2 Merkmalen auf Antwortwahrscheinlichkeit beschreiben

—> Verallgemeinerung GRM zum mGRM

—> kumulative Wahrscheinlichkeiten im mGRM

• —> gleichzeitige Schätzung von Item- und Personenparameter

• —> Zahl der zu schätzenden Parameter abhängig von Stichprobengröße

• —> kann zu inkonsistenten Parameterschätzungen führen

• —> Schätzung Itemschwierigkeit/Schwellenparameter ohne Schätzung Personenparameter

• —> für zwei-, drei- oder mehrparametrische Modelle (bei CML nicht)

• —> individuellen Personenwerte als Realisationen einer latenten Zufallsvariable mit bestimmten       Verteilung aufgefasst

• JML = Joint-Maximum-Likelihood-Schätzung

• CML-Schätzung (Conditional-Maximum-Likelihood-Schätzung)

• MML-Schätzung (Marginal-Maximum-Likelihood-Schätzung)

• alle Schätzwerte basierten auf ML-Methoden

• Baye’sche Schätzverfahren

• Likelihood-Funktion = Wahrscheinlichkeits- bzw. Dichtefunktion für Ereignis Y = y in Abhängigkeit von zu schätzenden Parameter

• ML-Schätzer = Wert von zu schätzenden Parameter im Parameterraum der LikelihoodFunkton für Ereignis Y = y

• Prä-facto-Perspektive der Wahrscheinlichkeit

  —> Wahrscheinlichkeitsaussagen nur für Ereignisse sinnvoll, die noch nicht eingetreten sind

• gemeinsame Schätzung von Item- und Personenparametern

• Vorteil: keine Verteilungsannahmen in Bezug auf latente Variablen gemacht

  —> JML-Schätzung auf mehrdimensionale Modelle erweitert

• Nachteil: Zahl der zu schätzenden Parametern von Stichprobengröße abhängig, da Zahl der Personenparameter steigt

• Suffiziente Statistiken —> Summenscore als suffiziente Statistik im Rasch-Modell —> Suffizienz = Inferenz in parametrische Modellen

• S(v)-bedingte Antwortwahrscheinlichkeiten im Rasch-Modell —> Antwortwahrscheinlichkeit P(Y) für jede Person v bez+glich Antwortmusters y —> Satz der totalen Wahrscheinlichkeit —> symmetrische Grundfunktion = Ausdruck im Nenner

• konsistente Itemparamterschätzung von ein- und mehrparametrischen IRT-Modelle —> Verteilung der latenten Variablen 0 wird modelliert

• gemeinsame Verteilung manifester und latenter Variablen

• Anwendung des Bayes-Theorems in MML Schätzung

• Ansatz zur Bestimmung der statistischen Inferenz unbekannter zu schätzender Größen anhand beobachteter Daten

• Unterscheidung zur klassischen Statistik

• subjektive Wahrscheinlichkeit = solange gesuchtes Parameter unbekannt ist

• A-posteriori-Verteilung: normiertes Produkt aus Likelihood-Funktion und A-priori-Verteilung

  —> unbedingte Wahrscheinlichkeit der beobachteten Daten = Normierungskonstante

• A-posteriori-Verteilung als Mischung aus Vorwissen und empirischer Information

• Gewichtung der Vorinfo durch A-priori-Verteilung

• Wahl zwischen alternativen A-priori-Verteilungen

1. Vorschlagsdichte = zufälliger Wert gezogen

2. Akzeptanzverhältnis und A-Posteriori-Dichte berechnet

3. Akzeptanzwahrscheinlichkeit als Wert angenommen

4. Schritt 1-3 so lange wiederholt bis Maximalzahl T oder Abbruchkriterium erfüllt

• Faktorisierungssatz der Wahrscheinlichkeit

• Algorithmus des Gibbs-Samplers

• Spezialfall des MH-Algorithmus

• für Parameterschätzung in IRT

• Vorteil: muss nicht zwischen inzidentiellen und strukturellen Parametern unterschieden werden

• Variable Standardfehler = Standardfehler der Personenparameter variieren in Abhängigkeit der latenten Variablen

• bedingte Varianzfunktion = Variabilität hinsichtlich Antwortkategorien von Item i in Abhängigkeit der latenten Variablen an

• Iteminformationsfunktion = ist gleich der mit quadrierten Itemdiskrimination gerichteten bedingten Varianzfunktion

• Präzision = negative zweite Ableitung der Schätzfunktion

• individuelle A-posteriori-Standardabweichung als Maß der Ungenauigkeit der Personenparameterschätzung

• spezielles Verfahren zur computerbasierten Messung individueller Merkmalsausprägungen

• Auswahl der zur Bearbeitung vorgelegten Items orientiert sich am vorherigen Antwortverhalten

• adaptiver Algorithmus = Regelsystem, das zu Beginn und während des Tests die Itemauswahl trifft

• Einsatz bei IRT

• geeignete Testwerte und ungeeignete

• Itempool = Sammlung von Items —> Itemkalibrierung = Itempool kalibriert und prüfen dass IRT Annahmen gelten

• psychometrisches Modell

• typischer Ablauf (s. Abb.)

1. Itempool —> Menge der Items

2. Itemauswahl zu Beginn Testung (Testbeginn)

3. Schätzung individuelle Ausprägung des zu messenden Merkmals

4. Auswahl von Items während Testung

   a) Voll adaptive Itemauswahl

   b) eingeschränkte adaptive Itemauswahl

5. Umgang mit Einschränkungen bei Itemauswahl

6. Kriterien zur Beendigung der Testung

1. 1) bestimmte Anzahl von Items vorgelegt wurden

2. 2) Standardfehler der Personenparameterschätzung klein ist

3. 3) max. Testzeit erreicht

4. 4) alle im Itempool verfügbaren Items vorgelegt wurden

• Vorteile: hohe Testsicherheit, standardisierter Testablauf, individuumbestimmte Testgeschwindigkeit, schnelle/ fehlerfrei Testwertbestimmung, Auswertung ohne Fachwissen, schnelles Ergebnis, Verwendung anderer Itemformate

• Nachteile: hoher Entwicklungsaufwand, Bereitstellung PC, Fairness hinsichtlich Persönlichkeitsmerkmale

• Messefizient —> Grad der Genauigkeit von Testwerten —> Verringerung der Anzahl vorzugebender Items —> vergleichbare Standardfehler

• Validität

• Motivation zur Testbearbeitung