Es gibt zwei Stufen / Ziele des Testens Generell
Individuelle Test-scores sollen minimal fehlerbehaftet sein
Populations Scores sollen minimal fehlerbehaftet sein
—> ILSAs wollen zweiteres —> wollen Charakteristika der Population beschreiben
Konventionelle Point estimators
MLE (Maximum Likelihood Estimation)
WLE (Weighted Likelihood Estimation): Variante von MLE, die Verzerrungen reduziert.
EAP (Expected A Posteriori Estimation): Nutzt eine Bayes’sche Methode und priorisiert realistische Werte.
—> Sind perfekt auf Individualebene, auf Populationsebene hat man systematischen Verzerrungen
Plausible Values (PVs)
ermöglichen eine Messfehlerfreie Berechnung von Charakteristika auf Populationsebene
Es wird eine posterior distribution für Kompetenzscores berechnet
Schüler:innen werden aus dieser Verteilung gezogen -> aus individueller posterior distribution, die alle Hintergrundinfos miteinbezieht
auf individualebene wäre es unangemessen PVs zu verwenden, auf Populationsebene wichtig!
Backgroundmodel
Vorannahmen über die Populationsverteilung werden hier abgebildet
Annahme einer normalverteilten Posterior distribution
General Form (latent regression) Background Model
PVs missing values
PISA und TIMSS kodieren die missing values als dummy variablen um
miteinbeziehen vieler Effekte und Interaktionen
Dimensionalität der Prädiktorvariablen reduzieren mit PCA (90% erklärte Varianz)
5 oder 10 PVs werden pro person gezogen und in der public used file ablegen
PVs in EINFACHEN statistischen Analysen verwenden
Statistik für jeden der PVs berechnen
Ergebnisse aggregieren
bei den einfachen Statistiken: einfacher Mittelwert
PVs in komplexen statistischen Analysen verwenden
Statistik für jeden PV berechnen
Aggregieren kann kompliziert werden, v.a. wenn vorher multiple imputation verwendet wurde bei missing values
hier werden Pooling formulas verwendet
Zuletzt geändertvor 2 Monaten