Testtheorie 20-22

= Ausmaß, in dem empirische Befunde und theoretische Argumente die Interpretation von Testwerten für beabsichtigte Verwendung von Tests unterstützen

Kriteriumsvalidität = korrelativer Zusammenhang Testwert mit Außenkriterium prüfen

Übereinstimmungsvalidität = zeitlicher Zusammenhang Testwert und Kriterium

prognostische Validität = zeitlich vorgeordnete Testung, Vorhersage Kriterium

inkrementelle Validität = Ausmaß in dem Test Vorhersage eines Kriteriums verbessert, wenn zusätzlich zu anderen Verfahren in Vorhersage aufgenommen wird

Inhaltsvalidität = Prüfung durch Experten der Passung Testinhalt und Konstruktdefinition

Augenscheinvalidität = unmittelbar offensichtliche Gültigkeit (auch für Laien)

Konstruktvalidität = dass Test zugrunde liegendes theoretisches Konstrukt misst

konvergente Validität = korrelativer Zusammenhang Testwert mit Tests bezeichnet, die dasselbe/ ähnliche Konstrukt erfassen

diskriminante Validität = niedrige korrelative Zusammenhänge Testwert mit anderen Tests

faktorielle Validität = Befunde faktorenanalytische Verfahren, mit denen erwartete dimensionale Struktur eines Tests bestätigt wurde

Validität bezieht sich auf spezifische, explizit zu definierende Interpretation und Verwendung von testwerten

—> jede unterschiedlicher Testwertinterpretation benätogt separate Prüfung der Validität

hypothesengeleitete Forschung zur Untermauerung von Testwertinterpretationen und Testanwendungen

Validierung als Prozess der Sammlung von Validitätsargumenten

—> Bewertung: vergleichen des gemessenen Merkmals

—> Verallgemeinerung

—> Extrapolation: von Testergebnissen auf Bereich außerhalb Testsituation geschlossen

—> Erklärung: Testergebnis mit Beug auf Theorien

—> Entscheidungsfindung: schlussfolgernde Entscheidung ableiten

feminin, maskulin, androgyn (hohe Werte beider), undifferenziert (niedrige Werte beider)

unbekannte Modellparameter

—> relative Klassengrößen Pi(g) = G - 1 Parameter zu schätzen, da Parameter über Klassen        hinweg zu 1 addieren und g-te Parameter festliegt

—> klassenspezifische Antwortwahrscheinlichkeit für jedes Item P gemäß G

interaktives Schätzverfahren = Parameter schrittweise angepasst

LR = Likelihood Ratio

zwischen L1 und L0 quantifizieren (Quotientenbildung)

Freiheitsgrade = Differenz Anzahl gegebener Infos (s) und Anzahl zu schätzender Modellparameter —> df = s - 1

erforderliche Stichprobengrößen = Stichproben mind. so viele Personen, wie Antwortmuster

Modellfit

Vorteile: Diskrepanz Modell inferenzstatistisch abgesichert

Nachteil: starke Abhängigkeit von Stichprobengrößen —> zu klein = Test nicht exakt

Erzeugung einer Prüfverteilung mit stimulierten Daten

Treffsicherheit T (hitrate) = Anzahl korrekt zugeordneter Fälle

Wahrscheinlichkeit einer falschen Klassenzuordnung (E)

Trennschärfe eines Items = gering ist Argument Item zu entfernen

—> je geringer Summe Items desto schlechter repräsentiert

Diskriminationsindex (D) = wie groß Unterschiedlichkeit (Varianz) der erwarteten Itemantworten zwischen latenten Klassen ist, wobei Zwischenklassenvarianz an Unterschiedlichkeit (Varianz) der Itemantworten innerhalb einer Klasse, summiert über Klassen hinweg, relativiert wird

finden des besten Modells

—> indirekter Vergleich von Modellen mit unterschiedlicher Klassenanzahl

—> struktursuchendes/ entdeckendes Verfahren, nur Anzahl Klassen muss spezifiziert Werden

—> Interpretation der Klassenunterschiede mit externen Kriterien

esten von Modellrestruktionen

—> fixieren von Parametern auf bestimmten Wert

—> Gleichsetzen Parameter —

> Ordnungsrestriktion

EFA = liefert Erklärungsmodell für die in Items erhaltenen Infos

Zielsetzung der EFA

—> Wie viele Dimensionen für ökonomische Darstellung Items nötig?

—> Messen alle Items unidimensional?

—> Weist hoher/ niedriger Itemwert jedes Items auch auf hohen/ niedrigen Testwert hin?

—> Wie erhaltenen Faktoren inhaltlich interpretiert?

—> Welche Items genügen Anforderungen für guten Test?

Itemwert = gerichtete Summe der Einflüsse der berücksichtigten Faktoren + Summe Einflüsse der nicht berücksichtigten Faktoren

gemeinsame Faktoren —> nicht berücksichtigt = alle weiteren Einflüsse, die atemspezifisch sind (Residuum)

intuitive Modellvorstellung

Fundamentaltheorem: Erklärung beobachteten Itemwerte durch gemeinsame Faktoren

Faktoren erklären Korrelationsmuster der Items

Faktoren als relevant erachtet, deren Eigenwerte größer sind als durchschnittliche Varianz Var(y)

Eigenwerte größer 1 = relevant

Vorteil: Einfachheit

Nachteil: zu viele Faktoren

Abhilfe: Eigenwerte > als durchschnittlicher Eigenwert = relevant

Beurteilung der relativen Größe der Eigenwerte

Scree-Plot = Darstellung Eigenwertverlauf (von links nach rechts) —> Faktoren gewählt die Links vom Knick (Elbow) des Verlaufs liegen

zuverlässig bei eindeutigem Eigenwertverlauf

bei uneindeutigem Eigenwertverlauf nicht verwendbar

häufig fälschliche Eigenwerte der nicht reduzierten Korrelatioxsmatrix verwendet

Vorteil: zuverlässige Ergebnisse

Nachteil: aufwendige Überprüfung

Faktorenunbestimmheit = unendlich viele äquivalente Faktorenlösungen

weiteres Kriterium notwendig, um sinnvolle Lösungen zu generieren

Residualmatrix (D)

beinhaltet Differenzen zwischen empirischer (S) und modellimplizierter Korrelatioxsmatrix (Summe)

Vergleich empirischer und modelltheoretischer Korrelation

positive, negative und Null-Differenzen

Interpretation wird mit zunehmen Itemanzahl komplizierter

inhaltliche Faktoreninterpretation basiert auf Faktorlasungmuster

Korrelationsmzster der Faktoren berücksichtigen

Invertierung der Faktoren

gegen an welche Werte die Testpersonen in extrahierten (und rotierten) Faktor aufweisen

Faktordeteriniertheit führt zu Unbestimmtheit der Fakturierte

verschiedene Methoden

Summenscores = in Praxis häufiger, nimmt Gleichgewichtung aller Items an —> Fakorladung ähnlich = Faktorwerte und Summenscore ähnlich