Testtheorie 11-13

= lineare Zusammenhänge zwischen kontinuierlichen Itemvariablen und einer latenten Variable

= Messfehlertheorie

= Grundgleichung: y = T + E

– Voraussetzung: Eindimensionalität

– Diskriminationsparameter (Faktorladungen): frei geschätzt

– Leichtigkeitsparameter (Interzepte): frei geschätzt

– Fehlervarianzen: frei geschätzt

– Adäquates Reliabilitätsmaß: McDonalds Omega

– Voraussetzung: Eindimensionalität

– Diskriminationsparameter: für alle Items identisch

– Leichtigkeitsparameter: frei geschätzt

– Fehlervarianzen: frei geschätzt

– Adäquate Reliabilitätsmaße: Cronbachs Alpha und McDonalds Omega

– Voraussetzung: Eindimensionalität

– Diskriminationsparameter: für alle Items identisch

– Leichtigkeitsparameter: frei geschätzt

– Fehlervarianzen: für alle Items identisch

– Adäquate Reliabilitätsmaße: Spearman-Brown-Formel der Testverlängerung, Cronbachs Alpha und McDonalds Omega

• 1. Axiom: Der Testwert setzt sich zusammen aus wahren Wert (T) & Fehler (E) X = T+ E

• 2. Axiom: Jede Messung aus wahren Wert (T) & zufälligen Messfehler (E) —> zufälliger Fehler (z.B. Kopfschmerzen bei Intelligenztest) —> X = Schätzer vom „wahren Wert“ T (da Fehler zufällig)

• 3. Axiom: Korrelation zwischen Messfehler (E) und wahren Werten (T) bei beliebigen Personen/ Items = 0 —> Unabhängigkeit Fehler und wahrem Wert

• Zusatzannahmen (4./ 5. Axiomen) —> 4. Axiom: Unabhängigkeit des Fehlers (E) vom wahren Wert (T) —> 5. Axiom: Unabhängigkeit von Fehlern aus 2 Messungen

• Standardmessfehler von Bedeutung (erwartete Streuung der Testwerte um wahren Wert)

• Abschätzung dieses Messfehlers bringt Zuverlässigkeit (Reliabilität)

  —> Quotient aus wahrer und beobachteter Varianz

• als Maß der Messgenauigkeit einer Variable Y = Verhältnis Varianz True-Score-Variablen T zur Varianz Testvariablen Y

• klassische Reliabilitätsschätzung = Cronbachs Alpha, Spearman Brown Formel —> anhand Modelltests überprüft, empirisch oft nicht gegeben —> modellbasierte Reliabilitätsschätzung

• Standardmessfehler mit Konfidenzintervalle —> umfasst Wertbereiche in dem 95 bis 99% aller wahren Werte

• beobachtete Testwert Y = bei r-Parallelität genaue Schätzung

• Nachteil Summeriunsverfahren = Messfehler, unbelichtete Aufsummieren der Itemwerte

• direkte Schätzung latente Personenwerte (Factor-Scores)

• Annahme: alle Items gleiche latente Variable messen und Fehlervariable unkorreliert sind

• manifeste Itemvariable und latente Variable = lineare Beziehung

• alle Itemvariablen y messen 1 latente Variable

• Vorteil: spezifischen Objektivität von Personen/ Items möglich

• Bifaktormodell = verschiedene Omega-Koeffiziten als Reliabilitätsmaße schätzen

• LSF-Theorie (Latent-State-Trait-Theorie) = Reliabilität in Konsistenz & Spezifität aufgeteilt

• Multitrait-Mulimethod-Analyse = Reliabilität in trait-/ methodenspezifischen Anteil geteilt

= logistische Zsm.hänge zwischen kategoriale Itemvariablen und einer latenten Variable

= Rückschlüsse auf latente Konstrukte

• Ergänzung zum KTT —> nicht alle Messfehler unsystematisch, sondern auch systematisch (z.B. Übungseffekte)

• manifeste Variablen: beobachtbare Antwortverhalten auf Testitems —> beobachtbare Testwerte/ Indikatoren

• latente Variablen: Merkmalsausprägung in nicht beobachtbaren Fähigkeits-/ Persönlichkeits- merkmalen (psychologische Konstrukte)

• latente Variablen = untersuchte Merkmale —> manifeste Variablen = Indikatoren dieser Merkmale

• latente Variable beeinflusst manifeste Variablen

• —> Eigenschaft der Person (z.B. Fähigkeit) = Personenparameter = Wahrscheinlichkeit mit der Person Item lösen kann

• —> Eigenschaft des Items (z.B. Schwierigkeit) = Itemparameter = Wahrscheinlichkeit mit der Item von Person gelöst wird

• —> Zufall (unkontrollierbare Einflüsse)        = Wahrscheinlichkeit wie Person (w) Item (J) löst

• lokale stochastische Unabhängigkeit

• Latent-Trait = latente Variable als kontinuierlich angenommen

• Latent-Class-Modell = bei kategorialen, nicht kontinuierlichen Variablen

• individuelle Schätzung des Personenparameters

• Summenscore als suffiziente Statistik

• Testinformationen als Maß für Messgenauigkeit

• Konfidenzintervallbreite bei Personenparameter variiert in Abhängigkeit von Ausprägung der latenten Variablen

• marginale/ durchschnittliche Reliabilitätskoeffiziente =

• adaptives Testen = Verwendung von Items mit hoher Iteminformation

• MIRT-Modelle erfassen mehrere Personenmerkmale

• differenzierte Kompetenzdiagnostik möglich

• KTT = Schwerpunkt kontinuierliche Variablen

• IRT = Schwerpunkt kategoriale Variable

• unsystematische Messfehler = z.B. Schwankungen bei Blutdruckmessung, wiederholte Messung

• systematische Messfehler = Ursache bei Person, Messgerät usw.

• wahrer Wert T (True Score) und Messfehler E = beobachtbarer Messwert —> y = T + E

• Definition True Score T = E (y)

• Messfehler einer Person = E = Y - T

• Reliabilitätsbestimmung als wesentliches Ziel der KTT

• Mehrfachmessung nötig

• Itemreliabilität = da True-Score und Fehlervariable bei 1 Messung unbekannt sind mehrere Messung nötig

• Raliabilität einer Testwertvariable

• = bei Messungen ein gemeinsames latentes Konstrukt

• —> alle Items messen ein gemeinsames Merkmal n und Zusammenhänge

• —> Messmodelle mit unterschiedlichen Modellrestriktionen

• —> Prinzip der Parsimonität

• —> eindimensionale Messungen, latente Variable n auf jede Itemvariable unterschiedlich stark auswirkt

• —> Diskriminationsparameter = Faktorlafung

• —> Leichtigkeitsparameter = Interzept

• —> Messäquivalenz strenger gefasst als im Modell T-kongenerischer Variablen

• —> Diskriminationsparameter aller Itemvariablen identisch und konstanten Wert

• —> noch strengere Stunden der Messäquivalenz

• —> Itemvariablen unterschiedlich, Diskriminationsparameter gleich

• unsystematische und systematische Anteile des Messfehlers durch Mehrfachmessung reduzieren

• Situationsspezifität = mehrere Messungen in unterschiedlichen Situationen durchführen

• Methodenspezifisch = mehrere Messmethoden

• wahre Varianz (Var(T))

• Testwert (Var(Y))

• Messfehler (Var(E))

• Wertebereich zwischen 0 (fehlende Messgenauigkeit) und 1 (höchste Genauigkeit)

• klassisch = beruht auf Stichprobenkennwerte

  —> Kovarianzen der Itemvariablen eines Tests/ Skala

  —> Korrelation der Testwertvariablen zweier paralleler Tests

• modellbasiert = basiert auf Modellparameter

  —> anhand expliziten Messmodellen geschätzt

• Objektivität = Voraussetzung für Reliabilität

• Validität = Reliabilität Grundlage für Validität

• p = Anzahl Items, y = Itemvariablen, Y = Testwertvariable

• Varianz der Testwertvariable

• True-Score-Varianzen und -kovarianzen der Itemvariablen liefern Informationen zur Bestimmung True-Score- und Fehlervarianz der Testwertvariablen

• Cronbachs Alpha setzt essentielle T-Äquivalenz der Itemvariablen voraus

• identische True-Score-Varianzen aller Itemvariablen

• Eindimensionalität und essentielle T-Äquivalenz

• identische Itemkovatianzen

• Cronbachs Alpha kann nicht auf Dimensionalität der Messungen geschlossen werden

• Fehlerkovarianzen durch Methodeneffekte

  —> invers formulierte Items = Verwendung um Antworttendenzen zu eliminieren

  —> ähnliche Itemformulierungen

• unklare Bedeutung des Begriffs „Interne/ innere Konsistenz“

  —> Mehrdimensionalität und Mezhodeneffekte

• untere Schranke der Reliabilität

  —> Voraussetzung T-Äquivalenz gegeben, aber keine Methodeneffekte

• Halbtest-Korrelation nur Reliabilität halber Test

• Formel zur Testverlängerung

1. Retest-Reliabilität

2. Paralleltest-Reliabilität

3. Split-Half-Reliabilität

Voraussetzungen der Test-Test-Korrelation

• Eindimensionalität und essentielle T-Parallelität der Testwertvariablen über Messungen hinweg

• strikte Messvarianz der Itemvariablen über Messungen hinweg

• Erstellung von Parallelformen eines Tests

  —> Parallelformen für Leistungstests leichter realisierbar als für Persönlichkeitstests

  —> Überprüfung der Voraussetzungen nötig

• Stabilität des latenten Merkmals und Übertragungseffekte

• Leistungstest = um .90

• Persönlichkeitstest = um .70

• Screening-Tests = zur groben Einschätzung eines Merkmals mit geringem Aufwand

• Daumenregel zur Beurteilung Reliabilität

  —> Screeningtests und heterogene Konstrukte mind. .80

  —> homogene 0.8 bis 0.9

  —> Leistungswerte > .90 sehr gut

• Notwendigkeit von Konfidenzintervallen

• Verwendung des Standaradmessfehlers