09 Objektivität und Reliabilität

• Auswertung

• Interpretation

• Durchführung

=> Grad der Genauigkeit, Zuverlässigkeit mit der ein Test misst

(unabhängig davon, ob er misst, was er messen soll!)

=> Wie präzise erfasst ein Test das, was er erfasst?

auch Spearman Brown Formel

—> Reliabilitätszuwachs umso größer, je geringer die Ausgangsreliabilität

1. Retest-Reliabilität

2. Paralleltest-Reliabilität

3. Split-half Reliabilität

4. Interne Konsistenz

—> je reliabler der Test, desto geringer Risiko, dass beobachteter Testwert einer Person von wahrer Merkmalsausprägung abweicht

—> gleicher Test wird VPN zu mind. 2 verschiedenen Testzeitpunkten vorgelegt

—> RetestReliabilität durch Korrelation zwischen erster und zweiter Messung

aber

• intraindividuell unterschiedliche Testergebnisse nicht zwingend auf Messfehler zurückzuführen

• Wiederholungseffekte

—> in derselben SP werden nach kurzer Zeit zwei streng äquivalente Formen eines Tests nacheinander durchgeführt

—> Reliabilität: Korrelation zw. Tests

aber:

• hoher Konstruktionsaufwand, da parallele Versionen erstellt werden müssen

• Manche Items einzigartig => können nicht parallelisiert werden

• Test nach Untersuchung in parallele Hälften geteilt

• Reliabilität : Korrelation der Testhälften

• Idee: nachträglich 2 halbe Paralleltests (Halbierung nach Zufall oder Itemreihenfolge…)

• ggf. prophecy formel anwenden (k = 2)

—> Verallgemeinertes Halbierungsverfahren

• jedes Item wird als Paralleltest behandelt (setzt Homogenität / Äquivalenz der Items voraus)

• Berechnung

1. Kuder-Richardson-Formel

2. Cronbachs Alpha

s(xi) = Varianz der Werte des “iten” Items

s(y) = Varianz der Summenwerte der Person

Alpha hoch, wenn Testvarianzen eher durch Kovarianzen der Items determiniert

Alpha niedrig, wenn Testvarianzen auf Itemvarianzen nicht Inter-Item-Korrelation beruht

Rel (X) = 1 —> perfekte Reliabilität

Rel (X) = 0 —> zwei Messungen orthogonal zueinander

ab Rel (X) = 0.7 —> gut

Rel (X) = 0.8 —> sehr gut

Rel (X) = 0.9 —> sprechen für Redundanz von Items (Kürzungspotential)

zur Messung der internen Konsistenz

c = durchschnittliche Inter-Item-Korrelation

—> Da Anzahl der Items N in Berechnung von alpha einfliesst, verändert sich alpha in Abhängigkeit von N und durchschnittlichen Inter-Item-Korrelation c

—> c durch Ausreißer verzerrbar (einzelne Items können alpha in Höhe/Tiefe treiben)

—> t-äquivalentes Messmodell vorausgesetzt (Ladungen alle gleich)

• diese Äquivalenz so gut wie immer verletzt

• Annahmen für Cronbachs Alpha nicht erfüllt

• Reliabilität wird unterschätzt

—> Faktorenmodelle können Mehrdimensionalität berücksichtigen

wt = wie viel der beobachteten Varianz geht auf einen latenten Faktor im Modell zurück?

wh = wie viel der beobachteten Varianz geht auf g-Faktor im Model zurück, wenn noch weitere Faktoren modelliert werden?

Merke: Cronbachs alpha merzt Einschränkung der Split-Half-Reliabilität aus

Faktorsaturation w merzt Einschränkung von Cronbachs Alpha aus