VL3 Itemanalyse

1) Sicherstellen, dass alle Items in die gleiche Richtung (im Sinne des Merkmals) gepolt sind -> ggf. Items vorher rekodieren

Rekodieren durch: Anzahl der Skala - das was angekreuzt wurde

2)Deskriptive Statistiken -> Itemmittelwerte und Streuungen

3) Itemauswahl auf Basis der deskriptiven Statistiken

• zwischen Schwierigkeit und Streuung

• zwischen Schwierigkeit und Trennschärfe

Differenzierung auf ganzer Skala

-> um gesamten Merkmalsbereich abzudecken

Würde im Extremfall zu einem Test führen, der nur mittlere Schwierigkeiten erfasst und nicht gut zwischen Personen differenzieren würde

Je größer p, desto einfacher das Item

eindeutig u förmiger Zusammenhang

eindeutig u förmiger zusammenhang

Trennschärfe am höchsten wenn p=0.5 da es dann differenziert im mittleren Bereich—> maximale Trennschärfe bei mittlerer Schwierigkeit

somit Trennschärfe am höchsten wenn p= 0,5 und somit wenn Streuung am höchsten

1) Item korrelliert fast perfekt mit Testwert = hohe Homogenität der Items , misst dasselbe Konstrukt wie die übrigen Items

—> Person, die in dem Item hohe Ausprägung hat, hat dies auch in den anderen Items

2) Item korrelliert kaum mit Testwert-> heterogen, misst wahrsch. nicht dasselbe Konstrzkt und liefert kaum Infos über Testwert

3) Item korrelliert negativ> misst dasselbe Kostrukt auf umegkehrter Skala -> Rekodierung nötig

würde dazu führen, dass Items alle mittlere Schwierigkeit (0.5) haben und somit würde er nicht gut zw. Personen differenzieren

Bei dichotomen Items

Bei einer 5 stufigen Likert Skala sollte die Streuung den Wert 1 nicht unterschreiten

inhaltliche Überlegungen

-> sind ggf der Meinung, dass es Konstrukt trotz allem gut repräsentiert oder vllt eine Facette abbildet, die durch die anderen Items noch nicht repräsentiert wurden —> dann wäre nämlich Trennschärfe auch niedriger

• DIE TRENNSCHÄRFE SOLLTE BEI DER AUSWAHL DICHOTOMER ITEMS NICHT AUSSCHLIEßLICH HERANGEZOGEN WERDEN

• sie sollte aber positiv sein

• Bei gleicher Itemschwierigkeit wird das Item mit der größeren Trennschärfe bevorzugt

sondern: Streuung der Mittelwerte

eindeutiger, umgekehrt U-förmiger Zusammenhang

Aufsummerieren der Items = Y

Die Trennschärfe eines Items wird berechnet als Korrelation der Item Antworten mit dem Testwert Y

(beschreibt also wie gut dieses Item zwischen Personen unterscheidet, sowie es Gesamttest tut)

Korrelation fällt, wenn man wenige Items hat, sehr hoch aus

-> da man ja auch Item mit sich selbst korrelliert

Korrigierte Trennschärfe (Part-whole Korrektur)

• Trennschärfe für Item i wird nicht mit Testwerten Y berechnet, sondern mit Testwerten die bereinigt sind um die Werte von Item i

• Einfluss der Korrektur am geringsten wenn…

  • viele Items da sind

  • homogene Items zur Berechnung herangezogen werden

• viele Items

• homogene Items —> Items korrellieren stark untereinander

NEIN -> IMMER inhaltliche Überlegungen einbeziehen!

Bei der statistischen Itemanalyse muss man sicherstellen, dass alle Items in die gleiche Richtung (Im Sinne des Merkmals) gepolt sind -> REKODIEREN wenn nicht der Fall

Dann: Anzahl der Skala (1-5) minus das was angekreuzt wurde

Items sind geeignet wenn sie streuen -> nur dann ist es möglich interindividuelle Unterschiede zu messen

• Unterschiedliche Mittelwerte

• Streuungen: jeweils Items mit großen Streungen auswählen (Streuung > 1 laut 5er Likert-Skala ist das der typische Cut Off)

• inhaltliche Überlegungen: ABER vor Ausschluss bedenken, ob Item wichtig für Konstrzkt ist

• Mittelwerte: in gesamter Item-Menge sollten die Mittelwerte (Schwierigkeiten) breit streuen (Faustregel: Mittelwert zw. =0,2 und 0,8)

• Streuungen: Die Streuung des einzelnen Items steht nicht im Vordergrund der Auswahl

• Trennschärfe (sollte aber nicht alleine herangezogn werden aber schon positiv sein)

Bei dichotomen Items

denn: würde zu Test führen, dessen Items im Extremfall dieselbe Schwierigkeit p=0.5 haben, der nicht gut zw. Personen differenziert

-> Items mit p=0.5 haben die größte Streuung

Schwierigkeit

Bei Ratingskalen:

• Items mit hoher korrigierter Trennschärfe auwählen -> Faustregel rxy > 30 (besser >50)

Je höher die Trennschärfe, desto höher die Streuung

-> also ist Trennschärfe auch maximal wenn p=0.5

Dichotome Items : TS ist maximal wenn p= 0.5

-> Trennschärfe hoch wenn auch Streuung hoch ist

Rating Skalen: TS ist maximal, wenn Itemwerte hoch mit Testwerten korrelliert

korrigierte Trennschärfe

bei wenigen Items -> dann macht jedes einzelne Item einen großen Anteil der Gesamtskala aus und durch Korrektur ändert sich Skala stark

bei heterogenen Items -> Haben ohnehin schwächeren Zusammenhang (also geringere Trennschärfe aber ohne part whole erscheint Zusammenhang störker da das Item mit sich selbst ja perfekt korrelliert)

unter 1

Ein Item kann nur dann stark mit Testwert Y korrellieren, wenn es überhaupt zw Personen unterscheidet (es also Streuung gibt)

-> Die Streuung beeinflusst wie hoch eine Korrelation werden kann

wenn Item keine streuung hat, dann korrelliert es auch nicht mit dem Testwert und die Trennschärfe ist daher niedrig

(wenn alle Personen in Item 1 eine 1 haben , dann ist MW ja auch 1 und somit in Formel für Trennschärfe kommt da dann 0 raus!)

Bei dichotomen Items (0 /1) kommt es auf die Schwierigkeit an

—> extrem leichte Items oder sehr schwere haben ja geringe Streuung —> Trennschärfe wird dadurch klein, selbst wenn Item gut zum Konstrukt passt!

Rekodierung nötig ggf.

Bedeutet: Personen, die in dem Item geringen Itemwert haben, haben im Testwert hohen Wert