Was gehört zur Qualitativen Verständlichkeitsanalyse?
Überprüfung der Eignung und Klarheit der Instruktion
Aussonderung/Nachbesserung von Items, die nicht den
Anforderungen entsprechen (siehe vergangene Sitzung)
Auf praktische Schwierigkeiten achten
Verständlichkeitsanalyse möglichst unter realistischen Bedingungen und mit der interessierenden Stichprobe durchführen
Was sind methodische Ansätze für die Qualitative Verständlichkeitsanalyse?
Retrospektive Befragung der Testpersonen: Einfach und effektiv; setztaber voraus, dass die Testpersonen alle Probleme auch erkennen
Debriefing: die Testleitenden geben an, bei welchen Items Probleme aufgetreten sind (bspw. Nachfragen, ausgelassene Items, etc.)
Verhaltenskodierung: Die Testsituation wird von einer dritten Person beobachtet und anschließend analysiert (Verständnisprobleme, auffälliges Verhalten, etc.)
Kognitives Vortesten, lautes Denken: Die Testleitung liest Items vor und bittet Testperson, alle Überlegungen, die zur Beantwortung der Frage führen, zu formulieren
Was sind die Schritte der Quantitative Itemanalyse?
Erstellung der Datenmatrix
Analyse der Itemschwierigkeiten
Bestimmung der Itemvarianzen
Vorläufige Testwertermittlung
Trennschärfeanalyse der Items
Itemselektion auf Basis von Itemschwierigkeit, Itemvarianz und Trennschärfe
Erneute Testwertbestimmung
Was ist die Itemschwierigkeit?
Die Itemschwierigkeit gibt an, wie groß der Anteil an Personen ist, die das Item im Sinne des Merkmals beantwortet haben.
Bei dichotomen Items: (Nr:n)*100
Bei Ratingskalen: ((Xi-Xmin):(Xmax-Xmin))*100
Xi=Mittelwert
Was ist die Itemvarianz?
Die Itemvarianz informiert über die Differenzierungsfähigkeit eines Items
Muss nur bei quantitativen Items (bspw. Ratingskalen) separat betrachtet werden, bei dichotomen Items geht die Varianz direkt aus der Itemschwierigkeit hervor:
Was ist Trennschärfe?
Merkmal abhängen, das allen Items zugrunde liegt (bspw. Extraversion)
Dementsprechend sollte die Korrelation zwischen einem Item und dem Testscore, basierend allen Items substantiell sein
Diese Item-Test Korrelation wird als Trennschärfe bezeichnet
Je höher die Korrelation ausfällt, desto besser trennt das Item zwischen Personen mit hohen und niedrigen Testwerten
Sie sollte über .5 liegen
Was ist korrigiert/unkorrigierte Trennschärfe?
Unkorrigierte Trennschärfe: Korrelation zwischen zwischen Item und Testscore, basierend auf allen Items (inklusive dem interessierenden Item selbst)
Korrigierte Trennschärfe (part-whole Korrektur): Korrelation zwischen Item und Testscore, basierend auf allen anderen Items (das interessierende Item ausgeschlossen)
Insbesondere, wenn ein Test nur wenige Items enthält, ist eine Betrachtung der korrigierten Trennschärfe empfehlenswert
Wie berechnet man (korrigierte) Trennschärfe?
Wonach richtet sich die Selektion nach Itemschwierigkeit?
Items mit einer mittleren Schwierigkeit (Pi = .50) sind am besten geeignet, um Differenzierungen zwischen Personen mit hoher und geringer Merkmalsausprägung zu treffen
Sofern die Absicht verfolgt wird, auch zwischen Personen mit extremen Merkmalsausprägungen zu vergleichen, sollten auch Schwierigkeitsindizes von Pi > .75 und Pi < .25 verwendet werden
Schwierigkeiten von 0 und 100 sind auf jeden Fall zu entfernen, da sie keine Differenzierungen zwischen Personen erlauben
Wonach richtet sich die Selektion nach Varianz?
Selektion nach Varianz: Je größer die Varianz, desto besser
Wonach richtet sich die Selektion nach Trennschärfe?
Je höher die Trennschärfe, desto besser (Anhaltspunkt: mindestens rit = .30)
Items mit negativer Trennschärfe oder einer Trennschärfe nahe Null sollten entfernt werden
Zuletzt geändertvor einem Jahr
