MC
Zeiteffiziente Bearbeitung und Scoring
Raten: Bei 4 Antwortalternativen Ratewahrscheinlichkeit 25% • None-of-the-above bzw. weiß-nicht problematisch.
• Bekanntes Testformat, einfach zu verstehen & instruieren
• Schwierigkeiten gute Distraktoren zu generieren. “Distraktoren” sollten gleich attraktiv sein •
• Stereotype MC messe nur Rekognition nicht belegt, kann für fast alles im Bereich max. Anstrengung verwendet werden
Ja/Nein Items sollten unparteiisch beantwortet werden (Tendenz für Ja- Antworten bei Ja/Nein Items: Akquieszenz)
• Oft Rückwärtsstrategien
Ratingskalen
Erlauben Abstufungen in Meinung → gestufte Information
Abstufungen werden subjektiv unterschiedlich wahrgenommen (z.B., Wie oft ist oft?)
• Ökonomisch einsetzbar, leicht auszuwerten
• Personen halten sich oft nicht an Anweisungen
• Flexibel anpassbar. Kann für fast alles im Bereich typisches Verhalten eingesetzt werden
• Antworttendenzen (Extreme vs. Tendenz zur Mitte, Akquieszenz, …)
Zuordnungs- Sortieraufgaben
Ökonomische Erhebung und Auswertung
Schwierigkeiten gute Antwortalternativen zu generieren. “Distraktoren” idR nicht gleich attraktiv
Folgefehler – ggf. spezielle IRT-Modelle
Nicht für alles geeigne
Vervollständigungsaufgaben, Lückentexte
Zufällige Antworten sehr unwahrscheinlich
Unerwünschte Relevanz von Wissen, Erinnerungseffekte (je nach Vorgabe)
• Qualitative Evaluation möglich
• “Folgefehler” möglich, abhängiges Antwortverhalten
Komplexe inhaltliche Fragestellungen möglich
Für Scoring viel Feldtestung notwendig, da oft mehr als eine Antwort korrekt ist
Maschinell auswertbar
Über (aktuell prävalente Verwendung im) Sprachkontext verwendbar
• Im sprachlichen Kontext vielfach einsetzbar
Essay
Freie Reproduktion des Wissens möglich
Scoring zeitaufwändig und umfassend
• Keine Ratewahrscheinlichkeit
• Schwer eindeutige Kriterien für Scoring zu identifizieren
• Test-Taking skills weniger relevant
• Scoring oft mit Bewertungsverzerrungen ausgesetzt (z.B. Halo Effekt)
Maschinelles Scoring kostspielig zu entwickeln
Wieso ist die internale Methode der Testkonstruktion aus wissenschaftstheoretischer Sicht problematisch?
a) Es gibt keine theoriefreie Sammlung einer Ausgangsmenge von Stimuli
b) Die datenanalytische Reduktion des verfügbaren Materials führt dazu, dass die verbleibende Menge an Items die Ausgangsmenge nicht mehr angemessen repräsentiert.
c) Die Datenreduktion macht aus der zunächst theoriefreien Sammlung von Items eine verfälschte Menge von Material
d) Die Ergebnisse sind grundsätzlich zu stark abhängig von der Beschaffenheit der Personenstichprobe
Itementwicklung: MC Fragen
richtige Antwort: Attraktor
falsche Antworten: Distraktoren
MC mit einem Attraktor: Einfachwahlantwort
MC mit mehreren Attraktoren: Mehrfachwahlantworten
—> Wechsel zw. Einfachwahlantwort und Mehrfachwahlantwort sollte vermieden werden
Einfachwahlaufgabe
Mehrfachwahlaufgabe
Itementwicklung
Formulierung von Items
Formulieren von MC Fragen
Probleme mit MC Fragen
Welches psychometrische Problem ist bei Rangfolgeaufgaben zu beachten?
a) Sofern die Antwortoptionen eine Folge aufweisen, darf diese nicht mit der Richtiglösung übereinstimmen.
b) Versuchspersonen sortieren die Antwortoptionen häufig in umgekehrter Reihenfolge.
c) Sortierfehler ziehen normalerweise Folgefehler nach sich.
d) Bei mehreren richtigen Folgen treten oft Bewertungsprobleme auf
—> Aus einer falschen Zuordnung resultieren Folgefehler und dadurch werden Messvoraussetzungen verletzt.
Last changed2 years ago
