Messgegenstand Festlegen
- Präzise/Explizite Konstrukt-Definition (Transparent Entscheidungen erklären, Fachliteratur, Existierende Tests)
- Struktur des Konstruktes (quanti vs quali, ein vs mehrdimensional)
2 Zielgruppen/Anwendungsbereich/Einsatzbedingung
- Zielgruppenspezifische Anpassung (Thema/Verständlichkeit einfluss auf Akzeptanz, Motivation)
- Einsatzbedingungen (Expertise Testleitung, Durchführungsmöglichkeiten Gruppe vs. Einzeltestung? Computer?)
3 Testart auswählen
- Leistungstest (maximales Verhalten)
o Speedtest (Anzahl bearbeiteter Items)
o Powertest (Anzahl/Schwierigkeit richtiger Items)
- Persönlichkeitstest (typisches Verhalten)
o Objektive Persönlichkeitstests (Messintention für Person nicht klar geringere Verfälschung)
- Projektive Verfahren
- Apparative Tests (häufig am Computer)
4 Itemformat
Arten von Items
o Frei (offene Eingabe oder was malen ect.) vs eingeschränkt frei (Lückentext)
§ Oft weniger objektiv und aufwändig auszuwerten
o Formatgebunden:
- Zuordnungs- und Sortieraufgaben (eher Wissensfrage)
- Multiple Choice (und Forced Choice)
§ Aus mehreren Möglichkeiten werden einzelne ausgewählt
§ Forced Choice= Mehrere Antworten welche alle gleich sozial erwünscht sind (es gibt kein allgemeines Richtig) aus dem ausgewählt werden muss
- Beurteilungsaufgabe
o Einstufen wie gut etwas zutrifft
Probleme mit Multiple Choice
§ Verlust an qualitativen Informationen (eindimensional)
· Verschiedene Lösungsstrategien oder Nuancierungen gehen verloren
§ Prüft nur wiedererkennen/kein (Re)produzieren
§ Rateeffekte
· Bei 4 Distraktoren ohne Wissen 20% richtig, bei moderatem Wissen 50%
· Minimieren:
Zusätzliche Überlegungen der formatierung
o Stufung (diskret) oder Skalierung?
o Polarität: Unipolar ( null bis extrem) bipolar (Negativausprägung, Null, Positivausprägung)
o Neutrale Mitte ermöglichen Ja/Nein ?
§ Mitte kann sowohl Ambivalenz als auch Neutralität oder Unwissen/Unwille sein
§ Keine Mitte= ggf auch möglicher Validitätsverlust
o Bezeichnung (Numerisch, Verbal, Optisch, Kombi)
5 Itemformulierung
- Arten
o Direkt (weniger Raum für Interpretationsunterschiede fragt variable offen ab) vs indirekt (beispiel szenarien oder anderer Ausdruck der Variable)
o Hypothetisch vs biographisch (valider aber natürlich nicht immer möglich)
o Konkret vs abstrakt
o Personalisiert (Privatsphäre) vs depersonalisiert (vllt sehr allgemein, nichtssagend)
§ Immer eher nur eine Methode/Art wählen: mischen kann dazu führen, dass die Methoden als Faktoren rauskommen und nicht die Inhalte,
§ aber insges mitteln sich Fehler raus yay
Inhalte
o Selbstbeschreibung
o Fremdbeschreibung
o Biographische Fakten,
o Motivation
o Wünsche
o Einstellungen
Verständlichkeit
o Positivformulierung (keine doppelte Verneinung)
o Einfach/an Zielgruppe angepasst
§ ggf. Definitionen geben um Einfluss von Vorwissen zu meiden
o Keine Angaben zu Intensität oder Häufigkeit in der Frage
o Keine Universalausdrücke (Alle immer nie)
o Nur eine Aussage pro Item
6 Itemgewinnung
Arten der Itemgewinnung
- Intuitive Konstruktion (idr nicht zielführend)
- Deduktiv/Rational ( Literatur relevante Fragen)
- External/Empirisch
o Identifikation von Relevanten Gruppen in der Realität Mitgliedern der verschiedenen Gruppen möglichst breiten Fragebogen vorlegen Welche Fragen korrelieren mit Gruppenzugehörigkeit/nicht dimension Kreuzvalidierung und et voila!
o Abgrenzung Kriteriums orientierte Messung Gruppen werden durch die Messung festgelegt
§ Bei External Gruppen schon vorher existent = Messung definiert nicht sondern identifiziert nur
- Induktiv/ Internal
o Viele Fragen aus bestehenden Items und dann mit Faktorenanalyse Dimensionen Extrahieren. zur die hoch korrelierenden Items behalten
Externale/Empirische Itemgewinnung Vor und Nachteile
o Vorteile
§ Geringe Durchschaubarkeit
§ Validität durch Skalenkonstruktion
o Nachteile
§ Eigentlich nicht dimensional interpretierbar (nicht Stark schizophren oder weniger sondern Diagnose Schizophrenie ja/nein) ?
· Nur für Trennung der Gruppen valide
§ Stark abhängig von Entwicklungsstichprobe und Ursachen der Gruppenzugehörigkeit
· Validität regelmäßig prüfen
§ Geringe interne Konsistenz
7 Testentwurf
Reihenfolge und instruktionen methoden zum Testen ect.
- Reihenfolge
o Aufsteigende Schwierigkeit
o Keine logische/Inhaltliche Abhängigkeit
o Mischen, ggf Pufferitems Verringerung Konsistenzeffekte (unterschied)
- Instruktion zu
o Arbeitstempo und -weise, was bei Nichtwissen
o Hilfsmittel
o Vertraulichkeit
- Beispiel yay
- Layout yay
- Vorläufige Testversion Proben
o Gezieltes suchen nach problematischen Items (laut denken, Verhaltens Beobachtung(nur sichtbare Probleme), retrospektive Befragung zu Problemen)
Fehlerquellen
Optimizing vs Satisficing nach Kosnick (ist Person motiviert optimal zu arbeiten?)
in der Person
o Konsistenz
o Implizite Theorien
o Soziale Erwünschtheit (Selbst vs Fremdtäuschung
o Antworttendenzen
o Emotionale Stimmung
in dem Itemkontext
o Priming (durch vorheriges Item)
o Einbettung (poppt das Item raus)
o Stimmungsinduktion
o Durchmischung
o Skalenlänge
in den Items
o Demand characteristics (Hinweis auf wunsch Versuchsleitung)
o Soziale Erwünschtheit
o Mehrdeutigkeit
o Format
o Itempolung
im Testungskontext
o Anlass
o Zeitpunkt
o Räumlichkeit
o Testleitung
o Testmedium
Zuletzt geändertvor 25 Tagen
