Testkonstruktion

1. Testvorbereitung

2. Konstruktionsprinzipien

3. Itemgenerierung

4. Fehlerquellen

• Fragebogen

• Erläuterungen & Auswertung (zB Profilbögen)

• Fragen selbst

• Manual (alle Konstruktionsschritte und Analysen sind festgehalten - Konstruktdefinition, Ergebnisse der Itemanalsen & Faktorenanalysen, alle Gütekriterien)

• zB NEO-PI-R

—> aber meist eher knapp gehalten

Was soll der Test messen?

• Definition des Merkmals z.B. in Fachliteratur oder eigene Arbeitsdefinition

• Konzeptuelle Einengung oder Erweiterung

• ein- oder mehrdimensional

Für wen soll der Test geeignet sein?

• Itemformulierung (Verständlichkeit)

Welchen Verwendungszweck soll der Test haben?

• Geltungs- oder Anwendungsbereich (Individualdiagnostik, Forschungszwecke?)

• Einsatzbedingungen

  • Erforderliche Expertise, Durchführungsbedingungen (paper-pencile, Computer, Gruppe, Zeit)

Festlegung des Konstruktionsprinzips

• Rationale (auch deduktive) Konstruktion

• Induktive Konstruktion

• Externale Konstruktion

• Prototypenansatz

—> Orientierung an Theorien

• aus der Definition respriktiver Theorie können Verhaltensindikatoren identifiziert werden (wie verhalten/empfinden/denken Personen mit Ausprägungen auf dem Merkmal)

• Beispiel: I-S-T 2000 (theoretische Basis aus verschiedenen Theorien —> Thurstone, Horn und Cattell, Spearman)

—> Empirigeleitet

• keine klare Vorstellung wie Merkmal oder Konstrukt

  beschaffen

• Generierung von Items auf Basis vager Vorstellung und Literatur

• Durchführung einer exploratorischen Faktorenanalyse

• Interpretation der Faktoren

• (gegebenenfalls) Ableitung einer Theorie

Beispiel: Big Five

Ursprung: Sedimentationshypothese/ Lexikalischer Ansatz

• Allport und Odbert (1936) – 18000 Wörter die benutzt werden können, um menschliches Verhalten voneinander zu unterscheiden

• Cattell (1957) extrahierte 4500 Eigenschaftswörter im engeren Sinne

• Personen schätzen andere Personen anhand der ausgewählten

  Eigenschaften ein

• Faktorenanalyse führte zu 12 (Bekanntenbeurteilungs)-Faktoren von Cattell

• andere Autoren (z.B. Goldberg, 1993, John et al. 1988, John, 1990) fanden mit dem gleichen Variablensatz hingegen nur 5 Faktoren

• 5 Dimensionen

  über unterschiedlichen Stichproben (Länder, Kinder) und methodische Vorgehensweisen (Selbstbericht, Fremdbericht)

• Theorieableitung

  Five Factor Theory

• Kombination aus Induktion und Deduktion

  
  

  BILD

  
  

—> Orientierung an Personengruppen

• auch: kriteriumsbezogene Skalenentwicklung

• Resultat: Instrument zur Klassifikation oder Diskriminierung von Gruppen (z.B. Schizophrenie, Depression usw.)

• Gruppen = externes Kriterium

• zB klinische Diagnose

Vorgehen

• Vorlegen einer möglichst großen und inhaltlich breit gefächerten Anzahl von Items

• Itemauswahl durch mehr oder weniger explizite Hypothesen geleitet (zB auf welche Lebensbereiche Depression einen Einfluss haben kann, aber nicht direkt Symptome abgefragt)

• Erprobung der Items an einer Personengruppe, die sich hinsichtlich des Kriteriums stark unterscheiden (z.B. Schizophrene versus gesunde Personen)

• Auswahl jener Items, die am besten zwischen den Gruppen unterscheiden (die die größten MW-Unterschiede haben)

Besonderheiten external konstruierter Tests

• Kreuzvalidierung nötig

• geringe Augenscheinvalidität (Testant kann nicht direkt erkennen, um welche Items es sich handelt und kann die Items nicht direkt bewusst beeinflussen)

• heterogene Items

• Interpretation: im Sinne von Wahrscheinlichkeiten dafür, der einen oder der anderen Gruppe anzugehören (keine dimensionale Interpretation)

• MMPI-2

• Ziel: psychische Störungen ähnlich gut, aber effizienter, diagnostizieren zu können

  Breitbandverfahren, zur Beschreibung wichtiger Persönlichkeitseigenschaften und psychischer Störungen

  
  

1. Generierung eines Itempools (MMPI- Originalversion)

• Externale Testkonstruktion (Basiskalen)

  • 1000 Items (allgemeine Gesundheit, familiäre und eheliche Beziehung, sexuelle und religiöse Einstellungen, emotionale Zustände ...)

  BILD

  
  

  • 566 Items – signifikante Diskriminierung  zu Skalen zusammengestellt (bezogen auf psychiatrische Kategorien)

1. Überarbeitung (MMPI-2)

• Änderung an Items (unangemessene und nicht mehr zeitgemäße Itemgruppen z.B. sexuelle Gewohnheiten raus, Umformulierungen) + neue Items (z.B. Inhaltsbereich Ess- und Arbeitsstörungen)

• 310 Items Originalversion

• 149 sprachlich überarbeitet

• 108 neu konstruiert

• = 567 Items

Beispielskalen:

• Hd – Hypochondrie (32 Items) „Ich leide unter Anfällen von Übelkeit und Erbrechen“

• D – Depression (57 Items) „Ich habe einen guten Appetit“ (-)

• Pp – Psychopathie, Soziopathie, antisoziale Persönlichkeitsstörungen(50 Items) „Manchmal habe ich sehr gewünscht, von zu Hause fortzugehen“

• Sc – Schizophrenie (78 Items) „Ich habe manchmal Angst den Verstand zu verlieren“

• Prototypische Vorstellung von Personen mit bestimmten Merkmalen ähneln sich häufig (Cantor & Mischel, 1977)

• Sammlung prototypischer Vorstellungen

• Act-Frequency-Approach (Buss & Craik, 1983):

  • Stichprobe aus der Zielpopulation

  • Sollen an eine Person denken, die eine bestimmte Eigenschaft hat

  • Prototypische Verhaltensweisen nennen

  • Ableitung von Items

  • Beurteilung der Items (auf Basis einer zweiten Stichprobe) bezüglich der Prototypizität für die Eigenschaft

  • Vorteil: man weiß schon viel über den Sprachgebrauch der Zielpopulation —> Adjektive/Wortwahl können übernommen werden und in die Items überführen

    Nachteil: nicht jede Eigenschaft ist für die Zielpopulation/allgemeinheit zugänglich (zB Prokrastination ist schwer greifbar) - nicht alle Facetten einer Eigenschaft können abgedeckt werden

    wenn man den Vorteil haben will, kann man zB den deduktiven Ansatz und gleichzeitig den Prototypenansatz durchführen / zusammenführen

• Items bestehen immer aus zwei Komponenten:

  • einem Stimulusteil

  • einem Reaktionsteil (Antwort)

• Gewissenhaftigkeit (Neo-PIR)

  „Personen mit hoher Merkmalsausprägung in Gewissenhaftigkeit beschreiben sich als eher zielstrebig, willensstark und entschlossen ... Hohe Merkmalsausprägungen in G korrespondieren mit schulischem, akademischem und beruflichem Leistungserfolg. Andererseits können ein übertrieben hohes Anspruchsniveau, beinahe zwanghafte Ordentlichkeit und Arbeitssucht als Negativbeispiele hoher Merkmalsausprägung gesehen werden.“

  • Kontrolle von Impulsen, Wünschen, Begierden

  • Selbstkontrolle bezogen auf Planung, Organisation und Ausführung von Aufgaben

• lässt sich in Inhaltsbereiche / Facetten unterteilen

  Kompetenz, Ordnungsliebe, Pflichtbewusstsein, Leistungsstreben, Selbstdisziplin, Besonnenheit

• Facetten lassen sich nochmal näher definieren

  • Ordnungsliebe

    Hoch: „Personen mit einer hohen Ausprägung sind ordentlich und sehr systematisch. Sie bewahren Dinge dort auf, wo sie auchhingehören.“

    (gepflegt, ordentlich, organisiert, systematisch, sauber, ordnungsliebend, pingelig, pedantisch, sorgsam, reinlich)

    Niedrig: „Personen mit einer niedrigen Ausprägung sind unfähig, sich die Arbeit einzuteilen und beschreiben sich selbst als wenig planvoll in ihrer Lebens- und Arbeitsweise.“

    (nachlässig, schlampig, ungepflegt, unordentlich, unorganisiert, unsauber, unsorgsam, unsystematisch)

• im Neo gibt es auch eine Reihe von beschreibenden Adjektiven (entstehungstechnsiche gerpägt) —> Adektive erleichtern später die Ableitung von Items (es kann auch außerhalb des lexikalischen Ansatzes Adjektivwissen angelgt)

  
  

• Was soll gefragt werden? (Itemtyp)

• Wie soll gefragt werden? (Itemformulierung)

• Wie soll geantwortet werden? (Antwortformat)

1. Beschreibung von Reaktionen

   • beobachtbares Verhalten (Ich räume alles an seine Platz./ Bei mir bleibt schon mal was liegen.) —> Ich mache

   • physische Reaktionen (Ich schwitze viel.)

2. Eigenschaftszuschreibungen

• Ich bin ordentlich. —> Ich bin

1. Wünsche und Interessen

• Ich liebe Ordnung. / Ich wäre gern ordentlich. —> Ich wäre gerne/ Ich mag

• 4. Biografische Fakten

• In meiner Jugend war ich unordentlich. —> Ich war

1. Einstellungen und Überzeugungen

• Man sollte Ordnung halten. —> Man sollte

1. Reaktionen anderer

• Andere halten mich für ordentlich.

Keep it simple,

One thing at a time.

Little words work best,

Two lines are too many,

Long is wrong.

When in doubt, leave it out.

1. Verständlichkeit

• Vermeide Fremdwörter/Fachbegriffe

  Ich fühle mich depressiv. vs. Ich fühle mich desolat.

• Vermeide negative Formulierungen/ doppelte Verneinungen

  Ich bin nicht oft traurig. Niemals würde ich nicht in Notsituationen helfen.

• Vermeide lange Items.

1. Eindeutigkeit

• Vermeide mehr als einen sachlichen Gedanken

  Ich fahre sehr gerne und schnell Auto.

• Vermeide Konditionalsätze

  Ich fühle mich gut, wenn ich Klavier spiele

• Vermeide Universalausdrücke

  Ich bin immer gut gelaunt. Ich vergesse nie meine Hausaufgaben. Alle Kinder machen Lärm

• Vermeide außerdem

  Suggestion, Gemeinplätze (Ich möchte gerne meine Ziele erreichen.), fehlende Passung zwischen Itemstamm und Antwortformat

Allgemeine vs spezifische Fragen

• allgemein

  • Ich bin dominant.

  • man braucht nicht so viele Items, weil man auf einer sehr hohen Ebene das Verhalten abfragt - nicht situationsspezifisch

    aber man muss sich an Situationen erinnern, in denen dominantes Verhalten relevant ist - fehleranfällig

• spezifisch

  • Bei gemeinsamen Aktionen übernehme ich gerne die Führung. / Im Studium übernehme ich bei Gruppenarbeiten gerne die Führung.

  • bei spezifisch formulierten Items muss man nicht lange darüber nachdenken, ob es zutrifft (gute Erinnerbarkeit), Nachteil ist, dass nicht jeder diese Situation erlebt haben muss (Inhalte sind immer auf alle anwendbar) und es ist auch sehr situationsabhängig

    —> wenn man mit spezifischen Items arbeitet, muss man sehr viele Items aus unterschiedlichen Situationen generieren (um im Mittel ein Eindruck über das allgemeine Dominanzverhalten zu erhalten)

—> Mischung aus beidem

Ordnungsliebe

• Hoch: „Personen mit einer hohen Ausprägung sind ordentlich und sehr systematisch. Sie bewahren Dinge dort auf, wo sie auchhingehören.“

• Niedrig: „Personen mit einer niedrigen Ausprägung sind unfähig, sich die Arbeit einzuteilen und beschreiben sich selbst als wenig planvoll in ihrer Lebens- und Arbeitsweise.“

  • „Ich halte meine Sachen ordentlich und sauber.“

  • „Ich lasse mir lieber Entscheidungsmöglichkeiten offen, anstatt alles im Voraus zu planen.“

  • „Ich lasse gerne alles an seinem Platz, damit ich weiß, wo es ist.“„Ich bin kein sehr systematisch vorgehender Mensch.“

Völlig freie Antworten

• Kreativität:

  Geben Sie so viele kreative Ideen wie möglich an, was man mit einer Garnrolle und einem Nagel machen könnte.

• man braucht Auswert/Kodiersysteme, in denen schon Antworten aufgelistst werden

  aber es gibt auch Fälle, in denen man selbst entscheiden muss —> schränkt Auswertung ein (Objektivität)

eingeschränkt freie Antworten

Ordnungsaufgaben

Auswahlaufgaben (Dichotome Aufgaben)

Auswahlaufgaben (Mehrfachauswahl)

Beurteilungsaufgaben

• Varianten der Beurteilungsaufgabe

  • Analoge versus diskrete Skala

  • Benennung der Kategorie

  • Anzahl der Antwortstufen

  • Existenz einer mittleren Kategorie

  • unipolar versus bipolar

• Analogskala

  • keine Abstufungen

  • Vorteil: Intervallskalenniveau erreicht werden

  • Nachteil: Antworten müssen bei PaperPencil ausgemessen werden (aufwändig)

    (bei diskreten Abstufungen nicht gegeben)

    sind nur Extremwerte oder alle Antwortstufen beschriftet

    Verbale Abstände haben noch weniger gleiche Abstände als Zahlen

• diskrete Skala

  • Contra mittlere Kategorie:

    Ausweichkategorie (nicht entscheiden können, unmotiviert sein, Item nicht veratden haben)

    contra keine mittle Kat:

    Probanden können weniger motiviert sein, wenn es eben für sie die Mitte richtig wäre (Fragen werden nicht mehr richtig beantwortet, wird abgebrochen…)