Items generieren

·        Items generieren, die spezifisch für das Konstrukt sind

1) Theoriegetrieben: Aus Modell abgeleitet

2) Bottom Up: Lexikalischer Ansatz z.B. Sedimentationshypothese, Expertenfragen, Critical Incident Technique

3) Prototypenansatz: Act Frequeny Approach

4) Copy & Paste

1) Befagte benennen eine Person, bei der eine Eigenschaft besonders stark ausgeprägt ist (Peron sollte interpersonell konsistent als Prototyp anerkannt sein)

2) Dieselben Befragten benennen Eigenschaften oder Verhaltensweisen, die die betreffende Person zeigt und die typisch für die Eigenschaft sind

3) Diese Eigenschaften oder Verhaltensweisen werden von anderen Befragten hinsichtlich ihrer Prototypizität eingestuft

4) Die Prototypischste Eigenschaften und Verhaltensweisen werden als Indikatoren genommen

1-     Verstehen des Items

2-     Gedächtnisabruf

3-     Urteilsbildung

4-     Auswahl der Antwort

5-     Zensur der Antwort

Maxim of Manner

·        Sei eindeutig und vermeide Mehrdeutigkeiten! (Befragte gehen davon aus, dass ihre erste Interpretation des Items die richtige ist)

·        Mehrdeutigkeit führ zu unsystematischer Fehlervarianz

Maxim of Relation

·        Eine Frage oder Aussage steht in Beziehung zu vorherigen Fragen oder Aussagen

·        Items in einem Fragebogen können beeinflussen, wie folgende Items verstanden werden

o   Beispiel 1: „Glauben Sie, dass Sie gefährdet sind, Alkoholiker zu werden?“;  „Gehen Sie nach Feierabend gelegentlich mit Kollegen ein Bier trinken?“

o   Durch die erste Frage wurde ein Kontext geschaffen: man antwortet eher mit "nein" bei der ersten Frage um nicht als Alkoholiker zu gelten

o   Beispiel 2: „Sind Sie ein geselliger Mensch?“; „Gehen Sie nach Feierabend gelegentlich mit Kollegen ein Bier trinken?“

o   Nun neigt man durch die erste Frage eher dazu, die zweite Frage mit "ja" zu beantworten aufgrund des Kontextes (ich bin gesellig, also gehe ich mit anderen was trinken)

Maxim of Quantity

·        Gib so viele Informationen, wie der Befragte benötigt, aber nicht mehr als notwendig sind

o   „Wie oft haben Sie sich bei der Arbeit in den letzten 2 Jahren geärgert?“ Wenn ich nach den letzten 2 Jahren gefragt werde, kann es hier nur um wirklich große Ärgernisse gehen…

o   „Wie oft haben Sie sich bei der Arbeit in den letzten 2 Wochen geärgert?“ Wenn ich nach den letzten 2 Wochen gefragt werde, betrifft das bestimmt auch kleine Ärgernisse…

·        Verwenden Sie einfache, eindeutige Begriffe und definieren Sie unklare Begriffe!

·        Vermeiden Sie lange, komplexe Sätze!

o   1. Problem: Personen unterscheiden sich in ihrem Arbeitsgedächtnis; manche vergessen bereits am Ende des Satzes den Anfang

o   2. Problem: Durch Haupt- und Nebensätze sind versch. Interpretationen möglich (Ja ich habe viel im Alltag zu tun und bereite mich gut vor, nein ich habe nicht viel im Alltag zu erledigen, bereite mich aber gut vor

·        Erfragen Sie nur Informationen, über welche die Befragten verfügen können!

o   „Verfügen Sie über die notwendigen kognitiven Fähigkeiten um die geplante Umschulung erfolgreich abschließen zu können? “

·        Vermeiden Sie doppelte Stimuli, die unterschiedliche Aspekte beschreiben!

·        Vermeiden Sie (doppelte) Verneinungen

·        Inhaltliche Experten (z.B. Persönlichkeitspsychologen), sprachliche Experten (z.B. Linguisten) und Umfrageexperten geben Feedback zu den Items eines Fragebogens

·        Methode wird häufig bei großen Umfrageprogrammen) eingesetzt

o   European Social Survey, International Social Survey Programm

·        Nachteil: Experten können oft nicht gut einschätzen, wie gut Befragte die Items verstehen

o   Sinnvoll, naive Personen in einem Pretest einzubeziehen (siehe kognitive Pretests)

·        Technik Lauten Denken: aussprechen, was beim Beantworten des Fragebogens gedacht wird

·        Technik Paraphrasieren: Items in eigenen Wörtern wiedergeben

·        Technik Nachfragen (Probing): nachfragen, warum eine bestimmte Antwortkategorie gewählt wurde (und nicht eine andere)

·        Die (offenen) Antworten der Befragten werden aufwändig transkribiert, kodiert und daraus potentielle Probleme und Verbesserungsmöglichkeiten abgeleitet

·        Gedächtniseffekte können die Beantwortung von Fragebögen verzerren

o   Kürzlich Erlebtes wird besser erinnert als Ereignisse, die lange zurück liegen (recency effect)

o   Unklare zeitliche Bezüge kann die Messgenauigkeit von Items verringern

§  „Wie oft haben Sie sich in letzter Zeit über Ihren Vorgesetzten geärgert?“

o   Die Häufigkeit von seltenen Ereignissen wird überschätzt

• Stereotype Threat Effect = = das Aktivieren eines Vorurteil beeinflusst das Beantworten von Fragen oder das Lösen von Aufgaben (Effekt klein und in wichtigen Situationen wahrscheinlich nicht vorhanden)

• · Kontexteffekte können das Beantworten von Items beeinflussen

  o   „Wissen Sie, welcher Partei Angela Merkel angehört?“

  o    „Was halten Sie von der CDU?

  o   Bessere Beurteilung der CDU mit der Merkel-Frage aufgrund der Beliebtheit von Merkel

  o   Vorteil: Urteilsbild wurde anhand von verschiedenen Kategogrien geformt wurde und Diagnostiker steuern, welche Prozesse zur Urteilsbildung beitragen

   

  ·   Implizite Unterstellungen können die Aussagekraft von Antworten verringern

  o    „Das Familienleben leidet oft, weil Männer sich zu sehr auf die Arbeit konzentrieren.“

  §  Ich stimme nicht zu, weil ich nicht glaube, dass Männer sich zu sehr auf ihre Arbeit konzentrieren.“

  §  „Ich stimme nicht zu, weil ich nicht glaube, dass das Familienleben darunter leidet.

  o   Problem: Gleiche Antwort aber unterschiedliche Begründungen, die dahinter stecken; hier lässt ein Item versch. Interpretationen zu

Vorteil:

·        Forschende müssen nicht alle Antwortmöglichkeiten kennen, sondern können sie von den Befragten generieren lassen

·        Eignet sich, wenn die Forschenden wenig über den Untersuchungsgegenstand wissen

Nachteil: Offene Antworten sind nicht direkt vergleichbar, sondern müssen erst aufwändig kategorisiert werden

·        Verwenden Sie eine eindimensionale Antwortskala. So kann eine Antwort eindeutig interpretiert werden (Eine Dimension erfassen statt mehrere; Nervosität und Wohlbefinden getrennt abfragen)

·        Formulieren Sie die Antwortkategorien MECE (mutually exclusive, collectively exhaustive). So wird der gesamte Antwortraum abgedeckt und es gibt keine Überlappungen

o   Sind die Items voneinander unabhängig (ME = mutually exclusive) und decken trotzdem alles ab/sind erschöpfend (CE = collectively exhaustive)

·        Bieten Sie 5-7 Antwortkategorien an. Dies ermöglicht eine differenzierte Erfassung und die Kategorien können noch sinnvoll abgegrenzt werden

o   Ja/Nein vermeiden, besser sind Abstufungen mit ähnlichen Abständen

o   0-100 Ratings überfordern Befragte oftmals

·        Verbalisieren Sie alle Antwortkategorien, vermeiden Sie nummerierte Antwortkategorien

Vorteil:

·        Voraussetzung: Forschenden kennen vorher schon alle relevanten Antwortmöglichkeiten

·        Die vorgegebenen Antwortkategorien werden als einzig relevante Antworten interpretiert. Das hilft Befragten, Items einheitlich zu verstehen

·        Ökonomische Auswertung und Vergleichbarkeit von Antworten

Nachteil: Geschlossene Antworten setzen eine sorgfältige Vorarbeit bei der Auswahl und Formulierung der Antwortkategorien voraus

·        Gerade:

o   Eine Person, die die mittlere Ausprägung wählen möchte, kann dies nicht tun

o   Ausweichen auf angrenzende Kategorien

o   =>Verringert Messgenauigkeit

·        Ungerade:

o   Mittlere Kategorie als Fluchtkategorie für Unentschlossene und Personen, die die Frage nicht verstanden haben

=>Verringert Messgenauigkeit

·        Soziale Erwünschtheit kann das Antwortverhalten beeinflussen, Heikle Themen sind für soziale Erwünschtheit besonders anfällig, z.B. Sexualität, Kriminalität, politische Einstellungen

·        Soziale Erwünschtheit hat zwei Aspekte:

o   Selbsttäuschung: Ich mache mir selber etwas vor, z.B. glauben über 50% der Deutschen, überdurchschnittlich gute Autofahrer zu sein (self deception)

o   Fremdtäuschung: Ich mache anderen etwas vor, z.B. bei der Frage „Haben Sie schon einmal Ihren Arbeitsgeber bestohlen?“ im Vorstellungsgespräch (impression management)

·        Einfluss gering halten: nur Items auswählen, deren soziale Erwünschtheit als gering eingestuft wird

·        Antworten anonymisieren: sichern Sie den Befragten zu, dass ihre Antwort nicht mit ihrer Person in Verbindung gebracht werden kann (ggf. in Umschlag packen)

·        Verhalten normalisieren:  „Viele Menschen hinterziehen Steuern. Haben Sie in letzter Zeit Ihre Steuern hinterzogen?“; „Kennen Sie andere Personen, die bei der Steuer betrügen? Haben Sie in letzter Zeit bei der Steuer betrogen?“

·        Randomized Response Technique (nur auf Gruppenebene)

·        Multiple Forced Choice Antwortformat

Randomized Response Technique (nur auf Gruppenebene): Die Befragten sollen eine Münze einmal werfen (ohne das Ergebnis dem Interviewer mitzuteilen!) und in Abhängigkeit vom Ergebnis die Frage beantworten. Beispielsweise könnte eine Regel lauten: Wenn die Münze »Kopf« zeigt, sollen die Befragten die Frage immer mit Ja beantworten, wenn sie »Zahl« zeigt, sollen sie die Frage wahrheitsgemäß beantworten. (einzelne Daten einer Person sind daher nicht verwertbar). Auf Gruppenebene kann man aber feststellen, wie oft ein Verhalten in der Stichprobe auftritt, weil man den Zufallseffekt des Münzwurf kontrollieren kann. Aus einer Antwort mit Ja oder Nein kann also im individuellen Fall nicht geschlossen werden, ob der oder die Befragte beispielsweise (bei einer Antwort mit Ja) »Kopf« geworfen hat, oder ob er tatsächlich das erfragte Verhalten bejaht. Vorteil: die Anonymität bei der Beantwortung wird gewährleistet und gleichzeitig können die Daten der Person erhoben werden

Antwortformat erzwingt eine Antwort

o   2-3 Items mit gleicher sozialer Erwünschtheit werden gemeinsam präsentiert. Befragte wählen das Item aus, das am ehesten (und am wenigsten) auf sie zutrifft. Antworten werden kodiert und mittels Item Response Theory modelliert

1.      Informationen zum Fragebogen =>Zweck, Inhalt, Dauer, wie Fragebogen auszufüllen ist

2.      Schafft Motivation => erhöht die Teilnahmebereitschaft

3.      Informiert über Datenschutz =>Freiwillige Teilnahme, Keine personenbezogene Auswertung