Übungen

•Vorselektion der anzuschreibenden Personen oder Unternehmen,

•Vorankündigung der schriftlichen Befragung,

•Einladende Gestaltung / Umfang des Fragebogens,

•Ansprechendes Begleitschreiben,

•Anreize,

•Nachfassaktionen,

•Angemessenes Timing der Befragung.

• Eine Befragung beginnt mit der Zielabklärung, der Exploration und der Analyse der theoretischen Grundlagen zum Untersuchungsgegenstand. Hierbei findet i.A. eine sekundärstatistische Analyse der bereits vorliegenden Ergebnisse statt. Am Ende folgt die entsprechende Hypothesenformulierung..

• Im Rahmen der Präzisierung des Forschungsplans kommt es zur Festlegung der Zielgruppe, des Auswahlverfahrens und der Art der Stichprobenauswahl sowie deren Voransprache.

• Im Rahmen der Konkretisierung der Operationalisierung kommt es zur Entwicklung der Fragebogenvorform, zu einem Pretest und zur Gestaltung des endgültigen Fragebogens.

• Nach Fragebogendruck kommt es dann zur Durchführung der Befragung, zur Rücklaufkontrolle und schließlich zur Analyse der Daten und Interpretation der Ergebnisse.

Teilnehmen müssen:

• die gestellte Frage verstehen;

• relevante Informationen aus dem Gedächtnis abrufen;

• bei Einstellungsfragen: eine bereits gebildete Meinung aus der Erinnerung oder relevante Informationen abrufen, die es erlauben, ein Urteil zum Befragungsgegenstand zu bilden;

• bei Verhaltensfragen: relevante Ereignisse erinnern, sie gegebenenfalls datieren, eventuell die Zahl der relevanten Ereignisse bestimmen oder sie schätzen;

• auf Basis dieser Informationen ein Urteil bilden;

• dieses Urteil gegebenenfalls in ein Antwortformat einpassen;

• gegebenenfalls ihr „privates“ Urteil vor Weitergabe „editieren“.

Bietet man Personen verschiedene Skalen an, so erhält man oftmals in Abhängigkeit der jeweiligen Skalierung unterschiedliche Antwortmuster.

Dies lässt sich wie folgt erklären:

Befragungspersonen gehen davon aus, dass die ihnen vorgelegte Skala sinnhaft konstruiert ist. Die Informationen, die sie aus dem Wertebereich einer Skala erschließen, nutzen sie gleich mehrfach:

• ziehen Wertebereich als Bezugsrahmen für eigene Verhaltenshäufigkeit heran

• entnehmen sie ihrer eigenen Platzierung auf der Skala Informationen über die relative Häufigkeit ihres Verhaltens verglichen mit dem Verhalten anderer

• ziehen sie bei nicht eindeutigen Fragen die Skalen als Interpretationshilfen für vermeintlichen Sinn der Frage heran

•Verständlichkeit der Fragen

•Probleme des Befragten mit seiner Aufgabe

•Interesse und Aufmerksamkeit des Befragten bei einzelnen Fragen

•Interesse und Aufmerksamkeit des Befragten während des gesamten Interviews

•Wohlbefinden des Befragten (respondent well-being)

•Häufigkeitsverteilung der Antworten

•Reihenfolge der Fragen

•Kontexteffekte

•technische Probleme mit Fragebogen / Befragungshilfen

•Zeitdauer der Befragung

• Vollständigkeit: Alle Antworten müssen erfasst werden können, d.h. es muss eine Restkategorie für diejenigen Antworten gebildet werden, die in keine vorher festgelegte Kategorie fallen (z.B. Sonstige).

• Eindeutigkeit: Eine eindeutige Zuordnung der Merkmalsausprägungen zur jeweiligen Fragestellung muss möglich sein.

• Ausschließlichkeit: Mit Ausnahme von Mehrfachantworten dürfen keine Ausprägungen in mehrere Kategorien fallen.

• Die Variable „Körpergröße“ ist verhältnisskaliert. Das arithmetische Mittel, der Median und der Modus machen somit Sinn.

• Die Variable „Zufriedenheit“ ist offensichtlich ordinalskaliert. Daher ist es nicht sinnvoll das arithmetische Mittel zu berechnen (obwohl es rechnerisch möglich wäre). Bei ordinalskalierten Variablen greift man bei den Lageparametern auf Median und Modus zurück.

• Geschlecht = nominal, nur Modus

• MW = 175 [cm]

• geordnete Rangreihe: 160, 164, 164, 170, 175, 176, 178, 182, 189, 192

• Median = 175,5 [cm]

• Modus = 164 [cm].

Eine Korrelation gibt die Stärke des linearen Zusammenhangs zwischen zwei Variablen wieder; die dazugehörige Punktwolke könnte wie folgt aussehen:

• Sammelbegriff für vielfältige Formen schriftlicher Befragungen in unterschiedlichen inhaltlichen Bereichen, z. B. medizinische Daten, schulische Daten, etc.

• kein Unterschied hinsichtlich der mit den Testgütekriterien geforderten Qualitätsanforderungen von Fragebogen und Test

• standardisierte Zusammenstellung von Fragen, die Personen zur Beantwortung vorgelegt werden mit dem Ziel, deren Antworten zur Überprüfung der an den Fragen zugrundeliegenden theoretischen Konzepte und Zusammenhänge zu verwenden

• zentrale Verbindungsstück zwischen Theorie und Praxis dar

• wissenschaftliches Routineverfahren zur Erfassung empirsch abgrenzbarer psychologischer Merkmal/e

• Ziel = genaue quantitative Aussage über Grad der individuellen Merkmalsausprägung

• systematisches Verfahren, mit dem einem Probanden konstruierte Stimuli vorgegeben werden, auf die er reagiert.

• Aufgrund dieser Reaktion kann der Testanwender dem Probanden Zahlen zuordnen, von denen er auf das Vorhandensein und die relativeMerkmalsausprägung schließt

• i.d.R. Einzelperson oder Gruppen, Organisationen

• Kombi aus Personen/ Sitautionen (situationsspezifisches Testen)

• Kombi Person und Zeitabschnitten (Veränderungsmessung)

• Matrizentest (Leistungstest, z. B. IQ), sprachunabhängig, interkulturell einsetzbar

• mehrdeutige Tests (z.B. TAT, Roschach, Aufschluss über Proband selbst)

• Fragebogen

• Stimulus: Frage, Aussage, Bild, Geschichte, Zeichnung, Rechnung, Testsituation

• Reaktionsteil: Ankreuzalternativen, leere Zeile, Antwortskala, weißes Blatt

Bestimmung der Körpergröße

• Messapparat muss die Größe in der angegebenen Maßeinheit (cm) korrekt messen (Validität)

• Messapparat muss in sehr kurzen Zeitabständen bei wiederholten

• Größenmessungen an derselben Person zu denselben Ergebnissen kommen(Reliabilität)

• Messanordnung sollte so gestaltet sein, dass die Messung nicht durch die Person, die die Messung durchführt, verändert wird (Objektivität)

• Messapparat wird mit einem Vergleichsmaßstab geeicht (Normierung)

Bestimmung der eines psychologischen Merkmals (z.B. Sympathie)

• keine Vergleichsstandards zur Eichung von Messinstrumenten (keine Maßeinheiten)

• psychologische Merkmale können nur sehr grob anhand eines einzelnen Messvorgangs gemessen werden, d.h. es werden mehrere Messungen (Items) benötigt, die das Merkmal (Konstrukt) umfänglich abbilden (Wie viele?)

• Messung umso präziser, je mehr Items (Aufgaben) vorgegeben werden

• Psychometrie = Teildisziplin der Psychologie liefert Lösungen zur Präzision und Aufgabenmenge und -vielfalt

• Abbildung eines empirischen Relativs, z.B. Motivation in ein numerisches Relativ

• Die Beziehung zwischen empirischen und numerischen Relativ soll möglichst exakt (homomorph = strukturerhaltend) sein.

• der Merkmalsausprägung zugeordnete Zahl soll möglichst exakt der Merkmalsausprägung entsprechen

• Proband = Tagesform, Motivation, andere Merkmale

• Testanwender = Durchführung, Auswertung, Interpretation

• Messinstrument = Reliabilität, Validität

• kontinuierliche Antwortformate

• lineare Zusammenhänge zw. kontinuierlichen Itemvariablen und latenter Variable

• Anwendung: — Gewinnung wahrer Merkmalsausprägungen (true scores, Einstellungs- und Persönlichkeitsmerkmalen

• Reliabilität & Validität derTestwerte

= Meßfehlertheorie, d.h. Ziel: Trennung wahrer Wert von Meßfehler

• 5 Axiome (Grundannahmen) zur Herleitung des testtheoretischen Modells mittlerweile veraltet

• stattdessen Annahmen zu Eigenschaften True-Score-Variable & Meßfehler- Variable

• dichotome, polytome Antwortkategorien

• logistische Zusammenhänge zw. kategorialen Itemvariablen und latenter Variablen

• Anwendung: Schätzung latenter Personenparameter und Itemparameter um Rückschlüsse aus Fähigkeitsmerkmale zu erlauben

• in einer Stichprobe von n Personen ist die Itemvariable γi gleich der Summe aus dem wahren Merkmalswerten aller Personen τi plus den Messfehlern εi

• γi = τi + εi

• Messfehler sind immer dabei! (z. B. Müdigkeit, Unkonzentriertheit bei Leistungstest)

• Messfehlerkonzept: Messfehler umfassen die Gesamtheit aller unsystematischen, nicht kontrollierbaren oder vorhersagbaren potentiellen Einflussgrößen auf das Messergebnis

1. Bedingter Erwartungswert der Messfehlervariablen: E(εi I τi) = 0

1. Unbedingter Erwartungswert der Messfehlervariablen: E(εi) = 0

2. Unkorreliertheit der Messfehler- und True-Score-Variablen: Cov (εi I τi) = 0

3. Dekomposition der Varianz: Var(γi) = Var (τi) + Var (εi)

4. Dekomposition der Kovarianz: Var(γi ,γi‘) = Var (τi, τi‘) + Var (εi, εi‘)

5. (Eindimensionalität: Messfehler unkorreliert)

• Lösung einer Aufgabe hängt von Schwierigkeit & latenter Fähigkeit einer Person ab

— Annahmen:

• es wird nur eine latente Variable gemessen

• Zusammenhang latente Variable & Lösungswahrscheinlichkeit Item durch IC-Funktion zu beschreiben

• Lokale stochastische Unabhängigkeit: Lösungswahrscheinlichkeit nur abh. von latentem Merkmal Person

  
  

• Adaptives Testen: Aufgabenschwierigkeit passend zur latenten Merkmalsausprägung

— Objektivität

— Reliabilität

— Validität

• Objektivität ist der Grad der Unabhängigkeit der Testergebnisse vom Untersucher

• Durchführungsobjektivität Grad der Unabhängigkeit der Testergebnisse von zufälligen oder systematischen Verhaltensvariationen des Untersuchers während der Testdurchführung, die zu Verhaltensvariationen des Pbn führen

• a) Durchführungsanleitung schriftlich genau formulieren

• b) Standardisierung der Testsituation

• c) Interaktion von Untersucher und Pbn während der Untersuchung auf ein Minimum reduzieren

• Eindeutige Anweisungen für numerische oder kategoriale Auswertung des registrierten Testverhaltens in hohe und niedrige Merkmalsausprägungen.

• Mittel:Skalierung

  • a) Hoch: bei dichotomen Antworten (richtig vs. falsch)

  • b) Mittel: bei freien Aufgaben bzw. Fragenbeantwortung

  • c) Niedrig: bei projektiven Testverfahren

• Grad der Interpretation des Testergebnisses unabhängig vom Testanwendenen Person (gleiche Ergebnisse für verschiedene Teilnehmer)

• Hoch = gleiche Auswertungsergebnisse verschiedener Pbn führen zu gleichen Schlüssen (bei normierten Testverfahren)

• niedrig: bei projektiven Testverfahren

• normierte vs. kriteriumsorientierte Interpretation

• Gültigkeit: Misst der Test was er messen soll?

• z.B.: — Test ist valide, wenn Ergebnisse einen unmittelbaren und fehlerfreien Rückschluss auf Ausprägungsgrad des zu erfassenden Verhaltensmerkmals zulassen

• Vorgehen: — Validierung erfolgt z.B. mit Außenkriterium oder mit einem Indikator des Außenkriteriums (z. B. mit einem anderem Test).

• —  Augenscheinvalidität

• —  Übereinstimmungsvalidität

• —  Vorhersagevalidität

• —  inkrementelleValidität

• —  Inhaltsvalidität

• —  Kriteriumsvalidität

• —  Konstruktvalidität

• —  konvergenteValidität

• —  diskriminanteValidität

• —  faktorielleValidität

• ASV = auch für Laien verständlich

• ÜEV = Zusammenhang mit bestehenden Konstrukten

• VSV = für Zuknuft relevant

• Korrelation (Vorhersage) mit Außenkriterium

• z.B.: Intelligenz und Berufserfolg

• Retrospektive Validität: Korrelation mit Messungen in der Vergangenheit

• Konkurrente Validität: Korrelation mit aktuellen Messungen

• Prädiktive Validität: Korrelation mit Messungen in der Zukunft

• standardisiert = vorgegebene Antworten

• nicht-standardisiert = offene Fragen

Leistungstests I

Speedtest (Schnelligkeits- oder Geschwindigkeitstests)

• enthalten relativ leichte Aufgaben, die jedoch von keinem Probanden in der vorgegebenen Testzeit beantwortet werden können.

• Differenzierung zwischen den Probanden wird durch die begrenzte Bearbeitungszeit erreicht

• Je schneller die Aufgaben richtig beantwortet werden, desto höher ist der Testwert

Niveautest / Power-Test

• enthalten Aufgaben, die in ihrem Schwierigkeitsgrad kontinuierlich ansteigen

• Die Letzten Aufgaben könne trotz fehlender Zeitbegrenzung nur noch von sehr wenigen Probanden richtig beantwortet werden

• Derartige Verfahren ermitteln in erster Linie das intellektuelle Niveau von Probanden

• Die meisten Tests sind Mischformen, weil die Aufgabenschwierigkeiten stark streuen und eine Zeitbegrenzung vorgesehen ist

Objektive Test:

• Wenn das Testergebnis keinen subjektiven Interpretationsspielraum des Testauswerters zulässt

  
  

  
  

  Nicht-objektive Tests

• Wenn das subjektive Urteil des Testauswerters von Bedeutung ist, z. B. in projektiven Testverfahren

• Individualtests

  • können nur mit einzelnen Probanden durchgeführt werden

• Gruppentest

  • im Gruppensetting durchführbar somit besonders zeitökonomisch

• Gebundene Itembeantwortung • Antwortalternativen sind vorgegeben

• Freie Itembeantwortung • der Proband muss selbst eine Antwort auf die Frage oder Aufgaben finden

• Frage bzw. Statement

• Antwortmöglichkeiten

• Teilweise: Einleitung, Infottest, Befragtenanweisung, Hilfetext Beantwortung, Visualisierung, Danksagung

Länge

• —  So kurz wie möglich

• —  5-10 Min sind optimal

— Reihenfolge

• —  Logische Reihenfolge

• —  Thematische Gruppierung

• —  Beginn: spannende/interessante Fragen

• —  Ende: Demographie

• —  Generelle vor spezifischen Fragen

— Layout(online)

• —  1 Frage pro Seite vs. mehrere (z.B. Matrixfragen)

• —  Seiten- vs. Scroll-Bar-Design

• —  Heller Hintergrund ohne Hintergrundgrafiken

• —  Fragen nummerieren

• —  Zurück & Weiter-Button

• —  Vermeiden von weiß-nicht/keine Angabe, bzw. mit Abstand darstellen

• —  abhängig vom Inhalt gestalten

— Layout(papierbasiert)

• —  Ausreichend große Schrift

• —  Nicht zu viel auf eine Seite

• —  Klare Struktur

• —  Heller Hintergrund ohne Hintergrundgrafiken

• —  Fragen nummerieren

• —  Vermeiden von weiß-nicht/keine Angabe, bzw. mit Abstand darstellen

• —  abhängig vom Inhalt gestalten

• Jedes Item muss so formuliert sein, dass Personen mit unterschiedlichen Standpunkten gegenüber dem jeweiligen Einstellungsobjekt unterschiedlich auf das Item reagieren können

1. einfache, unzweideutige Begriffe verwenden

2. keine lange und komplexe Frage

3. keine hypothetische Fragen

4. keine doppelte Stimuli und Verneinungen

1. keine Unterstellungen und suggestive Fragen

2. Fragen vermeiden, die auf Informationen abzielen, über die viele Befragte mutmaßlich nicht verfügen

3. keine Fragen mit eindeutigem zeitlichen Bezug

4. keine Antwortkategorien verwenden, die erschöpfend und disjunkt (überschneidungsfrei) sind!

5. sicherstellen, dass Kontext Frage sich nicht auf Beantwortung auswirkt

6. unklare Begriffe definieren

Offen

Geschlossen

• — Dichotom

• — Ratingskalen

• —  Verbalisiert/nicht verbalisiert

• —  Gerade/ungerade

• —  Richtung

• —  Ranking

• —  Forced Choice

• —  Mehrfachnennungen

Hybrid

• Nominal (dichotom), z.B. Geschlecht

• Ordinal, z.B. Bildung

• Intervall (Ratio), z.B .Datumsangaben

• Verhältnis, z.B .Anzahl Kinder

• Soziale Erwünschtheit

• Satisficing

• — Ja-Sage-Tendenz (Akquieszenz)

• — Speeding

• — Tendenz zur Mitte

• — Primacy-Effekt/(Recency-Effekt)

• —  Erinnerungseffekte

• —  Halo-Effekt

• —  FehlendeWerte

— Schwierigkeit Items variiert

— Trennschärfe der Items variiert

— valide Items verwendet werden

— reliable Skalen verwendet werden

— alle Items einer Skala einem testtheoretischen Modell genügen (Homogenität)

—Items sind die kleinsten Elemente eines Tests von denen die Qualität des Test abhängt.

• Schwierigkeit

• Trennschärfe

• Homogenität

• wie groß relative (prozentuale) Anteil von Probanden ist, die ein Item im Sinne höherer Merkmalsausprägungen beantworten

• Je mehr Probanden einer Stichprobe das Item in Merkmalsrichtung beantworten, desto geringer ist die Schwierigkeit.

Mittlere Schwierigkeit (um .50)

• größtmögliche Streuung der Itembeantwortungen über die Probanden und größtmögliche Differenzierung über Gesamtstichprobe

• Große Streuungen des Merkmals begünstigen hohe Korrelationen, als günstige Voraussetzung für die Trennschärfe des Items und die Homogenität der Skala

(.05 - .10; .90 - .95)

• Mittlere Schwierigkeiten differenzieren nur zwischen der Gruppe der Löser versus Nicht-Löser

• Zur Differenzierung zwischen Probanden mit extremen Merkmalsausprägungen werden zusätzlich Items mit extremeren Schwierigkeiten benötigt, das jedoch zu Einbußen bei der Trennschärfe und Homogenität führt

• wie gut gesamte Testergebnis aufgrund einzelnen Items vorhergesagt werden kann

• Kennwert der Übereinstimmung zwischen dem Ausmaß der Differenzierung der Probanden in Löser und Nicht-Löser durch Item selbst und Ausmaß der Differenzierung der gesamten Skala.

• Je höher die Trennschärfe, desto besser misst das Item das, was die gesamte Skala misst.

• Korrelation des Items A mit dem Summenwert der gesamten Testskala, in der das Item A als Summand nicht enthalten ist. D.h. die Trennschärfe ist die korrigierte (part-whole-Korrektur) Korrelation einer Aufgabe mit einer Skala.

Wenn Itemwerte und Summenwerte der Skala weniger als 10% gemeinsame Varianz (rit2) haben

(i – Itemwert, t – Testwertsumme)

• ohne Part-whole-Korrektur = Überschätzung der Trennschärfe, weil Item selbst Bestandteil Skala ist

• ohne würde Teil der Skalenstreuung auf Item zurückgehen, mit dem Skala korreliert wird

• je > Itemanzahl einer Skala, desto < Auswirkungen der Korrektur auf Trennschäfe

• je homogener Skala, desto weniger ändern sich Trennschärfewerte durch Part whole Korrektur

• Theorie: jedes Item kann unabhängig von Schwierifkeit Trennschärfe von 1 erhalten

• empirisch = umgekehrte U-förmige Beziehung zwischen Schwierigkeit und Trennschärfe, wobei mit mittlerer Schwierigkeit = höchste Trennschärfe

• Item mit mittlerer Schwierigkeit differenzieren am besten

• bei dichotomen Items ist Itemstreuung rechnerisch vollkommen durch Itemschwierigkeit bestimmt

• A = Lösungswahrscheinlichkeit bis IQ 99 = 0%, ab IQ 100 = 100%

• nur theoretisch möglich

• IQ bis 120 = 0% möglich, danach 100%

• entscheiden ob Proband zu 20% der intelligensten gehört

• IQ 55 = 50%, IQ 130 = 50%

• differenziert nicht zwischen Probanden, obwohl mittlere Schwierigkeit vorliegt, nutzlos für Diagnose

• sehr gute Trennschärfe, empirisch selten erreicht

• IQ <85 = 0%, 100% bei IQ >115

• mittlere Trennschärfe, mittlere Schwieirgkeit 50%

• Item differenziert entlang gesamte Testskala zwischen Probanden

• negative Trennschärfe

• unbrauchbar

• differenzieren sehr gut, jedoch nur in Schwierigkeitsbereichen von 10% (H) und 93% (F)

• Differnzierung intelligenste und dümmste

• C, F, H = gleiche Trennschärfe bei unterschiedlicher Schwierigkeit

• A, B, C, D, E = gleiche Schwierigkeit bei untershciedlicher Trennschärfe

• Ziel: Vergleichbarkeit der Testergebnisse

• Normorientiert

  • Relation zur Bezugsgruppe

  • Zuordnung Testrohwert zu Normwert

    • Prozentrangnormen

    • Standardisierte z-Normwerte — Bsp.:KonzentrationstestanhandNormtabelle

• Kriteriumsorientiert

  • Relation zu inhaltlichem Kriterium

  • Vorr.: Definition Schwellenwerte

  •  Bsp.: Vokabeltest Schule vgl. Lehrplan