Fragebögen & Umfragen

Was ist ein Fragebogen?

„Ein Fragebogen/ Test ist ein wissenschaftliches Routineverfahren zur Erfassung eines oder mehrerer empirisch abgrenzbarer psychologischer Merkmale mit dem Ziel einer möglichst genauen quantitativen Aussage über den Grad der individuellen Merkmalsausprägung.“

Fragebogen

Welche Befragungsformen kennen Sie?

• Quantitativ: Ankreuzfragen

• Qualitativ: Interview, Freitextfelder

• Computerbasiert —>meist Screening Fragebogen

• Mündlich —>Interview

• Papierform —>Langzeitpflege: evtl. Showcards

Interviews

= Befragung einer oder mehrerer Personen in Form eines Gespräches, um Erlebnisse, Erfahrungen oder Einstellungen zu einem bestimmten Thema zu erfassen. Ein Interview kann durch einen Interviewleitfaden strukturiert sein.

Interviews

Schritte der Fragebogenentwicklung

Schritte der Fragebogenentwicklung

Definition des Konstruktes

• Konstrukt = Theoretisches Konzept

• Was soll mit dem Fragebogen erhoben werden?

Itemsammlung

Sammlung kann u.a. auf Basis von:

• Befragungen von Expert*innen & Befragungen von betroffenen Personen,

• einer Literaturrecherche,

• eigener Erfahrungen und

• vorhandener Fragebögen erfolgen.

Schritte der Fragebogenentwicklung

Pilotierung

• Items werden an einer ersten Stichprobe getestet (z.B. auf Verständlichkeit)

• Es wird eine Itemanalyse vorgenommen

• Dabei kann eine Analyse stattfinden

• der Item Schwierigkeiten und

• der Trennschärfe der Items statt.

Validierung

• Items werden an einer 2. Stichprobe evaluiert

• Itemanalyse wird erneut durchgeführt

Sie wollen eine Fragebogen zur Arbeitsbelastung in der Pflege erstellen. Wie gehen Sie vor?

• Beantwortbare Forschungsfrage festlegen (PIKED)

• Fragebogen erstellen

• Fragebogen testen

• Stichprobe generieren

Planung einer Umfrage

Wahl: Quantitativ oder Qualitativ?

Planung einer eigenen Umfrage

(1)     Beantwortbare Forschungsfrage festlegen (PIKED)

(2)     Fragebogen erstellen

(3)     Fragebogen testen

(4)     Stichprobe generieren

Planung einer eigenen Umfrage

1) Forschungsfrage festlegen

• Forschungsfrage als Basis für den Fragebogen: Definition der Messgrößen/ Outcomes, Zielgruppe festlegen

• Umfangreiche Literaturrecherche: Welche Antworten zu erwarten? Aktueller wissenschaftlicher Stand? Eingesetzte Fragebögen? Validierte Konstrukte?

• Theoretischer Rahmen/Konzepte: Rahmen des Fragebogens, Einordnung der Ergebnisse

• Forschungsgegenstand definieren z.B. Motivation von Studierenden

Outcomes/ Endpunkte definieren

• Machen eine Forschungsfrage „messbar“

• Relevante Fragen

  • Welcher Endpunkt bildet das interessierende Ereignis ab?

  • Welcher Endpunkt ist am wichtigsten und plausibel?

  • Welche zusätzlichen Endpunkte sind einzubeziehen?

  • Wie lassen sich die Endpunkte erfassen?

  • Welche Instrumente sind zur Erfassung am besten geeignet?

Planung einer eigenen Umfrage

2) Fragebogen erstellen

• Online oder Papier (zielgruppenspezifisch)

• Gliederung des Fragebogen (Einleitung, Hauptteil, Schluss)

• Formulierung der Fragen bzw. Auswahl validierter Fragebogenkonstrukte

  • Objektive/neutrale, kurze und präzise Fragen (zielgruppenspezifisch)

  • Clusterung der Fragen in bestimmte Themenbereiche „Fragen zur Person“, „Arbeitsklima“

  • Reihenfolge der Items festlegen

  • Wahl passender Skalenniveaus & Antwortformate

  • Fragebogen kurz fassen „nice to know / need to know“ (Ethik!)

  • Verständliche Anleitung zum Ausfüllen

  • Quellenangabe/Copyright ggf. Anpassung von validierten Fragebögen

• Online-Umfrage-Tools zur Erstellung von Fragebögen

  • z.B. LimeSurvey, SurveyMonkey

Arten von Items

Offene Fragen

• Darlegung von subjektiven Meinungen & Einstellungen

• Nicht ökonomisch & schwierig auszuwerten

• Beispiel

  Was hat Ihnen an der Schulung besonders gut gefallen?

Geschlossene Items/Fragen

• Ökonomisch in der Auswertung & schnell beantwortbar

• Beispiel:

  Ich fühle mich angespannt oder überreizt.

  • Meistens

  • Oft

  • Von Zeit zu Zeit / gelegentlich

  • Überhaupt nicht

Was für Antwortformate gibt es?

Warum ist das Skalenniveau wichtig?

Das Skalenniveau:

• beschreibt, welche Informationen in einem Messwert stecken,

• ist abhängig von der Art, wie gefragt wird und

• entscheidet, welche statistische Operationen zu diesem Messwert berechnen kann

Welche Skalenniveaus gibt es?

Nominalskala, Ordinalskala, Intervallskala & Verhältnisskala

Itemformulierung

Zu vermeiden:

• Unüberlegter Gebrauch von Fachbegriffe

  „Ich nehme viele saturierte Fette zu mir.“

• Begriffe mit mehreren Bedeutungen

  „Der Konsum von Suchtmitteln sollte verboten werden.“

• Doppelte Verneinungen

  „Es ist nicht gut, wenn der Müll nicht getrennt wird.“

• Überschneidende Antwortkategorien

  Welcher Altersgruppe gehören Sie an?

  • 18-25

  • 25-30

  • 30-35

• Zu allgemeine Formulierungen

  „Ich bin zufrieden mit meinem Leben.“

• Doppelfragen/ zwei Sachverhalte

  „Ich fühle mich ängstlich und überreizt. “

Beeinflussung des Antwortverhaltens

• Reihenfolge der Items/Fragebögen

  —>können sich gegenseitig beeinflussen

• Reaktivität

  —>Veränderung bzw. Verzerrung der erhobenen Daten allein aufgrund der Kenntnis der untersuchten Person, dass sie Gegenstand einer Untersuchung ist

Systematische Fehlerquellen

Tendenz der sozialen Erwünschtheit

• Testpersonen neigen dazu, sich in einem guten Licht darzustellen

  —>Gegenmaßnahme: Zusicherung der Anonymität

Antworttendenzen

• Ja-Sage Tendenz

  —>Gegenmaßnahme: Verwendung unterschiedlich gepoolter Items

• Tendenz zur Mitte

  —>Gegenmaßnahme: keine Mittelkategorie

Welche Gütekriterien sind bei der Fragebogenentwicklung relevant?

Objektivität, Validität, Reliabilität

Objektivität

• Unabhängigkeit von der untersuchenden Person

• Durchführungsobjektivität, Auswertungsobjektivität, Interpretationsobjektivität

Reliabilität

• Präzision/ Wiederholbarkeit

• Genauigkeit in der Messung

• Wiederholte Messungen ergeben stets dasselbe Resultat

Validität

• Gültigkeit/Genauigkeit

• Misst der Test, das, was er messen soll?

• Konstruktvalidität: Erfassung der Validität eines Tests/Konstruktes (Korrelation)

Wie finde ich valide Fragebögen?

• Betreuer*in fragen

  —>Wichtige Fragebögen für die eigenen Themen sind in den Instituten meist vorhanden

• Wissenschaftliche Artikel zum gleichen Thema —>Verwendete Skalen werden zitiert àIn den Validierungsstudien zu den Fragebögen werden meist die Items genannt

  —>Autor*in anschreiben, wenn Items nicht genannt werden

—>https://zis.gesis.org/

—>Open Access Repositorium für Messinstrumente

Planung einer eigenen Umfrage

3) Fragebogen testen

• Pretest in Zielgruppe

• Fragen verständlich? Fragen beantwortet wie vorgesehen? Ergebnisse aussagekräftig?

• Feedback zum Fragebogen einholen, ggf. anpassen

Planung einer eigenen Umfrage

4) Stichprobe generieren

• Größe der Stichprobe ermitteln (Stichprobenrechner, literaturbasiert)

• Stichprobenauswahl (Entscheidung in Abhängigkeit vom Evaluationszweck zu treffen)

  • Repräsentativität der Stichprobe für die Fragestellung

  • Zufallsauswahl: z.B. Random Digital Dialing

  • Nicht-zufallsgesteuerte Verfahren (z.B. Convenience Sample)

• Umfrageteilnehmer finden

  • Anschreiben formulieren (persönliche Ansprache, Ziel, Datenschutz & Einwilligung, Umfang & Dauer, ggf. Ethikantrag, Personalrat, ggf. Incentives)

  • Einladung über Social Media, Netzwerke, postalisch

Planung der Auswertung einer Umfrage

• Planung der Auswertung sollte bereits bei der Erstellung der Umfrage mitgedacht werden

• Skalenniveaus bestimmen die Aussagekraft und Datenanalyse

• Statistischer Analyseplan (SAP): detaillierte Beschreibung der statistischen Verfahren und Analysen, definiert alle statistischen Methoden und Ergebnisse, die in den Studienbericht aufgenommen werden

• Codebook erstellen

Dateneingabe & Aufbereitung einer Umfrage

• Export bzw. Dateneingabe in Statistik-Software

  • Doppelte Dateneingabe zur Qualitätssicherung

• Aufbereitung des Datensatzes

  • Missings definieren

  • Plausibilitätstests: Berechnen und Sichten von Streuungsmaßen, Häufigkeitsverteilungen, Kreuztabellen (grafische Darstellung z.B. Histogramm, Balkendiagramm)

  • Fehlerdiagnose und Fehlerkorrektur: Fehlende Daten im Datensatz entfernen/ imputieren

  • Variablen berechnen z.B. BMI, Konstrukte berechnen z.B. Lebensqualität (SF-36)

  • Variablen umcodieren (z.B. Dichotomisieren)

Statistische Datenauswertung

• mittels Software z.B. R, PSPP, SAS oder Excel (Tabellen und Grafiken)

• Deskriptive Datenanalyse: Überblick verschaffen, Beschreiben der Stichprobendaten

• Inferenzstatistik: Überprüfung des bzw. der aus der Forschungsfrage abgeleiteten Hypothesenpaar(e) mit Hilfe geeigneter statistischen Methoden (z.B. multiple lineare Regression mit anschließenden t- und F-Tests)

• Darstellung der Daten: Häufigkeitstabellen, Grafiken, Parameter (Maßzahlen/Kennzahlen)

• Auswertung offener Fragen: z.B. Clusterung in Word oder MAXQDA

Wie berichte ich Fragebögen?

Validierte Fragebögen

• Kurze Beschreibung (Konstrukt, Reliabilität, Validität)

• Zitiert mit Original-Autor und ggf. wer die Übersetzung angefertigt hat

Selbstgenerierte Fragebögen

• Entstehung der Items

  • selbstgeneriert?

  • auf Basis von anderen Fragebögen entwickelt?

• Wortlaut sollte im Methodenteil oder im Anhang genannt werden

• Wenn ein Konstrukt mit mehreren selbstgenerierten Items gemessen wird:

  • Cronbach‘s Alpha (= innere Konsistenz) angeben