LE 2 - Evaluationsplanung & Operationalisierung

Qualitativer Forschungsansatz

• Untersuchung von offenen Forschungsfragen

• Wenige Untersuchungseinheiten

• Sehr detailliert

• umstrukturierte oder teilstrukturierte Datenerhebungsmethoden —> ermöglicht unerwartete Befunde

• Ziel = Gegenstandsbeschreibung samt Theoriebildung

• Interpretative Auswertung der qualitativen Daten (interpretiert systematisch Textmaterial)

Quantitativer Forschungsansatz

• Untersuchung von theoretisch abgeleiteten Forschungshypothesen

• Viele Untersuchungseinheiten

• Untersuchungsdesigns vor allem nach Kriterien der Objektivität, Replizierbarkeit, Validität (wichtigstes Kriterium)

• Strukturierte Datenerhebungsmethoden

• Ziel ist Theorieprüfung bzw. Theorieweiterentwicklung

• Statistische Auswertung der quantitativen Daten

Mixed- Methods- Ansatz

• Kombination aus qualitativen und quantitativen Vorgehensweisen

• Einbezug von qualitativen und quantitativen Gütekrierien wichtig

• Durchführung von nacheinander oder gleichzeitig geführten Teilstudien —> sind direkt aufeinander bezogen

• Beispiele:

  • Vorstudienmodell = qualitative Studie ist Vorstudie zur Generierung von Hypothesen; anschließend quantitative Studie zur Überprüfung dieser

  • Ergebnisse qualitative Studie fließen in Hypothesenbildung und Fragebogenkonstruktion bei quantitativem Teil direkt mit ein

  • Vertiefungsmodell = zuerst quantitative Studie, dann qualitative ran, um detaillierte Informationen zu generieren

Qualitatives Untersuchungsdesign

• Bei offenen Forschungsfragen

• Wenige Fälle

• Bearbeitung detailliert an vielen Aspekten

• Erkundung neuer Gegenstände

• Entwicklung einer Hypothese oder Theorie

  
  

  Quantitatives Untersuchungsdesign

• Überprüfung von Forschungsfragen oder -hypothesen anhand vieler Fälle und weniger Aspekte

• Betrachtung von bereits erforschten Sachverhalten unter spezifischen Fragestellungen

• Überprüfung von etablierten Theorien

Mixed- Methods- Design

• Realisierung einer besonders umfangreichen Studie

• Solide Vorkenntnisse in qualitativer und quantitativer Studie

• Bereitstehen von genügend zeitlicher, finanzieller und personeller Ressourcen

1. Initiirungsphase der Evaluation

2. Konzeptionsphase der Evaluation

3. Planungsphase der Evaluation

   • Formulierung von detaillierten Evaluationsfragen/-hypothesen

   • Untersuchungsplanung inkl. Untersuchungsdesign

   • Stichprobenpläne und Erhebungen sInstrumente

   • Organisatorische Projektplanung (Rekrutierung des Evaluationsteams)

1. Realisierungsphase der Evaluation

2. Abschlussphase der Evaluation

Nützlichkeit

• geklärten Evaluationszwecken sowie Ausrichtung des Informationsbedarfs an vorgesehenen Nutzer*innen

Durchführbarkeit

• Planung/ Durchführung Evaluation realistisch, durchdacht, diplomatisch und kostenbewusst

Fairness

• Respektvoller und fairer Umgang mit betroffenen Personen und Gruppen

Genauigkeit

• Gültige Informationen und Ergebnisse zu jeweiligem Evaluationsgegenstand und – Fragestellungen

• Operationalisierung: Überführung abstrakter theoretischer Konzepte in messbare Größen

• Ziel: Theoretische Konstrukte (z.B. Intelligenz, Motivation) messbar und beobachtbar machen

• Entwickeln von Indikatoren/Messinstrumenten für empirische Erfassung

• Verbindung zwischen Theorie und empirischer Datenerhebung

• Notwendig für quantitative und qualitative Forschung

1. Klärung des Forschungsziels:

   • Präzisierung des Forschungsziels und der Forschungsfragen

2. Theoretische Fundierung:

   • Heranziehen theoretischer Modelle und Vorannahmen —> Grundlage zur Definition und Abgrenzung der zu untersuchenden Begriffe

3. Ermittlung relevanter Dimensionen:

   • Identifikation der Dimensionen oder Merkmale des Konzepts, die beobachtbar und messbar gemacht werden sollen.

4. Auswahl geeigneter Erhebungsmethoden:

   • Entscheidung für qualitative Methoden (Interviews, Gruppendiskussionen oder teilnehmende Beobachtung)

5. Entwicklung eines Erhebungsinstruments:

   • Gestaltung eines Leitfadens, der relevante Themen und Fragen strukturiert

6. Pretest und Anpassungen:

   • Testen des Instruments in einem Pretest (z. B. Probedurchführung eines Interviews) und ggf. Anpassung zur Optimierung der Fragen und Themen.

7. Datenerhebung und -dokumentation:

   • Durchführung der Datenerhebung und sorgfältige Dokumentation (z. B. Transkripte oder Beobachtungsprotokolle) für die anschließende Analyse.

1. Definition des Forschungsproblems und Hypothesenformulierung

   • Darstellung von Verhältnissen und Zusammenhängen von Variablen

2. Theoretische Fundierung:

   • Auswahl theoretischer Konzepte und Modelle als Grundlage

3. Bestimmung der Variablen und Dimensionen:

   • Identifikation der unabhängigen, abhängigen und ggf. intervenierenden Variablen

4. Operationalisierung der Variablen:

   • Festlegung konkreter Indikatoren für jede Variable —> Erfassung abstrakter Konzepte durch messbare Größen (z. B. Skalen oder Messinstrumente)

5. Auswahl und Entwicklung von Messinstrumenten:

   • Entscheidung für geeignete Messinstrumente (standardisierte Fragebögen, Tests oder physiologische Messungen) —> müssen valide und reliable sein

6. Pretest und Anpassung des Messinstruments:

   • Durchführung eines Pretests für Anpassung Messinstrumente auf Verständlichkeit, Reliabilität und Validität

7. Stichprobenbestimmung und Datenerhebung:

   • Planung und Durchführung der Datenerhebung an einer repräsentativen Stichprobe

8. Datenanalyse

1. Theoretischer Begriff in Variablen umwandeln

2. Indikatoren für Variablen festlegen 

3. Merkmalsausprägungen der Indikatoren bestimmen 

1. Häufigkeit:

   • Wie oft tritt bestimmtes Verhalten auf? (Bsp. Anzahl Fehler im Diktat; Häufigkeit der Blickkontakte beim Flirt)

2. Reaktionszeit:

   • Wie viel Zeit vergeht bis Person nach Auftreten eines Stimulus reagiert? (Bsp. Reaktionszeit bis zur Identifikation eines Wortes)

3. Reaktionsdauer:

   • Wie lange reagiert eine Person auf Stimulus bzw. auf Intervention? (Bsp. Lösungszeit für eine Mathematikaufgabe; Dauer des Nicht- Rauchens nach einem Anti- Rauch- Training)

4. Reaktionsstärke:

   • Wie intensiv reagiert Person auf Stimulus bzw. Intervention? (Bsp. Stärke der Muskelanspannung als Indikator für Aggressivität; Höhe des Blutdruckanstiegs)

5. Reaktionsqualität:

   • Welche Wertigkeit (Valenz) hat eine Reaktion auf einen Stimulus —> positiv oder negativ; Zuneigung oder Abneigung (Bsp. Einstufung der eigenen Stimmungslage; Einstufung der Sympathie oder Antipathie auf Ratingsskala)

6. Wahlreaktion:

   • Welche Wahl trifft eine Person angesichts mehrerer Wahlmöglichkeiten? (Bsp: Bevorzugung eines von mehreren Reisezielen bei einer Mehrfachauswahlaufgabe)

• zentrale Elemente der empirischen Forschung

• veränderliche Größen

• können unterschiedliche Ausprägungen und Werte annehmen

• systematische Untersuchung messbarer Merkmale

• Ziel: Erfassung von Zusammenhängen, Unterschieden und Wirkungen

1. Unabhängige Variablen (UV)

   • Variablen, die systematisch manipuliert werden, um ihre Wirkung zu untersuchen.

2. Abhängige Variablen (AV)

   • Variablen, die gemessen werden, um die Reaktion auf die UV zu erfassen.

3. Moderatorvariablen

   • Beeinflussen die Beziehung zwischen UV und AV, verstärken oder schwächen diese ab.

4. Störvariablen

   • Ungeplante Variablen, die die AV beeinflussen und das Ergebnis verfälschen können.

5. Kontrollvariablen

   • Variablen, die konstant gehalten werden, um Störfaktoren zu minimieren.

1. Unabhängige Variablen (UV): Variablen, die manipuliert oder systematisch variiert werden

   • Ziel: Messung Einfluss auf abhängige Variable

   • Beispiel: Medikamentendosis

   • Festlegung, wie die UV variiert oder manipuliert wird —>

   • Definition Konkreter Stufen oder Ausprägungen der UV (z.B. Dosierung: niedrig, mittel, hoch).

   • Operationalisierung durch Kontrolle der Bedingungen (z.B. Zeitdauer einer Intervention).

2. Abhängige Variablen (AV): Variablen, deren Veränderungen gemessen werden

   • Ziel: Reaktion auf die unabhängige Variable erfassen

   • Beispiel: Gesundheitszustand

   • Auswahl eines Messinstruments, das die AV und somit Veränderung präzise misst (z.B. Fragebögen, physiologische Messungen).

   • Festlegung, wann und wie oft die AV gemessen wird.

   • Sicherstellung der Reliabilität und Validität der Messung (z.B. Tests, Beobachtungen).

• • qualitativ

    • Variable: Trauerbewältigung

    • Mögliche Erhebung: Art und Weise der Auseinandersetzung mit Verlust, soziale Unterstützung, subjektive Wahrnehmung des Trauerprozesses.

  • Einstellungen und Meinungen

    • Variable: Einstellung zur Gleichstellung

    • Mögliche Erhebung: Argumente und Narrative zu Geschlechterrollen, Werteorientierungen, Erzählungen über Erfahrungen mit Gleichstellung.

• quantitativ:

  Verhaltensbezogene Variablen

  • Körperliche Aktivität (z. B. Schritte pro Tag)

  • Raucherstatus (Ja/Nein)

  • Schlafdauer (z. B. Stunden pro Nacht)

  • Essgewohnheiten (z. B. Anzahl der Mahlzeiten pro Tag)

  Soziale Variablen

  • Anzahl der Freunde

  • Teilnahme an sozialen Aktivitäten

  • Häufigkeit sozialer Interaktionen

1. Validität: Genauigkeit, mit der ein Messinstrument tatsächlich das misst, was es messen soll.

2. Reliabilität: Zuverlässigkeit und Beständigkeit der Messung, d.h., ob das Messinstrument bei wiederholter Anwendung gleiche Ergebnisse liefert.

—> Sicherstellung der Qualität der Messinstrumente

• Messniveau (Skalenniveau)

  • Messung von Variablen

  • Beschreibung Zulässigkeit mathematischen Operationen

  • Erfassung und Interpretation empirische Daten

  • Erlauben verschiedene Arten der Messung und Auswertung

• Darstellung des Messniveaus:

  • Darstellung in Tabellen oder Grafiken

  • Häufigkeiten oder Verteilungen der Werte in Tabellen oder Diagrammen (z.B. Balkendiagramme, Histogramme)

1. Nominalskala:

   • Merkmale: Kategorien ohne natürliche Reihenfolge

   • Beispiele: Geschlecht, Beruf, Farben

   • Zulässige Operationen: Gleichheit/Ungleichheit

   • Darstellung: Häufigkeitstabellen

2. Ordinalskala:

   • Merkmale: Kategorien mit natürlicher Reihenfolge, aber ohne festen Abstand

   • Beispiele: Schulnoten, Rangplätze in einem Wettbewerb

   • Zulässige Operationen: Größer/Kleiner, Rangfolgen

   • Darstellung: Rangordnungen

3. Intervallskala:

   • Merkmale: Gleiche Abstände zwischen den Messwerten, kein absoluter Nullpunkt

   • Beispiele: Temperatur in Celsius, Intelligenzquotient (IQ)

   • Zulässige Operationen: Addition, Subtraktion

   • Darstellung: Intervalltabellen, grafische Darstellungen

4. Verhältnisskala (Ratioskala):

   • Merkmale: Gleiche Abstände und ein absoluter Nullpunkt

   • Beispiele: Körpergröße, Gewicht, Einkommen

   • Zulässige Operationen: Alle mathematischen Operationen (Multiplikation, Division)

   • Darstellung: Häufigkeitsverteilungen, Balkendiagramme

• messbare Größen

• Bewertung und Beschreibung von Phänomenen

• Vereinfachung und Quantifizierung von komplexen Sachverhalten

• Herstellung von Bezug zwischen Theorie und Praxis

• Verbindung von Indikator im Sachverhalt durch „wenn-dann“ oder „je-desto“ Verknüpfungen

• Zusammenfügung verschiedener Indikatoren = Index

Arten:

1. Quantitative Indikatoren

   • Messungen, die in Zahlen ausgedrückt werden (z.B. Einkommen, Bildungsgrad).

2. Qualitative Indikatoren

   • Beschreibungen oder Kategorien mit eher interpretativen Charakter (z.B. Lebensqualität, Zufriedenheit).

Typen:

• Eingangsindikatoren

  • Messen Ressourcen, die in einen Prozess eingehen (z.B. finanzielle Mittel, Personal).

• Prozessindikatoren

  • Bewerten den Verlauf von Aktivitäten und Maßnahmen (z.B. Anzahl durchgeführter Schulungen).

• Ergebnisindikatoren

  • Messen die direkten Auswirkungen oder Ergebnisse von Maßnahmen (z.B. Ausbildungsabschlüsse, Arbeitslosenquote).

• Wirkungsindikatoren

  • Bewerten langfristige Effekte und Veränderungen (z.B. Verbesserung der Lebensqualität, Reduzierung von Kriminalität).

1. Messung und Bewertung von Phänomenen

   • Identifizierung von Entwicklungen, Trends und Unterschiede

2. Steuerung und Kontrolle

   • Unterstützung von Entscheidungsträgern bei Überwachung von Zielen/Fortschritten

3. Vergleichbarkeit

   • Vergleich zwischen verschiedenen Einheiten, wie z.B. Ländern, Regionen oder Zeiträumen.

Konstruktion:

• Identifikation von Konzepten: Bestimmung, was genau gemessen werden soll (z.B. soziale Gerechtigkeit, Umweltbewusstsein).

• Auswahl geeigneter Maße: Festlegung, welche Variablen am besten geeignet sind

• Validität und Reliabilität: Sicherstellung, dass die Indikatoren das messen, was sie messen sollen, und dass sie bei wiederholter Messung konsistente Ergebnisse liefern.

Operationalisierrung:

1. Übersetzung theoretischer Konzepte

   • Indikatoren übersetzen abstrakte Konzepte in messbare Größen (z.B. „sozialer Zusammenhalt“ in „Anzahl ehrenamtlicher Tätigkeiten“).

2. Verwendung von Skalen und Messinstrumenten

   • Definition von Skalen (z.B. Likert-Skalen) zur Erfassung von Einstellungen und Meinungen.

3. Bedeutung für die empirische Forschung

   • Eine präzise Operationalisierung ist entscheidend für die Qualität und Aussagekraft der Forschungsergebnisse.

1. Einsatz in verschiedenen Forschungsfeldern

   • Sozialforschung: Erhebung von Lebensstandards, Bildung, Gesundheit.

   • Wirtschaft: Bewertung von wirtschaftlichem Wachstum, Arbeitslosigkeit, Inflation.

   • Umwelt: Erfassung von Umweltqualitäten, Nachhaltigkeit.

2. Praktische Anwendungen und Fallstudien

   • Konkrete Beispiele, in denen Indikatoren erfolgreich eingesetzt wurden

1. Definition: Konkretes, angestrebtes Ergebnis oder Zustand einer Intervention.

2. Zweck: Leitlinie für Planung und Durchführung von Maßnahmen.

3. Formulierung: Oft SMART (spezifisch, messbar, erreichbar, relevant, zeitgebunden).

4. Beispiel: „Die Lebensqualität von Klienten in der Wohnhilfe innerhalb eines Jahres um 20 % verbessern.“

Zusammenfassung der Unterschiede

• Praxisziel: Was soll erreicht werden? (Angestrebtes Ergebnis)

• Indikator: Wie wird der Fortschritt gemessen? (Messbare Größe)

• qualitativ:

  • Lebensstil-Indikatoren für soziale Identität

    • Beschreibung der Freizeitaktivitäten: Hobbys und Interessen, Einstellungen gegenüber verschiedenen Lebensweisen, Zugehörigkeit zu sozialen Gruppen oder Szenen

  • Erzählungen über Alltagserfahrungen als Indikatoren für Arbeitszufriedenheit

    • Inhalte und Stimmung von Erzählungen: Häufigkeit positiver oder negativer Beschreibungen der Arbeitssituation, subjektive Bedeutungen und Werte, Beispiele für Erfolgserlebnisse.

• quantitativ:

  • Konstrukt: Sozioökonomischer Status (SES)

    • Indikatoren: Einkommen, Bildungsgrad, Berufsstatus, Wohnverhältnisse.

  • Konstrukt: Körperliche Aktivität

    • Indikatoren: Anzahl der täglichen Schritte (z. B. gemessen mit einem Schrittzähler), Trainingsstunden pro Woche, verbrachte Zeit im Fitnessstudio, Kalorienverbrauch pro Woche.