LE 2 - Evaluationsplanung & Operationalisierung

Qualitativer Forschungsansatz

• Untersuchung von offenen Forschungsfragen

• Wenige Untersuchungseinheiten

• Sehr detailliert mit umstrukturierten oder teilstrukturierten Datenerhebungsmethoden à ermöglicht unerwartete Befunde

• Ziel = Gegenstandsbeschreibung samt Theoriebildung

• Auswertung der qualitativen Daten interpretativ (interpretiert systematisch Textmaterial)

Quantitativer Forschungsansatz

• Untersuchung von theoretisch abgeleiteten Forschungshypothesen

• Viele Untersuchungseinheiten

• Untersuchungsdesigns vor allem nach Kriterien der Objektivität, Replizierbarkeit, Validität (wichtigstes Kriterium)

• Strukturierte Datenerhebungsmethoden

• Ziel ist Theorieprüfung bzw. Theorieweiterentwicklung

• Statistische Auswertung der quantitativen Daten

Mixed- Methods- Ansatz

• Kombination aus qualitativen und quantitativen Vorgehensweisen

• Durchführung von nacheinander oder gleichzeitig geführten Teilstudien à sind direkt aufeinander bezogen

• Vorstudienmodell = qualitative Studie ist Vorstudie zur Generierung von Hypothesen; anschließend quantitative Studie zur Überprüfung dieser

• Ergebnisse qualitative Studie fließen in Hypothesenbildung und Fragebogenkonstruktion bei quantitativem Teil direkt mit ein

• Vertiefungsmodell = zuerst quantitative Studie, dann qualitative ran, um detaillierte Informationen zu generieren

Qualitatives Untersuchungsdesign

• Bei offenen Forschungsfragen

• Wenige Fälle

• Bearbeitung detailliert an vielen Aspekten

• Erkundung neuer Gegenstände

• Entwicklung einer Hypothese oder Theorie

  
  

  Quantitatives Untersuchungsdesign

• Überprüfung von Forschungsfragen oder -hypothesen anhand vieler Fälle und weniger Aspekte

• Betrachtung von bereits erforschten Sachverhalten unter spezifischen Fragestellungen

• Überprüfung von etablierten Theorien

Mixed- Methods- Design

• Realisierung einer besonders umfangreichen Studie

• Solide Vorkenntnisse in qualitativer und quantitativer Studie

• Bereitstehen von genügend zeitlicher, finanzieller und personeller Ressourcen

1. Initiirungsphase der Evaluation

2. Konzeptionsphase der Evaluation

3. Planungsphase der Evaluation

• Detailplanung und konkrete Vorbereitung der Evaluationsstudie:

  • Formulierung von detaillierten Evaluationsfragen/-hypothesen

  • Untersuchungsplanung inkl. Untersuchungsdesign

  • Stichprobenpläne und Instrumente

  • Organisatorische Projektplanung (Rekrutierung des Evaluationsteams)

• Enger Kontakt zu Stakeholdern nötig

• Enge Rückkopplung mit Abläufen im Praxisfeld à Vermeidung von nicht umsetzbarer Forschungspraxis + Widerständen von Stakeholdern

1. Realisierungsphase der Evaluation

2. Abschlussphase der Evaluation

1. Zieldefinition:

   • Festlegung der spezifischen Ziele der Evaluation.

   • Klärung, was genau evaluiert werden soll (z.B. Programme, Maßnahmen).

2. Festlegung der Fragestellungen:

   • Entwicklung konkreter Evaluationsfragen, die beantwortet werden sollen.

   • Beispiel: „Wurden die angestrebten Ergebnisse erreicht?“

3. Bestimmung der Indikatoren:

   • Auswahl von Indikatoren, um den Fortschritt in Richtung der Ziele zu messen.

   • Sicherstellung, dass die Indikatoren relevant, valide und reliabel sind.

4. Auswahl des Evaluationsdesigns:

   • Entscheidung über das methodische Vorgehen (z.B. qualitative, quantitative oder mixed-methods Ansätze).

   • Festlegung der Erhebungsmethoden (z.B. Interviews, Umfragen, Beobachtungen).

5. Planung der Datenerhebung:

   • Entwicklung eines konkreten Plans für die Datenerhebung.

   • Festlegung der Zeitpunkte, Ressourcen und Verantwortlichkeiten.

6. Durchführung der Datenerhebung:

   • Implementierung des Datenerhebungsplans.

   • Sicherstellung der Qualität und Integrität der gesammelten Daten.

7. Datenanalyse:

   • Analyse der gesammelten Daten gemäß den festgelegten Evaluationsfragen.

   • Verwendung geeigneter statistischer oder qualitativer Analysemethoden.

8. Interpretation der Ergebnisse:

   • Ableitung von Schlussfolgerungen aus den Analyseergebnissen.

   • Beantwortung der Evaluationsfragen und Bewertung der Praxisziele.

9. Erstellung eines Evaluationsberichts:

   • Dokumentation der Methodik, Ergebnisse und Schlussfolgerungen.

   • Formulierung von Empfehlungen für die Praxis.

10. Präsentation der Ergebnisse:

    • Kommunikation der Ergebnisse an relevante Stakeholder.

    • Diskussion von Handlungsmöglichkeiten und Verbesserungsansätzen.

11. Feedback und Reflexion:

    • Einholen von Rückmeldungen zur Evaluation.

    • Reflexion über den Evaluationsprozess und Identifikation von Verbesserungsmöglichkeiten für zukünftige Evaluationen.

Nützlichkeit

• Sicherstellung von geklärten Evaluationszwecken sowie Ausrichtung des Informationsbedarfs an vorgesehenen Nutzer*innen

Durchführbarkeit

• Sicherstellung, das Evaluation realistisch, gut durchdacht, diplomatisch und kostenbewusst geplant und ausgeführt

Fairness

• Respektvoller und fairer Umgang mit betroffenen Personen und Grippen

Genauigkeit

• Gültige Informationen und Ergebnisse zu jeweiligem Evaluationsgegenstand und – Fragestellungen

• Operationalisierung: Überführung abstrakter theoretischer Konzepte in messbare Größen

• Ziel: Theoretische Konstrukte (z.B. Intelligenz, Motivation) messbar und beobachtbar machen

• Entwickeln von Indikatoren/Messinstrumenten für empirische Erfassung

• Verbindung zwischen Theorie und empirischer Datenerhebung

• Notwendig für quantitative und qualitative Forschung

1. Häufigkeit:

   • Wie oft tritt bestimmtes Verhalten auf? (Bsp. Anzahl Fehler im Diktat; Häufigkeit der Blickkontakte beim Flirt)

2. Reaktionszeit:

   • Wie viel Zeit vergeht bis Person nach Auftreten eines Stimulus reagiert? (Bsp. Reaktionszeit bis zur Identifikation eines Wortes)

3. Reaktionsdauer:

   • Wie lange reagiert eine Person auf Stimulus bzw. auf Intervention? (Bsp. Lösungszeit für eine Mathematikaufgabe; Dauer des Nicht- Rauchens nach einem Anti- Rauch- Training)

4. Reaktionsstärke:

   • Wie intensiv reagiert Person auf Stimulus bzw. Intervention? (Bsp. Stärke der Muskelanspannung als Indikator für Aggressivität; Höhe des Blutdruckanstiegs)

5. Reaktionsqualität:

   • Welche Wertigkeit (Valenz) hat eine Reaktion auf einen Stimulus à positiv oder negativ; Zuneigung oder Abneigung (Bsp. Einstufung der eigenen Stimmungslage; Einstufung der Sympathie oder Antipathie auf Ratingsskala)

6. Wahlreaktion:

   • Welche Wahl trifft eine Person angesichts mehrerer Wahlmöglichkeiten? (Bsp: Bevorzugung eines von mehreren Reisezielen bei einer Mehrfachauswahlaufgabe)

• zentrale Elemente der empirischen Forschung

• veränderliche Größen

• können unterschiedliche Ausprägungen und Werte annehmEN

• systematische Untersuchung messbarer Merkmale

• Ziel: ERfassung von Zusammenhänegn, Unterschieden und Wirkungen

1. Variablen

   • Veränderliche Größen, die unterschiedliche Werte annehmen können (z.B. Alter, Geschlecht).

2. Unabhängige Variablen (UV)

   • Variablen, die systematisch manipuliert werden, um ihre Wirkung zu untersuchen.

3. Abhängige Variablen (AV)

   • Variablen, die gemessen werden, um die Reaktion auf die UV zu erfassen.

4. Moderatorvariablen

   • Beeinflussen die Beziehung zwischen UV und AV, verstärken oder schwächen diese ab.

5. Störvariablen

   • Ungeplante Variablen, die die AV beeinflussen und das Ergebnis verfälschen können.

6. Kontrollvariablen

   • Variablen, die konstant gehalten werden, um Störfaktoren zu minimieren.

1. Unabhängige Variablen (UV): Variablen, die manipuliert oder systematisch variiert werden

   • Ziel: Einfluss auf abhängige Variable messen

   • Beispiel: Medikamentendosis

   • Festlegung, wie die UV variiert oder manipuliert wird.

   • Konkrete Stufen oder Ausprägungen der UV definieren (z.B. Dosierung: niedrig, mittel, hoch).

   • Operationalisierung durch Kontrolle der Bedingungen (z.B. Zeitdauer einer Intervention).

2. Abhängige Variablen (AV): Variablen, deren Veränderungen gemessen werden

   • Ziel: Reaktion auf die unabhängige Variable erfassen

   • Beispiel: Gesundheitszustand

   • Auswahl eines Messinstruments, das die AV und somit Veränderung präzise misst (z.B. Fragebögen, physiologische Messungen).

   • Festlegung, wann und wie oft die AV gemessen wird.

   • Sicherstellung der Reliabilität und Validität der Messung (z.B. Tests, Beobachtungen).

3. Konfundierende Variablen: Störfaktoren, die ebenfalls die AV beeinflussen könnten

   • Müssen kontrolliert werden, um klare Ergebnisse zu gewährleisten

1. Validität: Genauigkeit, mit der ein Messinstrument tatsächlich das misst, was es messen soll.

2. Reliabilität: Zuverlässigkeit und Beständigkeit der Messung, d.h., ob das Messinstrument bei wiederholter Anwendung gleiche Ergebnisse liefert.

—> Sicherstellung der Qualität der Messinstrumente

• Messniveau (Skalenniveau)

  • Beschreibt, wie Variablen gemessen werden und welche mathematischen Operationen zulässig sind.

  • Legt fest, in welcher Form empirische Daten erfasst und interpretiert werden können.

  • Erlauben verschiedene Arten der Messung und Auswertung

• Darstellung des Messniveaus:

  • Messniveaus können in Tabellen oder Grafiken dargestellt werden.

  • Häufigkeiten oder Verteilungen der Werte auf den verschiedenen Skalen werden in Tabellen oder Diagrammen (z.B. Balkendiagramme, Histogramme) visualisiert

1. Nominalskala:

   • Merkmale: Kategorien ohne natürliche Reihenfolge

   • Beispiele: Geschlecht, Beruf, Farben

   • Zulässige Operationen: Gleichheit/Ungleichheit

   • Darstellung: Häufigkeitstabellen

2. Ordinalskala:

   • Merkmale: Kategorien mit natürlicher Reihenfolge, aber ohne festen Abstand

   • Beispiele: Schulnoten, Rangplätze in einem Wettbewerb

   • Zulässige Operationen: Größer/Kleiner, Rangfolgen

   • Darstellung: Rangordnungen

3. Intervallskala:

   • Merkmale: Gleiche Abstände zwischen den Messwerten, kein absoluter Nullpunkt

   • Beispiele: Temperatur in Celsius, Intelligenzquotient (IQ)

   • Zulässige Operationen: Addition, Subtraktion

   • Darstellung: Intervalltabellen, grafische Darstellungen

4. Verhältnisskala (Ratioskala):

   • Merkmale: Gleiche Abstände und ein absoluter Nullpunkt

   • Beispiele: Körpergröße, Gewicht, Einkommen

   • Zulässige Operationen: Alle mathematischen Operationen (Multiplikation, Division)

   • Darstellung: Häufigkeitsverteilungen, Balkendiagramme

• messbare Größen

• Verwendung bei Bewertung und Beschreibung von Phänomenen

• Vereinfachung und Quantifizierung von komplexen Sachverhalten

• essenziell für empirische Forschung —> Herstellung von Bezug zwischen Theorie un Praxis

• Korrespondenzregel zeigt, WIE Indikator mit Sachverhalt verbunden ist („wenn-dann“ oder „je-desto“ Verknüpfungen

• Zusammenfügung verschiedener Indikatoren = Index

• Soziale Indikatoren = statistische, gesellschaftsrelevante Messzahlen

Arten:

1. Quantitative Indikatoren

   • Messungen, die in Zahlen ausgedrückt werden (z.B. Einkommen, Bildungsgrad).

2. Qualitative Indikatoren

   • Beschreibungen oder Kategorien, die eher interpretativen Charakter haben (z.B. Lebensqualität, Zufriedenheit).

Typen:

• Eingangsindikatoren

  • Messen Ressourcen, die in einen Prozess eingehen (z.B. finanzielle Mittel, Personal).

• Prozessindikatoren

  • Bewerten den Verlauf von Aktivitäten und Maßnahmen (z.B. Anzahl durchgeführter Schulungen).

• Ergebnisindikatoren

  • Messen die direkten Auswirkungen oder Ergebnisse von Maßnahmen (z.B. Ausbildungsabschlüsse, Arbeitslosenquote).

• Wirkungsindikatoren

  • Bewerten langfristige Effekte und Veränderungen (z.B. Verbesserung der Lebensqualität, Reduzierung von Kriminalität).

1. Messung und Bewertung von Phänomenen

   • Indikatoren dienen dazu, Entwicklungen, Trends und Unterschiede zu erkennen.

2. Steuerung und Kontrolle

   • Sie unterstützen Entscheidungsträger in Politik, Wirtschaft und Gesellschaft bei der Überwachung von Zielen und Fortschritten.

3. Vergleichbarkeit

   • Indikatoren ermöglichen den Vergleich zwischen verschiedenen Einheiten, wie z.B. Ländern, Regionen oder Zeiträumen.

Konstruktion:

• Identifikation von Konzepten: Bestimmung, was genau gemessen werden soll (z.B. soziale Gerechtigkeit, Umweltbewusstsein).

• Auswahl geeigneter Maße: Festlegung, welche Variablen am besten geeignet sind, um die Konzepte zu erfassen.

• Validität und Reliabilität: Sicherstellung, dass die Indikatoren das messen, was sie messen sollen, und dass sie bei wiederholter Messung konsistente Ergebnisse liefern.

Operationalisierrung:

1. Übersetzung theoretischer Konzepte

   • Indikatoren übersetzen abstrakte Konzepte in messbare Größen (z.B. „sozialer Zusammenhalt“ in „Anzahl ehrenamtlicher Tätigkeiten“).

2. Verwendung von Skalen und Messinstrumenten

   • Definition von Skalen (z.B. Likert-Skalen) zur Erfassung von Einstellungen und Meinungen.

3. Bedeutung für die empirische Forschung

   • Eine präzise Operationalisierung ist entscheidend für die Qualität und Aussagekraft der Forschungsergebnisse.

1. Einsatz in verschiedenen Forschungsfeldern

   • Sozialforschung: Erhebung von Lebensstandards, Bildung, Gesundheit.

   • Wirtschaft: Bewertung von wirtschaftlichem Wachstum, Arbeitslosigkeit, Inflation.

   • Umwelt: Erfassung von Umweltqualitäten, Nachhaltigkeit.

2. Praktische Anwendungen und Fallstudien

   • Konkrete Beispiele, in denen Indikatoren erfolgreich eingesetzt wurden (z.B. Indikatoren zur Messung der Armutsbekämpfung).

3. Herausforderungen und Limitationen

   • Diskussion von möglichen Verzerrungen, Interpretationsspielräumen und der Notwendigkeit einer kritischen Reflexion.

1. Definition: Konkretes, angestrebtes Ergebnis oder Zustand einer Intervention.

2. Zweck: Leitlinie für Planung und Durchführung von Maßnahmen.

3. Formulierung: Oft SMART (spezifisch, messbar, erreichbar, relevant, zeitgebunden).

4. Beispiel: „Die Lebensqualität von Klienten in der Wohnhilfe innerhalb eines Jahres um 20 % verbessern.“

Indikator

• Definition: Messbares Merkmal oder Größe zur Erfassung des Fortschritts in Richtung eines Praxisziels.

• Zweck: Überprüfung, ob die Praxisziele erreicht werden.

• Formulierung: Konkret und quantifizierbar, oft in Zahlen oder Skalen.

• Beispiel: „Anzahl der Klienten, die innerhalb eines Jahres an einem Freizeitangebot teilnehmen.“

Zusammenfassung der Unterschiede

• Praxisziel: Was soll erreicht werden? (Angestrebtes Ergebnis)

• Indikator: Wie wird der Fortschritt gemessen? (Messbare Größe)