VL3: Grundlagen der Evaluationsforschung

1. Kontext und Rahmenbedingung

2. Anliegen und Ziele

3. Evaluationsformen

4. Evaluationsprozess und Modelle

5. Evaluationsstandards

Evaluationsgegenstadn/Evaluationsprojekt/Evaluandum = Untersuchte Maßnahme o. untersuchte Programm

Bsp.

• trainingsprogramme

• Bauvorhaben

• infrastruktur

• präventionsmaßnahmen, interventionsmaßnhamen

• produkte, Systeme

• Metaevaluation

• Klienten (Auftraggeber) und Respondenten (Teilnhemer)

  
  

• Gründe für einbeziehung anspruchsgruppen

  • Erkenntnistheoretisch: verständnis für evaluatiosngegenstand

  • Forschungsethisch: Berücksichtung Minorities, Missverständnisse klären

  • Emanzipation: Wissensgewinnung

    
    

1. Vergleich

   • Sind der wissenschaft verpflichtet, verwenden repertoire der sozialwissenscahfltihcen methoden

   • unterscheiden sihc hinsichtlich Theoriebildung und operative Rahmenbedingungen

2. Grundlagenforschung

• Entwicklung und Überprüfung wissenscaflticher Theorien -> dienen Beschreibung, Erlöärung, Vorhersage Interventionen, geben Hanldungsanweisungen

1. Internvetionsforschung/ Anwendungsorientierte

• entwicklung technologische Theorien ->beschreibung, erklärung, vorhersage interventionen, geben Handlungsanweisungen

1. Evaluationsforschung

• Bewertungs von Maßnahmen, Programmen etc., wird auf technologische und grundlagenwissenschaftliche Theorien zurückgegriffen

• Programmtheorien: erklären Wirkungsweise einer evaluierten Maßnahme, werden meist im zuge der Forschung entwickelt

• Erkenntnisfunktion

  • erweiterung des wissens über evaluationsgegenstand

• Lern- und Dialogfunktion

  • Befunde stimulieren Dialoge v. Stakeholdern

• Optimierungsfunktion

  • Modifikation zur Verbesserung v. Maßnahmen.

• Entscheidungsfunktion

  • Erleichtern von Wahlentscheidungen

• Legitimationsfunktionen

  • Rechtfertigen die Nutzen die Kosten?

• Effektivität

  • Hat Maßnahme einen güsntigen Effekt?

• Effizienz, Kosten/Nutzen

  • Wie groß Effekt?, Lohnt sich Investition?, Nebenwirkungen?

• Differentielle Effektivität alternativer Maßnahmen

  • Welche von den Maßnahmen verspricht größten Nutzen?

  • Wo kann Intervention verbessert werden?

• Moderation/Differentielle Wirkung

  • Intervention für alle Teilnehmenden oder nur für bestimmte sinnvoll?, Unterschiede?

• Erschließen kausaler Zusammenhänge

  • Unterschiede in Wirksamkeit durch Moderatoren?

  • welche Komponenten machen wirksamkeit aus?

• Finale, entscheidende Frage

  • Soll Intervention implementiert, aufrecherhalten, modifiziert werden?

• Wirksamkeit

• Transfererfolg

• Kosten-Nutzen-Bilanz

• Bedarf

• Qualität des Interventionskonzepts (z.b. Wiedereingliederungsprogramm Straftäter)

• Qualität der Einführung und Implementation (in welchem umfang wird maßnahme wirklich umgesetzt)

• Akzeptanz (Nachfrage)

• Nachhaltigkeit (erworbenes studiumwissen auch im job wichtig)

• State-of-the-Art (Umsetzung von Evaluationstandards)

• Bewertung eines Konzepts

  • Durchführbarkeit, aufwand, technik, größe etc

• Bewertung einer Durchführung

  • intensität&Art der nutzung, barrieren, größe der erreichten gruppe

• Ergebnisbewertung

  • Output: unmittelbare Ergebnisse

  • Outcome: kurzfristige Wirkung

  • Impact: langfristige Foglen

  • Effektivität: gibt es einen Effekt?

  • Effizienz: Effetkgröße, Kosten-Nutzen

• Formative Evaluation

  • gestaltende Evaluation

  • Maßnahmen optimierung wöhrend durchführung

  • bei neu eingeführten Maßnahmen

• Summative Evaluation

  • zusammenfassende Evaluation

  • Wirkung wird nach Abschluss ermittelt

  • für manualisierte und etablierte Programme

• Umfassende Evaluation

  • Kompbination aus beiden Aspekten

• Ergebnisorientierter Ansatz

  • Wirksamkeit (Effektivität)

  • Nutzen Kostem (Effizienz)

• Systemischer Ansatz

  • Umfassende Betrachtung ->Eingangs/Kontextbedingungen, Umsetzung Maßnahme

  • Multi-Facetten Modell, CIPP Modell

• Theorieorientierter Ansatz

  • anspruchsvoller, analysiert Ursachen-Wirkugns-Mechanismen der Maßnahme inkl. Moderatoren

• Akteurorientierter Ansatz

  • Klientenorientierte Modelle:

    • Forschungsaktivitöten werde in Dienst einzelner Stakeholder Gruppen gestellt, alle aktiv einbezogen

  • stakeholderorientiert: Steuerung der Evaluation durch stakeholder

1. Multifaceted Treatment Evaluation

   1. Outcome Evaluation

      • Efficacy: does treatment work under controlled condition

      • Effectiveness: in applied settings?

      • System-Level: produces improvements in important settings?

      • Mediators: how and under what conditions treatment works?

   2. Provider Evaluation

      • prospektive: treatment appealing fpr providers

      • retrospective: practioners satisfied after treatment?

   1. Consumer satisfaction

      • prospektive: treatment appealing fpr clients?

      • retrospective: clients satisfied?

   2. economic Evaluation

      • cost effectiveness: to implement?

      • Cost offset: does treatment offset costs in other systems?

• Context-Evaluation

• Input-Evaluation

• Process-Evaluation

• Product-Evaluation

Defintion:

• Analyse Kontextbedingungen der Maßnahme v.a. Zielgruppen und Bedürfnisse aber auch Stakeholder

Methoden:

• Bedarfsanalyse durch schrif. Befragung, diskussionen, interviews, dokumentenanalyse

Zielsetzung formativer Evaluation:

• Welche Ziele mit welcher Priorität eine geplante Maßnahme verfolgen soll

Zielsetzung summativer Evaluation

• Bewertung einer Maßnahme wie gut ihre Zielsetzung auf Bedarf der ZIelgruppen zugeschnitten sind

Definition

• Analyse der Lösungstrategien der Maßnahme und vorhandenen Ressourcen mit denen Veränderung passieren soll

Methoden

• Analyse Maßnahmenstrategie und vorhandenen Ressourcen (Beobachtung, Dokumentenanalyse, Interviews, Benchmarking..)

Zielsetzung fomrativer Evaluation

• welche Maßnahme zur Zielerreichung wählen/wie ihr konzept im Rahmen einer Maßnahme zu verändern ist

Zielsetzung summativer Evaluation

• Bewerung einer durchgeführen Maßnahme wie gute ihr Ansatz im konkreten Fall zur Problenlösunge geeignet ist

Definition

• Analyse der Prozesse im Rahmen der tatsächlichen Umsetzung der Maßnahme

Methoden

• Monitoring der Maßnahmenumsetzung (quailitativen/quantitativen Indikatoren, Befragung, Beobachtung etc.)

Zielsetuzng formative Evaluation:

• Entschiedung wie die Umsetzung der Maßnahme zu gestalten ist/wie sie zu verändern ist

Zielsetzung summative Evaluation

• Bewertung wie gut sie im Alltragsbetrieb aus sicht der relevanten Stakeholder umgesetzt wird

Definition

• Analyse v. Wikrung der Maßnahme

Methoden

• Erfassung der Wirkung durch Beobachtung, Befragung, Tetsts, Messungen etc.

Zielsetzung formative Evaluation

• Entscheidung ob Maßnahme hinsichltihc wirkungen modifiziert, fortgesezt, beendet werden soll

Zielsetzung summativ:

• Kosten/Nutzen der resultate bewerten (alternative, eigenen zielen, kostren, übergeordnete werte)

1. Initiierung

   • Evaluationsmöglichkeiten

   • Festlegung/Prüfung v. Evaluationszielen

2. Konzeption

   • Exploration der Evaluationsbedingungen

   • Entwicklung des Konzepts

   • Einbeziehung von Evaluationsstandards

   • Vorbereitung des Projektmanagements

   • Abschluss des Evaluationvertrages

1. Planung

• Formulierung Fragen/Hypothesen

• Untersuchungsplanung

• Projektplanung

1. Realisierung

   • Datenerhebung

   • Datenanalyse

   • Interpretation Daten

   • Project-Controlling

2. Abschluss

   • Abgabe Evaluationsbericht

   • Organisation Evaluationsnutzung

   • Durchführung Meta Evaluation

   • Publikation einer Evaluationsstudie

• vielzahl v. Modellen, unterschieden sich in differenzierung

• hilfreich f. Zielsetzung der forschung bzw. Anwendung

Nutzungsorientierte Ansätze:

• Kirkpatrick (1987); Kirkpatrick und Kirkpatrick (2006)

• Schenkel (2000)

Integrierendes Prozessmodell:

• Normatives Modell nach Balzer (2005

Schenkel

1. Produktionsebene (wie bewerten experten Bildugnsmaßnahme)

2. Reaktionsebene (Wie reagieren Lernende)

3. Lernebene (Verbesserung Kentnisse/Fähigkeiten?)

4. Handlungebene (Verhalten am Arbeitsplatz verändert?)

5. Erfolgsebene (Welche ergebnisse insgesamt?)

6. Return of investement (ROI) Ebene (Wie sind Bildungsmaßnahmen zu beurteilen=

   )

Kirkpatrick

1. Reaction (Wie reagieren Lernende)

2. Learning (Verbesserung Kentnisse)

3. Behavior (Verhalten am Arbeitsplatz verändert?)

4. Results (Welche ergebnisse insgesamt?)

1. Evaluationsbedarf

2. Auftrag

3. Evaluationsgrundlagen

4. Rahmenbedingungen

5. Methodische Projektplanung

6. Durchführung

7. Datenauswertung

8. Präsentation und Berichtlegung

9. Dissemination Ergebnisse

10. Nutzung Ergebnisse

11. Bewertung Ergebnisse

1. Evaluationsbedarf

2. Auftrag

3. Evaluationsgrundlagen

   1. Bestimmung des Evaluationsgegenstanden

   2. Bestimmung der Akteure

      • Auftraggeber

      • Entscheidungsträger

      • Evaluatoren

      • weitere Beteiligte

      • Akteure im Zusammenspiel

   3. Evaluationsziele und fragenbereiche

   4. Bestimmung Bewertungskriterien

   5. Bestimmung theoretische Grundlagen

4. Rahmenbedingungen

5. Methodische Projektplanung

6. Durchführung

7. Datenauswertung

8. Präsentation und Berichtlegung

9. Dissemination Ergebnisse

10. Nutzung Ergebnisse

11. Bewertung Ergebnisse

• Evaluationsstandard= Gütekriterien der Evaluation

  • Evaluator:innen sollten Stadnards einhalten (verbessert Qualität und Fairness )

• Allgemeine Gütekriterien

  • Gültigekeit gängige Kriterien besonders Validität

• Eigene Standards der Evalutationsforschung

  • Objektivierbarkeit, Transparenz etc.

• Statistische Validität

  • Gültigkeit der Kovariation zwischen Treatment und Outcome

• Interne Validität

  • Gültigkeit der auf der Kovariation zwischen Treatment und Outcome basierenden kausalen Schlussfolgerungen (keine Alternativerklärugnen)

• Konstruktvalidität

  • Inwieweit lassen sich realisierte Intervention und gemessenen Variablen auf zugrunde liegenden Kosntrutke verallgemeinern (operationalisierung)

• Externe Validität

  • Gültigkeit verallgemeinerung kausaler Beziehungen

• Eigene Standards

  • Objektivierbarkeit, transparenz…

• Komplexität eines Evaluationsgegenstandes

  • alltagspraktische Komplexität des Gegenstandes ist in Theorie& methodischen Zugang reflektiert

• Gültigkeitsbereich einer Fragestellung

  • kann korrekt getestet werden wenn defineirt sit auf welchen bereich ise sich beziehen

• objektivierbarkeit

  • erkennbarkeit: gegenstand muss erkenntnsi zugänglich sein

  • Bestimmbarkeit: definieren welche beobachtbarem variablen auskunft pber gegenstand liefern

  • Dokumentierbarkeit: indikatoren mpssen so erfasst werden, dass sie dokumentierbar sind

• Transparenz

  • auf allen stufen: messung, berechnung, bewertung

Nützlichkeit

• Klärung Evaluationszwecke (N2)

• Vollstädnige und klare Berihcterstattung

• Nutzung der Evaluation

Durchführbarkeit

• Angemessene verfahren

• diplomatisches vorgehen

• effizienz der evaluation

Fairness

• schutz indiveueller rechte

• unparteiische durchführung/berichterstattung

• offenlegung ergebnisse

Genauikgeit

• valide und reliable infos

• systematische Fehlerprüfung

• Meta-Evaluation