VL 1 + 2

• alltäglicher & wissenschaftlicher Begriff

• Wortstamm “wert sein” -> Wertbestimmung / engl. Bewerten

• Bestimmung des Wertes einer Sache

  • systematisch

  • transparent

  • nachvollziehbar

  • datenbasiert (Daten, die durch sozialwissenschaftl. Methoden gewonnen werden)

• Zufriedenheit

• kurzfristiges Wissen

• nachhaltiges Wissen

• Anwendung von Erlerntem

Frage: Was löst Erfolg aus? Wie kann man Wirksamkeit messen?

• Orientierung im Kern am Ablauf empirischer Untersuchungen

• geht aber darüber Hinaus

Unterscheiden sich in folgenden Aspekten:

1. Was wird evaluiert?

2. Wie wird evaluiert?

3. von Wem wird evaluiert?

4. Nach welchen Kriterien wird evaluiert?

• nahezu unendlich

• Personen, Produkte

• Techniken, Methoden, Programme, Projekte,

• Zielvorgaben, Forschungsergebnisse

• Alle Substantive können evaluiert werden

Wissenschaftlich:

• systematisch

• umfassend

• objektiv

Differenzierung evaluation und evaluative research nicht durchgesetzt

Kriterien der DeGEval

1. Kompetenz zur Durchführung empirischer Studien

2. Fähigkeit zur Situations-/Kontextanalyse

3. Projektmanagement

4. Interpersonelle Kommunikation

• je nach Ziel der Evaluation unterschiedliche Evaluationskriterien

• Bestimmung ist Teil der Evaluationsdurchführung

Evaluation nutzt zwar wissenschaftliche Methoden, verfolgt aber einen anderen Zweck

Wissenschaft: Erkenntnisgewinnung, generalisierbares Wissen als Ziel

Evaluation: Hinweise für Verhalten, dient idR nicht der Theoriebildung, Generalisierungen nicht das Ziel

• Auftraggeber/in

• Es gibt einen Auftrag, was bewertet werden soll

• Realisierung mit wissenschaftlichen Methoden

• Ergebnisoffener Prozess

• Qualitätsmanagement und Controlling deutlich enger gefasst —> Zielen der Geschäftsleitung/d. Unternehmens unterworfen

• beides nicht notwendigerweise ergebnisoffen

• Evaluation: Ziele und Kriterien sind nicht vorab festgelegt

• wissenschaftliche Dienstleistung

• für festgelegte Zwecke und nach begründeten Kriterien

• beschreibt und bewertet v.a. Maßnahmen / Programme

• systematisch, transparent, datenbasiert, nachvollziehbar STDN

• Daten & Informationen werden mithilfe sozialwissenschaftlicher Methoden gewonnen

1. Ausschärfung im Dialog mit Auftraggebenden unter Berücksichtigung d.

   1. sozialen

   2. ökonomischen

   3. organisationalen Kontext

2. 10 Schritte nach Balzer & Beywl (2018)

1. Bestimmung Evaluationsgegenstand

2. interessierte Akteure bestimmen und Rolle der Evaluierenden

3. Evaluationszweck & Evaluationsfragestellungen bestimmen

4. Bewertungskriterien festlegen

5. Erhebungsdesign und -methoden auswählen

6. ERhebungen durchführen

7. Datenauswertung, Interpretation und Bewertungssynthese

8. Berichterstattung

9. Ergebnisnutzung

10. Evaluation der Evaluation

• Initiative zur Durchführung liegt beim Auftraggebenden

  • entweder durch Ausschreibung oder durch direkte Vergabe

• Ausschreibungen können sehr detailliert aber auch oberflächlich sein

• Evaluation wird durchgeplant und ein Angebot erstellt —> manchmal auch erst nach Gesprächen

• VOR den 10 Schritten ist als formaler Rahmen ein Vertrag auszuarbeiten

• Evaluationsgegenstand

• Evaluationszweck & Evaluationsfragestellungen

• Verfügbare Informationen

• Erhebungsdesign & Erhebungsmethoden

• Arbeits- und Zeitplan

  • Verantwortlichkeiten

  • Arbeitsaufwand

  • Meilensteine

• FInanzierungsplan

• Art der Berichterstattung

• gut abgestimmte Schritte

• je konkreter desto einfacher in der Durchführung

• Festlegung, dass Verantwortung und Entscheidungsbefugnis für Durchführung der Evaluation bei den EVALUIERENDEN LIEGT - nicht beim Auftraggebenden

• eine oder mehrere empirisch untersuchbare Fragestellungen

• Zweck der Evaluation: beantwortung aller Fragestellungen —> zentraler Schritt

• Thematisierung der Fragestellungen schon beim Kick-off-Treffen

• Achten auf:

  • Perspektiven anderer Akteure

  • Relevante Forschungsbefunde

  • mehrere Ebenen

• Evaluationsgegenstand: Ausbildúngseinheit zu kognitiver VT bei einfachen Phobien

• Evaluationszweck: haben Teilnehmende einen hohen Lernerfolg?

• Evaluationsfragestellung: In welchem Maße haben sich die Teilnehmenden der AE zu KVT bei einfachen Phobien den vermittelten Lernstoff angeeignet?

• Evaluationen im Bildungsbereich

• vier Ebenen

  • Level 1: Reaction

  • Level 2: Learning

  • Level 3: Behavioral Change

  • Level 4: Organisational performance

• Auch in anderen Bereichen nützlich

• weltweit häufig genutzt

Eselsbrücke für Formulierung von Evaluationsfragestellungen

• nach Balzer & Beywl 2018

• Fokussiert

• Öffnend (keine ja/nein antworten möglich, sondern auch Ausmaß, in welchem ein Sachverhalt vorliegt)

• realistisch (nur Sachverhalte, die auch im Intervention verbunden sind)

• deutlich (verständlich formuliert)

• empirisch beantwortbar (durch Datenerhebung zu beantworten und Sachverhalte sind operationalisierbar)

• ressourcenangepasst (mit Mitteln und Budgets bearbeitbar)

• nützlich (entspricht den Informationsinteressen der Nutzer der Evaluationsergebnisse)

• Drei Zielsetzungen/Hauptfragestellungen nach Gollwitzer und Jäger

  1. Zustände // Ist-Zustände

  2. Veränderungen

  3. Wirkungen