Klassische Definition von Evaluation? (F. 3)
Sammelbezeichnung für den systematischen Einsatz von Methoden, die dazu dienen, die Erreichung eines vorab festgelegten Ziels einer Maßnahme (z.B. eines Projekts der EU-Regionalpolitik) nach (im Gegensatz zum Controlling; vgl. Lehrveranstaltung „Projektmanagement“) deren Durchführung zu überprüfen.
Ziele einer Evaluation (F. 4)
Ausübung von Kontrolle
Schaffung von Transparenz
Legitimation der durchgeführten Maßnahme
Unterschied von Controlling-Evaluation (F. 5)
Controlling bedeutet eher prozessbezogene Steuerung
Evaluation bedeutet eher ergebnisbezogene Bewertung
Aber (!): Durch den neueren Ansatz "Formative Evaluation" ist keine klare begriffliche Trennung mehr möglich!
Grundsätzliche Evaluationstypen (F. 6)
Summative Evaluation (= klassisch): zusammenfassend, bilanzierend, ergebnisorientiert (ex post)
Zielsetzung: Bestimmung der Wirksamkeit und Nachhaltigkeit von Maßnahmen
Formative Evaluation (= neuerer Ansatz): aktiv gestaltend, prozessorientiert, konstruktiv, kommunikationsfördernd (ex ante, on-going-evaluation)
Zielsetzung: Programmformulierung/Planung; Beobachtung der Durchführungs(prozesse), ggfs. Nachsteuerung
Evaluationstypen nach genauem Zeitpunkt (F. 7)
• Ex-ante-Analyse
• Evaluation des Programmanlaufs (1 bis 2 Jahre)
• Begleitende Evaluation (mehrjährig)
• Zwischenevaluation (z.B. EU-Halbzeitbewertung)
• Ex-post-Analyse (am Ende oder kurz nach Programmabschluss = summativ)
• Retrospektive Analyse zu den Wirkungen mit zeitlichem
Abstand zum Programmende ("Impact evaluation")
Messgrößen einer Evaluation (1/7) (F. 8)
Output
Outcome
Impact
Output = Ausstoß
Outcome = Ergebnis
Impact = Wirkung
Messgrößen einer Evaluation (2/7) (F. 9)
Tiefe und Aufwand
Messgrößen einer Evaluation (3/7), (4/7) (F. 10, 11)
Beispiel: Reaktivierung der Bahnstrecken nach Einbeck-Mitte
Messgrößen einer Evaluation (5/7) (F. 12)
Messgrößen einer Evaluation (6/7) (F. 13)
Messgrößen der Evaluation (7/7) (F. 14)
Fazit
Der Output wird also über Output-Indikatoren (z.B. entstandene Arbeitsplätze, Infrastruktur in km, Anzahl von Touristen) begleitend und ex post erfasst. Der Projektträger ist i.d.R. in der Lage die Daten selbst zu erfassen.
Aber: Welche Aussagekraft hat eine Evaluation des Outputs?
Deshalb sollten möglichst Outcome und auch Impact erfasst werden. Dies setzt aber einen erheblich höheren Erfassungsaufwand und eine spezifische methodische Expertise voraus und erfolgt bisher durch Begleitforschungen nur exemplarisch.
EU-Regionalpolitik und Evaluation (F. 18)
Forderung der Europäischen Kommission zu mehr Evaluation (F. 18)
"Hochwertigere und besser funktionierende Überwachungs- und Bewertungssysteme sind im Hinblick auf einen strategischeren und stärker ergebnisorientieren Ansatz der Kohäsionspolitik von entscheidender Bedeutung."
EU-Regionalpolitik und Evaluation (F. 19)
Aussagen der Europäischen Kommission (DG Regio) zur Evaluation der Kohäsionspolitik (1/2)
Ziele und Zuständigkeiten
Ziele:
Verbesserung der Leistungsfähigkeit und Produktivität der Programme
Informationen über die Wirkungen der Kohäsionspolitik zur Verfügung stellen
Zuständigkeiten:
Formative/Ex-ante-Evaluation durch die Mitgliedsstaaten
Summative/Ex-post-Evaluation durch die Europäische Kommission
Wirkungsschätzung der EU-Kohäsionspolitik 2014-2022 (F. 22)
4 Stichpunkte
BIP in der EU: + 0,4%
Multiplikatorwirkung jedes investierten Euro: 1,7
besonders große Multiplikatorwirkung in den weniger entwickelten EU-Regionen
Abnahme der regionalen Disparitäten
EU-Projekt-Evaluation: Wirkungsanalyse/Impactmessung (1/2) (F. 29)
Schwierigkeiten
Schwierigkeiten:
Datenverfügbarkeit: Keine geeigneten Daten vorhanden
Operationalisierbarkeit von Programmzielen: Messbarkeit, Festlegung von Indikatoren (besonders bei qualitativen Zielen)
Multikausalität: Können die Wirkungen diesem Projekt überhaupt zugeschrieben werden? Wenn ja, in welchem Maße?
Identifizierung des Mehrwerts des Projekts: Was wäre geschehen, wenn es das Projekt nicht gegeben hätte?
EU-Projekt-Evaluation: Wirkungsanalyse/Impactmessung (2/2) (F. 30)
Lösungsansatz
Lösungsansatz:
Begleitforschung durch geeignete Forschungs- und Evaluationsmethoden intensivieren durch:
• Programmdatenauswertung, Dokumentenanalyse
• Befragung der Zuwendungsberechtigten (standardisierte Verfahren)
• Experteninterviews, (teilnehmende) Beobachtung
• Zielgruppenanalysen, Zielgruppenerreichung
• Vergleichsgruppenanalysen
• Wirkungsanalysen (exemplarisch)
• Kosten-Nutzen-Analysen, Nutzwertanalysen
• Soziale Netzwerkanalyse
Aber:
Erheblicher Aufwand (bes. finanziell) und Fachexpertise erforderlich!
EU-Projekt-Evaluation: Fazit (F. 31)
Soll das politisch formulierte Ziel einer aussagekräftigeren Evaluation der europäischen Regionalpolitik erreicht werden, sollten folgende Aspekte berücksichtigt werden:
5 Stichpunkte
klar formulierte Ziele auf verschiedenen Zielebenen
Wahl einer geeigneten Evaluationsmethodik (Datenerfassung, Datenanalyse)
Fachexpertise bei den mit der Erhebung beauftragten Institutionen (intern/extern)
mehr und tiefergehende Begleitforschung
mehr Finanzmittel für diese Aufgabe
Last changed3 months ago