NUQ SB1

Als systematische Anwendung sozialwissenschaftlicher Forschungsmethoden zur Beurteilung der Konzeption, Ausgestaltung, Umsetzung und des Nutzen zozialer Interventionsprogramme.

Evaluationsforschung bezeichnet den gezielten Einsatz sozialwissenschaftlicher Forschungsmethoden zur Verbesserung der Planung und laufenden Überwachung sowie zur Bestimmung der Effektivität und Effizienz von sozialen Interventionsmaßnahmen.

Wissenschaftlich oder professionell durchgeführte Evaluation Zeichen sich dadurch aus, dass

• sie auf einen klar definierten Gegenstand bezogen sind. (Projekt, Organisation, Person, Produkt…)

• Sie von dafür besonders befähigten Personen (Experte) durchgeführt werden

• Die Bewertung anhand explizit auf den zu evaluierenden Sachverhalt und anhand präzise festgelegter und offengelegter Kriterien vorgenommen wird und

• Für die Informationsgenerierung objektivierende empirische Datenerhebungsmethoden sowie

• Für die Infomationsbewertung systematisch vergleichende Verfahren herangezogen werden

Die Ausgangsfrage jeder Evaluation lautet:

Was wird von wem anhand welcher Kriterien wie evaluiert?

Bei proffessionell durchgeführten Evaluationen wird die Bewertung der mit empirischen Methoden erhobenen Daten (1) von dafür qualifizierten Personen (2) anhand expliziter festgelegter und offen gelegter Kriterien (3) unter Verwendung vergleichender Verfahren (4) vorgenommen.

Die Evaluationsforschung unterscheidet sich von der Grundlagenforschung vor allem dadurch, dass sie einen intendierten Nutzen stiften soll.

Die Dualität der Evaluationsforschung ist dadurch begründet, dass sie einerseits Teil der empirischen Sozialforschung ist und sich ihrer Theorien und Methoden bedient, und dass sie anderereseits Teil des politischen Prozesses ist.

Generell lassen sich vier Evaluationsziele unterscheiden, die eng miteinander verbunden sind:

• Erkenntnisgewinn

• Kontrolle

• Entwicklung

• Legitimation

In der Evaluationsforschung gibt es eine Vielzahl von Ansätzen und Modellen, aber keine Theorie im wissenschaftlichen Sinne, bei denen aus zentralen Grundanahmen Hypothesen über Zusammenhänge abgeleitet und Regeln zu ihrer Messung festgelegt werden.

Zur Systematisierung bietet sich die wissenschaftlich-methodologische Ausrichtung der Modelle sowie die grundlegenden Aufgabenstellungen von Evaluationen an. Dabei wird deutlich, dass die beiden Strukurierungskriterien eng miteinander verknüpft sind.

Bezogen auf ihre praktische Ausrichtung können Evaluationsansätze danach klassifiziert werden, ob sie ziel-, management-, konsumenten-, expertenorientiert oder partizipativ ausgerichtet sind.

Der CHval-Evaluationsansatz nimmt Elemente aus verschiedenen Ansätzen auf und entwickelt daraus ein wirkungsorientiertes, theoriebasiertes Konzept, das multifunktional einsetzbar ist.

Interne Evaluationen werden von der programmdurchführenden Organisation selbst vorgenommen. Von einer Selbstevaluation spricht man, wenn zudem die gleiche Organisationseinheit die Evaluation durchführt, die auch das Programm implementiert.

Extern werden Evaluationen genannt, bei denen die Evaluierenden weder dem Fördermittelgeber noch der Durchführungsorganisation angehören, sehr wohl aber von diesen beauftragt sein können.

• Monitoring ist routinemäßig

• kontinuierliche Erfassung von Input-, Output- und/oder Wirkungsdaten

• zur Beobachtung von Veränderungen im Untersuchungsfeld

Der Unterschied zwischen Monitoring und Evaluation besteht vor allem darin, dass das Monitoring eher Routinefragen wahrnimmt und mehr der Bestandsaufnahme dient.

Evaluationen untersuchen vor allem die Wirkungen eines Programms und versuchen den Ursachen aud den Grund zu gehen.

Neben der Bestandsaufnahme und Bewertung umfasst eine Evaluation also in der Regel immer auch einer Usachen- Folgenanalyse, nicht jedoch das Monitoring.

Evaluationen sind breiter angelegt , tiefer ausgerichtet und haben unterschiedliche Schwerpunkte.

Anders als beim Monitoring wird bei Evalutionen auch das Gesamtkonzept hinterfragt, sie sind von grundsätzlicher Natur.

• Controlling

• Balanced Scorecard

• Benschmarking

• Audit

Evaluationen sind generell offener, teihabeorientierter, umfassender, wissenschaftlicher, weniger normativ, vom Untersuchungsfeld und den verwendeten Kriterien her breiter angelegt, methodenreicher (quantitave und qualitative Aspekte umfassend) und an eine vielschichtigen Adressatenkreis gerichtet.

Betriebswirtschaftliche Instrumente und das Audit sind dafür fokussierter und haben für die Steuerungsverantwortlichen größere Verbindlichkeit.

Aus der Betriebswirtschaft stammende Konzepte werden in der Privatwirtschaft im Rahmen des Qualitätsmanagementes und der Unternehmenssteuerung häufig angewendet.

Im öffentlilch-rechtlichen Raum sowie im NON-profit-Sektor wird mit dem Einsatz privatwirtschaftlicher Steuerungsinstrumente noch experimentiert.

Evaluation findet als Steuerungs-/Managementinstrument in der Privatwirtschaft kaum Anerkennung, im öffentlich-rechtlichen Raum sowie im NON-profit-Sektor hingegen häufiger.

Insgesamt werden die zur Verfügung stehenden Steuerungsinstrumente nur unzureichend genutzt und deshalb erhebliche Innovations- und Lernpotenziale verschenkt.

Die Kombination aus Kennzahlenbezogenen Instrumenten, Ansätze zur kontinuierlichen Leistungserfassung und Evaluation können die Steuerung von Programmen und Organisationen deutlich verbessern.

Evaluation bietet sich wegen seiner vor allem wirkungs- und kausalbezogenen Vorgehensweise besonders für Unterstützung einer ziel- und wirkungsorientierten Steuerung an.

• § 17b Abs. 8 KHG

• § 119b Abs. 3 SGB V

• § 116b Abs. 9 SGB V

Evaluation auf Seiten der Krankenversicherungen sind schwierig, da die Versicherungen lediglich auf die Daten ihrer Versicherten zurückgreifen können. Aufgrund der teilweisen erheblich unterschiedliche Morbiditätsstrukur des Versichertenkreises sind Rückschlüsse auf die Auswirkungen für die GKV problematisch.

• Auftraggeber der Evaluation

• Geldgeber der Evaluation

• Geldgeber des Progrramms

• Programmmanager, -mitarbeitende

• Das Evaluationsteam

• sonstige Betroffene

1. Controlling als Teil des Managementes ist ein System, das Informationen und relevante Daten über bereits eingetretene oder mögliche künftige Umweltveränderungen bereitstellt, um damit die Voraussetzungen für Anpassungshandlungen zu schaffen.

   Das Controlling liefert kontinuierlich orginationsinterne Daten über das Verhältnis der geplanten und tatsächlichen Entwicklungen (Soll-Ist-Vergleich) an die Entscheidungsträger, um diese zielgerichtete Korrekturen (Steuerungsentscheidungen) zu ermöglichen. Zudem erfüllt Controlling Koordinationsaufgaben für das Führungssystem, indem es die Vorraussetzungen zur Abstimmung des Handelns der einzelnen Abteilungen einer Organisation schaff. Hierfür werden u.a. Planungs-,Kontroll- und Informationssysteme aufgebaut.

   Werden die Aufgabenstellungen des Conrollings mit denen des Monitorings verglichen, dann finden sich einige Übereinstimmungen, aber auch gravierende Unterschiede.

   Kriterien	Controlling	Monitoring
   Aufgabe	Buchhaltung	Sozialwissensschaften
   Adressat	Management	Management aber ausch Gesellschaft insgesamt

   Berichtsfokus	vor allem Kostenaspekte, betriebsinterne Prozesse, keine Wirkungsdaten, input-output-orientiert	breit, interne und externe Strukturen und Prozesse, auch Daten zu intendierten und nicht-intendierten Wirkungen
   Häufigkeit	kontinuierlich	kontinuierlich
   Organisation	top down	top down oder buttom up

   Kriterien	weitgehend kodifiziert	weitgehend offen
   Methoden	insbesondere Kostenrechnung	sozialwissenschaftliches Spektrum
   Datenquellen	ausschließlich quantitativ	quantitativ und qualitativ

2. Die Balanced Scorecard (BSC) ist ein aus dem Controlling stammendes Konzept, das die Unternehmensstartegie in ein ausgewogenes Kennzahlensystem übersetzt.

Als Instrument des strategischen Managementes nimmt die Scorecard neben finanziellen Kennzahlen auch Ursachenfaktoren (Treibergrößen) in die Betrachtung mit auf, um so ein ausgewogenes Bild über die Vision und Strategie eines Unternehmens aufzuzeigen. Die Finanzen, die Kunden, interne Geschäftsprozesse sowie Lernen und Entwickeln bilden die vier Perspektiven der Balances Scorecard. Die Zielerreichung wird anhand vorgegebener ausgewählter Kennzahlen gemessen.

Auch die BSC stellt kein Evaluationsverfahren dar. Zwar weist sie mit ihrer Ausrichtung an Zielen, der Formulierung von Ursachen-Wirkungs- oder Wertschöpfungsketten, der Messung von unabhängigen (Leistungstreibern) und abhängigen Variablen (Ergebniskennzahlen) sowie der Erfassung von quantitativen und qualitativen Tatbeständen durchaus evaluative Elemente auf, doch das übergeordnete Ziel, welches sich in finanziellen Kenzahlen ausdrückt, wird genauso wenig hinterfragt wie die Fixierung auf die drei Perspektiven. Die Berücksichtigung verschiedener Interessensgruppen und deren Werte wird nicht, zumindest nicht explizit, verlangt. Neben Kunden und Mitarbeitenden werden keine anderen Stakeholdergruppen mit einbezogen. Anders als Evaluation scheint BSC zudem vornehmlich top-down eingesetzt zu werden. Fixierung auf die Umsetzung der Unternehmerstrategie und die Frage, wie diese zur Erfüllung der finanziellen Ziele beiträgt, lässt keine beitere evaluative Sichtweise, die z.B. nicht-intendierte Wirkungen mit einschließt, zu. Am ehesten lässt sich auch die BSC mit dem Monitoring vergeleichen. Auf der Basis theoretischer Annahmen über programm- und unternehmensrelevante Zusammenhänge werden kontinuierlich Daten gesammelt und ausgewertet. Dabei ist das Datengerüst beim BSC-Ansatz durch die vier Perspektiven stark bereits vorstukturiert und weit weniger entscheidungsoffen bei der Auswahl der Indikatoren als ein Monitoringsystem, sodass es sein könnte, dass wichtige Einflussgrößen und Wirkungen gar nicht erfasst werden.

Welcher Methodensets (außer Dokumentenanalyse und vereinzelt Interviews) sich der BSC-Ansatz zur Datengewinnung bedient, bleibt weitgehend unklar. Dies könnte unter anderem daran liegen, dass nur leicht zu messende Indikatoren verwendet werde, die keine komplexen methodischen Erhebungsverfahren notwendig machen. Deshalb dürfen z.B. auch eher Input- und Output - als Outcome- oder Impactindikatoren erfasst werden.

1. Benchmarking ist eine Managementmethode zur Leistungsoptimierung mithilfe zielgerichteter Vergleiche unter mehreren Unternehmen. Benchmarking beruht auf der Orientierung an den Besten innerhalb einer Vergleichsgruppe. Diese Vorgehensweise bezeichnet man auch als Best Practice. Best Practice exestiert auf verschiedenen Betrachtungsebenen. Auf der obersten Betrachtungsebene werden Konzepte in Frage gestellt (die richtigen Dinge tun). Auf der untersten Betrachtungsebene werden Prozesse in Frage gestellt (Dinge richtig tun), um die Prozesseffizienz zu verbessern.

   Benchmarking weist einige Nähe zur Evaluation auf. Die Etablierung von Benchmarks, die Messung von Leistungsfaktoren im eigenen und in der/den Vergleichsorganisationen, der bewertende Vergleich sowie die Suche nach Erklärung für die Unterschied, als Voraussetzung dür die Verbesserung der eigenen Prozesse lassen Ähnlichkeiten zu ex-ante oder formativen Evaluationen erkennen.

   Eine Verbindung zum Monitoring wird in den weiteren Arbeitsschritten deutlich, wenn es um hervorgerufenen Wirkungen ( z.B. Leistungssteigerung, Rationalisierungseffekte etc.) geht. Anders als bei Evaluatioen werden aber beim Benschmarking keine theoretischen Überlegungen angestellt und daraus Bewertungskriterien abgeleitet oder gar Stakeholder beteiligt. Die Vergleichskriteien sind weitgehend gesetzt und orientieren sich an den Best Practices von Vergleichsorganisationen. Demgegenüber ist die Bandbreite evaluativer Fragestellungen weitaus umfangreicher. Gleichwohl kann Benchmarking in das Portfolio evaluativer Instrumente aufgenommen werden.

1. Das Audit entwickelte sich wie das Contolling aus dem Rechnungswesen. Neben dem klassischen Finanzaudit werden u.a. das Operational - und Management-Audit oder im öffentlichen Bereich das Performance-Audit unterschieden. Aufgabenstellung und organisatorischer Ablauf eines Performance-Audit weisen große Ähnlichkeiten mit Formen der Evaluation auf. Audit und Evaluation sind Instrumente einer modernen an Rationalitätskriterien orientierten Politik. Beide Ansätze leisten einen Beitrag zur Steuerungsfähigkeit und öffentlichen Kontrolle. Auditing hat sich in der Aufgabenstellung und der Anwendung der Verfahren in den letzten Jahren der Evaluation angenähert. Gravierende Differenzen resultieren aus dem institutionellen Kontext von Evaluation und Audit. Dieses lassen sich letztlich nicht auflösen.

   Kriterien	Auditing	Evaluation
   Fokus	Überwachung (regulanty and compliance) Administrative Orientierung	Theorie und Erklärung Wissenschaftliche Orientierung
   Mission	Verbesserung der Transparenz und Kontrollierbarkeit öffentlicher Institutionen	Beitrag zur Lösung sozialer Probleme

   Phasen des polit. Prozesses	Implementation	Planung Implementation Wirkung
   Zentrale Aufgaben	Analyse des Implementationsprozesses und der unmittelbaren Leistungen (output) und Wirkungen (Outcom)	Analyse des Implemantationsprozesses sowie output, outcome, Nachhaltigkeit, Relevanz, Nützlichkeit und weitere Aspekte
   Untersuchungsperspektiven	Retroespektiv	Prospektiv, gegenwärtig, retrospektiv

   Untersuchungslogik	Normativ Soll-ist-Vergleich	Wikungsorientiert, Ursache-Wirkungs-Logik
   Bewertungskriterien	vorab definiert anhand übergreifender Standards	Weniger klar definiert Auswahl und Klärung teilweise während des Evaluationsprozesses
   Adressaten	Legislative	Auftraggeber, Peergroups, Stakeholder, Öffentlichkeit

   Untersuchungsdesigns	Vornehmlich Querschnittanalysen	(Feld)Experimente Längsschnitt- und Querschnittanalysen
   Methoden	Dokumentenanalyse, Interviews	Gesamtes sozialwissenschaftliches Spektrum
   Berücksichtigung von Stakeholderinteressen	Nicht wichtig	Sehr wichtig

   Berichtsergebnisse

   verpflichtend

   Nicht bindend

• Pflegende und ihre Mitmenschen

• Pflegende und ihre Berufsausübung

• Pflegende und die Profession

• Pflegende und ihre Kolleginnen

Sie dienen als Rahmen für Verhaltensnormen