2. Klassische Evaluation

• Planung

• Entwicklung

• Instrumentenentwicklung

• Datenerhebung

• Nutzung der Ergebnisse

• Festlegung des Evaluationsgegenstands

• Festlegung der Evaluationsziele und zentralen Fragestellung

• Festlegung der Durchführungsart: intern oder extern

• Identifizierung und Einbeziehung der Stakeholder

• Festlegung der Bewertungskriterien

• Prüfung der Ressourcenausstattung

• Beschreibung von Ist-Zuständen -> Stichproben

• Beschreiben von Veränderung -> Zeitreihen und Trendanalyse

• Bewertung von Wirksamkeit -> Wirksamkeitsanalyse

• Bewertung von Effizienz -> Effizienzanalyse

• Erfolgssteuerung der Intervention -> Formative Evaluation

• Grundlagenebene: Theorien sind falsch

• Technologische Ebene: Interventionshypothese ist falsch

• Implementationsebene: Training war falsch/ Intervention schlecht umgesetzt

• Evaluationsebene: alles stimmt, aber Evaluationsebene falsch

• Persistenz: Effekt bleibt auch nach Intervention

  -> Wirkt das Training?

• Transfer: Anforderungstransfer, Situationstransfer

  -> Wirkt Training auch in anderen Situationen?

• Kausalität und interne Kosistenz

• Robustheit

  -> Wirkt Training auch in anderen Kontexten?

• Manifeste Kosten: Planung, Personal

• Latent: Kosten von anderen getragen, z.B. Staat

• Opportunitätskosten

• Kosten-Nutzen: Nutzen monetarisieren -> Nutzen durch eingenommenes Geld bewerten

• Kosten-Effizienz: braucht sinnvolle Einheiten, z.B. Nutzen pro Patient

• Probedurchlauf

• Zwischenevaluation

• Implementationskontrolle

• Summativ: Endergebnisse werden bewertet, versuchsplanerische Sicherheit

• Formativ: Evaluation noch im Prozess, Intervention wird gesichert

• Kontrolle: möglichst genaue Prüfung der Hypothesen

• Machbarkeit: muss auch real durchführbar sein

• Externe Evaluation: Psychologe ist Methodenfachperson, nicht an Evaluation beteiligt

• Interne Evaluation: Psychologe ist für Intervention und Untersucung geeignet

  -> Gefahr für interessengeleitete Manipulation

• Ziel: Interessen und Brfürchtungen klären, Ziele erarbeiten

• Gucken, wer beteiligt ist (Programmträger, Betroffene, Kontext, Zielgruppen)

• Gucken, wer einbezogen werden soll (zeitliche Verfügbarkeit, Interesse, angestrebte personelle Größe

  
  

1. Reaktionen der Teilnehmenden

2. Lernen

3. Verhalten/Transfer in Alltag

4. Ergebnisse

• Evaluation kann besser verstanden werden

• Einfluss von Ergebnissen wird hervorgehoben -> Profitorientiert

• Komplexität reduzieren -> angemessene Kriterien; Fokus auf Nachher-Messung; weniger Einflussfaktoren; die gemessen werden müssen

• Unvollständigkeit

• Annahmen kausaler Verknüpfungen

• Ansteigernde Bedeutsamkeit der Levels

• Erwartungsrahmen klären -> gucken, was sich von Evaluation erhofft wird

• Möglichkeiten: Ahnung soll bestätigt werden, Evaluation ist Zwangsmaßnahme, Maßnahmen sollen gerechtfertigt werden

• Ressourcen klären: Personal, Zeitnahmen, Finanzen, Zugang zu Daten

• gibt schon existierende Ergebnisse

• Absehbares Ignorieren der Ergebnisse

• Formelle Regeln verletzt

• Evaluation ist zu rein politischen Zwecken

• Legitimierende Evaluation zu einer entscheidung, die schon gefällt worden ist

• Nützlichkeit

• Durchführbarkeit

• Fairness

• Genauigkeit

• Beschreibung des Evaluationsvorhabens

• Entwicklung des Untersuchungsdesigns

• Auswahl der Datenerhebungsmethoden

• Erstellen des Evaluationsablaufplans

• Erstellung eines Zeit-, Personal- und Budgetplans

• Beschreibung des Evaluationsgegenstands

• Zielsetzung und Aufgabenstellung der Evaluation

• Durchführungsart (intern, extren, Kombination)

• zu berücksichtigende Stakeholder

• Adressaten der Ergebnisse

• Evaluationsfragestellungen

• Untersuchungsdesign

• Methoden der Datenerhebung

• Vorgehensweise (direktiv vs. partizipativ)

• Zeit-, Personal- und Budgetplan

• Zeitgeschehen: zwischenzeitliche Ereignisse beeinflussen Ergebnisse

• Reifung: VPn verändern sich biologisch/psychosozial

• Instrumentierung: Variierende Messinstrumente liefern unterschiedliche Ergebnisse

• Statistische Regression: Gruppenbildung durch Vorergebnisse

• Auswahlverzerrung: systematische Gruppenunterschiede bei start der Untersuchung

• Ausfalleffekte: experimentelle Mortalität

• Versuchsleitereffekte: Eigenschaften, Verhaltensweisen, Erwartungen des VL

• Interaktive Effekte/Übertragungseffekte (-> Messwiederholung)

• Probandeneffekte: Einflüsse der VPn

• Situationsmerkmale: Einflüsse der Umgebung

-> gibt Kontrollmaßnahmen dafür

• Objektivität

• Reliabilität

• Validität

• Skalierung

• Normierung

• Maßnahme und Messung müssen äqivalent sein

• faire und flexible Wirkanalysen, passende Messinstrumente -> eher qualitativ

• Messinstrumente reliabel, objektiv und valide -> eher quantitativ, psychometrsich

• Diskrepanz zwischen passenden und validen Messinstrumenten

• Entwicklung eines Evaluationsleitfadens

• Erstellung eines Erhebungsplans

• Entwicklung der Erhebungsinstrumente und Pretest

• Festlegen der Untersuchungspopulation

• Durchführung der Datenerhebung

• Analyse der Daten

• Bewertung der Ergebnisse und Ableitung von Empfindungen

• Verfassen eines Evaluationsberichts

• Präsentation der Ereignisse und Empfehlungen

• Unterstützung bei Abfassung der Managementresponse und Umsetzungsmonitoring

• ist alles schon bekannt

• methodische Kritik

• “Das kann gar nicht sein”

• akribische Fehlersuche

• Durchführungsmängel

• Direkter Nutzen -> geht direkt in Entscheidung mit ein

• Konzeptioneller Nutzen -> ändert das Denken über die Probleme

• Überzeugungsnutzen -> unhinterfragte Positionen in Frage stellen -> Option für Wandel

• Evaluation ist für Stakeholder relevant

• Bedürfnisse und Befürchtungen der Stakeholder wurden mit einbezogen

• gutes und seriöses Evaluationsteam

• Ergebnisse zeitnah kommunizieren

• Systematische Untersuchung

• Kompetenz: professionelle Leistung

• Integrität/Aufrichtigkeit während der ganzen Evaluation

• Achtung gegenüber den Menschen: Sicherheit, Würde, Selbstwertgefühl respektieren

• Verantwortung fürs allgemeine und öffentliche Wohl: beachten, dass es vielfältige Interessen gibt; stehen in Beziehung zum allgemeinen und öffentlichen Wohl