Evaluation Wirkungen

• in der Regel gerichtete Hypothesen

• Fragen wie:

  • sind die erwarteten Effekte eingetreten?

  • können Veränderungen auf die Intervention zurückgeführt werden?

• Häufig auch Nebenfragestellungen

  • Halten Effekte über Zeit an (PERSISTENZ & NACHHALTIGKEIT)

  • Können Effekte auf andere SItuationen / Kontexte übertragen werden (TRANSFER, ROBUSTHEIT)

  • Gibt es unerwartete Nebenwirkungen oder Folgewirkungen der Intervention?

durch Maßnahme verursachte Effekte —> Wirkt die Maßnahme überhaupt?

Prozesse, die zu den beobachtbaren Effekten geführt haben

Wie hat eine Maßnahme gewirkt?

• Evaluation der Wirkung einer Intervention basiert auf einem Wirkmodell

• Wirkmodell = konzeptionelle Basis

• bezieht optimalerweise theoretische Erkenntnisse mit ein

• Bei der Evaluation einer Maßnahmen, für die ein theoretisches Wirkmodell existiert, steht auch dieses Modell auf dem Prüfstand

1) Prozesse - Wie eine Intervention wirken sollte

2) Begründung - wieso sie wirken sollte

3) Randbedingung - von welchen Randbedingungen sollte ihre Wirkung abhängen

1) Grundlagenebene

2) Technologische Ebene

3) Implementationsebene

4) Evaluationsebene

Dem Modell zugrundeliegende Theorie ist unvollständig oder falsch

• allgemeine theoretische Basis stimmt, aber Übertragung auf die konkrete Intervention ist unzutreffen

Grundlagentheorie + Interventionshypothese sind korrekt

Umsetzung der Intervention ist mangelhaft

Theoretische Basis und Umsetzung sind korrekt, methodische Umsetzung der Wirksamkeitsstudie ist mangelhaft

Nicht allein die Kriteriumsvariable!!

• alle weiteren im Modell erhaltenen Variablen müssen operationalisiert und erhoben werden

• Prozessvariablen

• Häufig: Annahmen über Mediatoren und Moderatoren

Vermittelnde Variablen

Variablen, die die Wirksamkeit beeinflussen

• Wirkmodell mit Prozess- und Kriteriumsvariablen

• Identifikation von Wirksamkeitsebenen -> häufig Ansatz von Kirkpatrick eingesetzt

• Variablen müssen in geeigneter Weise operationalisiert werden

• Zentrale Herausforderung: Es sollen kausale Inferenzen ermöglicht werden

• Hinzuziehen von Versuchsplänen und Kontrolltechniken der Experimentalpsychologie

• Objektivität

• Reliabilität

• Validität

• Symmetrie

• Neutralität

• Angemessene Schwierigkeit

• Kriterien sollten den Inhalten entsprechen, auf die die Maßnahme primär abzielt

• Symmetrie sollte sicherstellen, dass die Messung auch änderungssensitiv

• beim Vergleichen verschiedener Maßnahmen:

  • das Wirksamkeitskriterium sollte nicht einer Maßnahme inhaltlich näher stehen als der anderen

• Messung d. Kriteriums sollte hinsichtlich der Schwierigkeit dem Merkmalsbereich vor und nach der Maßnahme angemessen sein

nicht intendierte Effekte zeitlich parallel zur Wirksamkeit

• können positiv oder negativ sein

• Sind sie absehbar sollten sie bei der WIrksamkeitsevaluation gemessen werden

• Evaluation sollte auch für das Auftreten unerwarteter Neben- und FOlgewirkungen sensitiv sein, z.B. durch qualitative Erhebungen ermittelbar

• Effekte gegen Ende oder erst nach Abschluss

• können positiv oder negativ sein

• Sind sie absehbar sollten sie bei der WIrksamkeitsevaluation gemessen werden

• Evaluation sollte auch für das Auftreten unerwarteter Neben- und FOlgewirkungen sensitiv sein, z.B. durch qualitative Erhebungen ermittelbar