LE 9 - Interpretation der Ergebnisse

• Definition – Wirksamkeit

  • Beurteilung Erfolg und Effekte von Maßnahmen, Programmen und Interventionen

  • Zentrale Aspekte der Definition von Wirksamkeit

    • Zielorientierung

      • Messung der Wirksamkeit an Erreichung eines Ziels mit Programm oder Maßnahme

    • Kausalität

      • Ursache der festgestellten Veränderung tatsächlich Intervention oder Maßnahme

    • Effizienz der Zielerreichung

      • Betrachtung der Effizienz und Art und Weise der Zielerreichung

• Dynamisches Wechselverhältnis —> essenziell für Bewertung von Wirksamkeit

• Zielsetzung:

  • Ausgangspunkt jedes Evaluationsprozesses

  • Beschreibung der Zielergebnisse und -zustände

  • Herstellung von Messbarkeit durch klare Definition und Operationalisierung der Ziele

• Zielzustand:

  • Beschreibung des gewünschten Endzustands nach Maßnahme

  • = konkrete und messbare Beschreibung des Erfolgs durch die Intervention

• Wirksamkeit

  • Grad in der Zielsetzung erreicht wurde

  • Herbeiführung der Zielzustände durch Intervention

  • Prüfung des Erfolgs und Kausalität der Maßnahme

  • Ist Erfolg auf Maßnahme/Intervention zurückzuführen

• Zusammenhang dieser Begriffe:

  • Zielsetzung beschreibt, was erreicht werden soll.

  • Zielzustand gibt an, welcher konkrete Zustand nach der Intervention erwartet wird.

  • Wirksamkeit misst, in welchem Ausmaß der Zielzustand erreicht wurde und ob dies durch die geplante Maßnahme bewirkt wurde

  • Entscheidend sind Operationalisierung der Ziele und klar definierte Festlegung des Zielzustandes

• Grundsätzliche Wirksamkeit

  • Auch interne Validität

  • Bezug auf Zielerreichung durch Maßnahmen und Intervention durch kontrollierte Bedingungen

  • Zielerreichung durch Maßnahmen entstanden—> Ausschließung von alternativen Erklärungen oder Störfaktoren

  • Strenge Ursachen- Wirkung- Beziehung zwischen Intervention und Zielerreichung

• Praktische Wirksamkeit

  • Externe Validität

  • Prüfung der Effizienz der Zielerreichung in Praxis und Alltagssituationen

  • Prüfung der Funktion der Maßnahmen auch unter realen Rahmenbedingungen, unterschiedlichen Kontexten, bei verschiedenen Zielgruppen (ohne vollständige Kontrolle)

  • Erfassung der Anwendbarkeit und Generalisierbarkeit der Maßnahme auf Lebenswirklichkeit der Zielgruppe unter Einbezug von individuellen Unterschieden oder Umgebungsbedingungen

• Für umfassendes Verständnis der Effektivität einer Maßnahme —> beide Dimensionen essenziell

• Grundsätzliche Wirksamkeit – Untersuchung auf wissenschaftlich- experimenteller Basis

• Praktische Wirksamkeit – Untersuchung auf Anwendungs- und Alltagstauglichkeit

• Untersuchung von Kausalzusammenhängen

• Unabhängige Variable

  • Wird in Evaluationsstudie manipuliert

  • Gezielte Veränderung, um Wirkung auf abhängige Variable zu testen

  • Unabhängige Variable = zu untersuchende Maßnahme/Programm für Wirksamkeitsprüfung

• Abhängige Variable

  • Ergebnis oder Effekt nach Veränderung der unabhängigen Variablen

  • Messung der Stärke oder Art und Weise der Wirkung der Intervention

  • Soll durch Manipulation der unabhängigen Variablen beeinflusst werden

  • Bewertung der Wirksamkeit der Maßnahme

• Unabhängige Variable = zentraler Einflussfaktor —> Wirkung soll untersucht werden

• Abhängige Variable = Ergebnis oder Veränderung —> Prüfung ob unabhängige Variable gewünschten Effekt hervorgerufen hat

• Beziehung zwischen beiden muss klar und messbar sein —> zuverlässige Aussagen über Kausalität

• Grenzen betreffen methodische und theoretische Rahmenbedingungen

• Begrenzung der wissenschaftlichen Forschung stets präsent —> Berücksichtigung der Tatsache bei Interpretation von Ergebnissen unabdingbar

  • Begrenzte Reichweite wissenschaftlicher Theorien

  • Methodische Grenzen

    • Einschränkungen der Messbarkeit oder Verzerrung durch Forschungsmethodik

  • Subjektivität des Forschungsprozesses

    • Beeinflussung von Hypothesenbildung und Interpretation von Daten

  • Begrenzte Vorhersagekraft

    • Schwierigkeit exakter und zuverlässiger Vorhersagen für die Zukunft —> eher Wahrscheinlichkeitsaussagen

  • Ethik und moralische Grenzen

    • Beschränkung durch ethische und moralische Grenzen

• Fehlerquellen

  • Zufälliger Fehler

    • Ausschluss trotz sorgfältiger Planung nicht möglich

  • Systematischer Fehler

    • Erinnerungsverzerrungen

    • Studien die auf Beobachtungen beruhen

• Verzerrung durch Störgrößen

  • Korrelation von zwei Risikofaktoren —> Beeinflussung der Zielgröße —> Entstehung falscher Zusammenhänge

• Veröffentlichungsbias

  • Verfälschung der Effektivität einer Maßnahme durch Veröffentlichung von signifikanten Ergebnissen und Weglassen von nicht- signifikanten Ergebnissen

• Fehlerhafte Fallzahlplanung

  • Nachweis von existenten Effekten aufgrund von zu kleiner Stichprobe nicht möglich

• Unterschied zwischen statischer Signifikanz und klinischer Relevanz

Korrelation

• Definition: Statistischer Zusammenhang zwischen zwei Variablen.

• Richtung: Positiv (beide Variablen steigen oder fallen zusammen) oder negativ (eine Variable steigt, die andere fällt).

• Keine Ursache: Korrelation zeigt keine Kausalität.

Korrelationskoeffizient

• Definition: Numerisches Maß für die Stärke und Richtung der Korrelation.

• Wertebereich:

  • +1: Perfekte positive Korrelation.

  • -1: Perfekte negative Korrelation.

  • 0: Keine Korrelation.

• Häufigster Typ: Pearson-Korrelationskoeffizient für metrische Variablen.