Interventionsforschung: Methodische Rahmenbedingungen

Lernziele

• Den Unterschied zwischen Effektivität und Effizienz kennen

• Evaluationen nach Gegenstand, Zeitpunkt und Typ unterscheiden können

• Begründen können, unter welchen Bedingungen man auf Vortests verzichten kann

• Wissen, was differentielle Vortesteffekte sind

• Beschreiben und Erklären von Einzelfallstudien-Designs

• Wissen, was Teststärke, Konfidenzintervalle und Effektgrößen sind

• Wissen, was man unter Design-Sensitivität versteht

• Einfluss der Interventionsdauer auf die Interventionseffekte kenne

Intervention: bezeichnet generell eine Maßnahme, mit der in einen laufenden Prozess eingegriffen wird

große Bandbreite

• Maßnahmen auf Mikro-Ebene (Individuums)

○ z. B. an kognitiven, motivationalen oder emotionalen Aspekten des Lernens

• Maßnahmen auf Meso-Ebene (Schulklassen/Schulen)

○ z. B. Einführung von Gesundheitsprogrammen oder Fortbildungen für Lehrkräfte

• Maßnahmen auf Makro-Ebene (Schul- und Erziehungssystem)

○ z. B. Einführung von Bildungsstandards

• Nutzung einer wissenschaftlicher Methode, um die Wirkung zu evaluieren

• Pädagogische Interventionsforschung: einer Intervention Grundlagen- (Ursachenforschung) und Anwendungsforschung

• Braucht das Lernstrategietraining ein ergänzenden Metakognitionstrainings?

• Lässt sich das metakognitiv angereicherte Lernstrategietraining durch geschulte Lehrkräfte im Unterricht erfolgreich implementieren?

Forschungsmethoden

• forschungsmethodischer Königsweg: klassisches Experiment im Sinne einer „randomized controlled study“ (Slavin, 2002) (auch randomized controlled trials; RCT)

• Im einfachsten Fall gibt es eine Experimentalgruppe mit Intervention und eine Kontrollgruppe ohne Intervention, geprüft werden Mittelwertunterschiede in der abhängigen Variable

Effektivität: Ausmaß des Erreichens eines Zielzustandes bzw. eines Trainingsziels

Effizienz: Grad der Wirksamkeit relativ zu den zum Erreichen dieses Grades notwendigen materiellen und immateriellen Kosten (Kosten-Nutzen-Relation)

Designs Evaluation

I. Gegenstand

• Evaluation der Programmdurchführung bzw. Implementation des Programms („wie gut lässt sich das Programm realisieren?“)

• Evaluation der Wirksamkeit des Programms nach dessen Durchführung

II. Zeitpunkt

• Formativ (während der Entwicklung)

• Summativ (nach Fertigstellung)

III. Typ

• Isoliert : Feststellung der isolierten Wirksamkeit eines (neuen) Programms gegen eine geeignete Vergleichs- oder Kontrollmaßnahme

○ Ist das Programm grundsätzlich wirksam?

○ Warte-)Kontrollgruppe

• Vergleichend: Vergleich mit potentiellen Konkurrenz- oder Alternativprodukten

○ Ist das neue Programm bereits auf dem Markt befindlichen zumindest nicht unterlegen?

• Verwendung von Vortests ggf. problematisch: Nachtest kann wegen dessen Ähnlichkeit zum Vortest einen Lerneffekt vortäuschen (Vortestsensibilisierung)

• Bei Randomisierung: unproblematisch für den Vergleich beider Gruppen (da sich Effekte in beiden Gruppen nicht nennenswert unterscheiden sollten)

• Zeit zwischen Vor- und Nachtest: mehrere Wochen/Monate → Vortesteffekt eher unwahrscheinlich

• unterschiedliche Trainings: (kognitiven) Wechselwirkungen zwischen Vortest und den Programmen → Wechselwirkungen unter beiden Trainings nicht vergleichbar

• Differentielle Vortest-Effekte -> Lösung: Solomon-Vier-Gruppen-Plan

Was ist der Solomon vier Gruppen Plan? -> mögliche Auswirkungen des Pretests auf den Posttest wird getestet (durch einen Gruppenvergleich von Gruppe 2 mit Pretest und Gruppe 4 ohne Pretest)

• Verzicht auf Vortest bei Randomisierung möglich

• Aber: Vortestwerte ermöglichen es, die nach erfolgter Randomisierung trotzdem bestehenden Unterschiede zu berücksichtigen

• Einfluss von Störvariablen: irrelevant, wenn die Störvariablen in allen Vergleichsgruppen gleichermaßen wirksam sind

• Zunächst muss eine Baseline erhoben werden

• Messung einer oder mehrerer Zielvariablen über einen längeren Zeitraum vor der Intervention (z. B. durch tägliche Messungen)

• Annahme: Mittelwert der Messungen = Grundniveau der Zielvariablen Intervention

• Nach letzter Baseline-Messung: Intervention vor der

• Während oder nach Abschluss der Intervention: erneut mehrfache Messungen der Zielvariablen

Nachteile des A-B-Plans

• interne Validität ist eingeschränkt

• Auch wenn sich eine deutliche Veränderung der Daten in der Interventionsphase gegenüber der Baseline zeigt, lässt sich nicht ausschließen, dass diese Veränderung möglicherweise auf Störvariablen (z. B. Reifung, Erziehungsverhalten der Eltern) zurückgeht

• Daher häufiger: der A-B-A-B-Plan

Nachteile des A-B-Plans

• interne Validität ist eingeschränkt

• Auch wenn sich eine deutliche Veränderung der Daten in der Interventionsphase gegenüber der Baseline zeigt, lässt sich nicht ausschließen, dass diese Veränderung möglicherweise auf Störvariablen (z. B. Reifung, Erziehungsverhalten der Eltern) zurückgeht

• Daher häufiger: der A-B-A-B-Plan

Nachteile des A-B-A-B-Plans

• können in der Regel nur eingesetzt werden, wenn die in der Interventionsphase aufgetretenen Verhaltensänderungen zumindest teilweise reversibel sind und wenn zu erwarten ist, dass sich mit Absetzen der Intervention wieder eine Veränderung in Richtung auf das Ausgangsniveau einstellt

• mit dem Ausblenden der Intervention nimmt man eine Verschlechterung des Zielverhaltens in Kauf

• Interventionen häufig in praktischem Feld: z.B. in Schulen, in Weiterbildungs Institutionen, in Jugendzentren oder in Altersheimen

• Bedingungen einer Intervention im Feld nicht wie im Labor kontrolliert -> Gefahr, dass tatsächlich wirksame Maßnahmen nicht erkannt werden

• Weiterverfolgung einer wirksamen pädagogischen Maßnahme wird eingestellt, da sie vermeintlich als unwirksam identifiziert wurde

• Das Entdecken von tatsächlich wirksamen pädagogischen Interventionen wird durch folgenden Faktor erschwert

• schwache Effekte: Pädagogische Interventionen zeigen nicht nur starke oder mittelstarke, sondern häufig schwache Effekte

• schwach wirksame Interventionen können zu einer positiven Veränderung beitragen

• schwach wirksame Interventionen können mit anderen Interventionen kombiniert, woraus ein starker Effekt resultieren kann

• „Übersehens“ einer wirksamen Maßnahme = b-Fehlerrisiko/b-Fehlerwahrscheinlichkeit

• Eine eigentlich in der pädagogischen Realität sich als richtig herausgestellte Hypothese wird abgelehnt

• a-Fehler-Risiko: Wahrscheinlichkeit, dass wir uns für eine Hypothese entscheiden, obwohl es tatsächlich keine Zusammenhänge gibt

-> Wahrscheinlichkeit, die richtige Entscheidung zu treffen

Design-Sensitivität: welche Bedingungen müssen erfüllt sein, damit die Wahrscheinlichkeit erhöht wird, dass tatsächlich gegebene Effekte in Interventionen auch entdeckt werden können

• Unabhängige Variablen

• Versuchspersonen

• Abhängige Variablen

• Statistische Analysen

Unabhängige Variablen

• Starke Intervention, hohe Dosis in der Interventions-Bedingung

• Keine oder schwache Intervention in der Kontroll-Bedingung

Versuchspersonen

• Möglichst große Stichproben in jeder Bedingung

• Erhöhte Stichprobengröße in einer Bedingung, wenn eine fixierte Stichprobengröße in einer anderen Bedingung gegeben ist

• Bei beschränkten Stichprobengrößen: Aufteilung der Vpn in wenige anstelle von vielen experimentellen Bedingungen

• Geringe Eingangsheterogenität der Versuchspersonen

• Einheitliche Reaktionsmöglichkeit der Vpn auf die Intervention (Standardisierung)

Abhängige Variablen

• Validität hinsichtlich der Messung des Merkmals, dessen Änderung erwartet wird

• Sensibilität für Veränderungen des gemessenen Merkmals

• Kleingestufte Messeinheiten anstelle von groben oder kategorialen Einheiten

• Keine Decken- oder Bodeneffekte in der Variationsbreite der erwarteten Antworten

• Hohe Reliabilität der Messungen

• Aggregation von ungenauen Messungen

• Messung von nahen statt von entfernten Effekten

Statistische Analyse

• Größere a-Fehler für Signifikanztests (10% statt 5%)

• Einseitig-gerichtete anstelle von zweiseitig ungerichteten Tests

• Statistische Varianzkontrolle (Blockbildung, ANCOVA)

Zur Dosierung einer Intervention

• Im Rahmen pädagogischer Interventionsstudien kann eine hohe Dosis verschiedene Bedeutungen haben

• Als häufige Wiederholungen (z. B. 6 Lernnachhilfen im Semester statt 3)

• Als Kombination von häufigen und kurzfristigen Wiederholungen (z. B. 3 Lernhilfen wöchentlich anstelle von 2 Lernhilfen monatlich)

• Als Maßnahmen mit langer Dauer (z. B. Erziehungsberatung über 1 Jahr anstelle über eine Zeitdauer von nur 6 Monaten)

• Als einzige oder mehrfache Maßnahmen (z. B. Erziehungsberatung und Lernhilfe anstelle von nur Erziehungsberatung oder nur Lernhilfe)

• Es stellt sich die Frage, welche Kriterien man anlegen könnte, um zu entscheiden, ob eine hohe Dosis gegeben ist oder nicht

• Die Angaben über die Dosis einer Intervention finden sich in der Regel in den Beschreibungen zur Programmdurchführung (Manual)

• Sie finden sich aber auch in Metaanalysen

• Hinweise zur Wahl von Dosen finden sich auch in Vorstudien

• Zu beachten ist, dass zwischen Dosis und Effekt mitunter keine lineare Beziehung besteht.

○ Lässt man z. B. Schüler bestimmte Aufgaben lernen, dann zeigen sich die besten Motivationseffekte, wenn die Aufgaben nicht zu leicht und nicht zu schwierig sind (=> mittlere Dosis der Aufgabenschwierigkeit)

Zur Standardisierung einer Intervention

• Hohes Ausmaß an Standardisierung = Intervention wird für alle Vpn in gleicher Weise durchgeführt

• Daher gibt es Handbücher mit Instruktionen und Training für die Durchführenden eines Programms

• Bei pädagogischen Interventionsstudien sind allerdings manchmal Störbedingungen gegeben, die diese Standardisierung gefährden

○ Veränderungen innerhalb der Probanden, unkontrollierbar auftretende Ereignisse etc.

• Da solche Probleme kaum kontrolliert werden können, bleibt als eine Möglichkeit, die erreichte Standardisierung der Intervention zu messen

○ Diese Messung kann z. B. in Beobachtungen oder im Führen von Protokollen zu 43 Vorfällen bestehen

Versuchspersonenanzahl

• Die Fragen nach der Anzahl der Vpn ist abhängig von der gewünschten Power und der Größe der erwarteten Effekte

• Wenn man schwache Effekte (z. B. d = 0.30) mit hoher Wahrscheinlichkeit (z. B. Power = 0.90) entdecken möchte, dann bedarf es einer großen Vpn-Anzahl (z. B. 191 pro Bedingung)

• In pädagogischen Interventionsstudien findet man hingegen häufig viel kleinere Stichprobenumfänge

Intendierte Größe eines Effekts

• Notwendig, im Vorfeld der Interventionsstudie die Frage zu stellen, ob man starke, mittlere oder schwache Effekte identifizieren will

• Bei der Entscheidung, welche Effektgröße man anstrebt, spielen die folgenden Aspekte eine Rolle

○ Bisher erzielte Effekte in einem pädagogischen Feld

○ Ziele einer Intervention: Möglich, dass Auftraggeber Größe des erwünschten Effekts vorgibt

○ Stärke des Problems: Ist ein Problem sehr groß, sind bereits schwache Effekte relevant

○ Verfügbarkeit von anderen Problemlösehilfen: Liegen bereits wirksame Interventionen vor, ist es wichtig, eher starke Effekte zu erzielen, die einen Konkurrenzvorteil bedeuten können

• Messungen sollten so gestaltet werden, dass sie sensibel sind für Veränderungen sind (Lipsey, 1990)

• Meier (1997): „Intervention Item Selection Rules“-> Kriterien und Verfahren für die Auswahl von veränderungssensiblen Items

• Erzeugung von aggregierten Itemantworten, um Messfehler zu reduzieren

• Vermeiden von Boden- oder Deckeneffekten

Kurzzeit- versus Langzeitinterventionen

• Dauer der Intervention wird auf Grundlage der Interventionsziele die Persistenz des erzielten Effekts) festgelegt

Probleme in Bezug auf den Zeitaspekt

• Intervention zu kurz

○ Veränderung des Merkmals benötigt längeren Zeitraum

○ weil das Messinstrument nicht sensitiv genug ist

• Intervention zu lange

○ kurzfristige positive Entwicklungen lassen sich nicht mehr abbilden (wenn bspw. die Post-Messung zu spät erfolgt)

○ Ermüdungseffekte, die den Erfolg der Intervention abschwächen bzw. vollständig eliminieren

• Schwache Effekte (z. B. d = 0.30) → n = 139 pro Bedingung Wahrscheinlichkeit (z. B. 1-b = 0.80) aufdecken -> mit großer Wahrscheinlichkeit (z. B. 1-b = 0.80) aufdecken

• meisten Interventionsstudien: deutlich weniger Versuchspersonen

• Gefahr steigt, dass mögliche Wirkungen von Interventionen statistisch nicht nachgewiesen werden können

• Planung von Interventionsstudien: welche Variable soll verändert werden und wie lange benötigt deren Veränderung (voraussichtlich)

• Kurzzeit- oder Langzeiteffekte?

• Bisherige Interventionsstudien: häufig zu kurz → Nicht-Erkennen einer Wirksamkeit