Diagnostik und Intervention VL 2

• Status vs Prozessdiagnostik

• Selektions vs Modifikationsdiagnostik

• Kritriums vs normorientierte Diagnostik

Längsschnitt

• Reifungs- und Entwicklungseffekte

• Äquivalenzprobleme

• Stichprobenmortalität

• Hierarchisch Daten

• Veränderungen, die auf organismische oder umweltbedingte Effekte zurückzuführen sind (und eben NICHT wegen wahren Leistungsveränderungen)

  z.B: höhere Testwerte durch eine erneute Durchführung des gleichen Tests (Übungseffekt)

• Kontrolle von Ausgangsunterschieden und Störvariabeln (z.B. Geschlecht, Vorwissen) notwendig

• Mögliche Herausforderungen im Verlauf:

  -> Kompensatorischer Ausgleich innerhalb der KG (z.B. besonders hohe Anstrengung in Posttestung)

  -> Negative Reaktion in KG (z.B: geringere Anstrengung in der Posttestung aufgrund von Gefühlen der Benachteiligung)

• Fehlende Werte aufgrund von weniger Teilnehmern bei Folgeerhebungen

• Statistische Probleme wie Verlust von Teststärke durch eingeschränkte Stichprobengröße

• Schüler gehören jeweils zu bestimmten Klassen oder Schulen

  -> Man hat Klumpenstichproben (Cluster) innerhalb derer sich die Teilnehmenden eher ähnlich sind = sind nicht unabhängig —> daher Berücksichtigung der Mehrebenstruktur in Datenanalyse nötig

Standard Design: VorTest- NAchtest, Folllow Up Plan, EG und KG

-> Längsschnitdesign

-> Flexibel, also Anpassungen sind möglich wie z.B: zusätzliche Testungen

• BAseline zum Vortest darf sich nicht zw. Gruppen unterscheiden -> sonst methodische Probleme

1. Kein Erfolg der Intervention

-> EG und KG steigen beide konstant

1. Kurzfristiger Erfolg der Intervention

   -> EG steigt kurz an, sinkt dann und dann aber parallel zu KG

2. Stagnierender Erfolg

   -> EG steigt kurz an und bleibt aber ab gewissen Punkt auf dem Niveau (Nachtest= Follow Up)

3. Zunehmender Effekt der Intervention

   -> EG steigt stets an

4. Verzögerter Effekt -> Sleeper Effekt

   -> EG steigt erst in Follow UP an

Kein erfolg der Intervention

Kurzfristiger Erfolg der Intervention

Stagnierender Effekt der Intervention

Zunehmender Effekt der Intervention

Sleeper Effekt -> Verzögerter Effekt der Intervention

Wahrgenommene Kompetenzunterstützung

• wahrgenommene Kompetenzunterstützung hing mit intrinsischer Motivation zusammen

• beide Förderansätze gingen mit wahrgenommener Kompetenzunterstützung einher

  -> für EG2 überraschenderweise kein stärkerer Zusammenhang

• In den beiden Experimentalgruppen kleiner indirekter Effekt von Förderansatz auf intrinsische Motivation-> vermittelt über wahrgenommene Kompetenzunterstützung-> signifikant nur für EG1

• für leistungsstarke Schüler war positiver Effekt des Ansatzes in EG2 am stärksten (also für leistungsstarke Schüler vor allem bei quop zusätzlich Förderaufgaben sinnvoll)

• Schüler die wahrgenommene Kompetenzunterstützung hoch einschötzen, zeigen höhere intrinsische Motivation

• Formatives Assessment fördert da Gefühl von Unterstützung und somit Motivation

• vor allem leistungsstarke Schüler profitieren von quop

• Quop erweist sich als wirksamer Bestandteil -> der Zusatz durch Feedback-Materialen erbrachte NICHT für alle die erwünschte Wirkungt

• Bedürfnis nach Kompetenzerleben (Selbstbestimmungstheorie -> intrinsische Motivation aufgrund des Grundbedüfrnis nach Kompetenz und Selbstbestimmung) ist Grundlage für Entwicklung von Kompetenzen

• Annahme, dass formatives Assessent und Kompetenzunterstützung im Zusammenhang mit intrinsischer Motivation steht

  
  

• Hängt formatives Assessment mit intrinsischer Motivation von Schülerinnen über wahrgenommene Kompetenzunterstützung zusammen?

• Hängen die Befunde vom Leistungsstand der Schüler ab?

• Quasi Experiment mit 3. Klasse

3 Bedingungen

Experimentalgruppe 1: digitale Lernerfolgsmessung mit quop

Experimentalgruppe 2: digitale Lernerfolgsmessung mit quop und Nutzung adaptiver Förderhinweise

KG: normaler Unterricht (kein formatives Assessment)

Integration von vielen curricular- verankerten Lernzielen bei der Umsetzung von Lernverlaufsdiagnostik

Wie lassen sich soziale und emotionale Entwicklungsverläufe engmaschig und ökonomisch evaluieren (beobachten)?

• Kombination: direkte Verhaltensbeobachtung und direkte Verhaltensbeurteilung

  -> Verhaltensbeurteilung anhand von Ratingskala direkt nch Verhaltensbeobachtung

  —-> i.D.R ein Item pro Verhaltensbereich -> zeitökonomisch

• ermöglicht täglich mehrfache EInschätzungen eines Zielverhaltens

  -> Bildung von Durchschnittswerten möglich

  -> Entwicklung über Zeit abbildbar

Wiederholte Testungen um Fortschritt, Stangnation oder Abfall von Leistungen zu beobachten -> mit dem Ziel, kurzfristig pädagogisch auf diese Prozesse zu reagieren

• für formatives Assessment ist Rückmeldung des Lernstandes an Schüler und Lehrer nötig

• Handlungslleitender Charakter: Diagnostische Info zur Planung und Anpassung des Uterrichts + zur Konzeption von Fördermaßnahmen

  -> aber auch Herausforderung für Lehrkräfte bei Interpretation von Daten

  -> Computersysteme mit expliziten Interpretations- und Nutzungsempfehlungen von den diagnostische Informationen ist besonders hilfreich

• System mit Testreihen -> 8 Tests im Abstand von 3 Wochen

• Lesen und Rechnen

• Klasse 1-6

• Psychometriche Güte, Parallelität, Änderungssensitivität sind gegeben

• 10Euro/Kind

-> BEISPIEL für Lernverlaufsdiagnostik

• kontinuierlicher Feedback-Loop: Lehrkräfte sehen sofort, ob ihr Unterricht wirkt oder Anpassungen nötig sind

• Vergleichsmöglichkeiten zw. Klassen und Dokumentation individueller Lernverläufe

• Lehrkräfte bewerten Praktikabilität hoch und 90 Prozent der Schüler bearbeiten Test

• Nutzung der Ergebnisse zur Förderung, Unterrichtsplanung und Elterngespräche

Empirie: Lernverlaufsdiagnostik führt zu signifikant höheren Lernzuwächsen gegenüber Klassen mit einmaligen Standardtest

Quop

Lernverlaufsdiagnostik

Direct Behavior Rating

-> Verhaltensverlaufdiagnostik

Herausforderung für Lehrkräfte bei der Interpretation von Daten

-> Computergestützte Systeme mit expliziten Empfehlungen zur Interpretation und Nutzung von diagnostischen Informationen zu Lernverläufen besonders hilfreich

Lehrer bewerten Praktikabilität hoch

• Integration von vielen curricular verankerten Lernzielen

  -> curriculum- baded measurement

• Schnelle Durchführbarkeit

• Hohe psychometrische Güte

Testinhalt: z.b. Fokus auf Lesegeschwindigkeit vs Leseverständnis

-> Anforderungscharakter (Schwierigkeit) muss zw. Testungen gleich gehalten werden

Testintervall: sehr kurze Intervalle bei hoch sensitiven Tests und intensiven Fördermaßnahmen (schnelle Veränderung durch Förderung)

vs. längere Intervalle, die computerbasierte Testungen in Schule ermöglichen

Organisatorischer Rahmen: Klassen-vs Einzeltestung, papier-vs. computerbasiert, Kurze vs. Lange Verfahren

• Verhaltensmodifikation

• Bedingungsmodifikation-> optimal SItuationsveränderung

• klar definiertes, sachlich motivierts Kriterium als Vergleichsstandard (sachliche Bezugsnorm)

• Welche Personen erreichen das Kriterium?

-> Merkmalausprägung einer Person mit passender Referenzgruppe vergleichen > soziale Bezugsnorm

Ausprägung einer Eigenschaft zum gegebenen Zeitpunkt bei mittelfristig zeitlich und situativ stabilen Eigenschaften

z.b. Studieneignungstest

Beurteilung von Veränderung über einen Zeitraum mittels EInzelfallanalysen oder Veränderungsmessungen

Personenselektion: Personen anhand von Bedingungen auswählen

Bedingungsselektion: Auswahl von optimalen Bedingungen für eine Person

Statusdiagnostik: Ausprgung einer Eigenschaft zum gegebene Zeitpunkt -> Eigenschaft mittelfristig zeitlich und situativ stabil

z.b. Studieneignungstest

Prozessdiagnostik: Veränderungen über einen Zeitraum beurteilen mittels Einzelfallanalysen und Veränderungsmessungen

z.B. Veränderung der Lesegenauigkeiteines Schulkindes mit LRS

Selektionsdiagnostik

-> Personenselektion= Auswahl passender Personen anhand von Bedingungen z.B: Zulassung Studis an Uni

-> Bedingungsselektion = Auswahl passender Bedingungen für Personen z.B. Berufsberatung

Modifikationsdiagnostik

-> Verhaltensmodifikation z.B: Verhaltenstherapie

->Bedingungsmodifikation = optimale Situationsveränderung z.B. wie Menschen mit Hochbegabung fördern

Kriteriumsorientierte Diagnostik:

-> Klar definiertes, sachliches Kriterium als Vergleichsstandard (sachliche Bezugsnorm)

-> Welche Personen erreichen das Kriterium?

Normorientierte Diagnostik:

-> Vergleich der Merkmalausprägung mit Bezugsgruppe( soziale Bezugsnorm)z.B. IQ einrodnen