Veränderungsmessung

Lernziele

• Wissen, was Prozessdiagnostik ist

• Beschreiben können, was Lernverlaufsdiagnostik ist

• Arten von Veränderung unterscheiden können

• Probleme der Veränderungsmessung kennen

Voraussetzungen der Veränderungsmessung (Pawlik, 1976)

• Veränderungen können nur dann erfasst werden, wenn

○ 1) parallele Situationen konstruiert werden und

○ 2) diese Situationen durch parallele Messungen erfasst werden

• muss nicht immer gegeben sein

Alpha-Change

Eine Veränderung findet im Rahmen eines festen (physikalischen) Systems und eines festen Messkontinuums statt

-> Beispiel: Ein Vater will seinem Kind Schuhe kaufen. Das feste System ist die Größe (Länge, Breite) des Fußes, das feste Messkontinuum wird durch ein intervallskaliertes Maßband repräsentiert.

Beta-Change

Das Messkontinuum ist nicht fest, sondern verändert sich zwischen den Messzeitpunkten

-> Beispiel 1: Der Vater wird nicht wissen können, wie stark der Fuß des Kindes gewachsen ist, wenn das Maßband sich verändert hat

-> Beispiel 2: psychologische Messung: möglich, dass ein Fragebogen im Prä-Test eine andere Bedeutung hat als im Post-Test

-> Beispiel 3: Obwohl die tatsächliche Anzahl gerauchter Zigaretten unverändert ist, schätzt eine Person die Häufigkeit ihres Rauchens nach einem Training als höher ein als vor dem Training ➢ Beta-Change liegt dann vor, wenn eine Person auf einer 5-stufigen Likert-Skala ein Verhalten zum Zeitpunkt t1 mit 2 und das gleiche Verhalten zum Zeitpunkt t2 mit 3 einschätzt (Bedeian et al., 1980)

Gamma-Change

Das zu messende Konstrukt verändert sich über die Zeit

-> Beispiel 1: Die Bedeutung von „Intelligenz“ hat sich über die Jahrhunderte verändert

-> Beispiel 2: In Längsschnittstudien: Bilden Schulnoten die gleichen Konstrukte in unterschiedlichen Klassenstufen ab? -> nein, Kompetenzen sind andere (Vergleich Mathe 3. Klasse und 10. Klasse)

• Messung der Veränderung von Kompetenzen → Lernverlaufsdiagnostik

• statt punktueller Testerhebung → Entwicklung einer Kompetenz regelmäßig in relativ kurzen Abständen über längere Zeit hinweg durch geeignete Tests

• neue Tests, die aber stets die Ausprägung ein und derselben Kompetenz messen → Vergleichbarkeit?

(A) Retest-Effekt

• Retesteffekt = Verbesserung der Testleistung aufgrund der vorausgegangenen Testerfahrung (z.B. Erinnerung an Aufgaben)

• kann unabhängig davon auftreten, ob sich der zu messende Personenparameter (z. B. Kompetenz, Fähigkeit) geändert hat oder nicht

(B) Regressionseffekt („Regression zur Mitte der Verteilung“)

• Proband:innen, die etwas extremere Werte hatten, dazu neigen, beim Retest Werte zu zeigen, die näher am Mittelwert der Verteilung liegen (zweite Messung führt dazu dass die Person vermeintlich besser abschneidet (mehr am Mittelwert liegt), ist keine Veränderung an sich, sondern liegt nur an der Verteilung der Messfehler)

• Lernverlaufsdiagnostik: Chancen des Ausgleichs → Regressionseffekt erhöht Variabilität der Messwerte, verfälscht aber nicht aber deren längerfristige Tendenz

(C) Reliabilitäts-Validitäts-Dilemma

• Problem: Wie gut kann man von beobachteten Differenzen auf „wahre“ Differenzen schließen?

• KTT: Veränderungen von Merkmalen werden als Messfehler interpretiert (man will sich die Veränderungen jedoch angucken)

• Interpretation dieses Dilemmas wird in der Literatur sehr unterschiedlich bewertet

• Kontroverse Diskussionen zwischen Befürwortern und Gegnern des Differenzmaßes