2. Methoden

subjektiv (Person selbst Auskunft > Motivation) vs. objektiv (Verhalten wird beobachtet > Blicke)

Prozess (Daten über Prozess > Lösungsprozess) vs. Produkt (Endzustand > Antwort)

Korrelationsstudie (Beobachtung des Zusammenhangs zwischen Variablen)

• in pädagogischen Settings häufig die einzige Form von empirischer Evidenz > alle typischen Schulleistungsstudien

• Frage, ob höhere Werte in der einen Variable mit höheren/niedrigen Werten in anderen Variablen einhergehen

• Korrelationskoeffizient quantifiziert die Stärke und Richtung des Zusammenhangs zwischen zwei Variablen

• quadrierte Korrelationskoeffizient r^2 gibt an, welcher Anteil der Variabilität in einer Variable durch die andere Variable aufgeklärt werden kann > je höher, desto besser die Vorhersage

Problem: Drittvariablenproblem

• Zusammenhang zwischen A und B bedeutet nicht, dass A B verursacht

• Zusammenhang kann durch (unbeobachtete) Drittvariablen zustande kommen > Scheinkorrelation

• Drittvariable, die eigentlich für den Zusammenhang verantwortlich ist, nennt man konfundierende Variablen

Problem: Richtungsproblem

• A und B korrelieren, also kann A B versuchen, B A verursachen oder sich gegenseitig bedingen

Problem: Stichprobenverzerrung

• Stichprobenverzerrung durch Selbstselektion sorgt für Scheinkorrelation

• Selbstselektion entsteht, wenn Personen mit bestimmten Eigenschaften, mit einer höheren Wahrscheinlichkeit in einer Bedingung sind als in einer anderen

• oragnismische Variablen: Eigenschaften wie Geschlecht, sozialer Hintergrund etc (lassen sich nicht ändern)

Experiment (Manipulation einer Variable und Erfassung der Auswirkung auf andere)

• Effekt einer Variable durch Isolierung ihrer Wirkung > kontrollierte Variation durch künstliche Weltsituation

• Manipulation der unabhängigen Variablen (UV), Erfassung der Auswirkung auf die abhängige Variable (AV)

• Störvariablen (die nicht kontrolliert werden sollen, werden ausgeschlossen)

• zwei Gruppen: Experimental-/Treatment Gruppe (bestimmte Ausprägung wird kontrolliert) und Kontrollgruppe (Ausprägung findet da nicht statt)

• effektiv, wenn Treatment Gruppe besser abschneidet als Kontrollgruppe

Experiment ohne Zufallszuweisung

• Effekt der UVn unverzerrt bestimmen: muss ausgeschlossen werden, dass andere Störvariablen zur Verzerrung führen

• wichtige Klasse bei Störvariablen: organismische Variablen (da Verzerrung der Stichprobe erzeugt werden kann) > vorbeugen durch: Versuchspersonen nicht selbst entscheiden in welche Gruppe sie kommen (Randomisierung)

• steigende Stichprobengröße = durch Randomisierung auch ähnliche Ausprägung in den Gruppen

• vollständige Randomisierung nicht immer möglich

• möglich manche Störvariablen im Nachhinein zu kontrollieren

Erfassung des Einflusses einer Variablen an einem früheren Zeitpunkt auf eine andere Variable zu einem späteren Zeitpunkt

• Untersuchung: Veränderung von Variablen (gleiche Schüler mehrmals > längsschnittlich)

• Untersuchung: Veränderung von Variablen (Schüler in versch. Altersgruppen > querschnittlich)

• Vorteile Längsschnitt: stärkere Schlussfolgerung, weil Unterschiede zwischen Altersgruppe nicht beeinflusst, direkt Erfassung von Veränderung, besser für kausale Schlussfolgerungen geeignet, weil Ursachen Folgen zeitlich vorausgehen

• Nachteile Längsschnitt: aufwändiger, länger, Übertragbarkeit auf andere Kohorten unklar

  Größe des Effekts: zum quantifizieren werden sogenannte Effektstärkemaße verwendet

Vergleich von zwei Mittelwerten = d

Größe = (Experimentalgruppe - Kontrollgruppe) / Standardabweichung

Klassifikation: klein 0.2-0.4 // mittel 0.5-0.8 // groß 0.9-1.2

zielen auf Beschreibung ab, welche Unterrichts- und Kontextvariablen wichtig sind

Effektstärken über verschiedene Einzelstudien hinweg zusammengefasst

Vorteile: breite empirische Datenbasis, breite Palette von Unterrichtsvariablen

Nachteile: geben keine Schlüsse darüber, warum Effekte auftreten (oder nicht), dafür andere Mechanismen notwendig

Beispiel: Hattie-Studie

• normale Effektstärke ist d = 0.4

• negative Effekte (schadet Leistung) = d < 0

• Entwicklungseffekte (normale Entwicklung) = 0>d<0.15

• Schulbesucheffekte (Normalunterricht) = 0.15>d<0.4

• erwünschter Effekt (über normaler Schulunterricht) = d > 0.4

Fehlvorstellung, dass wissenschaftliche Probleme durch einzelnes, perfektes Experiment entschieden werden können > eigentlich müssen häufig Daten von Experimenten gesammelt werden

jedes Experiment hat den gleichen Fehler = Gesamtergebnis ist verzerrt (meist Experimente unterschiedliche Stärken/Schwächen)

Prinzip der konvergierenden Evidenz: zusammengefasste Ergebnisse = stabiler, belastbarer