Welche Probleme birgt die PISA Studie?
Unterschiedliche Lehrpläne in den Staaten
Verzerrende Übersetzung der Tests in Landessprachen
Kulturell sensitive Testaufgaben (z. B. Fahrplan einer Straßenbahn lesen)
Unterschiedlich repräsentative Stichproben in den Staaten (in Bezug auf Schüler*innen, Bundesländer, Schulformen oder Schulen)
Teaching to the Test
Testleitungseffekte
Wie soll ein 3-Stunden langer Test den Erfolg von 9 Jahren Schule vollständig erfassen?
Einfluss der Politik auf die Veröffentlichung der Ergebnisse
Mögliche Bedeutungslosigkeit der Werte (Ist 484 viel oder wenig?)
Altersunterschiede in nationalen Schullaufbahnen (Einschulungsalter, Sitzenbleiber*innen etc.)
Dauer der Schulzeit (schlechte Schüler*innen könnten Schule zum Zeitpunkt des Tests schon verlassen haben)
Konfundierung von Schulleistung mit Schulform, sozialer Schicht, Intelligenz, Motivation, Testangst usw.
Messungen sind nicht unabhängig voneinander (-> Voraussetzungen wichtiger statistischer Tests)
Fehlendes Wissen über die Ursachen hoher oder niedriger Schulleistung bestimmter Staaten -> „Vom Wiegen wird das Schwein nicht fetter.“
Unklare prädiktive Validität der Schulleistung für ein gelingendes Leben (soziale Kompetenz etc.)
Welche Instrumente werden wie erhoben?
• Mathematikleistung
• Leseleistung
• Naturwissenschaftsleistung
• Problem solving skills
• Schüler*innenfragebogen zur Schul- und Unterrichtswahrnehmung, Lernstrategien, Motivation, Emotion, Anstrengung (0.5 h, Kurzskalen)
• Schulleiter*innenfragebogen
• (Elternfragebogen, Lehrer*innenfragebogen)
Wann wird was vertieft erhoben?
Was ist Literacy?
= Grundbildung = Alltagskompetenz
-> Unabhängig von Nationalität und Lehrplan wichtig:
• Handyverträge und eigenes Budget vergleichen
• Wahlergebnisse in Form von Tortendiagrammen verstehen
• Busfahrplan lesen
• Artikel über den Vergleich zweier Sportschuhe auswerten
• Mengen abschätzen und kombinieren können
• Wissen, unter welchen Umständen elektrischer Strom für den Menschen gefährlich
ist und unter welchen nicht
•...
Wie fungiert PISA als Literacy-Test?
• PISA testet nicht Lehrplaninhalte einer bestimmten Jahrgangsstufe
• PISA versucht, die alltagsrelevante Grundbildung am Ende der Pflichtschulzeit zu fassen
• In fast allen Teilnehmerstaaten besteht für 15-Jährige noch eine allgemeine Schulpflicht
• Für 16-Jährige ist das schon nicht mehr der Fall
Wie lauten die Literacy- Definitionen?
Reading-Literacy is defined as understanding, using, reflecting on and engaging with written texts, in order to achieve one’s goals, to develop one’s knowledge and potential, and to participate in society.”
Lesekompetenz wird definiert als das Verstehen, die Nutzung, das Nachdenken über und die Auseinandersetzung mit geschriebenen Texten, um die eigenen Ziele zu erreichen, das eigene Wissen und Potenzial zu entwickeln und an der Gesellschaft teilzuhaben".
“Mathematical literacy is defined as the capacity to identify, understand and engage in mathematics, and to make well-founded judgements about the role that mathematics plays in an individual’s current and future private life, occupational life, social life with peers and relatives, and life as a constructive, concerned and reflective citizen.”
"Mathematische Kompetenz wird definiert als die Fähigkeit, Mathematik zu erkennen, zu verstehen und sich mit ihr zu beschäftigen und fundierte Urteile über die Rolle zu fällen, die Mathematik im gegenwärtigen und zukünftigen Privatleben, im Berufsleben, im sozialen Leben mit Gleichaltrigen und Verwandten und im Leben als konstruktiver, besorgter und reflektierender Bürger spielt."
Welche Kompetenzen werden mit Aufgaben wie die des “Semmelweis Tagebuch abgefragt?
Naturwissenschaftliches Faktenwissen (Hitze tötet Keime), Kenntnis aktueller gesellschaftlicher Probleme (Antibiotikaresistenz), Diagramme lesen, Hypothesen testen, Alternativerklärungen ausschließen, kritisches Denken
Was ist der Semmelweis-Reflex?
Als Semmelweis-Reflex wird die Vorstellung beschrieben, dass das wissenschaftliche Establishment eine neue Entdeckung quasi „reflexhaft“ ohne ausreichende Überprüfung erst einmal ablehne und den/die Urheber/in eher bekämpfe als unterstütze, wenn sie weit verbreiteten Normen oder Überzeugungen widerspricht“ (Wikipedia).
Welche Wissensbereiche, Kompetenzen und Kontexte sind assoziiert mit dem Aufgabenraster Lesen?
Wissensbereiche
• Kontinuierliche Texte (Erzählung, Diskussion)
• Nichtkontinuierliche Texte (Listen, Webseiten, Formulare)
Kompetenzen
• Informationen ermitteln
• Textbezogenes Interpretieren
• Reflektieren und Bewerten
Kontext
• Privat (persönlicher Brief)
• Öffentlich (amtliche Dokumente)
• Beruflich (Berichte)
• Bildungsbezogen (Schulbücher)
Wie funktioniert das Multi-Matrix-Design?
Jede Person erhält nur einen Teil aller Aufgaben (ein Booklet)
Die Lösungsraten der nicht bearbeiteten Aufgaben werden über die Ankeritems geschätzt
So können viel Stoffgebiete getestet werden, ohne dass der/die einzelne Schüler/in zu viele Aufgaben lösen muss
Wie werden die Tests übersetzt?
Welche Stichprobe wird erhoben?
• 470.000 Schüler*innen
• Getestet wurden zufällig ausgewählte 15-Jährige aus zufällig ausgewählten Schulen
• Repräsentativ für die Population der 26 Mio. fünfzehnjährigen Schüler*innen der Teilnehmerstaaten
• Mind. 5000 Schüler*innen pro Staat
• Die Ausfallquote der ausgewählten Schüler*innen wegen Behinderung oder Krankheit durfte pro Staat nur 2.5% betragen
Wie werden die Stichproben stratifiziert?
Gewichtung der Fälle
• z. B.: Verhältnis Jungen:Mädchen in Stichprobe wird so umgewichtet, dass es dem Verhältnis Jungen:Mädchen in Population entspricht
• Stratifizierte Gewichtung: kombinierte Gewichte für unterschiedliche Dimensionen (je nach Staat)
Geschlecht
Schulform
Bundesland
Wie sind die Skalen zu interpretieren?
• Tests normiert auf einen OECD-Mittelwert von 500 und einen SD von 100
• 66% der Schüler*innen innerhalb der OECD erzielen 400 bis 600 Punkte
• Ein Schuljahr entspricht im OECD-Mittel einem Leistungszuwachs von 38 Punkten (in Science)
• Abstand zwischen bestem und schlechtestem Land: ca. 240 Punkte
Was zeigen die Ergebnisse der PISA Studie? Vorallem in Bezug auf die Leseleistung?
• Signifikante Verbesserung in nur 7 OECD-Staaten, darunter Deutschland
• Veränderung von unter OECD-Durchschnitt zu OECD-Durchschnitt
• Kaum Veränderungen in der Spitzengruppe
• Deutliche Verkleinerung der Risikogruppe
• Noch immer sind 18.5 % der Schüler*innen auf oder unter der untersten Kompetenzstufe (= können auch einfachsten Texten keine Informationen entnehmen)
Welche Kovariate lassen sich anhand der PISA Studie ableiten?
Sozioökonomischer Status und Leseleistung
Bildungsniveau der Eltern und Kinder
Lesegewohnheiten und Lernstrategien
Zusammenhang von Bildungsausgaben und Leseleistung
• In den westlichen Industrienationen (high-income economies) ist der Bildungserfolg weitgehend unabhängig vom Geld im Bildungswesen
• Wichtiger ist wie Geld ausgegeben wird
• Neue Gebäude, Technologien usw. führen nicht direkt zu Kompetenzveränderungen in den Köpfen der Lernenden
-> Kompetenzerwerbsprozesse (Konzeptwandel, Strategiewechsel, Lernen durch Vergleiche, Transferförderung etc.) als Mediatoren zwischen Geld und Schulleistung
Was ist kein potenzielles Problem bei Aufgaben aus Schulleistungsstudien wie z.B. PISA, zumindest nicht in so gravierendem Ausmaß wie bei Persönlichkeitstests?
Welche Veränderung über die Zeit zeigte sich bei deutschen Schülerinnen in der PISA Studie zwischen 2000 und 2009?
Was sind die Ursprünge der Selbstkonzeptforschung?
William James (1892)
Selbst als ICH: Betrachter*in, denkende, handelnde und wissende Person als Subjekt, «self as knower
Selbst als ME: Objekt der Betrachtung der eigenen Person, Selbstkonzept, Aspekte der Person, die der Person selbst (dem Ich) bekannt sind, «self as known»
-> Dazu gehören auch affektive Einstellungen gegenüber der eigenen Person = «self-feeling» (Selbstwertgefühl) als Ergebnis der subjektiven Interpretation von Erfolgen und Misserfolgen und der eigenen Stellung in der Welt
Was ist ein Selbstkonzept?
= Mentale Repräsentatio der eigenen Person, Wissen über die eigene Person
Zeitlich relativ stabil: Persönlichkeitseigenschaft
Globales vs. bereichsspezifisches (zb: Schulbezogenes) Selbstkonzept
Beinhaltet universelles und individuell charakteristisches “Wissen” über die eigene Person
Strittig ob Bewertung als direkter Teil des Selbstkonzepts betrachtet wird: Selbstwertgefühl
Was ist das Selbstwertgefühl?
Wissen über sich selbst unterliegt auch einer Bewertung auf der Dimension positiv/negativ
Subjektive Bewertung der eigenen Persönlichkeit
Einstellung zu sich selbst
Etwas weniger stabil als Selbstkonzept (von Stimmungen beeinflusst) - gilt aber als Eigenschaft in der Persönlichkeit
Was ist das schulische (=akademische Selbstkonzept)?
Das Selbstkonzept umfasst verschieden Aspekte und Domänen, je nach Fokus unterschiedliche Instrumente zur Erfassung
Im Schulkontext meistens Fokus auf die kognitiv-evaluative Komponente (Kompetenzwahrnehmung: z.B. „Ich bin gut in ...“)
Die affektive Komponente („Ich mag ...“) wird häufig eher in der Interessensforschung thematisiert.
Wofür ist das Schulische Selbstkonzept relevant?
Das akademische SK von 10.-Klässler*innen sagt den erlangten Bildungsgrad 5 Jahre nach High School- Abschluss besser vorher als Schulnoten, Ergebnisse standardisierter Tests, Intelligenz und sozioökonomischer Status (Marsh & O ́Mara, 2008)
Es ist außerdem ein signifikanter Prädiktor von Kurswahl, Studienwahl und Karriereweg (u. A. Köller et al., 2000)
Welche Struktur hat das Selbstkonzept?
• Hohe zeitliche Stabilität -> Aspekt der Persönlichkeit
• Kognitive, sportliche, soziale Faktoren lassen sich unterscheiden: Beleg für Mehrdimensionalität, bereichsspezifische „Selbstwerte“
• Mehrdimensional: Erfahrungen werden mithilfe von Kategorien kognitiv organisiert, um Komplexität zu reduzieren -> mehrere Facetten des Selbstkonzepts, d.h. Annahmen darüber, in welchen Bereichen man z. B. mehr oder weniger begabt ist
• Zunehmende Differenzierung im Laufe der Entwicklung (Marsh & Craven, 1997), d.h. geringere Korrelationen der bereichsspezifischen Selbstkonzepte
Welche Struktur hat das schulische Selbstkonzept?
Welche Formen von Stabilität sind in Bezug des Selbstkonzept möglich?
Wie stabil ist das Selbstkonzept?
Kinder vor dem Grundschulalter haben ein sehr positives und undifferenziertes Selbstkonzept
Recht hohe normative Stabilität bereits im Grundschulalter (1 Jahr: .46 bis .64, später bis zu .70)
Mittelwertsstabilität geringer: Abnahme z. B. zwischen 1. und 6. Kllasse
Realistischere Selbstbewertung?
Rückmeldesystem mit sozialem Vergleich («Klassenspiegel») vs. kriteriumsorientiert
Auch wenn allg. Selbstkonzept sinkt, kann es in spezifischen Bereich stabil bleiben oder steigen
Strukturelle Stabilität: Zunehmende Differenzierung im Laufe der Entwicklung bis ca. 5. Klasse (Marsh & Craven, 1997; Marsh, 1989), d.h. bis dahin zunehmend geringere Korrelationen der bereichsspezifischen Selbstkonzepte
Wodurch entsteht das Selbstkonzept?
Selbstwahrnehmung
Selbsterinnerung
Soziales Spiegeln (Cooley, 1902): Andere Personen spiegeln der Person ihre Einstellungen und Gefühle gegenüber dieser Person wider -> Konstruktion des eigenen Selbstkonzepts basierend auf Fremdwahrnehmung
Selbst- und Fremdbild stimmen aber nicht vollständig überein
Selektive Rückmeldung (positiv verzerrt)
Selektive Wahrnehmung und Informationsverarbeitung
Neigung zur Bestätigung d. eigenen Selbstkonzepts (erwartungsgesteuert)
Neigung zur selbstwertdienlicher Verzerrung (motivationsgesteuert)
Was sind Vergleichsprozesse als Determinanten des Selbstkonzepts?
Sozialer Vergleich mit Bezugsgruppe (interindividuell):
abwärts gerichtet -> mit schlechteren Schüler*innen
aufwärts gerichtet -> mit besseren Schüler*innen
Temporaler Vergleich zum Abgleich der eigenen Fähigkeit zu verschiedenen Zeitpunkten (intraindividuell, ipsativ)
Dimensionale Vergleiche zwischen verschiedenen Domänen (intraindividuell)
Kriteriale Vergleiche in Bezug auf einen Leistungsstandard
-> Schulnoten dienen dem sozialen, temporalen, dimensionalen und kriterialen Vergleich
Was zeigen die Befunde von Marsh und Hau (2003)?
In PISA-Daten zeigt sich kulturunabhängig ein positiver Zusammenhang der eigenen Testleistungen mit dem akademischen Selbstkonzept (durchschnittl. r = .38)
Aber auch ein negativer Zusammenhang der durchschnittlichen Leistungen der Schüler*innen der eigenen Schule mit dem individuellen akademischen Selbstkonzept (durchschnittl. r = -.20) -> sozialer Vergleichsprozess
Was its der Big- Fish- Little-Pond- Effekt?
Was zeigt das Inetrnal/External Frame of Reference Modell?
Was sind mögliche Attributationsprozesse als Determinanten des Selbstkonzepts?
Attributionen = Ursachenzuschreibungen, hier: für Erfolg und Misserfolg (z.B. Weiner et al., 1971)
Welche Persönlichkeitsunterschiede lassen sich im Attributionsstil erkennen?
z. B. stabile, internale, globale Attribution von neg. Ereignissen -> Risikofaktor für Depression und Hilflosigkeit (Peterson, Maier & Seligman, 1993)
Erfolgsmotivierte attribuieren
• Erfolg auf internale, stabile Faktoren (eigene Fähigkeit)
• Misserfolg auf variable Faktoren (geringe Anstrengung, Pech)
Misserfolgsmotivierte attribuieren
• Erfolg auf externale, variable Faktoren (Glück, Aufgabenleichtigkeit)
• Misserfolg auf internale, stabile Faktoren (mangelnde eigene Fähigkeit)
Was zeigen Reattributionstrainings?
231 Gymnasiast*innen mit ungünstigem Attributionsstil (M = 14.5 J.)
12 Trainingsklassen und 14 Kontrollklassen
Trainingsdauer 12 Wochen
Vor Trainingsbeginn: Training der Lehrer*innen: Einführung in Attributionstheorie, Einüben von Rückmeldungen
Trainingzeitraum: Trainingsklassen erhielten attributionales Feedback
Attributionales Feedback bei Erfolg:
• Begabung, z. B. „Das liegt Dir!“
• Anstrengung, z. B. „Du hast gut aufgepasst!“
• Konsistenzinformation, z. B. „Das hast Du wieder gut gemacht!“
• Konsensusinformation, z. B. „Du hast eine der schwersten Aufgaben gelöst“
Attributionales Feedback bei Misserfolg
• Geringe Anstrengung, z. B. „Wenn Du das im Buch nochmals durchliest, wirst Du es schnell verstehen!“
• Zufall, z. B. „Du hast Pech gehabt“
• Konsensusinformation, z. B. „Diese Aufgabe hat für die meisten ihre Tücken.“
Ergebnisse
Die Trainingsklassen zeigten im Vergleich zu den Kontrollklassen: • Reduktion unerwünschter Attributionen
Höheres Interesse
höhere Leistung im Wissenstest
bessere Noten
Was sind Stereotypeneffekte bezogen auf das Selbstkonzept?
Jungen haben höheres mathematisches als sprachliches Selbstkonzept, bei Mädchen ist es umgekehrt
Spiegelt nur teilweise Leistungsunterschiede wider
Ursache auch in unterschiedlichen Attributionen der Lehrkräfte und Eltern:
• Jungen mit guter Matheleistung -> Begabung
• Mädchen mit guter Matheleistung -> Fleiß
Was ist Stereotype Threat?
Schlechtere Leistungen bei Aktivierung negativer Stereotype über die eigene soziale Gruppe, z.B.
Labeling einer Aufgabe als „Intelligenztest“ führt zu schlechterer Leistung dunkelhäutiger Studierender
Mädchen schneiden in Matheaufgaben schlechter ab, wenn Männer anwesend sind
-> Teils scheint dies damit zusammenzuhängen, dass Stereotype in das eigene Selbstkonzept integriert werden und dieser Teil des Selbstkonzepts im Moment der Testung aktiviert ist
Wie hängen Selbstkonzept und Leistung zusammen?
Reziproke Wirkung:
• Selbstkonzept basiert teilweise auf tatsächlichen Leistungen (Skill-Development-Ansatz)
• Selbsteinschätzungen wirken sich positiv auf die tatsächliche Leistung aus (Self-Enhancement-Ansatz) -> erhöhte Anstrengungsbereitschaft, erhöhtes Engagement (Helmke, 1992), siehe auch Modell von Eccles (1983)
Wie hängen Selbstkonzept, Interesse und Verhalten zusammen?
Wenn ein Kind seine Leistung mit Leistungsstandards vergleicht, nennt man das?
Welche Aussage bezüglich der Attribution von Erfolg und Misserfolg ist wahr?
Last changeda year ago