Bedeutung der diagnostischen Kompetenz
Diagnostische Kompetenz als Schlüsselfähigkeit
Diagnostische Kompetenz als eine der vier zentralen Kompetenzen für erfolgreiches Unterrichten
zusätzlich Klassenführungskompetenz, didaktische Kompetenz & fachwissenschaftliche Kompetenz (Langfeldt, 2006; Weinert, Schrader & Helmke, 1990)
Diagnostische Kompetenz ist entscheidend für adaptive Unterrichtsgestaltung und individuelle Förderung der Schüler
Adaptive Unterrichtsgestaltung: Anpassung des Unterrichts an die individuellen Lernvoraussetzungen der Schüler
Definition diagnostischer Kompetenz
—> Fähigkeit, die im Lehrberuf anfallenden diagnostischen Aufgaben erfolgreich bewältigen zu können (Schrader, 2013)
vier Teilbereiche:
Beurteilung der individuellen Lernergebnisse: Lehrer müssen die Lernergebnisse der Schüler richtig beurteilen können
Beurteilung der schulischen Lernvoraussetzungen: Lehrer müssen kognitive, motivationale und sozial-emotionale Lernvoraussetzungen der Schüler einschätzen können
Beurteilung von Lernangeboten und Lernmaterialien: Lehrer müssen das Anforderungsprofil von Lernangeboten und Materialien beurteilen können (Rogalla & Vogt, 2008)
Beurteilung der individuellen Lernprozesse: Lehrer müssen die Lernprozesse der Schüler beurteilen, um Lernstörungen zu erkennen, Lernblockaden abzubauen und Lernschwierigkeiten vorzubeugen (Paradies, Linser & Greving, 2007)
Erweiterung der diagnostischen Aufgaben
Diagnostische Aufgaben von Lehrkräften gehen über die bloße Benotung von Schulleistungen hinaus
umfassen ebenfalls:
die Beurteilung lernrelevanter Eigenschaften der Schüler
das Anforderungsprofil von Lernangeboten und Materialien
die Einsicht in individuelle Lernprozesse
Beurteilungsprozesse bei Lehrkräften
Unterscheidung zwischen expliziten und impliziten Beurteilungsprozessen
Explizite Beurteilungsprozesse
Basieren auf bewussten, zielgerichteten Bewertungen nach formalen Regeln und Algorithmen
Beispiel: Leistungsbewertung anhand von Klassenarbeiten oder Notenschlüsseln
Grundschulzeugnisse basieren auf expliziten Prozessen und enthalten differenzierte Einschätzungen der Schüler sowie Förderhinweise
Implizite Beurteilungsprozesse
Basieren auf spontanen Eindrücken, die während des Unterrichts entstehen
Diese Prozesse erfolgen nicht nach formalen Regeln und sind oft unbewusst und unreflektiert
Sie sind eng mit dem unterrichtlichen Handeln der Lehrkraft verknüpft und beeinflussen unmittelbar das Unterrichtsgeschehen
Verzahnung von Beurteilen und Handeln
Beurteilungen und das daraus resultierende Handeln im Unterricht sind oft einheitlich und fließend
Steuerung des Unterrichts ist häufig das Ergebnis impliziter Prozesse, nicht systematischer Beobachtungen
Weinert und Schrader (1986) beschreiben diese Prozesse als Kette didaktischer Entscheidungen, die zu zielgerichteten Handlungsanpassungen führen
Diagnostik als Bestandteil des Lehrens
Diagnostik ist integraler Bestandteil des didaktischen Handelns von Lehrkräften
Diagnostik findet im Alltag statt, und jeder unterrichtende Lehrer ist gleichzeitig diagnostizierender Lehrer (Wahl et al., 2002)
Diagnostische Kompetenz als Urteilsgenauigkeit
Definition laut Deutschem PISA-Konsortium (2001) und Bedeutung der diagnostischen Kompetenz
Diagnostische Kompetenz umfasst die Fähigkeit von Lehrkräften, den Kenntnisstand, die Verarbeitungs- und Verstehensprozesse sowie die aktuellen Lernschwierigkeiten der Schüler korrekt einzuschätzen
Diese Fähigkeit bezieht sich auf das genaue Beurteilen von Lernleistungen und Leistungsanforderungen
Bereiche der Beurteilung
Schulleistungen: Diagnostische Kompetenz zeigt sich in der Fähigkeit der Lehrkräfte, die Qualität der Lernergebnisse richtig zu beurteile
Lernvoraussetzungen: Bezieht sich auf die Einschätzung lernrelevanter Eigenschaften wie Lernmotivation, Aufmerksamkeit oder Interesse
Lernaufgaben und Lernmaterialien: Diagnostisch kompetente Lehrkräfte können den Schwierigkeitsgrad und die Attraktivität von Lernmaterialien richtig einschätzen
Erfassung der Urteilsgenauigkeit
Ansatz zur Erfassung
Genauigkeit der Lehrerurteile wird durch den Vergleich mit objektiven Testergebnissen (z.B. Lern- und Leistungstests) gemessen
Der Grad der Übereinstimmung des Lehrerurteils mit den Testergebnissen wird als Maß für die diagnostische Kompetenz betrachtet
Beispiel: Übereinstimmung zwischen Schulnoten und Schulleistungstests zeigt, wie gut Lehrkräfte die Qualität der Schulleistungen beurteilen können
Grad der Übereinstimmung zur Aufgabenschwierigkeit zeigt, wie genau Lehrkräfte die Schwierigkeit von Aufgaben beurteilen können
Simulierter Klassenraum:
Ein experimenteller Ansatz zur Untersuchung der Diagnosegenauigkeit
Lehrkräfte interagieren in einer Computersimulation mit fiktiven Schülern und beurteilen deren Leistungen
Ermöglicht die Untersuchung spezifischer Hypothesen zur Urteilsbildung unter kontrollierten Bedingungen.
Aspekte der Urteilsgenauigkeit
Drei Komponenten der Urteilsgenauigkeit (Schrader & Helmke, 1987)
Niveaukomponente:
Überprüft, wie genau das Leistungsniveau eingeschätzt wird (z.B. ob Leistungen systematisch über- oder unterschätzt werden).
Differenz zwischen Lehrerurteil und tatsächlicher Leistung wird gemessen.
Durchgängige Über- oder Unterschätzung deutet auf Beurteilungsfehler hin
Rangordnungskomponente:
Misst die Fähigkeit, Fähigkeitsabstufungen zwischen den Schülern korrekt zu erkennen
Wichtigster Indikator der diagnostischen Kompetenz
Differenzierungskomponente:
Zeigt, wie gut die Lehrkraft die Unterschiedlichkeit der
Merkmalsausprägungen innerhalb der Klasse einschätzt.
Misst die Sensibilität für Unterschiede zwischen den Schülern und die Neigung zu extremen Urteilen.
Genauigkeit der Beurteilung von Schulleistungen
Lehrer können die Leistungsunterschiede innerhalb ihrer Klasse relativ gut einschätzen
Metaanalysen zeigen eine breite Streuung der Korrelationen, was auf große Unterschiede hinsichtlich der Einschätzung der Leistungsunterschiede zwischen den Lehrkräften hinweist.
Lehrer neigen dazu, das Leistungsniveau ihrer Schüler zu überschätzen, besonders bei leistungsschwachen Schülern
Überschätzung kann zu übersehenem Förderbedarf führen (z.B. Ergebnisse der PISA-Studie)
Beurteilung allgemeiner kognitiver Fähigkeiten
Korrelation mit Intelligenztests:
Lehrkräfte können die Fähigkeitsunterschiede ähnlich gut einschätzen wie die Schulleistungsunterschiede.
Es gibt jedoch beträchtliche individuelle Unterschiede in der Diagnosegenauigkeit
Herausforderung bei der Beurteilung von Schülern mit erwartungswidrigen Schulleistungen:
Lehrkräfte haben Schwierigkeiten, das intellektuelle Potenzial unabhängig von den aktuellen Schulleistungen zu beurteilen.
Besonders problematisch ist die Identifikation von Underachievern (hohe Intelligenz, niedrige Schulleistungen)
Beurteilung motivationaler und affektiver Lernvoraussetzungen
Adaptive Unterrichtsgestaltung:
Erfordert, dass Lehrkräfte die motivationalen und emotionalen Lernvoraussetzungen der Schüler richtig einschätzen.
Geringe Übereinstimmung mit Schüler-Selbsteinschätzungen:
Studien zeigen geringe Korrelationen zwischen den Einschätzungen der Lehrkräfte und den Selbsteinschätzungen der Schüler hinsichtlich Fähigkeit, Motivation und Leistungsängstlichkeit.
Problematik der Schüler-Selbsteinschätzungen als Kriterium:
Schüler neigen zu optimistischen Selbsteinschätzungen, was die Beurteilung durch Lehrkräfte erschwert.
Verhaltensbeobachtungen als alternatives Kriterium:
Studien zeigen, dass Lehrkräfte bestimmte Verhaltensmerkmale (z.B. Disziplinprobleme) relativ genau einschätzen können, während andere Merkmale (z.B. Geselligkeit) weniger genau beurteilt werden.
Zusammenfassung der Befunde
Urteilsgenauigkeit:
Lehrer haben oft Schwierigkeiten, das Leistungsniveau, die kognitiven Fähigkeiten und die motivationalen sowie affektiven Voraussetzungen ihrer Schüler exakt zu beurteilen
Besonders problematisch ist die Überschätzung des Leistungsniveaus bei leistungsschwachen Schülern und die fehlerhafte Einschätzung von Schülern mit erwartungswidrigen Leistungen
Die diagnostische Kompetenz variiert stark zwischen den Lehrkräften, was zeigt, dass einige Lehrkräfte besser in der Lage sind, genaue Urteile zu fällen als andere.
Spezifität versus Generalität der diagnostischen Kompetenz von Lehrkräften
Allgemeine Annahmen über diagnostische Konzepte
Häufige Vorstellung:
Es wird oft angenommen, dass diagnostische Kompetenz eine allgemeine, fächerübergreifende Fähigkeit ist
Eine diagnostisch kompetente Lehrkraft sollte nicht nur die Schulleistungen, sondern auch andere lern- und leistungsrelevante Eigenschaften der Schüler (z.
B. Lernmotivation, Leistungsängstlichkeit) zutreffend einschätzen können
Diese Kompetenz sollte sich in verschiedenen Aspekten der Diagnosegenauigkeit zeigen:
Fähigkeit zur korrekten Einschätzung der Rangordnung der Schüler
Genauigkeit bei der Beurteilung des Niveaus und der Bandbreite der
Merkmale.
Untersuchung von Spinath (2005)
Forschungsansatz:
Spinath (2005) untersuchte die diagnostische Kompetenz von Lehrkräften in 43 Grundschulklassen
Erfasste drei Genauigkeitskomponenten (Niveaukomponente, Rangordnungskomponente, Differenzierungskomponente) für vier Schülermerkmale: Intelligenz, schulisches Selbstkonzept, Lernmotivation und Schulängstlichkeit
Intelligenz wurde durch Tests gemessen, die anderen Merkmale durch Selbstberichte der Schüler
Ergebnisse:
Keine bedeutenden korrelativen Zusammenhänge zwischen den Genauigkeitsmaßen innerhalb eines Merkmals oder zwischen verschiedenen Schülermerkmalen
Schlussfolgerung: Es gibt keine allgemeine diagnostische Kompetenz; stattdessen existieren merkmals- und genauigkeitsspezifische Diagnosekompetenzen.
Untersuchung von Lorenz und Artelt (2009)
Untersuchte die Genauigkeit der Leistungsbeurteilungen von Grundschullehrkräften in den Fächern Deutsch und Mathematik
Korrelationen zwischen den Lehrerurteilen und den Ergebnissen von Schultests lagen zwischen r = 0,54 und r = 0,66.
Geringe Korrelation der Diagnosegenauigkeit zwischen Deutsch und Mathematik
Höhere Korrelationen innerhalb eines Fachs (z. B. zwischen Textverstehen und Wortschatz) als zwischen verschiedenen Fächern.
Schlussfolgerung:
Lehrkräfte, die in einem Fach genaue Urteile fällen, sind nicht automatisch auch in anderen Fächern gute Diagnostiker.
Allgemeine Erkenntnisse
Empirische Befunde:
Studien (z. B. Schrader, 1989; Südkamp et al., 2008) widerlegen die Annahme einer allgemeinen, fachübergreifenden diagnostischen Kompetenz
Spezifität der diagnostischen Kompetenz:
Die Fähigkeit, Lernleistungen, lernrelevante Merkmale und schulische Anforderungen genau zu beurteilen, ist bereichs- oder anforderungsspezifisch
Diese Kompetenz kann nicht über verschiedene Fächer und Genauigkeitsaspekte hinweg verallgemeinert werden.
Diagnsotische Kompetenz von Lehrkräften und Lernerfolg
Bedeutung der diagnostischen Kompetenz für adaptiven Unterricht
Grundvoraussetzung für adaptiven Unterricht:
Diagnostische Kompetenz ist entscheidend, um den Unterricht an die individuellen Lernvoraussetzungen der Schüler anzupassen
Lehrkräfte müssen Lernvoraussetzungen (z. B. Lernstand, Interessen, Lernmotivation) und die Angemessenheit von Lernangeboten (z. B. Schwierigkeitsgrad der Aufgaben) korrekt einschätzen können
Diagnostische Kompetenz gilt daher als Schlüsselkompetenz für erfolgreiches Unterrichten und sollte sich in den Lernleistungen der Schüler widerspiegeln
Zusammenhang zwischen diagnostischer Kompetenz und Lernerfolg
Fragestellung:
Wird diskutiert, ob diagnostische Kompetenz der Lehrkräfte tatsächlich zum Lernerfolg der Schüler beiträgt
Es wird angenommen, dass diagnostische Kompetenz notwendig ist, um Lernprozesse zu fördern, z. B. durch passende Lernangebote, Motivation und die Zusammenstellung von Lerngruppen
Empirische Untersuchungen zu diesem Zusammenhang sind jedoch selten.
Empirische Befunde
Studie von Lehmann et al. (2002):
Kein Zusammenhang zwischen der Fähigkeit von Mathematiklehrkräften, den Schwierigkeitsgrad der Aufgaben einzuschätzen, und den Mathematikleistungen der Schüler am Ende des Schuljahres
Nur in einzelnen Klassen zeigten sich geringe positive Zusammenhänge.
Studie von Anders et al. (2010)
Geringe, aber statistisch signifikante Zusammenhänge zwischen der Fähigkeit von Mathematiklehrkräften der Sekundarstufe, den Schwierigkeitsgrad der Aufgaben und die Leistungsrangfolge der Schüler zu beurteilen, und der Unterrichtsqualität
Genauere Einschätzung des Schwierigkeitsgrads der Aufgaben führte zu höherem kognitiven Anregungsgehalt der Aufgaben (r = 0,18) und besseren Mathematikleistungen der Schüler (r = 0,37)
Studie von Schrader (1989):
Hauptschullehrkräfte sollten die Anzahl der von Schülern lösbaren Aufgaben und die Schwierigkeit der Aufgaben für die Klasse einschätzen
Kein allgemeiner positiver Effekt der diagnostischen Kompetenz auf den Lernerfolg der Schüler
Der Lernerfolg war jedoch höher, wenn die Lehrkraft neben hoher diagnostischer Kompetenz auch viele Strukturierungshilfen im Unterricht bot
Längsschnittstudie von Behrmann und Souvignier (2013):
Die Effektivität der Rückmeldungen der Lehrkraft war von deren diagnostischer Kompetenz abhängig
Häufige Leistungsrückmeldungen führten nur dann zu einem verbesserten Leseverständnis, wenn die Lehrkraft eine hohe Urteilsgenauigkeit besaß
Schlussfolgerungen
Einschränkungen der Annahme:
Die Annahme, dass diagnostische Kompetenz automatisch zu höheren Lernleistungen führt, ist zu einfach
Diagnostische Kompetenz trägt nur dann zum Lernerfolg bei, wenn sie mit didaktischen Maßnahmen wie Strukturierungshilfen und individueller Unterstützung kombiniert wird
Umsetzung der diagnostischen Erkenntnisse:
Es reicht nicht aus, Lernstand und Angemessenheit von Lernangeboten richtig einzuschätzen
Lehrkräfte müssen aus den diagnostischen Erkenntnissen die richtigen Schlüsse ziehen und diese im Unterricht umsetzen, z. B. durch Strukturierungshilfen für die Schüler
Rolle der diagnostischen Kompetenz als Moderator:
Diagnostische Kompetenz moderiert die Wirksamkeit didaktischer Maßnahmen
Lernfortschritte sind vor allem dann zu erwarten, wenn didaktische Maßnahmen mit einer hohen diagnostischen Kompetenz einhergehen.
Zusammenfassung:
Diagnostische Kompetenz allein führt nicht zwangsläufig zu Lernerfolg; sie muss in didaktische Maßnahmen eingebunden werden, um effektiv zu sein
Erweiterte Konzepte der diagnostischen Kompetenz von Lehrkräften
Vergleich von Lehrerbeurteilungen und Schulleistungstests
Gute Einschätzung der Schülerposition:
Lehrkräfte können im Allgemeinen die relative Position ihrer Schüler im Leistungsspektrum der Klasse gut einschätzen
Überschätzung des Leistungsniveaus:
Lehrer neigen dazu, das tatsächliche Leistungsniveau der Schüler zu überschätzen.
Unterschiedliche pädagogische Bewertungen:
Einige Autoren (z. B. Helmke, Weinert & Schrader) argumentieren, dass es nicht angemessen ist, die Qualität der Lehrerurteile ausschließlich an der Übereinstimmung mit objektiven Leistungstests zu messen
Gründe gegen hohe Präzisionserwartungen:
Angesichts der komplexen Anforderungen im Unterricht sei es unrealistisch, von Lehrerurteilen dieselbe Präzision wie von psychometrischen Tests zu erwarten
Extreme Genauigkeit in der Diagnose ist im Klassenzimmer oft nicht notwendig oder förderlich.
Optimistische Voreingenommenheit:
Vorteile einer Überschätzung:
Schrader und Helmke sehen die Tendenz zur Überschätzung des Leistungsniveaus als Ausdruck einer optimistischen Erwartungshaltung
Diese Haltung kann dazu führen, dass Lehrkräfte höhere Erwartungen an ihre Schüler stellen und dadurch eine leistungsförderliche Atmosphäre schaffen
Pädagogisch günstige Voreingenommenheit:
Weinert und Schrader plädieren für eine moderate Unterschätzung der Leistungsunterschiede und eine moderate Überschätzung des Leistungspotenzials
Dies könnte Lehrkräfte motivieren, sich weiterhin um Lernfortschritte zu bemühen, auch wenn objektive Diagnosen dazu führen könnten, dass sie aufgeben.
Pädagogische Funktion der Diagnostik
Ziel der Diagnostik
Ziel der schulischen Diagnostik ist es, Lernprozesse zu initiieren und zu optimieren, nicht nur genaue Urteile über Schüler abzugeben
Der Erfolg der Diagnostik sollte daran gemessen werden, inwieweit sie den Lernerfolg fördert
Ob der Lernerfolg mehr von der Genauigkeit oder von einer optimistischen Voreingenommenheit profitiert, bleibt zu klären.
Selektions- und Allokationsfunktion von Lehrerurteilen
Zusätzliche Funktionen der Lehrerurteile:
Lehrerurteile erfüllen auch eine Selektions- und Allokationsfunktion, die entscheidend für den schulischen und beruflichen Werdegang der Schüler ist
Bedeutung der Schulnoten:
Schulnoten beeinflussen Entscheidungen über Versetzungen, Zugänge zu höheren Bildungsgängen und berufliche Laufbahnen
Fairness und Gerechtigkeit erfordern, dass Lehrkräfte Schulleistungen objektiv, reliabel und valide beurteilen
Gesellschaftliche Verantwortung:
Die Gesellschaft hat ein Interesse daran, dass Positionen nach individueller Leistungsfähigkeit vergeben werden.
Diagnostische Expertise von Lehrkräften
Erweiterung des Kompetenzbegriffs
Diagnostische Kompetenz sollte nicht nur als Urteilsgenauigkeit verstanden werden, sondern auch das methodische und prozedurale Wissen der Lehrkräfte
umfassen
Diagnostische Expertise:
Umfasst die Genauigkeit der Urteile, das Wissen über diagnostische Methoden, die Kenntnis von Beurteilungsfehlern und die Beherrschung
diagnostischer Verfahren
Wichtigkeit der Reflexion:
Lehrkräfte sollten in der Lage sein, den Prozess ihrer Urteilsbildung kritisch zu reflektieren und sich ihrer eigenen Urteilstendenzen bewusst zu sein
Komplexität der Praxisanforderungen:
Das Konzept der diagnostischen Expertise berücksichtigt die komplexen Anforderungen des Schulalltags, da es nicht nur das Endergebnis, sondern den gesamten Prozess der Urteilsbildung betrachtet
Herausforderungen der empirischen Überprüfung
Die Überprüfung der diagnostischen Expertise ist komplex und erfordert die Entwicklung von Methoden, die das Wissen und dessen Anwendung im Unterricht messen können
Diagnostische Expertise bedeutet nicht nur Wissen, sondern auch die Fähigkeit, dieses Wissen im Unterricht zur Optimierung der Lernprozesse einzusetzen.
Fazit
Notwendigkeit weiterer Forschung:
Es fehlen noch Studien, die die Anwendung der diagnostischen Expertise im Unterrichtsalltag empirisch untersuchen
Bedeutung für den Schulalltag
Diagnostische Expertise ist entscheidend für die erfolgreiche Bewältigung der diagnostischen Aufgaben im Unterricht und damit für die Förderung von Lernprozessen
Studie zur Akkuratheit der Einschätzung von Schülermerkmalen durch Lehrer und das Konstrukt der diagnostischen Kompetenz (Birgit Spinath)
Theoretischer Hintergrund
Diskussion über Qualität von Schule und Lehrerkompetenzen:
Diagnostische Kompetenz von Lehrern wird mit den schulischen Leistungen deutscher Schüler in Verbindung gebracht
Diagnostische Kompetenz —> Fähigkeit eines Urteilers, Personen treffend zu beurteilen (z.B. Schrader 2001)
PISA-Studie zeigte, dass Hauptschullehrer weniger Schüler mit geringen Lesefähigkeiten identifizierten als durch Tests vorhergesagt
Die Schlussfolgerung, Lehrer hätten generell geringe diagnostische Kompetenzen, ist eine unzulässige Verallgemeinerung
Defizite in der Forschung:
Nur ein Schülermerkmal wurde untersucht, ohne Berücksichtigung verschiedener Akkuratheitsmaße
Fehlende Richtlinien zur Bewertung von Akkuratheitsmaßen
Indikatoren für die Akkuratheit von Lehrerurteilen
Drei Urteils-Komponenten nach Schrader und Helmke (1987):
Niveaukomponente: Tendenz, Merkmalsausprägung der Klasse im Vergleich zu tatsächlichen Schülermerkmalen zu über- oder unterschätzen
Differenzierungskomponente: Tendenz, die Streuung der Merkmalsausprägung im Vergleich zur tatsächlichen Streuung zu über- oder
unterschätzen
Rangkomponente: Fähigkeit, die relative Merkmalsausprägung der Schüler untereinander korrekt einzuschätzen; zentraler Akkuratheitsindikator
Probleme in der Forschung:
Verwendung unterschiedlicher Akkuratheitsmaße führt zu widersprüchlichen Aussagen und unterschiedlichen Einschätzungsfehlern
Fehlen von Richtlinien zur Bewertung der Akkuratheitsmaße.
Stand der Forschung zur Akkuratheit von Lehrerurteilen
Forschungsergebnisse:
Lehrerurteile korrelieren im Durchschnitt gut mit Schülerleistungen (Median —> .66)
Lehrer neigen dazu, Schülerleistungen zu überschätzen
Lehrer können die Intelligenz von Schülern gut beurteilen, jedoch mit Einschränkungen, da sie sich stark an schulischer Leistung orientieren
Fällt Lehrkräften besonders schwer, hochbegabte SuS mit schwachen Leistungen zu identifizieren
Motivation und Leistungsängstlichkeit: Geringe bis keine Übereinstimmung zwischen Lehrerurteilen und Schülermerkmalen (r <_ .30).
Akkuratheit von Lehrerurteilen variiert stark je nach Schülermerkmal
Stärkere Übereinstimmung bei Merkmalen, die eng mit schulischen Leistungen verknüpft sind.
Das Konstrukt der diagnostischen Kompetenz
Definition und Überprüfung:
Diagnostische Kompetenz: Fähigkeit, Personen treffend zu beurteilen
Überprüfung durch positive Zusammenhänge zwischen verschiedenen Akkuratheitsindikatoren
Wenige Studien untersuchen mehrere Akkuratheitsindikatoren gleichzeitig; keine klaren positiven Zusammenhänge
Beispielstudie von Schrader und Helmke (1987):
Schwache Korrelationen zwischen den Akkuratheitsindikatoren
Methodische Probleme bei der Vergleichbarkeit der Maß
Fragestellungen der Untersuchung
Ziele der Untersuchung:
Ermittlung der Akkuratheit von Lehrerurteilen über vier Schülermerkmale: Intelligenz, Fähigkeitsselbstwahrnehmung, Lernmotivation,
Leistungsängstlichkeit
Untersuchung, ob eine generelle Fähigkeit zur akkuraten Beurteilung (diagnostische Kompetenz) vorliegt
Positive Zusammenhänge zwischen Akkuratheitskomponenten wären ein Indikator für diagnostische Kompetenz
Methodik —> Stichprobe
Die Daten stammen aus einer Längsschnittstudie zur Entwicklung motivationaler Voraussetzungen für Lern- und Leistungsverhalten in der Grundschulzeit.
Untersuchung umfasst vier Grundschulpopulationen und deren Klassenlehrer.
Stichprobe: N = 723 Schüler der Klassen 1 bis 4 und N = 43 Klassenlehrer.
Die Stichprobe entspricht 73,7 % der Schülerpopulation der vier Schulen zur Zeit der
Erhebung.
Datenverluste durch Krankheit oder fehlende Einwilligung der Eltern.
Die untersuchten Grundschulen sind repräsentativ für deutsche Städte mittlerer Größe.
Klassengrößen: zwischen 19 und 31 Schülern (M = 24,8, SD = 2,8).
Klassenlehrer unterrichteten ihre Klassen mindestens acht Monate, in der Regel seit
der Einschulung.
Methodik —> Instrumente
Erfassung der Intelligenz:
In Klassenstufen 1 bis 3 wurde der CFT 1 (Weiß & Osterland, 1997) verwendet, in Klasse 4 der CFT 20 (Weiß, 1998)
Der CFT 20 wurde in Kurzform genutzt (Korrelation der Testhälften r = .80)
Gesamttestwert der Intelligenz wurde nach Altersnormen des CFT-Handbuchs bestimmt.
Selbstberichte der Schüler:
Erfassung der schulischen Fähigkeitsselbstwahrnehmungen (sFSW), Lernmotivation (sLM), und Leistungsängstlichkeit (sLÄ) durch Fragebogen mit fünfstufiger Antwortskala
Items sowohl durch grafische Symbole als auch verbale Beschreibungen gekennzeichnet
Schulische Fähigkeitsselbstwahrnehmungen (sFSW): 4 Items, z.B. "Wie schwer findest du das, was ihr im Unterricht macht meistens?
“Schulische Lernmotivation (sLM): 4 Items, z.B. "Wie sehr magst du die Dinge, die ihr im Unterricht macht meistens?"
Schulische Leistungsängstlichkeit (sLÄ): 3 Items, z.B. "Wenn ich drangenommen werde, habe ich Angst, etwas Falsches zu sagen."
Zeitliche Stabilität der Merkmale: Mittel bis hoch (Stabilität zwischen .56 und .94 bei sechsmonatigem Intervall)
Einschätzung der Schülermerkmale durch Lehrer:
Einschätzung per Fragebogen mittels eines Items pro Schülermerkmal
Intelligenzeinschätzung: "Wie schätzen Sie die allgemeine kognitive Leistungsfähigkeit (im Sinne von Intelligenz) der Schülerin/des Schülers ein?"
Fünfstufige Ratingskala mit typischen prozentualen Häufigkeiten für
Intelligenzverteilungen
Erläuterung: Kategorien beschreiben prozentuale Häufigkeiten in der
Population aller Schüler
Einschätzung weiterer Merkmale (sFSW, sLM, sLÄ):
Analoge Vorgehensweise, jedoch ohne prozentuale Häufigkeiten auf der Antwortskala
Lehrer waren mit den Skalen aus dem Schülerfragebogen vertraut
Test-Retest-Reliabilität nach sechs Monaten als Reliabilitätsmaß verwendet.
Methodik —> Durchführung
Schüler bearbeiteten während des Unterrichts Fragebögen zu schulbezogenen motivationalen Konstrukten
Befragungen dauerten ca. 20 Minuten, durchgeführt von Lehrern, die zuvor über standardisierte Durchführung informiert wurden
Items wurden laut vorgelesen, und die Schüler beantworteten sie im gleichen Tempo
Organisation der Befragung in den Schulen:
Schüler wurden nicht von einer an der Schule unterrichtenden Lehrkraft befragt
Befragungen wurden weitestgehend anonymisiert durch Zuordnung von Codenummern zu den Unterlagen
Eltern stimmten dem Vorgehen zu
Erhebung der Grundintelligenz:
Durchführung in einem Zeitraum von vier Wochen parallel zur Fragebogenerhebung
Testung durch geschulte Projektmitarbeiter und studentische Hilfskräfte während einer regulären Unterrichtsstunde
Einschätzung durch Lehrer:
Zeitgleich zur Schülerbefragung erhielten Lehrer Fragebögen zur Einschätzung von Schülermerkmalen und weiteren Aspekten des Unterrichtsverhaltens
Ergebnisse —> Deskriptive Statistiken der verwendeten Maße
Mittelwerte, Standardabweichungen und Reliabilitäten: Tabelle 1 zeigt diese Kennwerte für die verwendeten Maße
Verteilung der Schülermerkmale:
Erwartungsgemäß zeigen die Schüler stark positive schulische Fähigkeitsselbstwahrnehmungen (sFSW) und hohe schulische Lernmotivation (sLM) bei gleichzeitig geringer schulbezogener Leistungsängstlichkeit (sLÄ)
Die Verteilung der Intelligenzwerte (IQ) entspricht der theoretischen Erwartung, was die Stichprobe als durchschnittlich klassifiziert
Reliabilitäten:
Die Reliabilitäten der verwendeten Maße sind insgesamt als befriedigend zu bewerten
Die Reliabilität der Intelligenzmessung liegt etwas höher als die der nicht-kognitiven Maße.
Ergebnisse —> Komponenten der Urteilsgenauigkeit
Drei Komponenten der Urteilsgenauigkeit:
Niveaukomponente (Nk): Maß für die Tendenz zur Über- oder Unterschätzung der Schülermerkmale durch Lehrer
Berechnung: Mittlere Differenz zwischen Lehrereinschätzungen und
gemessenen Schülerwerten.
Nk-Wert von 0 bedeutet akkurate Einschätzung; Werte > 0 bedeuten
Überschätzung, Werte < 0 Unterschätzung.
o Differenzierungskomponente (Dk): Maß für die Tendenz zur Über- oder Unterschätzung der Streuung der Schülermerkmale
Berechnung: Quotient der Streuungen der Lehrereinschätzungen und
der gemessenen Schülerwerte.
Dk-Wert von 1 bedeutet akkurate Einschätzung; Werte > 1 bedeuten
Überschätzung, Werte < 1 Unterschätzung.
o Rangkomponente (Rk): Maß für die Genauigkeit der relativen Einschätzung der Schülermerkmale
Berechnung: Rangkorrelation zwischen Lehrerurteilen und Schülerwerten
Verteilungskennwerte: Tabelle 2 zeigt Mittelwerte, Standardabweichungen und Prozentränge der Akkuratheitskomponenten für vier Schülermerkmale (Intelligenz, sFSW, sLM, sLÄ)
Niveaukomponente (Nk):
Lehrer tendieren dazu, sFSW und sLM zu unterschätzen, während sLÄ
überschätzt wird
Der IQ wurde im Durchschnitt genau eingeschätzt
o Differenzierungskomponente (Dk):
Lehrer neigen dazu, die Streuung von IQ und sLÄ leicht zu unterschätzen
Die Streuung von sFSW und sLM wird überschätzt
o Rangkomponente (Rk):
Akkuratheitswerte für IQ und sFSW sind moderat, für sLM und sLÄ jedoch gering
Spannweite der Lehrerkennwerte
Große individuelle Unterschiede bei den Akkuratheitswerten der
Lehrer, die nicht auf Ausreißer zurückzuführen sind
Ergebnisse —> Zusammenhänge zwischen Fähigkeit und akkuraten Einschätzung
Überprüfung einer gemeinsamen Fähigkeit zur akkuraten Einschätzung:
Untersucht wurde, ob gleiche Akkuratheitskomponenten über verschiedene Schülermerkmale hinweg positiv korrelieren
Ergebnisse der Interkorrelationen (Tabelle 3):
Differenzierungskomponente (Dk): Moderate positive Korrelationen (r = .42) zwischen den Dk der vier Schülermerkmale.
Niveaukomponente (Nk): Nur in einem Fall signifikante Korrelation (r = .12); die meisten Korrelationen sind schwach und variieren um
Null
Rangkomponente (Rk): Keine signifikanten Korrelationen (mittleres r= .00)
Transformation der Niveau- und Differenzierungskomponenten:
Um Interkorrelationen zwischen verschiedenen Akkuratheitskomponenten innerhalb gleicher Merkmale zu untersuchen, wurden Nk und Dk transformiert, sodass höhere Werte höhere Akkuratheit repräsentieren
o Transformation:
Nk: Beträge der Abweichungen zwischen Lehrerurteilen und Schülerwerten wurden summiert und mit -1 multipliziert
Dk: Von den Streuungsquotienten wurde 1 subtrahiert, der Betrag gebildet und mit -1 multipliziert
Ergebnisse der transformierten Kennwerte (Tabelle 4):
Gemittelte Korrelationen zwischen den drei Akkuratheitskomponenten liegen zwischen .04 und .12
Nur zwei Korrelationen sind signifikant:
Moderate positive Zusammenhänge zwischen Nk und Rk für IQ und sLM
Diskusion —> Bewertung der Akkuratheit von Lehrerurteilen
Hauptergebnis der Studie: Lehrerurteile über die untersuchten Schülermerkmale (Intelligenz, schulische Fähigkeitsselbstwahrnehmungen, Ängstlichkeit und Lernmotivation) weisen insgesamt nur geringe Akkuratheit auf
Vergleich mit früheren Studien: Die gefundenen Akkuratheitswerte entsprechen weitgehend den Ergebnissen früherer Untersuchungen
Fehlende Bewertungsgrundlage: Obwohl es keine verbindlichen Richtlinien zur Bewertung von Akkuratheitsmaßen gibt, wird hier argumentiert, dass die Urteilsgenauigkeit der Lehrer als gering und verbesserungswürdig einzustufen ist
Vergleich mit Urteilen unter minimaler Informiertheit: Studien zeigen, dass valide Einschätzungen von Intelligenz und anderen Personenmerkmalen bereits auf Grundlage von Fotografien oder kurzen Videosequenzen möglich sind. Dies verdeutlicht die geringe Urteilsgenauigkeit von Lehrern, die über umfangreichere Informationen zu ihren Schülern verfügen
Diskrepanz zwischen Erwartungen und Realität: Die geringe Urteilsgenauigkeit steht im Widerspruch zu den Erwartungen, die an die Professionalität von Lehrern gestellt werden
Methodische Überlegungen:
Die verwendeten Messungen der Schülermerkmale könnten als unangemessene Kriterien für die Bestimmung der Akkuratheit von Lehrerurteilen infrage gestellt werden
Auch unter Berücksichtigung der Messfehler zeigen die Akkuratheitswerte eine geringe Genauigkeit
Merkmale mit geringer Stabilität könnten schwer einzuschätzen sein, jedoch sind die untersuchten Merkmale als stabil einzustufen.
Diskusion —> Mangel an Belegen für das Konstrukt diagnostischer Kompetenzen
Überprüfung der diagnostischen Kompetenz:
Untersucht wurde, ob es positive Korrelationen zwischen verschiedenen Akkuratheitsindikatoren gibt, die auf eine allgemeine diagnostische Kompetenz hinweisen
Es fanden sich keine bedeutsamen Korrelationen zwischen den Akkuratheitskomponenten innerhalb eines Merkmals oder zwischen gleichen Komponenten über verschiedene Merkmale hinweg
Ausnahme: Moderat positive Korrelationen zwischen den Differenzierungskomponenten über verschiedene Merkmale hinweg
Mögliche systematische Zusammenhänge: Zwei signifikante Korrelationen zwischen der Niveau- und der Rangkomponente für Intelligenz und Lernmotivation deuten auf einen möglichen systematischen Zusammenhang hin
Geringe praktische Bedeutsamkeit: Gemittelt über alle vier untersuchten Schülermerkmale ist die praktische Bedeutung dieser Zusammenhänge gering.
Fazit: Das gefundene Muster von Korrelationen rechtfertigt nicht die Annahme einer zugrunde liegenden Fähigkeit zur akkuraten Beurteilung von Personen.
Kritik am Begriff der diagnostischen Kompetenz:
Der Begriff sollte vermieden werden, wenn er die Fähigkeit zu treffenden Beurteilungen von Personenmerkmalen impliziert
Genauigkeit von Lehrerurteilen muss nach Schülermerkmal und Akkuratheitskriterium differenziert betrachtet werden
Die nach PISA häufig geäußerte Behauptung, Lehrer besäßen geringe diagnostische Kompetenzen, ist nicht haltbar
Diskusion —> Sind die gestellten Erwartungen den Lehrern gegenüber fair?
Fragestellung: Es wird diskutiert, ob es fair ist, von Lehrern zu erwarten, dass sie die untersuchten Schülermerkmale korrekt einschätzen können
Gegenfrage: Ist es fair, Lehrer in dem Glauben zu lassen, sie könnten diese Merkmale korrekt einschätzen und auf dieser Grundlage Entscheidungen treffen?
Ziel der Befunde: Die Ergebnisse sollen dazu beitragen, dass sowohl Wissenschaftler als auch Lehrer diese Frage verneinen und dem Thema in Forschung und Praxis mehr Aufmerksamkeit widmen
Zuletzt geändertvor 2 Monaten