Evaluation der Lehre

Lernziele

• Faktoren nennen können, die den Lehrerfolg beeinflussen

• Gründe nennen können, warum die universitäre Lehre evaluiert wird

• Ergebnisse zu Gütekriterien von Lehrevaluationen nennen können

Hochschulrektorenkonferenz (1992): „Ziel universitärer Lehre sind berufsfähige, mit Grundlagenwissen und Methodenkenntnissen eines Fachs ausgestattete Absolvent:innen. Die Anforderungen sind von Fach zu Fach unterschiedlich. Sie müssten dem Umstand Rechnung tragen, dass die Halbwertzeit des vermittelten Wissens ständig kleiner wird und die Notwendigkeit lebenslangen Lernens allgemein anerkannt ist."

Erfasst die Lehrevaluation das Ausmaß der Erreichung dieses Ziels? → Evaluationskriterien sind relativ uneinheitlich (Rindermann, 1997)

-> Eine eindeutige Antwort ist kaum möglich

Schwierigkeiten beginnen schon bei der Definition von Lehre

• Ist es die Tätigkeit der Lehrenden?

• Welche Bedeutung kommt dem Lernerfolg der Studierenden zu?

• Welche Rolle spielen die Rahmenbedingungen des Lehrens und Lernens, wie beispielsweise die räumliche und technische Ausstattung oder die Anzahl der Teilnehmenden einer Veranstaltung?

• Evaluationsforschung = „Akzeptanzforschung“ (Komrey, 1996)

• Studierende haben unterschiedliche Vorstellungen über „gute“ Lehre (Schweer & Rosemann, 1995)

• Studentische Urteile sollten durch Selbsteinschätzungen von Dozenten und Prüfungsnoten ergänzt werden (Rindermann, 1997)

Lehrevaluation (nach El Hage, 1996)

• dient der Forschung (z. B. Prädiktoren und Konsequenzen von Lehrevaluationen)

• ermöglicht höhere Transparenz

• bildet eine mögliche Grundlage für den Dialog über Lehrqualität

• kann Qualifikationsmaßnahmen begründen (z. B. Mitarbeiter:innenschulungen)

•ist die Basis von Steuerungssystemen (z. B. Einstellung/Entlassung von Mitarbeitern, Akkreditierung)

• Quantitative Evaluation der Qualität von Lehrveranstaltungen durch Studierende ist heute an vielen Hochschulen Standard

• Sie wird bereits seit den 1920er Jahren eingesetzt (Galbraith, et al., 2012)

• Viele Dozierende stehen Lehrevaluationen tendenziell positiv gegenüber, wenn sie der Verbesserung der Lehre dienen (Balam & Shannon, 2010)

• Einige befürchten jedoch, dass Lehrevaluationen nicht die Qualität der Lehre widerspiegeln, sondern die „Kundenzufriedenheit der Studierenden“

• Fragebögen zur Lehrevaluation bestehen in der Regel aus Aussagen, die positive oder negative Eigenschaften von Lehrveranstaltungen beschreiben

• Bewertungsskalen werden häufig durch freie Kommentare ergänzt

• standardisierten Fragebögen, z. B.

○ Students‘ Evaluation of Educational Quality (SEEQ; Marsh 1982, 1987)

○ Heidelberger Inventar zur Lehrveranstaltungsevaluation (HILVE; Rindermann & Amelang, 1994)

Reliabilität von standardisierten Evaluationsfragebögen in der Regel hoch

• Studierende derselben Veranstaltung in ihren Urteilen oft stark voneinander (hohe Streuung)

• Mittelung der Urteile über viele Studierende hinweg: Ergebnisse sind stabil über Messzeitpunkte (Rantanen, 2013)

• Studierende dieselbe Veranstaltung: Bewertung zweimal innerhalb eines Semesters → Ergebnisse der Evaluationen überlappen hinsichtlich ihrer Varianzen um 50 % (Marsh, 1984)

• unterschiedliche Studierende evaluieren dieselben Dozent:innen über einen längeren Zeitraum → Ergebnisse stabil

○ 74% der Dozent:innen veränderten sich nicht (Marsh & Hocevar, 1991)

• Aus inhaltlicher Sicht: negatives Ergebnis, da es zeigt, dass Dozent:innen sich durch (bloße) Evaluation kaum verändern

• Aus testtheoretischer Sicht: positives Ergebnis, da es die Zuverlässigkeit und Replizierbarkeit von Evaluationsergebnissen belegt

-> Hintergrundvariablen erklären weniger als 7 % der Gesamtvarianz in Lehrevaluationen (Beran & Violato, 2005)

Interesse der Studierenden

• Marsh (2007): Positiver Zusammenhang zwischen Interesse und Qualität der Lehre

• Mögliche Erklärung: Bei höherem Interesse steigt die Anzahl intensiver inhaltlicher Interaktionen

• Aber: Hinweis darauf, dass die Qualität der Lehrveranstaltung zum Teil auch von den Studierenden abhängt

Gute Noten

• Vermutung, dass Dozierende sich positive Evaluationen durch Vergabe guter Noten „erkaufen“

• Evaluationsergebnisse und Noten hängeneng miteinander zusammen

• Mögliche Erklärung (Marsh, 2007)

○ „Gute“ Lehre führt eher zu Lernerfolgen als „schlechte“ Lehre

○ „Gute“ Lehre wird positiver evaluiert als „schlechte“ Lehre

• Indizien, dass bessere Noten nicht zwangsläufig zu besseren Evaluationen führen (Marsh & Roche, 2000)

Arbeitsaufwand der Studierenden

• Eher geringe Zusammenhänge

• Positiver Zusammenhang zwischen Arbeitsaufwand und Evaluation (Marsh und Roche, 2000)

• Allerdings ist der Zusammenhang nicht linear: zu niedriger oder zu hoher Arbeitsaufwand geht mit schlechterer Esvaluation einher (Centra, 2003)

Schokolade

Dozent:innen können ihre Evaluationsergebnisse auf fast allen Bewertungsdimensionen anheben (d = 0.33), wenn sie vor der Evaluation kleine Schokoriegel austeilen (Youmans & Jee, 2007)

• Zusammenhang mit Lernerfolg: mittel bis hoch

• Metaanalysen : r = .47 (Cohen, 1981; d‘Appolonia & Abrami, 1996) vs. r = .20 (Clayson, 2009)

• Möglicher Grund für Unterschiede: unterschiedliche Fragebögen in einzelnen Studien

• Bewertungsdimensionen und Lernerfolg (Feldman, 2007)

○ Vorbereitung und Organisation der Veranstaltung: r = .57

○ Inhaltliche Klarheit und Verständlichkeit: r = .56

○ Eindeutige Lehrziele: r = .49

• Evaluationsergebnisse sind umso zuverlässiger und aussagekräftiger, je mehr Studierende teilnehmen

• Benötigte Datenmenge: ca. 15 ausgefüllte Evaluationsbögen pro Kurs (Rantanen, 2013)

• Um Aussagen über die generelle Lehrkompetenz eines Dozenten treffen zu können, werden Daten von mindestens vier zufällig ausgewählten Lehrveranstaltungen benötigt (Rantanen, 2013)

• Die tatsächliche Teilnahmerate liegt zwischen 30 % und 70 % (Arnold, 2009)

• Da Teilnehmer meistens hoch motiviert sind, kann niedrige Teilnahmequote zur Überschätzung der Qualität der Lehrveranstaltung führen, aber auch gegenteiliger Effekt möglich (Adams & Umbach, 2012)