Fragebeispiel aus der Klausur
Was charakterisiert eine Randomisiert kontrollierte Studie?
Bitte beschreiben Sie die zentralen Elemente einer RCT (Randomisierte kontrollierte Studie)
-Um die Wirksamkeit und Sicherheit einer Therapie zu untersuchen, sind randomisierte und kontrollierte klinische Studien (randomised controlled trials) der Goldstandard.
-Anhand einer Randomisierten kontrollierten Studie kann die Überlegenheit einer neuen Therapie im Vergleich zu einer Standardtherapie oder einer Scheintherapie (Placebo) nachgewiesen werden.
-In der Klinischen Forschung dienen RCTs der Untersuchung patientenrelevanten Forschungsfragestellungen und in der Arzneimittelentwicklung sind sie die Grundlage für die Zulassungsentscheidungen der Behörden.
-Randomisierte kontrollierte Studien charaktersieren sich durch
die Randomisierung: Das heißt die Teilnehmer werden nach dem Zufallsprinzip den verschiedenen Gruppen zum Beispiel Experimentalgruppe und Kontrollgruppe zugewiesen, um Störvariablen zu minimieren.
Kontrolle: Eine Kontrollgruppe erhält entweder kein Treatment oder ein Placebo, um die Wirkung der Intervention objektiv beurteilen zu können.
Verblindung: Es gibt auch folgende Möglichkeit: In einer doppelblinden Studie wissen weder die Teilnehmer noch die Forschenden, wer die Intervention erhält, um Verzerrungen zu vermeiden.
Messung: Die Wirkung der Intervention wird durch standardisierte Tests oder Messinstrumente erfasst.
Nennen Sie mir Anwendungsgebiete der Evaluation mit Beispielen anhand von passenden Studien
Anwendungsgebiet
Beispiel & Also die Thematik der Evaluationsstudie
Gegenstand (=Worum ging es dabei bzw. Was wurde dabei untersucht in einem Wort beschrieben)
Thematik der Evaluationsstudie
Gegenstand
Bildung
Internationale Schulleistungsstudie PISA (Baumert et al., 2002).
Systeme / Strukturen
Gesundheitswesen
Schulbasiertes Präventionsprogramm für depressive Symptome bei Jugendlichen (Pössel et al., 2003).
Programm
Umwelt
Verlauf von Stressreaktionen unter Einfluss von nächtlichem Fluglärm (Harder et al., 1999).
Umgebungsfaktor
Justizvollzug
Resozialisierungs-effekte von Sozialtherapie in Justizvollzugsanstalten in NRW (Ortmann, 1995).
Unternehmen
Evaluation von betrieblichen Weiterbildungsmaß-nahmen (Berthold et al., 1980).
Projekt
Marketing
Verbraucherverhalten bei No-name Produkten (Witt, 1985)
Produkte
Forschung
Metaanalyse zur Psychotherapieeffekt-forschung (Grawe, Donati & Bernauer, 1995)
Forschungser-gebnisse
Universitäten
Evaluation universitärer Lehre (Kromrey, 2000).
der Evaluationsprozess angelehnt an Balzer, 2005 als Abbildung
b) Fragebeispiel aus der Klausur
Bennen sie fünf unterschiedliche Verzerrungen (Bias),
die in RCTs auftreten können
Selektionsbias: Fehler in der Zuordnung der Teilnehmer zu den Gruppen, der durch ungleiche Gruppenverteilungen entsteht.
Beobachterbias: Wenn die Person, die die Ergebnisse misst, weiß, welche Gruppe die Intervention erhalten hat, kann das die Ergebnisse beeinflussen.
Placeboeffekt: Teilnehmer/-innen könnten Verbesserungen aufgrund der Erwartung an das Treatment zeigen, auch wenn sie eine Placebo-Intervention erhalten.
Publikationsbias: Positive Ergebnisse werden häufiger veröffentlicht als negative oder neutrale, was das Gesamtbild verzerrt.
Attrition Bias: Verzerrungen durch Teilnehmer, die während der Studie aus verschiedenen Gründen ausscheiden.
b) Benennen sie fünf unterschiedliche Verzerrungen (Bias),
Der Selektionsbias: kann durch Randomisierung und einer großen Stichprobe reduziert werden.
Der Beobachterbias: Durch Doppelblindtstudien kann verhindert werdern, dass der Beobachter/-in weiß, welche Gruppe die Intervention erhält.
Der Placeboeffekt: Durch die Verwendung einer Placebogruppe kann dieser Effekt aufgedeckt werden.
Der Publikationsbias: Durch Präregistrierung der Studien und Open-Access-Veröffentlichungen von Ergebnissen, auch wenn sie negativ oder nicht signifikant sind kann der Publikationsbias kontrolliert werden.
Attrition Bias: Durch die Intention-to-treat-Analyse, bei der alle Teilnehmer/-innen, auch die, die ausgeschieden sind, in die Auswertung einbezogen werden.
Historische Entwicklung der Evalution
In den 30er und 40er Jahren: Kam es zur Evalution von Reformprogrammen zur Verminderung der Arbeitslosigkeit und der Erhöhung der sozialen Sicherheit.
Beim 2. Weltkrieg kam es zum Einsatz von Instrumenten zur kontinuerlichen Messung der Stimmung in der U.S Army (Stouffer et al., 1949).
Es kam zum Boom in den 60 er Jahren: Es kam zur Evalution der Wohlfahrts- und Reformprogramme unter J.F. Kennedy und L.B. Johnson (“Feldzug gegen die Armut”), zb. Headstart (Vorschulprogramm für Unterrichtskinder), bei einem Großteil der Programme war Evaluation gesetzlich vorgeschrieben.
1977 gaben 39 Ministerien, Behörden und unabhängige Institutionen ca. 243 Mio. Dollar für Evaluationen von Sozialprogrammen aus (dabei 2200 vollberufliche Evaluatoren in Ministerien, 1300 Auftragsarbeiten).
Evaluatuin ist bis heute ein integraler Bestandteil von vielen Programmen.
Und 21. Jahrhundert = Gilt als Zeitalter der systematischen Datenerhebung & Analyse
Was bedeutet Evaluation eigentlich?
-Nach der Allgemeinen Definition von Evaluation nach Scriven (1991) versteht man unter einer Evaluation, die Bestimmung des Wertes eines Gegenstandes (zum Beispiel eines Produktes oder einer Maßnahme). Diese Begriffsbestimmung ist sehr allgemein, schließt aber auch alltägliche Bewertungen wie zb: Das Auto ist teuer” oder Kinoempfehlungen eines Magazines mit ein.
-Nach der Definiton der Evaluation von anderen Autoren wird daher (weil es dann nicht mehr so allgemein definiert wird) von einer Evaluation im engeren Sinne oder “Evaluationsforschung” oder “formale Evaluation” gesprochen, WENN die Bewertung anhand von systematischen (meist sozialwissenschaftlichen) Methoden erhoben wurde, zb in den folgenden Definitionen:
“Evaluationsforschung ist die systematische Anwendung sozialwissenschaftlicher Methoden zur Bewertung der Konzeption, des Designs, der Implementierung und des Nutzens von sozialen Interventionsprogrammen.” (Rossi & Freeman, 1985, p. 5).
“Evaluation is the systematic assessment of the operation and / or the outcomes of a program or policy, compared to a set of explicit or implicit standards, as a means of contributing to the improvement of the program or policy.” (Weiss, 1998, p.4)
Evaluation: Eine Kernkompetenz von Psycholog/-Innen
In welchen Anwendungsgebieten gilt die Evaluation als eine Kernkompetenz von Psycholog/-innen?
AWO (Arbeitsorganisationspsychologie): Zum Beispiel für die Effektivität eines Programms zur Verbesserung des Organisationsklima
Forensische Psychologie: Zum Beispiel hinsichtlich der Auswirkung von Befragungstechniken auf eine valide Erschließung des Tathergangs
Klinische Psychologie: Zum Beispiel hinsichtlich der Wirksamkeit von therapeutischen Ansätzen für die Behandlung der Majoren Depression
Pädagogische Psychologie: Zum Beispiel hisnichtlich der Wirksamkeit der Ganztagsschule auf die Ausbildung des selbstgesteuerten Lernens bei Schülern
Verkehrspsychologie: Zum Beispiel hinsichtlich der Beeinträchtigung des Fahrverhaltens von Kraftfahrzeugführern durch Handynutzung
Typologien der Evaluation
=Das bedeutet= "Die Typologie der Evaluation bezieht sich auf die Klassifizierung von Evaluationsansätzen und- methoden in verschiedene Kategorien oder Typen, basierend auf bestimmten Kriterien. Eine Typologie hilft dabei die Vielfalt von Evaluationsverfahren systematisch zu ordnen, zu verstehen und zu vergleichen. Typologien der Evaluation berücksichtigen in der Regel unterschiedliche Dimensionen, wie zum Beispiel den Zweck der Evaluation, die Methoden, die zeitlichen Rahmenbedingungen oder die Perspektive, aus der die Evaluation durchgeführt wird.
Nennen Sie mir Typologien der Evaluation und beschreiben Sie diese kurz,.
Feld vs Laborforschung —> Die Feldforschung findet in der natürlichen Umgebung statt, in der das Verhalten auftritt. Die Forscher untersuchen Personen in ihrem Alltag oder in realen Situationen, ohne die Umgebung künstlich zu verändern. Die Laborforschung im Vergleich findet unter kontrollierten standardisierten Bedingungen statt. Die Feldforschung bietet Realitätsnahe und hohe externe Validität, ist aber schwieriger zu kontrollieren. Die Laborforschung bietet Kontrolle und hohe interne Validität, ist aber oft weniger realitätsnah.
Geschlossen vs Offen —> Eine geschlossene Evaluation ist streng strukturiert und folgt einem festgelegten Plan oder Protokoll. Hierbei sind die Ziele, Fragestellungen und Kriterien bereits vor Beginn der Evaluation klar definiert. Merkmale sind also:
Feste Kriterien :Es gibt vordefinierte Bewertungsmaßstäbe und Kriterien , die verwendet werden , um das Evaluationsobjekt zu bewerten. Diese Kriterien werden zu Beginn der Evaluation festgelegt und bleiben während des gesamten Prozesses unverändert.)
Standardiserte Methoden: Geschlossene Evaluationen verwenden oft standardisierte Methoden (zb Fragebögen, Tests oder quantifizierbare Messungen), um die Ergebnisse objektiv und vergleichbar zu machen.
Kaum Flexibilität: Einmal festgelegte Parameter können im Laufe der Evaluation nicht mehr oder nur minimal verändert werden. Es gibt eine starke Betonung auf Kontrolle und Vergelichbarkeit.
Typisches Beispiel: Summative Evaluationen sind oft geschlossen, da sie darauf abzielen, die Ergebnisse eines Projekts oder Programms nach vordefinierten Zielen zu bewerten.
VS. Offen:
Offene Evaluation: Im Gegensatz dazu ist eine offene Evaluation flexibler und erlaubt es, die Ziele, Fragestellungen und Kriterien während des Prozesses anzupassen. Das bedeutet, dass der Evaluationsverlauf nicht vollständig im voraus festgelegt ist, sondern sich im Laufe der Untersuchung entwickeln kann.
Merkmale: Flexibilität: Es gibt keine starren Vorgaben, die Fragestellungen und Kriterien können sich während der Evaluation weiterentwickeln oder an neue Erkenntnisse angepasst werden.
Explorative Ansätze: Offene Evaluationen sind oft qualitativ ausgerichtet und erkunden das Evaluationsobjekt , um neue Erkenntnisse zu gewinnen, die zu Beginn nicht vorhersehbar waren.
Berücksichtigung von Kontext und Dynamik
Typisches Beispiel: Formative Evaluationen: Sie sind oft offen, da sie darauf abzielen, während der Durchführung eines Projekts oder Programms laufend Informationen zu sammeln und anzupassen.
Zeitpunkte: Prognostisch, Prospektiv, Prozessevaluation & Ergebnissevaluation:
Die Begriffe Prognostisch, Prospektiv, Prozessevaluation und Ergebnissevaluation beschreiben verschiedene Zeitpunkte, zu denen eine Evaluation durchgeführt wird. Sie beziehen sich auf die Phase eines Programms oder einer Maßnahme, in der die Evaluationsaktivitäten stattfinden, und geben Aufschluss darüber, wann und zu welchem Zweck Daten gesammelt und analysiert werden.
Prognostische Evaluation: Die Prognostische Evaluation wird durchgeführt BEVOR ein Programm oder eine Maßnahme umgesetzt wird. Sie hat also das Ziel, die potenziellen Auswirkungen und den Erfolg eines Programms im Vorfeld einzuschätzen. Prognosen werden gemacht, um vorherzusagen, ob und wie ein Programm erfolgreich sein könnte.
Anwendung: Die Prognostische Evaluation wird oft verwendet, um die Machbarkeit eines Programms zu bewerten, Risikofaktoren zu identifizieren und Empfehlungen zu geben, wie das Programm gestaltet oder angepasst werden sollte, bevor es startet.
Beispiel: Eine Evaluation, die untersucht, wie wahrscheinlich es ist, dass eine neue psychotherapeutische Intervention erfolgreich ist, bevor die erste Sitzung stattfindet.
Prospektive Evaluation: NOCH ÄNDERN FALLS ER KORRIEGIERT
Die Prospketive Evaluation bezieht sich auf die laufende Beobachtung eines Programms, WÄHREND es umgesetzt wird. Sie unterscheidet sich von der prognostischen Evaluation darin, dass sie tatsächlich den Beginn und die ersten Phasen der Umsetzung abdeckt.
Ziel: Die Prospektive Evaluation hilft dabei, den Verlauf des Programms zu überwachen und sicherzustellen, dass es nach Plan verläuft. Dabei werden frühe Ergebnisse betrachtet und gegebenenfalls Anpassungen vorgenommen.
Anwendung: Die Prospekive Evaluation unterstützt das laufende Management und die Optimierung von Programmen, indem sie eine regelmäßige Rückmeldung zu den erzielten Fortschritten gibt.
Beispiel: Während einer Pilotphase eines neuen Schulprogramms zur Stressbewältigung könnten prospektive Evaluationen durchgeführt werden, um die ersten Reaktionen der Schüler zu überwachen und das Programm anzupassen.
Die Prozessevaluation findet WÄHREND der Durchführung eines Programms statt, jedoch mit einem speziellen Fokus auf die Umsetzung und den Ablauf des Programms.
Ziel: Hierbei wird analysiert, WIE das Programm tatsächlich umgesetzt wird. Es geht weniger um die Endergebnisse, sondern um die Qualität und Effizienz der Prozesse, die zur Durchführung genutzt werden. Die Prozessevaluation fragt, ob die Intervention wie geplant abläuft, ob es Hindernisse gibt und wie gut die Zielgruppe erreicht werden.
Anwendung: Die Prozessevaluation wird eingesetzt, um sicherzustellen, dass das Programm auf organisatorischer Ebene reibungslos verluft, und kann zur Feininjustierung der Durchführung führen.
Beispiel: Eine Evaluation, die untersucht, ob alle Komponenten einer Schulintervention planmäßig und gemäß den Vorschriften umgesetzt werden (zb. ob Lehrer die richtigen Materialien verwenden).
Die Ergebnissevaluation (summative Evaluation): erfolgt NACH der Umsetzung eines Programms oder einer Maßnahme.
Ziel: Die Ergebnissevaluation bewertet die Endergebnisse oder Auswirkungen des Programms. Die Ergebnissevaluation versucht zu ermitteln, ob die Ziele erreicht wurden, und ob die Maßnahme effektiv war. Sie dient oft der Bewertung von Erfolg oder Misserfolg einer Maßnahme / Programms.
Anwendung: Die Ergebnissevaluation wird typischerweise eines Projekts durchgeführt, um darüber zu entscheiden, ob das Programm beibehalten, verändert oder beendet werden sollte.
Beispiel: Eine Evaluation, die nach Abschluss eines Schulprogramms zur Stressbewältigung durchgeführt wird, um zu beurteilen, ob das Programm die Schüler tatsächlich dabei unterstützt hat, mit Stress besser umzugehen.
Summativ vs Formativ / Summative vs formative Evaluation:
Summative Evaluation:
Ziel: Die summative Evaluation wird durchgeführt, um die Endergebnisse und den Erfolg eines Programms oder einer Maßnahme zu bewerten. Sie hat einen bewertenden Charakter. Sie konzentriert sich auf die ERGEBNISSE und untersucht, ob die vorab definierten Ziele erreicht wurden. Sie zieht also eine abschließende Bilanz. Die Summative Evaluation wird nach Abschluss des Programms oder der Maßnahme durchgeführt. Die Summative Evaluation hilft, fundierte Entscheidungen darüber zu treffen, ob das Programm fortgesetzt, modifizeirt oder beendet werden soll. Sie beurteilt den Gesamtwert der Maßnahme.
Beispiel: Nach Abschluss des Stressbewältigungsprogramms wird eine summative Evaluation durchgeführt, um zu überprüfen, ob das Programm den Stress der Schülker tatsächlich verringern konnte und wie effektiv es insgesamt war.
Gemeinsamkeit mit formativen Evaluation: sind beide darauf ausgerichtet, die Effektivität eines Programms / Maßnahme zu messen, aber zu unterschiedlichen Zeitpunkten und mit unterschiedlichem Fokus.
Die Formative Evaluation:
Ziel: Die formative Evaluation dient dazu, laufende Prozesse während der Durchführung eines Programms zu überwachen und zu verbessern. Sie hat einen diagnostsichen charakter. Sie konzentriert sich auf den Prozess und gibt Rückmeldung, um das Programm während seiner Durchführung zu verbessern oder anzupassen. Sie identifiziert Schwächen und gibt Vorschläge zur Optimierung, bevor das Programm abgeschlossen ist. Die Formative Evaluation findet während der Durchführung statt oft in der Anfangs- oder mittleren Phase eines Programms. Die formative Evaluation soll dazu beitragen, dass das Proggramm seine Ziele erreicht, indem es laufend überprüft und bei Bedarf angepasst wird.
Beispiel: Während der Einführung eines neuen Schulprogramms zur Stressbewältigung werden regelmäßige Feedback-Runden mit Lehrern und Schülern durchgeführt, um zu ermitteln, ob das Programm wie geplant abläuft und ob Verbesserungen notwendig sind.
Fazit: die Formative Evaluation hilft dabei, Programme proaktiv zu gestalten und auf Herausforderungen zu reagieren, während sie noch laufen.
Die Summative Evaluation bewertet retrospektiv, ob die Maßnahme erfolgreich war und ob sie die gewünschten Auswirkungen hatte.
Bitte fasse die 4 unterschiedlichen Typen in Tabellenform kurz zusammen
1. Typologie: Prognostische Evaluation
Zeitpunkt der Evaluation: Vor der Umsetzung
Ziel: Bewertung der potenziellen Erfolgschancen eines Programms.
Beispiel: Prüfung der Machbarkeit eines neuen Therapiekonzepts vor der Einführung.
2. Typologie: Prospektive Evaluation
Zeitpunkt der Evaluation: Zu Beginn oder während der frühen Phase
Ziel: Beobachtung und Bewertung des Programmverlaufs in der Anfangsphase
Beispiel: Beobachtung erster Ergebnisse während der Einführung eines neuen Programms.
3.Typologie: Prozessevaluation
Zeitpunkt der Evaluation: Während der Durchführung
Ziel: Bewertung der Qualität und Effizient der Implementierung
Beispiel: Analyse, ob eine Intervention planmäßig und effektiv umgesetzt wird
4. Typologie: Ergebnisevaluation
Zeitpunkt der Evaluation: Nach der Umsetzung
Ziel: Bewertung der Ergebnisse und der Effektivität des Programms
Beispiel: Feststellung, ob ein Anti-Mobbing-Programm an Schulen die erwünschte Wirkungen erzielt hat.
Typologie der Evaluation
Am Beispiel einer Eröffnung eines neuen indischen Restaurants in Köln
Einmal Anwenden
Feld: Programm findet unter Alltagsbedingungen statt
Offen: Bestimmung der Fragestellung, Methode und Hypothesen ist Gegenstand des Evaluationsprozesses
Prospektiv: Es soll möglichst genau die Wirkung VOR der Implementierung eingeschätzt werden ( Pilotstudien zb oder Bedarfsanalysen)
Summativ: Ist die Maßnahme wirksam?
Formativ: Wie lassen sich Prozesse optimieren, um die Wirksamkeit zu steigern?
Anwendungsaufgabe
Finden Sie für mich heraus, wie gut meine Lehre ist
Evaluieren sie meine Lehre auf jeder der vier Ebenen von Kirkpatrick (1959)
Überlegen Sie, welche Endpunkte sie mit Hilfe welcher Messinstrumente auf welcher Ebene erheben wollen
Die vier Ebenen der Evaluation von Kirkpatrick (1959):
Reaktionsebene (Reaction): Akzeptanz, Zufriedenheit, Nutzungsbereitschaft
—>Wie zufrieden sind die Studierenden mit der Lehre? Gehen Sie gerne in die Lehrveranstaltung?
Ebene des Lernerfolgs (Learning):
—>Haben sich die Kenntnisse und Fertigkeiten der Studierenden verbessert zb: Quiz, Mentimeter (Umfragetool) während der Lehrveranstaltung
Verhaltensebene (Behavior): Transfer des gelernten
—>Verbessert sich durch die Lehre die Leistung der Studierenden langfristig und kontextübergreifend zb. bessere Leistungen in der Klausur und Klausuren anderer Fächer, bessere Abschlussarbeiten?
Ebene objektiver Endergebnisse (Results)
—>Was bedeutet gute Lehre für das weitere akademische Leben der Studierenden zb. Berufsperspektiven? Verbessert sich durch “gute” Lehre das Renommee (Ansehen, Ruf) der Uni?
Bitte beschreiben Sie die Gütekriterien der Evaluationsforschung nach Jäger 1997
Komplexität eines Evaluationsgegenstandes
—>Die gesamte alltagspraktische Komplexität des Evaluationsgegenstandes muss sich sowohl in der zugrunde liegenden Theorie als auch im methodischen Zugang widerspiegeln.
Gültigkeitsbereich einer Fragestellung bzw. Aussage
—>Der Bereich, auf den eine zu evaluirende Fragestellung Gültigkeit hat, muss klar definiert und abgegrenzt werden.
Transparenz
—>Die Regeln, nach denen ein Evaluationsgegenstand erfasst wird, müssen nachvollziehbar sein. Es muss möglich sein die Evaluation zu replizieren und zu kritisieren.
Objektivierbarkeit
—>Erkennbarkeit, Bestimmbarkeit & Dokumentierbarkeit
Was weißt du zu Gütekriterien der Evaluationsforschung hinsichtlich Objektivierbarkeit, Reliabilität, Validität
Objektivierbarkeit: Gilt als Voraussetzung der empirischen Erfassung eines Evaluationsgegenstandes. Darunter fällt: die Erkennbarkeit dh: Empirisch erfassbar dh Gegenstand kann beobachtet werden da intersubjektiv wahrnehmbar, die Bestimmbarkeit dh Gegenstand kann definiert werden und kann in beobachtbare Parameter überführt werden und die Dokumentierbarkeit dh der Gegenstand kann dokumentiert werden dh die Manifestation muss beschrieben und festgehalten werden.
Reliabilität: Unter Reliabilität wird die Genauigkeit der eingesetzten Methode / Messinstrumente seien es psychometrische Instrumente, Verhaltensbeobachtungen oder physiologische Messungen. Das Merkmal soll mit geringem Messfehler erfasst werden.
Interne Validität: Ein hypothesenbasiertes Evaluationsdesign ist in der lage, eine eindeutige Aussage über die Annahme oder Ablehnung der entsprechenden Hypothesen zu liefern.
Externe Validität: Externe Validität bedeutet, dass es möglich ist, die Ergebnisse der Evaluationsuntersuchung auf andere Kontexte zu generalisieren.
Diskutieren Sie in Kleingruppen wie sie möglichst umfassend und mit hoher Güte meine Lehrveranstaltung evaluieren können
Auftraggeber ist der Dozent
Zielanalyse: In jeder Evaluation muss zunächst gemeinsam mit dem Auftraggeber geklärt werden, was das Ziel der Untersuchung ist.
Bevor man etwas erhebt, muss man klären WAS erhoben werden soll und WIE man dieses operationalisieren kann.
Erste Frage: Was ist eigentlich “Gute” Lehre ?
Gute Lehre ist zum Beispiel, wenn…:
die Studenten zufrieden sind, die Lehre unterhaltsam, kurzweilig, nicht zu anstrengend, lebhaft und akitv ist und / oder der Dozent freundlich ist.
Aber Ist das tatsächlich gute Lehre?
Eine “Gute” Lehre ist … wenn relevante Lernziele erreicht wurden zb auf die Tyler Matrix bezogen.
—> Hinsichtlich der Inhalten aus der Vorlesung zum Beispiel: wichtige Begriffe, Definitonen, Statistik : Korrelationen sind relevante Verhaltensbereiche abgedeckt:
Voraussetzungen für eine Evaluation
Nennen Sie mir Bedingungen, unter denen eine Evaluation sehr schwierig oder unmöglich ist
So kannst du auch die Frage beanworten:
Also Was sind Voraussetzungen eine Evaluation durchführen zu können?
Die Maßnahme weist nur eine geringe Stabilität auf und ändert sich ständig
Personen die an der Maßnahme beteiligt sind, sind sich uneinig über die Ziele der Maßnahme
Der Auftraggeber setzt der Evaluation so enge Grenzen, dass wichtige Dinge nicht untersucht werden dürfen (Legitimationsfunktion).
Die Ressourcen (zb Finanzierung, Unterstützung, Personal, Zugriff auf Programmaufzeichnungen & daten, Zeit) sind nicht ausreichend.
Die Einstellungen der Beteiligten widersprechen dem Grundgedanken der empirischen Evaluation, zb. wird prinzipiell die Veränderbarkeit oder / und Veränderungsbedürftigkeit der Maßnahme in Frage gestellt, sozialwissenschaftlichen Datenerhebungen wird grundsätzlich misstraut o.ä
Bitte erklären Sie mir den Evaluationsprozess an wen ist er angelehnt?
Der Evaluatiosnprozess angelehnt an Balzer, 2005:
Klärung: Evaluationsbedarf und Evaluationsauftrag
Konktretisierung: Konkretisierung einer wissenschaftlichen Fragestellung und Hypothesenbildung
Methodik: Operationalisierung & Untersuchungsdesign - Dh WAS soll WIE / WOMIT untersucht werden?
Durchführung der Evaluation: Stichprobenauswahl & Datenerhebung
Datenauswertung: Quantitative und / oder qualitative systematische Datenanalyse
Präsentation des Evaluationsergebnis und Berichtlegung
Reflexion und kritische Bewertung der durchgeführten Evaluation
… kann das Anforderungsprofil eines zu evaluierenden Gegenstandes spezifiziert werden.
• Trifft zu: Der Tyler-Ansatz betont das klare Formulieren von Zielen, bevor die Evaluation beginnt.
• … wird die summative Evaluation der formativen Evaluation gegenübergestellt.
• Trifft nicht zu: Tyler fokussiert sich hauptsächlich auf summative Evaluationen, bei denen die Ergebnisse am Ende eines Prozesses bewertet werden.
• … werden konkrete Verhaltensbereiche systematisch zuvor definierten Lernzielen zugeordnet.
• Trifft zu: Dies ist ein zentrales Merkmal der Tyler-Matrix. Lernziele und die entsprechenden Verhaltensweisen der Schüler werden in der Evaluation miteinander in Beziehung gesetzt.
• … wird die Reaktionsebene (Reaction) der Ebene objektiver Endergebnisse (Results) gegenübergestellt.
• Trifft nicht zu: Die Tyler-Matrix stellt nicht die Reaktionen der Lernenden den Ergebnissen gegenüber, sondern konzentriert sich auf das Erreichen zuvor festgelegter Lernziele.
1. “Die formative Evaluation ist in der Regel eine begleitende Bewertung einer Interventionsmaßnahme in der Phase ihrer Durchführung.”
• Trifft zu: Die formative Evaluation wird normalerweise während der Durchführung einer Maßnahme durchgeführt, um den Prozess zu überwachen und eventuell Anpassungen vorzunehmen.
2. “Die formative Evaluation ermöglicht eine zusammenfassende Aussage über die Wirksamkeit einer Maßnahme.”
• Trifft nicht zu: Das ist eher die Aufgabe einer summativen Evaluation, die am Ende einer Maßnahme durchgeführt wird, um ihre Gesamtwirksamkeit zu bewerten.
3. “Bei der formativen Evaluation geht es darum, eine Maßnahme unter den gegebenen Bedingungen zu bewerten, bevor sie implementiert wird.”
• Trifft nicht zu: Die formative Evaluation wird während einer Maßnahme durchgeführt, nicht davor. Vor der Implementierung würde eher eine vorbereitende Evaluation stattfinden.
4. “Das Ziel der formativen Evaluation besteht in der Optimierung einer Maßnahme bzw. Rahmenbedingungen zu schaffen, die eine Wirksamkeit der Maßnahme wahrscheinlicher machen.”
• Trifft zu: Ein Hauptziel der formativen Evaluation ist es, Verbesserungen während der Maßnahme vorzunehmen, um ihre Wirksamkeit zu erhöhen.
Trifft zu :
Kann das Anforderungs…
Werden konkrete Verhaltensbereiche systematisch …
Trifft nicht zu :
Wird die Summative Evaluation..
Wird die Reaktionsebene…
Fragebespiel aus der Klausur
richtig
Falsch
Richtig
Zuletzt geändertvor einem Tag