Was ist qualitative Forschung?
Qualitatives Forschen ist der
Versuch herauszufinden, wie Menschen einen
Sachverhalt sehen, welche individuelle Bedeutung er für sie hat und welche
Handlungsmotive in diesem Zusammenhang auftreten. Daraus werden Theorien konstruiert und Folgerungen für die Praxis gezogen.
Def. Von Heinz Reinders, 2011
Was ist quantitative Forschung?
Quantitative empirische Forschung beabsichtigt, soziale und psychische Phänomene genau zu definieren, sie möglichst objektiv zu „messen“ und anhand dieses
Datenmaterials Hypothesen zu überprüfen.
Def. Von Andreas Dexheimer, 2011
Qualitative und Quantitative Forschung
Qualitative und quantitative Verfahren sind je nach Fragestellung unterschiedlich gut geeignet.
Qualitative Verfahren eignen sich für Exploration, für eine Analyse von Prozessen, erlauben den Blick ins Detail. Aber: aufwändig, oftmals begrenzt auf geringe Stichprobe, die Aussagekraft schmälert, Resultate lassen sich oft nicht auf eindeutiges Fazit zusammenfassen.
Quantitative Verfahren eignen sich für die Überprüfung klarer Hypothesen, führen zu quantifizierbaren und vergleichbaren Ergebnissen, große Stichproben sind möglich. Aber: kaum Einblicke in Prozesse möglich.
Welche Instrumente und Methoden werden eingesetzt?
Qualitative Verfahren
Quantitative Verfahren
Das Qualitative Verfahren:
gearbeitet wird zumeist mit sprachlich vermittelten Daten. Typische Methoden: Teilnehmende Beobachtung, Gruppeninterview, Gespräch, ethnografische Feldforschung
Das quantitative Verfahren:
gearbeitet wird zumeist mit numerischen Daten.
Typische Methoden: Tests, Fragebögen, Skalen.
Evalutionsforschung - Definition 1
Evaluationsforschung beinhaltet die systematische Anwendung empirischer Forschungsmethoden zur Bewertung des Konzeptes, des Untersuchungsplanes, der Implementierung und der Wirksamkeit [...und ] zur Verbesserung der Planung und laufenden Überwachung sowie zur Bestimmung der Effektivität und Effizienz von (...) sozialen Interventionsmaßnahmen (von Rossi & Freeman, 1993)
Eine Vielzahl von Evaluationsobjekten sind möglich:
• Personen, Umweltfaktoren, Produkte,
Methoden, Zielvorgaben, Programme, Systeme, Forschung....
Evaluationsforschung - Definition 2 ausführlich
„Wissenschaftliche Dienstleistung, die namentlich öffentlich verantwortete oder finanzierte ‚Gegenstände‘ (Politiken, Programme, Projekte, Maßnahmen ...) in verschiedensten Themenfeldern systematisch, transparent und datengestützt beschreibt und ausgewogen bewertet, so dass Beteiligte & Betroffene (Auftraggebende und andere Stakeholder) die erzeugten Evaluationsergebnisse für vorgesehene Zwecke wie Rechenschaftslegung, Entscheidungsfindung oder Optimierung nutzen.“
(Beywl, Widmer 2009)
Warum wird evaluiert?
Evaluation dient zu / zur ...
Kontrollzwecken
Verbreiterung der Wissensbasis
Entwicklungszwecken
Legitimation
Planungs- und Entscheidungsprozesse
Vgl. Kromrey 2001, Chemlisky 1997
Evaluationsgegenstand:
Wer/was (genau) wird evaluiert?
Mögliche Teilaspekte eines Programms:
Art, Ausmaß und Verteilung des sozialen Problems auf das ein Programm abzielt
Programmziele und deren Angemessenheit
Programmimplementation
Programmwirkungen
Programmeffizienz
Interne Evaluation?
Von der gleichen Organisation vorgenommen, die auch das Programm durchführt; Sonderfall: Selbstevaluation
Externe Evaluation?
Von Personen durchgeführt, die nicht dem Mittelgeber oder der Durchführungsorganisation angehören, z.B. externe Gutachter
Interne Evaluation Vorteile/ Nachteile
Vorteile:
rasch
geringer Aufwand
hohe Sachkenntnis
unmittelbare Umsetzung
Nachteile:
geringe Methodenkompetenz
fehlende Unabhängigkeit und Distanz
„Betriebsblindheit“
Externe Evaluation Vorteile/ Nachteile
hohe Unabhängigkeit
große Methodenkompetenz
unterstützen Reformkräfte
große Glaubwürdigkeit
geringe Sachkenntnis
Abwehrreaktion
Umsetzungsprobleme
Stockmann (2007)
Planung einer Evaluation
1.Planungsfragen: Literatur
Eine gute Evaluation sollte IMMER auf einer umfassenden Literaturarbeit zu der zu evaluierenden Maßnahme und existierenden Evaluationen ähnlicher Maßnahmen aufbauen.
2.Planungsfragen: Wahl der Untersuchungsart
Explorative Methoden: dienen der Erkundung von Inverventionsprozessen und deren Wirkungen. Ziel: Formulierung von Wirkhypothesen (eher qualitative Methoden)
Populationsbeschreibende Methoden: Abschätzung der Verbreitung eines Phänomens
Hypothesenprüfende Methoden: testen den Einfluss einer untersuchten Intervention auf sinnvoll operationalisierte Wirkkriterien
EXPERIMENTE:
Probanden werden in Untersuchungs- und Kontrollgruppe eingeteilt
„Echtes“ Experiment: Zufallszuweisung
In der Untersuchungsgruppe (Interventionsgruppe) wird die Maßnahme durchgeführt, in der Kontrollgruppe nicht.
In der Regel findet mindestens eine Prä- und eine Postmessung statt.
3.Planungsfragen: Operationalisierung von Massnahmewirkungen
Maßnahme/Intervention = unabhängige Variable
Wirkung = abhängige Variable/Kriterium
Bsp.:
Abhängig= Umfang des Wortschatzes
Unabhängig = verschiedene Förderprogramme; Massnahmen variieren
Varianten für abhängige Variablen:
Zählen
Urteilen
Testen
Befragen
Beobachten
Varianten für unabhängige Variablen
Vergleich mehrerer Massnahmen
Mehrfache Anwendung der Maßnahme
Variation der Intensität der Maßnahme
Vergleiche mit Normen
4.Planungsfragen: Nutzenbestimmung
Die Operationalisierung der Wirkung einer Maßnahme durch ein Wirkkriterium sagt zunächst nichts darüber aus, welcher Nutzen mit unterschiedlichen Ausprägungen des Wirkkriteriums verbunden ist!
Falls möglich: Bestimmung von Nutzenfunktionen
Ökonomischer Nutzen?
5.Planungsfragen: Abstimmung von Maßnahme und Wirkung
Häufige Ursache für das Misslingen von Evaluationsstudien: Fehlende Abstimmung von Massnahme und Wirkung
Notwendig: Symmetrie
Formen der Asymmetrie
Das Kriterium erfasst Sachverhalte, die von der Massnahme nicht beeinflusst werden
Das Kriterium ist gegenüber einer breit gefächerten Maßnahme zu spezifisch.
Das Kriterium ist gegenüber einer spezifischen Maßnahme zu breit angelegt.
Die Schnittmenge zwischen einer breit gefächerten Maßnahme und einem breit gefächerten Kriterium ist zu klein
6.Planungsfragen: Stichprobenauswahl
Bestimmung der Stichprobe, auf deren Basis die Evaluationsstudie durchgeführt werden soll
Festlegung der Zielpopulation für die geplante Maßnahme
Bestimmung einer Kontrollgruppe
7.Planungsfragen: Stichprobengrössen
Die notwendigen Stichprobengrößen hängen von der Höhe der erwarteten Effekte ab
Je kleiner der zu erwartende Effekt, desto größer müssen Stichproben sein, um statistisch signifikante Unterschiede zu erzielen
8.Planungsfragen: Abstimmung von Intervention und Evaluation
Der Evaluator sollte sich auch an der Planung der Maßnahmendurchführung beteiligen
Im Nachhinein angedockte Evaluationsstudien sind häufig mit vielen Mängeln behaftet
Welchen Ansatz gibt es noch außer Qualitative und Quantitative?
Mixed Methods
Mixed Methods Infos
„ ... die Wirklichkeit sei unmöglich mit nur einem methodischen Zugang zu beschreiben“ Kratzman (2018, S. 57)
Mixed-Methods-Research (auch Triangulation)
Elemente qualitativer und quantitativer Ansätze werden kombiniert (z.B. Datenerhebung, Analysen, Schlussfolgerungen) im Sinne eines tieferen und breiten Verständnisses des Untersuchungsgegenstands (Johnson et al. 2007)
Evaluationsforschung und Grundlagenforschung
„Evaluationsforschung sollte sich an den Standards der empirischen Grundlagenforschung orientieren“ (Bortz & Döring, 2006, p. 98)
Aber: Ein Evaluator kann seiner Ratgeberfunktion nur dann nachkommen, wenn er sich für oder gegen den Erfolg der evaluierten Maßnahme ausspricht.
Die Evaluationsforschung befasst sich mit der Bewertung von Maßnahmen nicht mit der Entwicklung.
Bewertungskriterien Evoluation
Orientieren sich oft am Nutzen
eines Gegenstands
Einer Handlung
eines Entwicklungsprozesses
für bestimmte Personen oder Gruppe
Können festgelegt werden durch
Auftraggeber (direktiv)
Evaluator (wissenschafts-/erfahrungsbasiert)
Zielgruppe, Stakeholder (emanzipativ)
alle gemeinsam (partizipativ)
Welche Arten von Evaluation gibt es und wozu eignet es sich?
Formative Evaluation: beinhaltet die Planung sowie die Durchführung
Summative Evaluation: beinhaltet die Durchführung wie auch die Wirkung
Was ist Evaluation? :fachgerechte Untersuchung und Bewertung
alltäglicher Sprachgebrauch:
Von keiner bestimmten Person wird bewertet (von irgend jemandem).
nicht systematisch durchgeführt(nach irgendwelchen Kriterien bewertet bzw. in irgendeiner Weise)
irgend etwas wird dafür vorgenommen
wissenschaftlicher Sprachgebrauch:
es muss eine Qualifizierte Person sein
Es wird systematisch vorgegangen (explizit auf den Sachverhalt bezogenen und begründeten Kriterien bewertet)(in einem obiektivierten Verfahren)
Programme, Maßnahmen und Organisationen
Wozu eignet sich der jeweilige forschungsmethodische Zugang?:
Qualitative Forschung eignen sich für Exploration, für eine Analyse von Prozessen, erlauben den Blick ins Detail. Aber: aufwändig, oftmals begrenzt auf geringe Stichprobe, die Aussagekraft schmälert, Resultate lassen sich oft nicht auf eindeutiges Fazit zusammenfassen
Quantitative Forschung eignen sich für die Überprüfung Klarer Hypothesen, führen zu quantifizierbaren und vergleichbaren Ergebnissen, große Stichproben sind möglich. Aber es sind kaum Einblicke in Prozesse möglich.
Was unterscheidet quantitativer von qualitativer Forschung?:
Quantitative empirische Forschung beabsichtigt, soziale und psychische Phänomene genau zu definieren, sie möglichst objektiv zu „messen" und anhand dieses Datenmaterials
Hypothesen zu überprüfen.
Qualitatives Forschen ist der Versuch herauszufinden, wie Menschen einen Sachverhalt sehen, welche individuelle Bedeutung er für sie hat und welche Handlungsmotive in diesem Zusammenhang auftreten. Daraus werden Theorien konstruiert und Folgerungen für die Praxis gezogen.
Zuletzt geändertvor einem Jahr
