Evaluation Zustände

Ziele:

1. Ermitteln, ob es einen Interventionsbedarf gibt (PISA, IGLU & co) —> Bestandsaufnahme, Identifikation Problemfelder, Grundlage für Ableitung von Interventionsmöglichkeiten

2. Berichtspflicht —> Gesetzliche Vorgaben (Lehrevaluation, Studiengangsevaluation, Forschungsinstitute)

3. Ermitteln, ob eine Intervention weitergeführt werden muss —> Jährliche psychiatrische Überprüfung strafrechtlich angeordneter Unterbringung besonders gefährlicher aber schuldunfähiger Straftäter

• explizite und implizite Ziele

• implizite Ziele sollten zu Beginn der Evaluation offengelegt werden

• schlichte Existenz ist unproblematisch

• Aber eine Evaluation muss ergebnisoffen bleiben!! Sonst unwissenschaftlich

• Abläufe erheben

• Häufigkeit von Teammeetings erheben

• Fragebogen zum Arbeiten in Teams austeilen

• Größe der Gruppen erheben

• Arbeitszufriedenheit erheben

• Befragung von PAtient*innen

• VOrkommen von Mobbing erheben

• relevante Variablen ergeben sich aus Evaluationsfragestellungen

• diese Variablen müssen angemessen operationalisiert werden

• MULTIMETHODALE Vorgehensweise um Artefakte oder unpräzise Ergebnisse zu vermeiden

• Fallzahlen bei Evaluationen können kleiner als in der Grundlagenforschung sein ABER meist mehr und vielfältigere Daten

Nutzung von unterschiedlichen

• Datenquellen (Perspektiven)

• Erhebungsmethoden

• Manifestationsebenen (Modalitäten)

• unterschiedliche Perspektiven (DAtenquellen)

• Selbst- und Fremdeinschätzungen z.B.

• Vorteile

  • vollständigeres Gesamtbild —> über Kontexte hinweg größere Generalisierbarkeit

  • Reliabilität —> jede Messung einzeln evtl. unsystematische Fehler

  • Akzeptanz einer Bewertung höher, wenn mehrere Quellen

• Reaktiv: untersuchte Personen sind sich der Datenerhebung bewusst (Fragebogenuntersuchung)

  • anfälliger für Verfälschungen und soziale Erwünschtheit

• nicht-reaktiv: Messvorgang selbst beeinflusst das Verhalten nicht

  • weniger anfällig für Verfälschungen

  • meist mehrdeutig hinsichtlich dessen, was sie genau messen

• alle in der Psychologie üblichen ERhebungsmethoden

  • Fragebögen

  • Interviews

  • Tests

  • Dokumentenanalyse

  • standardisierte Beobachtungen

• alles hat Vor- und Nachteile

• durch sowieso anfallende Daten kann ergänzt werden

• Verhaltensspuren (Verbrauch bestimmter Materialien)

• Dokumente z.B. Klassenbücher

• Persönliche Profile in sozialen Netzwerken

• viele Psychologisch relevante Merkmale werden durch verschiedene Indikatoren repräsentiert

• Modalitäten sind: sinnvolle Kategorisierung der Indikatoren

• z.B. Emotionale, Kognitive, Physiologische und Verhaltensmodalität

Güte von Erhebungsinstrumenten wird anhand von Gütekriterien beschrieben —> eine gute Operationalisierung ist eine notwendige Bedingung für gelungene Evaluation

aus Psychologischer DIagnostik:

• Objektivität

• Reliabilität

• Validität

• Ausmaß, in welchem die empirischen Befunde die beabsichtigte Evaluation unterstützen

• kein Test in per se valide

• Validität ist immer im Kontext der Verwendung zu betrachten

• erhobene Daten sind idR nur dann valide zu interpretieren, wenn Untersuchungsobjekte

  • sich typisch verhalten (so wie sie sich auch verhalten würden, wenn sie nicht beobachtet werden)

  • gestellte Fragen so interpretieren, wie es vorgesehen ist

  • Zugang zu den erfragten psychischen Inhalten haben

  • über psychische Inhalte unverzerrt Auskunft gegben

• REAKTIVITÄT SCHRÄNKT ALL DAS EIN

• Veränderung der erhobenen Daten schon aufgrund der Kenntnis der untersuchten Personen darüber, dass sie Gegenstand einer Untersuchung sind

• Aufforderungscharakter einer Befragungssituation

• Selbstdarstellungstendenz (Soziale Erwünschtheit)

• Hawthorne Effekt

• Versuchsleiter-Erwartungs-Effekt (Rosenthal-Effekt / Pygmalion-Effekt)

• relevant wenn Merkmale mit negativer normativer Valenz untersucht

  • Dummheit, aggressivität, cholerische oder rassistische tendenzen ungerne angegeben

• es werden Annahmen über Gegenstand und Zweck der Untersuchung gebildet und dadurch wird ein spezielles Verhalten gezeigt

• um ehrliche Antwort bitten

• gibt kein richtig/falsch

• Ergebnisse werden nicht zur Bewertung der Person verwendet

• Soziale ERwünschtheit messen und statistisch kontrollieren

• Erhebungsinstrument verhaltensnah gestalten

• nicht-reaktive Messmethoden!

• Produktivitätssteigerung bei

  • mehr / weniger Beleuchtungsstärke

  • verändertes Pausenregime

  • Verlängerung/Verkürzung Arbeitstage

—> Aufgrund von Reaktivität kann die Forschungsfrage nicht beantwortet werden

• Untersuchte in Unkenntnis, dass Untersuchung —> ethisch zu reflektieren

• Coverstory über den Untersuchungszweck —> wichtig, wenn Untersuchte die erforschten Verhalten kontrollieren oder steuern können —> Ethisch zu reflektieren

• Anonymität zusichern —> v.a. bei Meinungen, Einstellungen, sensiblen Daten

• Maße einsetzen, die nicht kontrolliert oder beeinflusst werden können (nichtreaktiv) —> biopsychologische Maße, physiologische Vorgänge z.B. Kortisolspiegel oder bildgebende Verfahren

• indirekte/implizite Messverfahren z.B. Reaktionszeiten

• bewusstes und unbewusstes verzerren der Ergebnisse durch Versuchsleiter

• schwer zu vermeiden, teilweise Überkompensation

• Standardisierung des Versuchsablaufs

• Doppel-Blind-Versuche

  • Versuchsleitung und Probanden wissen nichts über die Erwartungen der Studie und Versuchsbedingungen

• deskriptivstatistische Kennwerte

  • Häufigkeit

  • Maße zentraler Tendenz

  • Streuungsmaße

• Übliche inferenzstatistische Methoden

  
  

• nicht unbedingt inhaltlich bedeutsam, nur weil signifikant

• hier standardisierte Effektstärken nützlich

  • Effektstärke -> Abweichung des Stichprobenmittelwerts vom Populationsmittelwert

  • Effektstärke —> Abweichung des Stichprobenmittelwerts von anderen unabhängigen Stichproben

• ob Effektstärke bedeutsam ist, hängt vom Untersuchungsgegenstand ab

Standardabweichung von x in der Population

Standardabweichung von x von einer anderen Teilpopulation

Bei Vergleich mit Population:

d= 0,14 klein

d= 0,35 mittel

d= 0,57 groß

Bei Vergleich mit unabhängiger Stichprobe:

d’= 0,2 klein

d’= 0,5 mittel

d’= 0,8 groß

• Prävalenz —> positiv diagnostizierte Individuen

  • zu einem Zeitpunkt (Punktprävalenz)

  • während bestimmter Zeitperiode (Periodenprävalenz)

• Lebenszeitprävalenz —> Wkt oder relative Häufigkeit, mit der ein Mensch mindestens einmal im Leben positiv diagnostiziert wird

• Inzidenz —> Anzahl neu hinzukommender Positiver innerhalb eines bestimmten Zeitraumes, z.B. 7-Tage Inzidenz

• Um einzuteilen, ob Ergebnisse einer Evaluationsstudie gut oder schlecht bzw. wünschenswert / nicht wünschenswert sind

• Vergleich der statistischen Kennwerte PRO Merkmal, z.B. Arbeitsfähigkeit mit Bezugsmaßstäben: