Evaluation von Zuständen Vorlesung 3

-Erhebung von Ist-Zuständen:

Durch Methoden der Datengewinnung, Quantitative vs. Qualitative Methoden, Gütekriterien

-Bewertung und Interpretation von Ist-Zuständen: durch Normative Vergleiche, Empirische Vergleiche, Z-Werte, t-Tests, Effektstärken

Ein Normativer vergleicht wäre zb: weicht meine Lehre signifikant von einer durchschnittlichen Zufriedenheit von mindestens 70% ab? das ist die Norm. Dann wird in Relation dazu geschaut, wie stehe ich?

Bei Empirischen Vergleichen geht es immer um Vergleiche zwischen Gruppen oder Zeitzuständen also zb ist meine Lehre besser oder schlechter als die meiner Kollegen

• -Die Psychologie ist eine empirische Wissenschaft, die

  durch probabilistische Falsifikation zum

  Erkenntnisgewinn gelangt (Lamnek, 2020). = Das probabilistische steckt zb schon in der Inferenzstatistik also der P-Wert, da wir sagen, wenn die Wahrscheinlichkeit für dieses Testergebnis kleiner gleich 5%, also so unwahrscheinlich ist es das wir dieses Ergebnis erhalten, dann akzeptieren wir die H1. Dann haben wir die Ho falsifiziert.

  In der Regel reicht es, wenn wir beim menschlichen Verhalten sind, nicht aus einem Einzelfall zu haben, um eine Hypothese zu widerlegen. Zb. Bystander Effekt: Es handeln ja auch trotzdem einige Leute.

  -Problem der Verifikation beachten: es reicht ein Beispiel, um widerzulegen, aber es reicht nicht aus einer Beobachtung zu machen und zu sagen das ist verifiziert. Zb „Alle Schwäne sind weiß“.

  -Empirische Wissenschaft= Datengewinnung durch Experimente, Beobachtungen etc.

  -Wir können also allgemeingültige Aussagen / All-Aussagen falsifizieren sie aber nicht verifizieren.

  
  

• Fragebögen & psychomterische Instrumente (Selbstbefragung / Fremdbefragung)

• Interviews (Strukturiert, halb-Strukturiert)

• Leistungstests zb Intelleginztests

• Verhaltensbeobachtungen

• Akten- oder Dokumentenanalyse zb beim Sorgerecht, Familienrechtlichensachen, Strafvolzug, ADHS grade im Erwachsenenalter dann würde man versuchen an die Schulakten ranzukommen und gucken wie dort das Sozialleben von den Lehrkräften evaluiert wurde

• Psychophysiologische Maße zb bildgebende Verfahren MRTs

• Reaktionszeitgestütze Verfahren zb Stroop Test

• etc.

• Reaktive Maße= Die Beobachtete bzw. getestete Person ist sich ihres Verhaltens und der Tatsache, dass sie evaluiert wird bewusst. bsp: Offene beobachtung

• Nicht-Reaktive Maße: Beobachtete bzw. getestete Person ist sich nicht bewusst, dass sie evaluiert wird. Bsp: verdeckte beobachtung

• Reaktive Maße: zb Psychometrische Messinstrumente, Leistungstests, Psychophysiologische Maße

  Vorteil Reaktiver Maße: Transparent, in der Regel hohe Reliabilität

  Nachteil Reaktiver Maße: Bias durch Hawthorne Effekt, soziale Erwünschtheit

• Nicht-Reaktive Maße:

  zb Akten und Dokumentenanalysen, verdeckte Verhaltensbeobachtungen, Verhaltensspuren zb Abnutzung eines Seifenspenders als Maß der Reinlichkeit

  Vorteil Nicht Reaktiver Maße: Messvorgang selbst beeinflusst nicht das Verhalten

  Nachteil: Intransparent und ggf. ethisch bedenklich

• Projektive Tests: Zb. Test mit Farbklecks

  Projektive Tests: basiert auf Deutung der (unbewussten) Projekten der Proband/-innen basierend auf Bewertungen von ausgelungsfähigem Bildmaterial

• Das was in der Deutung steckt: Induktiv und das ist das problematische hier: du siehst eine Spinnen in diesem Tintenfleck und das sagt dann was darüber aus das man eine Spinnen Phobie hat oder das mal selber ein aggressionsproblem hat. Also aus einem Spezialfall eine allgemeingültige hypothese abzuleiten ist schwierig hier in Projektiven Tests = Induktionsproblem

• Zb: Rohrschachtest (für Erwachsene gedacht) , Thematischer Apperzeptionstest (TAT), Familie in Tieren (FIT)

• Vorteil Projektiver Tests: Explorativ, generiert “neue” Information, geringe soziale Erwünschtheit

• Nachteil Projektiver Tests: Unzureichende Gütekriterien, unzureichende Vergleichbarkeit, unstandardisierte Auswertung und Interpretation

• Projektion= Freuds Idee der Psychoanalyse und des unbewussten; begriff aus der Tiefenpsychologie, eine Projektion , also an Teile von mir selbst die ich in einer anderen Person sehe : zb jemand kommt zu spät zur vorlesung, man ärgert sich total aber man hat eiegtnlich slebst eine thema damit das ist projektion

• Psychometrische Tests: Messen von psychologsichen Phänomenen mit meist standardisierten Testverfahren wie zb. Fragebögen

• Zb: Klinische fragebögen (BDI, SCL-90), differentielle Psychologie (Big Five)

• Vorteil nicht projektiver Verfahren / psyhcometrischen Tests: Gütekriterien, hohe Vergleichbarkeit, standardisierte Auswertung und eindeutige Interpretation

• Nachteil: soziale Erwünschtheit und anderer BIAS, Positivismus = das man nicht alle seelischen Phänomene quantifizieren kann

• Kind wird aufgefordert seine / ihre familie zu zeichnen

• Welche Familienmitglieder werden

  in der gleichen Ebene gezeichnet?

  • Wer wendet sich wem zu?

  • Wer wendet sich von wem ab?

  • Welche räumlichen Distanzen

  bestehen zwischen den

  Familienmitgliedern?

  • Wie groß sind die Tiere dargestellt?

  • Welche Übereinstimmungen bzw.

  Unterschiede gibt es hinsichtlich der

  Gattung der gezeichneten Tiere

  (zum Beispiel Haus- oder Wildtiere,

  Säugetiere, Insekten etc.)?

• Bleibt irgendwie spekulativ, müsste also kommunikativ validiert werden, man müsste also nachfragen ob da was dran ist

• Selbst - oder Fremdbeurteilung

• Störungsspezifische Fragebögen zb Beck-Depressions-Inventar (BDI)-depressive Symptome, Beck-Angst-Inventar (BAI)-Angststörungen

• Störungsübergreifende Fragebögen (Screening-Instrument) zb Symptome-Checklist-90 (SCL-90)

• Störungsunspezifische Fragebögen zb Dysfunctional Attitude Scale (DAS), Outcome Questionnaire (OQ-45)

  
  

 Entwicklungstests inklusive Schulreifetests und gerontologische Verfahren (573)

 Intelligenztests mit Lernfähigkeitstests und Gedächtnistests (475)

 Kreativitätstests (23)

 Leistungs-, Fähigkeits- und Eignungstests mit Musikalitätstests und Sporttests (654)

 Verfahren zur Erfassung sensomotorischer Fähigkeiten (213)

 Schulleistungstests (431)

 Einstellungstests inklusive verkehrspsychologischer Tests, berufsbezogener Einstellungstests sowie

arbeitspsychologischen Verfahren (1691)

 Interessentests (67)

 Persönlichkeitstests (1256)

 Projektive Verfahren (152)

 Klinische Verfahren (2973)

 Verhaltensskalen (201)

 Sonstige Verfahren inklusive Verfahren zur Erfassung soziographischer Daten sowie Explorations- und

Anamneseschemata (159)

• Die Multimodale Diagnostik basiert auf der Idee das Psychologische Konstrukte wie beispielsweise Aggression durch unterschiedliche Verhaltensindikatoren repräsentiert werden.

• Multimodal also unterschiedliche Modi können zb sein:

Muoltimodale Diagnostik: Am Beispiel Aggression:

• Emotionale Modalität wie zb Wut oder verachtung —>psychometrischer Fragebogen

• Kognitive Modalität (“Ich fühle mich ungerecht behandelt”) —>psychometrischer Fragebogen

• Physiologische Modalität (Herzfrequenz, elektrodermale Aktivität) —>psychophysiologische Maße

• Verhaltensbezogene Modalität (Fremdschädigung, Selbstschädigung) —>Verhaltemsbeobachtung

1. Erhebungsquellen: Peter, Eltern, ggf. Großeltern, Lehrer*innen, Trainer*innen u.a.

2. Psychometrische Fragebögen – Selbst und Fremdbeurteilung z.B. SBB-HKS und FBB-

HKS

3. Standardisierte Verhaltensbeobachtungen zb in der schule z.B. Conners Skala

4. Aktenanalyse: Schulzeugnisse

5. Neuropsychologische Testverfahren z.B. KiTAP (wie lange kann er seine Aufmerksamkeitsspanne halten und wie geht er mit neuen Stimulis um)

6. Leistungstests z.B. Intelligenztest HAWIK

7. Ausführliches Anamnese-Interview durch geschulte Expert*innen

 Offene Antwortformate, unstandardisierte Fragen,

Subjektivität ist erwünscht

 Kein Anspruch auf Allgemeingültigkeit sondern

Facettenreichtum der subjektiven Wirklichkeit

 Typische Erhebungsverfahren: Narratives Interview,

Problemzentriertes Interview, Beobachtungen

 Typische Auswertungsverfahren: Zusammenfassende

Inhaltsanalyse nach Mayring, Grounded Theory

Qualitative Inhaltsanalyse nach Philipp A. E. Mayring

Schritte musst du nicht auswendig lernen!

es geht darum kategorien zu erstellen, ankerbeispielen und den latenten sinn eines Textes zu erfassen

er ist sehr bedacht dadrauf das wir eine Systematik in der Qualitativen Forschung haben

wir können hier deduktiv und induktiv vorgehen

induktiv bedeutet bottom up dh: ich schau mir den Text an und versuche durch. schrittweise verallgemeinerung des Inhaltes vom Text zu einem Kategoriensystem zu kommen

Von der Theorie heraus Top down = deduktive Kategorienbildung

 Philipp A. E. Mayring

 Regelgeleitete Textanalyse, die auf eine Frage hin

interpretiert und ausgewertet wird

 Kategoriensystem mit Kategorien, Unterkategorien,

Kategoriendefinition und Ankerbeispielen um den latenten

Sinn eines Textes zu erfassen

 Paraphrasierung Inhalt tragender Textstellen

 Reduktion durch Selektion, Streichung bedeutungsgleicher

Paraphrasen

 Reduktion durch Subsumtion d.h. Bündelung, Konstruktion

und Integration von Paraphrasen auf angestrebtem

Abstraktionsniveau

 Zusammenstellung der neuen Aussagen als

Kategoriensystem mit Unterkategorien und Hauptkategorien

 Qualitative Inhaltsanalyse: Orientiert sich an theoretisch

hergeleiteter Forschungsfrage, Textreduktion ,pragmatisch,

eher quantitatives Paradigma, eher zielorientiert

 Andere Qualitative Analysemethoden wie die Groundet

Theory: Theoriegenerierend, eher explorativ,

Textvermehrung, Vorwissen nicht notwendig eher hinderlich

• Objektivität: Messinstrumente sind objektiv wenn das Ergebnis einer Messung unabhängig davon ist, wer sie vorgenommen hat und unter welchen Bedingungen die Messung stattfand.

• Durchführungsobjektivität : zb bei psychometrischen Tests gehts darum was sage ich genau wenn ich den Test rausgebe

• Auswertungsobjektivität= im Testmanual steht dann wie ich es auszuwerten habe bei psychometrischen Tests zb man hat eine rating skala von 1-5 und ich bilde dann den Summenwert und den Mittelwert daraus

• Interpretationsobjektivität = zb gibt es Normwerte und wenn der Mittelwert diesen Normen überschreitet ist die person zb stark depressiv

Reliabilität: Zuverlässigkeit eines Messinstruments, derjenige Anteil an der Varianz, der durch tatsächliche Unterschiede im zu messenden Merkmal und nicht durch Messfehler erklärt werden kann.

• Paralleltest-Reliabilität: also zwei tests die dasselbe messen

• Split-half-Reliabilität: den test in zwei hälften aufteilen dieser miteinander korrelieren

• Retest-Reliabiltät: zwei unterschiedlichen Zeitpunkten test durchführen

• Interne Konsistenz: cronbachs alpha

• Interrater-Reliabilität:

Validität:

Gibt an, inwiefern ein Messinstrument tatsächlich das misst, was es messen soll

• Prädiktive Validität: zb also man könnte überprüfen wie valide die note im abitur für den späteren berufserfolg steht

• Kriteriumsvalidität zb die validität eines tests zur extraversion könnte korreliert werden mit der anzahl an party besuchen die eine person vornimmt

• Konstruktvalidität: konvergente & diskriminante Validität zb das extraversion negativ mit intraversion korrelieren soll und gleichzeitig hoch mit abenteuerlust

Nomothetisch= nomos= das gesetz, allgemeingültige aussagen

Idiografisch = das Individum betreffend (keine allgemeinen aussagen)

induktiv = ich hab am anfang noch keine Hypothese —> noch keine H1, H0

Ahistorisch= weil es allgemeingültige aussagen sind

Historisierend= der Kontext wird mitbedacht, die aussagen die ich treffe beziehen sich auf die Corona zeit im winter und damals waren wir im lockdown… also all diese Informationen des Kontextes wird mitgeliefert um meine Analyse zu verstehen. Das ist typisch für die Qualitative Forschung.

Partikularistisch: heißt ist reduzierend auf bestimmte Facetten des menschlichen Erlebens und Verhaltens

Holistisch: bezieht sich auf die Gesamtheit des Erlebens und Verhaltens des menschen

Interrater Reliabilität

also kann man natürlich auch Gütekriterien in der Qualitativen Forschung anwenden

interne Validität und Konstruktvalidität

und externe validität mit der Validität des statistischen schlusses da fallen dann auch fragen rein wie ist der stichprobenumfang genauso groß, sodass ich meine Aussagen verallgemeinern kann

• Ein Ist-Zustand kann normativ bewertet werden als Abweichung von einer “Benchmark”:

• Benchmark = Maßstab für den Vergleich von Leistungen

• Diese Benchmark kann sich auf drei unterschiedliche dinge beziehen: Idealnormen: Abweichung zwischen Ist und Soll Zustand, Idealnorm muss theoretisch hergeleitet werden

  zb wäre die Vollbeschäftigung in deutschland eine Idealnorm, dh wenn man eine arbeitslosenquote kleiner 4% hat. Dann gäb es einen Politiker der sagt: Ideal wäre eine Vollbeschäftigung in Deutschland. Erfassung eines Ist-Zustandes: trifft das aktuell auf die deutsche volkswirtschaft zu oder nicht?

• Kriteriale Normen: Ein Kriterium, das entweder erreicht wird oder nicht bsp wenn man an der HSD eine Prüfung schreibt bestehet man wenn man mehr als 50% der zu erreichenden Punkte erzielt hat das wäre eine Kriteriale Norm

• Realnormen: Ermittelte Durchschnitswerte, die die Normalität repräsentieren zb IQ also die Realnorm wäre zwischen 85-115 bei Intelligenztests

• Ein Ist-Zustand kann empirisch durch einen interindividuellen Vergleich bewertet werden:

• Sozialer Vergleich zwischen Personen oder Gruppen bsp lehre vergleichen zwischen zwei dozenten

• oder interindividuell :

• Temporaler Vergleich zwischen Zeitpunkt t0 und t1

wichtig wenn wir bei der erfassung von ist-Zuständen sind grade auch hier der Abweichung bestimmter benchmarks dann ist die z-standardisierung von werten wichtig.

-z transformation = wir ziehen den mittelwert der population oder unserer stichprobe von jedem einzelwert ab und teilen durch den standardfehler und so haben wir eine z transformation

z transformation bedeutet einfach: berechne den mittelwert von all deinen werten die du hast und die standardabweichung von all den werten die du hast und jetzt ziehe von jedem einzelnen wert den mittelwert ab und teile durch die standardabweichung. dann sind alle werte z transformiert dh wir haben eine transformation wir haben eine verschiebung unser verteilung vorher hatten wir eine empirische verteilung jetzt haben wir eine normverteilung eine standardnormalverteilung in der regel mit der mitte o und der standardabweichung von 1 und jetzt drückt ein z wert aus wie groß die wahrscheinlichkeit ist diesen wert oder eine noch extremere ausprägung dieses wertes zu haben also bsp z wert von 1,5 würde uns sagen das die wahrscheinlichkeit für diesen wert 6,7% betrifft diesen wert zu haben. damit könnten wir jetzt relativ leicht überpürfen ob wir vo vestuimmten normwerten abweichen oder nicht und bestimmte normwerte überschreiten oder nicht, weil wir durch die z-transformation einheitlich geworden sind. dh wenn merkmale in der population normalverteilt sind kann anhand der z-werte die wahrscheinlichkeit für die ausprägung des wertes ermittelt werden.

 One-sample t-Test, z-Test: Abweichungen von einer

Idealnorm bzw. einem Kriterium

 Chiquadrat-Test: Vergleich von Häufigkeitsverteilungen mit

Referenzverteilung (Idealnorm) oder interindividueller

Vergleich

 t-Test für abhängige bzw. unabhängige Stichproben &

Varianzanalyse: Interindividueller Vergleich und temporaler

Vergleich

Also um Abweichungen von Idealnormen oder Kriterialnormen zu überprüfen wären Einstichproben t-tests , einstichproben z-tests , oder chiquadrat tests oder t-tests für abhängige bzw. unabhängige stichproben

Stichprobe ist das und blaue Felder ist der Ablauf der Forschung

Interviews wurden gemacht inhaltsanalyse nach mayring und therapeutische Beziehung usw sind Haupt Kategorien und drinnen stehen die Unterkategorien

Tabelle 3: Recovery= Patienten gelten als geheilt

Je mehr Kategorien in den Interviews genannt wurden desto stärker korreliert es auch damit das es den nach der Psychotherapie besser geht

Wie sehr korrelieren diese Kategorien mit den psychometriscjen Messinstrumenten wurde dann geschaut

Also je mehr Kategorien eine Person nennen konnte desto wahrscheinlicher war es das die Person nicht mehr am Ende depressiv zb war

Und je unterschiedlicher sie Kategorien benennen konnte desto wahrscheinlicher war sie am Ende weniger depressiv war

• !!!!mAN SOLLTE iMMER zur berechnung der statistischen signifikanz auch immer eine Effektstärke berechnen, weil diese einem eine einschätzung zur praktischen relevanz ermöglicht des ergebnisses. Und es gibt ganz viele verschiedene Effektstärken die geläufigste ist die deformierung d

  für Normvergleiche wird das Cohens D groß geschrieben (das D groß) , da nimmt man den mittelwert der stichprobe minus dem normwert aus der population durch den standardfehler des mittelwerts oder bei gruppenvergelcihe dann wird das cohens d klein geschrieben (kleines d) hier werden zwei gruppen miteinander verglichen und die mittelwerte der beiden gruppen geteilt durch die gepulte standardabweichung der beiden gruppe.

Hier gibt es unterschiedliche kriterien die von cohen festgelegt wurden : so kann man also sagen beim normvergleich: D=0,14 ist klein, D=0,35 ist mittel, D=057 ist groß

und beim empirischen vergleich: d=0,20 ist klein, d=0,5 ist mittel und d=0,8 ist groß

die werte von cohens D werden oder können als standardabweichung interpretiert werden also ein Cohens D von 0,5 bedeutet das zwischen den gruppen 0,5 Standardabweichungen liegen.

!!!! DAS IST IHM WICHTIG:

Wenn wir bei IST-Zuständen sind gibt es einmal diese normvergleiche mit unterschiedlichen Benchmarks oder empirische vergleiche also zb wie gut ist meine lehre können wir entweder am ende dann dahin beantworten ideal wäre wenn ich besser als eine standardabweichung aller kollegen bin dann können wir das als idealnorm nehmen und können das dann überprüfen oder ich sage mich interessiert nur ob ich besser als die kollegin bin das wär ein empirischer vergleich und auch das könnte man mithilfe geeigneter statistik beantworten.

-!!!!! Z-Transformation war wichtig in dem Zusammenhang und Effektstärken eben dieses Cohens D zur erfassung von ist-zuständen um einschätzungen zu haben ob klein oder groß, dafür eignet sich Cohens d doch sehr.