(3) Verfahren entwickeln und bewerten (1)

• Brunswik’sches Linsenmodell

• Realistic Accuracy Model

• beschreibt 4-stufigen Prozess, wie genaue Urteile über die Persönlichkeitsmerkmale anderer Menschen gefällt werden

• Nützlich, um zu verstehen, wie genaue Urteile entstehen

1. Relevance (Relevantes Verhalten definieren)

2. Availability (Relevantes Verhalten wird gezeigt)

3. Detection (Relevantes Verhalten wird erkannt)

4. Utilization (Gute Nutzung der gewonnenen Information)

• Genauigkeit perfekt, wenn die vier Phasen erfolgreich abgeschlossen sind

1. Good target: beobachtete Person gut instruieren

2. Good judge: Urteilende gut schulen

3. Good trait: Sinnvolle Beobachtungsziele auswählen

4. Good information: Beobachtungssituation so planen, dass möglichst viele für das Beobachtungsziel relevante Cues entstehen

• offenes diagnostisches Gespräch

  • Exploration der Problematik

  • Individuelle Problemgeschichte

  • Biografische Anamnese

• Strukturiertes diagnostisches Gespräch

  • Interview performance model (Huffcutt et al, 2011)

= theoretisches Modell der Leistung in Auswahlgesprächen

• mehrere Faktoren, die die Leistung des Befragten, die Bewertung durch den Interviewer oder beides beeinflussen

1. Interviewee trait influence

2. Person x situation interaction

3. Interviewer/Rater

4. Interview design

5. Interviewer information processing capacity

Strukturierung des Interviews:

• Anforderungsbezogene Gestaltung der Interviewfragen

• Standardisierte Auswertung der Antworten

• Training der Interviewenden

• Auf Itemebene —> Rasch Modell

• Auf Testebene —> Reflexives Modell

= zu messendes Konstrukt ist die Ursache für die Merkmalsausprägungen auf den gewählten Indikatoren

• jedes Item ist nur beeinflusst von dem zu beobachteten Merkmal

• Messfehler beachten!

• Items messen alle das gleiche und sind untereinander austauschbar

• Items korrelieren hoch miteinander

= Grundmodell der Item-Response-Theory (IRT)

• Wahrscheinlichkeit ein Item richtig zu beantworten hängt ab vom Personenparameter (PP) und Itemparameter (IP)

• PP = wahres Fähigkeitsausmaß einer Person

• IP = wahrer Schwierigkeitsgrad der Aufgabe

• Lokale stochastische Unabhängigkeit der Leistung

• Prüfung der Modellpassung

• Revision des Tests- bzw Fragebogenentwurfs bei Nicht-Passung

• Dimensionale Einschätzung

• Kostengünstig und zeitsparend

• Hohe Ansprüche an Psychometrie

• Screening und Breitband

• Störungsspezifische Diagnostik

• Einschätzung von Hintergrundvariablen (Persönlichkeit) und von wichtigen weiteren Aspekten möglich (zB. Lebensqualität)

• Vermittlung einer empathischen Grundhaltung

• Atmosphäre schaffen, die Nachfragen und Raum zu Widerspruch lässt

• Ermutigen, zu widersprechen und selbstständig zu ergänzen bzw. Weitere Aspekte einzubringen

• Einschätzung aufgrund eigener Expertise

• Modulation aufgrund von Charakteristika der Klient:innen möglich

• Gespräche im Rahmen der Therapie

• Beobachtungsmethoden

  • In-vivo Beobachtung

  • Strukturierte Beobachtungen

  • Selbstbeobachtungen (Tagebücher, Verhaltenstest)

• Aber:

  • Unstandardisierte Situation

  • Unbekannte Reliabilität und Validität

  • Reaktivität (Umstand, dass man beobachtet wird, verändert Verhalten)

Validität ist eine integrierte Bewertung, die sich darauf bezieht, in welchem Ausmaß empirische Belege und theoretische Gründe die Angemessenheit von Schlüssen und Handlungen unterstützen, die auf Testwerten und anderen Erfassungsmethoden basieren.

= GEMEINSAMES ZIEL

• durch jedwede individuelle Reaktion der Zielperson auf Charakteristika im diagnostischen Prozess, die nicht intendiert ist und den Antwortprozess substanziell gefährdet

Was tun?

Prüfung der Angemessenheit/Vergleichbarkeit

• der diagnostischen Situation

• Des Verhaltens der diagnostizierenden Person

• Der Bausteine der diagnostischen Instrumente

Modulare Perspektive auf diagnostische Instrumente. Passen Module zu den Patient:innen?

1. Stimulusformate

2. Informationsquelle

3. Antwortformate

= Ebene der Beurteilung

1. Texthaft

2. Bildhaft

3. Auditiv

4. Audio-Visuell

5. Direkte Interaktion

1. Gezeigtes Verhalten in der Test- bzw Begutachtungssituation

2. Selbstbericht über Gegebenheiten über die Test-/Begutachtungssituation hinaus

3. Fremdbericht

1. Schriftlich geschlossene Antworten

   1. Multiple Choice

   2. Ratingskalen

   3. Visuelle Analogskalen

2. Schriftliche offene Antworten

3. Bildliche offene Antworten

4. Bildliche geschlossene Antworten

5. Auditiv offene Antworten

6. Auditiv geschlossene Antworten

7. Audio-visuelle offene Antworten

8. Direkte Interaktion

Wem sind welche Antwortformate möglich?

• Einschränkung

  • der Sehfähigkeit

  • Der Motorik

  • der sprachlichen Ausdrucksfähigkeit

  • In der Verfügbarkeit von Technik

OFFEN

Pro:

• Freie Wiedergabe

• Schilderung komplexer Gegebenheiten

• Mehr Information

• Vermeiden von bloßem Wiedererkennen

• Ggf bessere Akzeptanz

• Ggf Vermeidung von Antwortstilen

Con:

• Aufwändige Auswertung

• Auswertungsobjektivität muss sichergestellt werden

• Abhängig von Motivation

• Abhängig von mündlicher/schriftlicher Ausdrucksfähigkeit

1. Aquieszenz (Ja-Sage-Tendenz)

2. Disaquieszenz (Nein-Sage-Tendenz)

3. Extremkreuzen

4. Mittekreuzen

DIREKT

Pro:

• Natürliche Situation

• Klärung und Nachfragen möglich (siehe Media Synchronicity Theory)

• Anpassbarkeit an das Gegenüber

Con:

• Weniger standardisierte diagnostische Situation

• Reaktivität

• Beeinflussbarkeit durch Auftreten und Impression Management Taktiken

Wem sind welche Stimulusformate zugänglich (wahrnehmbar, verstehbar)?

• Sehfähigkeit

• Hörfähigkeit

• Sprachverständnis

• Altersangemessenheit der Texte

• Bildungsangemessenheit

TEXTHAFT

Pro:

• Einfache Darstellung

• Kaum Voraussetzungen für die Präsentation

• Besser für einfachere Fakten (lt Media Richness Theory)

Con:

• Weniger geeignet für komplexe, mehrdeutige Inhalte

• Hohe Anforderung an sprachliches Verständnis

• Hoher kognitiver Load

• andere sollten besseren Zugang haben zu gut beobachtbaren Merkmalen (Verhalten)

• Man selbst hat besseren Zugang zu wenig beobachtbaren Merkmalen (Gedanken, Gefühle)

• Andere sollten evaluative Merkmale besser beurteilen können als man selbst

—> siehe Self-Other-Knowledge Asymmetry Model

= Wenn Personen, die eigentlich die gleiche (wahre) Merkmalsausprägung haben, auf einem Item unterschiedlich abschneiden.

• Trennschärfe des Items in verschiedenen Populationen unterschiedlich

• Will man nicht für seine Zielpopulation

• Nicht mehr vergleichbar mit den Normen, die für andere Population erstellt worden sind

Mixed Rasch Modelle

• Identifikation der Subgruppen

• Nimmt an, dass man Subpopulationen aus der Stichprobe rausnehmen kann, wo Items unterschiedlich funktionieren

INTERVIEW

• Fragen bezogen auf die diagnostischen Kriterien formulieren

• Fragen bezogen auf den Erfahrungshintergrund des Befragten anpassen

• Formulierungen an das Sprachniveau des Befragten anpassen

• Festgelegte Abfolge der Fragen und Themenbereiche (Leitfaden)

• Günstige Frageformen und Techniken anwenden

• Antwortprotokollierung

• Regelgeleitete Auswertung

• Schulung der Auswertenden

• Evaluation

• offene Fragen als Einstieg in einen Abschnitt

• Formulierung möglichst kurzer, verständlicher Sätze

• Erfragen von konkretem Verhalten

• Einbeziehen des Kontextes als gedankliche Stütze

• Vermeidung von Fachbegriffen und Fremdwörtern

• Keine Suggestivfragen

• Keine Fragen, die das erfragte Verhalten bewerten

Was?

Wann?

Wie?

Wie oft?

NICHT:

Warum?

• situative Fragen: mentale Tätigkeitssimulation, Schilderung Situation, wie würde man reagieren?, DILEMMA!

• Biografische Fragen: Fragen nach konkretem Verhalten in der Vergangenheit

• Kombination aus beidem

Grobaufbau:

• Einleitung

• Abschnitt zu jeder relevanten Variable

• Schlussteil

Feinaufbau:

• Ausdruck:

  • Klare, einfache, genaue Sprache

  • Keine Fremdwörter/Fachbegriffe

  • Kurze, zutreffende, verständliche Formulierungen

• Gliederung:

  • Notwendige längere Erklärungen im Dialog und nicht als Vortrag

  • Fragen in sachnotwendiger Reihenfolge (von global zu spezifisch, offen zu geschlossen)

• Fragen:

  • Nach konkretem individuellen Verhalten

  • “Günstige” statt “ungünstige” Fragen

  • Angemessene offene Fragen

  • angemessene direkte Fragen

• Gesprächsbereitschaft vorhanden oder hergestellt

• Erwartungen an das GEspräch sind geklärt und zutreffend

• Angemessene Vorbereitung

• Eigene Einstellung gegenüber Klient:in hinterfragen

• Zeitliche Aspekte angemessen berücksichtigen

• Günstige Umgebung

• Einstellen auf (emotionale/motivational) Situation des Gegenüber

• Techniken der Gesprächsführung beachten

—> wenn Gespräch nicht gelingt (ich kann die Frage nicht hinreichend beantworten), im Extremfall Gutachtenauftrag zurückgeben

• bei jeder Aussage checken ob sie relevant für Fragestellung ist

• Falls ja, Aussae weiter verfolgen

• Aussage wird zu jeder psychologischen Frage geschrieben, die sie berührt

• Darstellung im Konjunktiv I oder II

• Konjunktiv II für Nicht-Gegebenes oder Realistisches (zB Wahnvorstellungen)

• Indikativ vermeiden

• Nicht zu viel wörtlich zitieren

• Deutlich machen von welcher Informationsquelle die aussage stammt

• Trennung von Aussagen von Klient:in vs. gutachtende Person

• Zunächst wenig wertende Darstellung

• state of the art: verhaltensverankerte Beurteilungsskala

Indikativ: Frau X sagt, sie findet eine Arbeitsstelle.

Konjunktiv I: Frau X sagt, sie finde eine Arbeitsstelle.

Konjunktiv II: Frau X sagt, sie fände eine Arbeitsstelle.