VL9 Urteilsbildung II

Aussagen, die auf Basis vorliegender diagnostischer Daten über eine Person, eine Gruppe oder einen Sachverhalt getroffen werden

wie genau sind die Urteile der ExpertInnen

• Vorliegen eines Kriteriums (wahrer Wert)

• Trennung von Datenkombination und Datenerhebung

  -> (Die Trennung ist nötig, weil Datenerhebung und Datenkombination unterschiedliche Fehlerquellen haben und man sonst nicht weiß, woher die Güte oder Ungüte eines Expertenurteils kommt)

• 
  

Basis der statistischen Urteilsbildung sind empirisch gesicherte Zusammenhänge zwischen Prädiktor und Kriterium

-> Urteilsbildung erfolgt mit Hilfe statistischer Modelle

Vorteile:

• Explizite Regel für die Urteilsbildung(man weiss wie Urteil zustande gekommen ist)

• Keine Beteiligung menschlicher Beurteilungsprozesse (nicht subjektiv)

Nachteile

• Eigenheiten konkrete Fälle können nur schwer berücksichtig werden (geringere Flexibilität)

WICHTIG IST KREUZVALIDIERUNG

-> Aufgestelltes Modell basiert auf Stichprobe

-> Modell sollt es dann bei ähnlicher, unabhängiger SP geprüft werden

=statistischer Urteilsbildung sollte kein (oder möglichst wenig) Overfitting vorliegen, weil das Modell generalisierbar sein soll.

• Beurteilung durch Experten oder Gremien

• Orientieurng an besonderen Fällen

• Meist individuumezntrierte Datenerhebung wie z.B. Gespräche oder Interviews

• Diagnose ist erfahrungs- und z.T. intuitionsgesteuert

  -> Kausaistische Abwägung (aktuellen Fall mit neuem Fall vergleichen um Urteil abzuleiten)

• Die Intuitiven Regeln können nicht explizit angegeben werden (sind teils unterbewusst)

-> Nicht nur im klinsichen Bereich sondern auf AOW etc

KRITIK

• fehlende Explizität (wie ist man auf Urteil gekommen)

• Foku auf Intuition

Wie genau sind klinische Urteile vs. Statistische

Klinische: professionelle Studienberater, diverste Tests, biographische Angaben, eigenes Interview, Abschlussnote Schule etc für Urteil nutzen

Statistische: Regressionsmodell mit Eignungstest und Schulabschlussnote als Prädiktoren

Urteil sollte über Studienerfolg getätigt werden

Kriterium: Note im 1. Studienabschnitt

Ergebnisse:

• Klinische waren weniger genau

Kritik an Studie:

• Valides und relevantes Kriterium?

  -> determiniere Noten in den ersten Semestern den Erfolg?

  -> Müssen Studienberate den Erfolg vorhersgen können?

• Gibt es individuelle Genauigkeitsunterschiede zwischen den BEratern?

• ZENTRAL: Konfundierung von Datenerhebug un Kombi

• Genauigkeit des klinischen vs. statistischen Urteils bei Vorerhsage klinsicher DIagnosen -> Psychose vs Neurose

Klinsiche Urteile: erfahrene Psychologen

Statistische Urteile: Regressionsmodell mit 5 Dimensione als Prädiktore

Kriterium: klinische Diagnosen

Ergebnisse

• Klinische Urteile waren Statistischen Urteilen unterlegen

Psychometrisch:

• Daten werden anhand von Verfahren wie Tests erfasst

  -> standardisiert , einheitliche Klassifikation und Verrechnung (z.B. IQ Test)

Nicht psychometrisch:

• Keine standardisierte Vorgabe und Regeln hinsichtlich Durchführung, Reaktion, AUswertung z.b. unstrukturiertes Interviews

  —> Ermessensentscheidungen der Beurteiler

formell:

Urteil entsteht durch vorgegebene und explizite Regeln

informell:

Urteil entsteht intuitiv, holistisch (Gesamtbild, intuitiv, flexibel)

Datenerhebung: nicht-psychometrisch

Datenkombination: informell

Datenerhebung: psychometrisch

Datenkombination: informell

Datenerhebung: nicht psychometrisch

Datenkombination: formell

Datenerhebung:psychometrisch

Datenkombination: formell

IQ Test

Klinsiche Urteilbsildung

Diagnose ist erfahrungs und z.T. intutionsgesteuert

-> Konkreter Fall wird mit vorherigen Fällen verglichen zur Ableitung von Urteilen

Grundlage: Daten einer internationalen Beratungfirma

->Verglichen die klinsichen Urteile mit 10000 zufälligen linearen Modellen

—> Fast jedes statisische Modell besser als klinsiches Urteil

• Fehlende Sensitivität für die validesten Informationen

• Inkonsistenzen in der Verwendung eigener diagnostischer Entscheidungsregeln bei Beurteilung

• Verzerrungs- und Fehlertendenzen menschlicher Beurteilung

• Psychologisch- diagnostisches Wissen und Training macht Menschen nicht immung gegen solche Verzerrungs- und Fehlertendenzen

  ->nur beschränkt möglich aus Diagnoserichtigkeit zu lernen

• jede Diagnose ist probablistisch

  -> Statistische Modelle machen es aber explizit

• auch Einzelfälle sind explzit und man kann mathematische Regeln anwenden z.B: Einzelfallanalyse möglich (wenn man vele Daten hätte)

• können aber in statistischen Modellen berücksichtigt werdne und Validität erhöhen (auch in nicht-psychometrischen Daten)

Ja aber Überprüfungen über Gütligkeit von Diagnosen sollten ohnehin eingeholt werden

• Prädizierbarkeit

• Sensitivität

• KOnsistenz

• Diagnostische Situationen schaffen, in denen viele valide Informationen vorliegen-> Prädizierbarkeit

• Informationen gemäß ihrer Validität nutzen -> Sensitivität

• Verwendung desselben Urteilsmodells über alle Fälle-> Konsistenz

• Interindividuelle Differenzen in den Prozessen berücksichtigen

  -> Auswahl von guten Diagnositkern

  -> von weniger guten Diagnostikern Urteile verbessern

• explizite Modelle aufstellen

  -> erhöht Transparenz

  -> entlastet Diagnostiker

  -> Verbessert die Genauigkeit durch Konsistenz (Goldbergs Paradox)

• gewichten Informationen statistisch inkorrekt

  z.B. fließt bei Berufserfolg Intelligenz zu wenig ein obwohl es stärkster Prädiktor ist

von Helversen Studie

-> Einfluss von Gesichts-Ähnlichkeit auf Geeignetheits-Urteile von Bewerbern

Lernphase:

• Eignung von Bewerben auf Basis von vier Cues (Arbeitserfahrung, Ausbilung, Motivation, Fähigkeiten) werden präsentiert

Testphase

• Neue Bewerber sollen beurteilt werden-> diese sind gesichtsähnlich zu schlechten oder guten Bewerbern aus Lernphase

Ergebnisse

• Ähnlichkeit hat Einfluss auf Urteil

  -> Personen, die schlechten aus Lernphase ähnlich sehen, werden negativer beurteilt