Grundlagen der Diagnostik 9

• Zuordnungsstrategien sollen Fehler bei der Klassenzuordnung vermeiden.

• Fehler immer dann, wenn Zuordnung durch Prädiktorvariablen nicht mit der tatsächlichen Klassenzugehörigkeit übereinstimmt.

• Alphafehler: Ein Alpha-Fehler, auch Typ-1-Fehler genannt, ist das fälschliche Ablehnen einer Nullhypothese. Es wird aus der statistischen Analyse also geschlossen, dass es einen statistisch signifikanten Zusammenhang, Effekt oder Unterschied gibt, obwohl dies eigentlich nicht der Fall ist.

• Ein beta-Fehler liegt vor, wenn eine Nullhypothese nicht abgelehnt wird, obwohl sie falsch ist

Entscheidungsfehler in Zahl:

Gütekriterien diagnostischer Entscheidungen (anders als die der Testverfahren!)

• Sensitivität

• Spezifität

• Positiver Prädiktionswert

• Negativer Prädiktionswert

• Negativer Prädiktionswert: .999

• PosPwert (Positiver Prädiktionswert = .07446

Taylor Russel Tafeln

• zur Beurteilung der Effizienz der Entscheidung

• auch bei mäßig validen Tests kann eine effiziente Auswahl getroffen werden, d.h. die Auswahl derer, die später auch erfolgreich sein werden

Voraussetzungen:

• hohe Basisrate (Grundrate)

• niedrige Selektionsrate

Basisrate:

• Verhältnis der im Kriterium erfolgreichen Personen zur Gesamtzahl aller Messwertträger, also (WP+FN)/N

• auch natürlicher Eignungsquotient (success without use of test)

• für Festlegung des Trennwertes ist die Basisrate von Bedeutung (hohe BAsisrate ist gut für den Prädiktionswert -> möchte ich, niedirge Basisrate: der positive PW würde geringer ausfallen -> viele falsche entscheidungen

Selektionsrate:

• relativer Anteil der Auszulesenden an der Gesamtzahl der Bewerber

• wie viele Menschen ich auswählen kann/wie viele Studienplätze es gibt/wie viele Stellen im Verhäktnis zu Bewerber

Trennwert

• Numerus Clausus z.B.

• Entscheiden/ablesen, ob es Sinn macht ein bestimmtes Verfahren einzusetzen (Bsp. Unten 78% -> Gut) 

• die Größen lassen sich durch Verschiebung des Trennwertes einfach verändern

• je weiter der kritische Cutoff in Richtung auf das zu identifizierende Merkmal (z.B. Krankheit oder Eignung), hin angehoben wird, umso höher fallen die Quotienten aus

• Sensitivität wird kleiner (viele Falsch Negative)

• für Screening Verfahren okay, aber brauche anschließend 1 oder mehr Verfahren, welche diese Diagnose absichern

• auch abhängig von Folgen (z.B. invasive Therapie, Label etc.)

• daher bei Screening Verfahren Falsch Positiv in Ordnung/akzeptierbar -> aber muss darauf achten je nach Konsequenz dieses mit weiteren Verfahren zu ergänzen

Trennwerte und Fehler

• Die Veränderung des Trennwerts führt zur Veränderung der Fehlerverhältnisse (vgl. auch Alpha‐ vs. Beta‐Fehler).

• Es gibt verschiedene Methoden zur besten Setzung des Trennwerts (also um die Fehler bei Zuordnungsverfahren gering zu halten): Neyman‐ Pearson‐Kriterium, Minimax‐Kriterium, Minimum‐Loss-Kriterium.

• Zuordnungsfehleranalyse: Likelihood‐Quotient, Regressionstechnik, Diskriminanzanalyse, Distanzmaße (Profilvergleich über Euklidische‐Distanz)

• Bisher Trennwertverschiebung -> Veränderung des Alpha‐Fehlers bei Verbesserung des pos. Prädiktionswertes

-> sehr streng/kritisch: entscheide strang wer Merkmalsträger ist und wer nicht

Rock Kurve:

• Graphiche Entshceidungshilfe für den besten Cut Off

• Hohen Trennwert setzen: hohe spezifität, Sensitivität wird kleiner -> wenig falsch positive, mehr falsch negative (im klinischen aber lieber mehr

• hoher Trennwert: Spezifität wird größer, mache weniger falsch positive Entscheidungen

  • gut geeignet für Eignungsdiagnostik (habe weniger ungeeignete Bewerber, selektiere aber auch mehr geeignete)

  • Klinische Psychologie: Nachteil, großer Anteil an Leuten die eigentlich krank sind werden nicht diagnostiziert (misstrauische Schwelle besser -> viele falch positive; -> mehre Verfahren anschließend zúm falach positive auszuselektieren)

• Basisrate (Prävalenz) spielt hierbei keine Rolle

• genauste Entscheidung in kurve: viele Wahr Positive, wenig falsch positive

• oben rechts: extrem viele FP (will ich bei Spezifitöt nicht) habe aber auch viele wahr Positive -> hohe Sensitivität

• Sensitivität: Sensitivität (1 beste Wert)

• Spezifittät: 0 besser als 1

Hoher Trennwert = wenig falsch positive Entscheidungen

Diagonale = Rate WSK

• je näher sich Rockkurve an Punkt oben links annähre -> genauste Entscheidung  (Genauigkeit nimmt ab je weiter Kurve entfernt von Punkt)

• Basisrate sehr gering, sensitivität auch gering

• kommt oft zu richtigen Entscheidung, war Anteil der Personen die Merkmal tragen ist gering -> fast immer richjtige Entscheidun

• Viele Leute die Merkmal haben, trotzdem hoher Trennwert: auch viele die FP sind (WSK, falsche Entscheidung zu treffen ist höher)

klinisches Bsp.: Wenn eine KH übersehen wird, ist das schlimmer (neidrigere Schwelle besser)

• Bei Eignungsdiagnostik: Möchten fp Fehler vermeiden -> strengere Schwelle

  
  

Anmerkungen Fragestunde:

Was bedeutet „Basisrate“? Welche Konsequenzen hat ihre Berücksichtigung?

• Welche Konsequenz hat die Berücksichtigung?

  • Erhöhung: je höher die BR, desto höher ist der positive Prädiktionswert (also das geeignete Person auch gewählt wird -> positiver Prädiktionswert fällt höher aus)

  • Taylor Russel: Vorrausetzung zur Effizienz der Entsch.: hohe Basisrate, niedrige Selektionsrate

  • positiver Prädiktionswert (selektive Eignungsquotient -> erhöht sich mit höheren Prävalenzrate)

  • hohe Basisrate: großer Pool an leuten die geeignet sind

  • niedrige Selktionsrate: Anteil der auszulesenden, die ich nehme im Verhältnis zu allen

  • Bsp.: habe 200 Bewerber für Job und kann 20 auswählen (positiver 20 von 200 auszuwählen als 20 von 100) -> was den Cut off (Trennwert) angeht ist das besser

  • hohe Basisrate: gibt viele geeignete für den Job

Welche Rolle spielt die Setzung des Trennwerts (cut-off) bei welcher Fragestellung?

Bilden Sie ein Beispiel für eine Receiver-Operating Characteristic mit unterschiedlicher Sensitivität und Spezifität!