Entscheidungsfehler
Zuordnungsstrategien sollen Fehler bei der Klassenzuordnung vermeiden.
Fehler immer dann, wenn Zuordnung durch Prädiktorvariablen nicht mit der tatsächlichen Klassenzugehörigkeit übereinstimmt.
Alphafehler: Ein Alpha-Fehler, auch Typ-1-Fehler genannt, ist das fälschliche Ablehnen einer Nullhypothese. Es wird aus der statistischen Analyse also geschlossen, dass es einen statistisch signifikanten Zusammenhang, Effekt oder Unterschied gibt, obwohl dies eigentlich nicht der Fall ist.
Ein beta-Fehler liegt vor, wenn eine Nullhypothese nicht abgelehnt wird, obwohl sie falsch ist
Entscheidungsfehler in Zahl:
2. Gütekriterien diagnostischer Entscheidungen
Gütekriterien diagnostischer Entscheidungen (anders als die der Testverfahren!)
Sensitivität
Spezifität
Positiver Prädiktionswert
Negativer Prädiktionswert
Entscheidungsfehler und deren Güte
Negativer Prädiktionswert: .999
PosPwert (Positiver Prädiktionswert = .07446
Taylor Russel Tafeln
zur Beurteilung der Effizienz der Entscheidung
auch bei mäßig validen Tests kann eine effiziente Auswahl getroffen werden, d.h. die Auswahl derer, die später auch erfolgreich sein werden
Voraussetzungen:
hohe Basisrate (Grundrate)
niedrige Selektionsrate
Basisrate:
Verhältnis der im Kriterium erfolgreichen Personen zur Gesamtzahl aller Messwertträger, also (WP+FN)/N
auch natürlicher Eignungsquotient (success without use of test)
für Festlegung des Trennwertes ist die Basisrate von Bedeutung (hohe BAsisrate ist gut für den Prädiktionswert -> möchte ich, niedirge Basisrate: der positive PW würde geringer ausfallen -> viele falsche entscheidungen
Selektionsrate:
relativer Anteil der Auszulesenden an der Gesamtzahl der Bewerber
wie viele Menschen ich auswählen kann/wie viele Studienplätze es gibt/wie viele Stellen im Verhäktnis zu Bewerber
Trennwert
Numerus Clausus z.B.
Entscheiden/ablesen, ob es Sinn macht ein bestimmtes Verfahren einzusetzen (Bsp. Unten 78% -> Gut)
4) Entscheidungen: Trennwert und Fehler
die Größen lassen sich durch Verschiebung des Trennwertes einfach verändern
je weiter der kritische Cutoff in Richtung auf das zu identifizierende Merkmal (z.B. Krankheit oder Eignung), hin angehoben wird, umso höher fallen die Quotienten aus
Sensitivität wird kleiner (viele Falsch Negative)
für Screening Verfahren okay, aber brauche anschließend 1 oder mehr Verfahren, welche diese Diagnose absichern
auch abhängig von Folgen (z.B. invasive Therapie, Label etc.)
daher bei Screening Verfahren Falsch Positiv in Ordnung/akzeptierbar -> aber muss darauf achten je nach Konsequenz dieses mit weiteren Verfahren zu ergänzen
Trennwerte und Fehler
Die Veränderung des Trennwerts führt zur Veränderung der Fehlerverhältnisse (vgl. auch Alpha‐ vs. Beta‐Fehler).
Es gibt verschiedene Methoden zur besten Setzung des Trennwerts (also um die Fehler bei Zuordnungsverfahren gering zu halten): Neyman‐ Pearson‐Kriterium, Minimax‐Kriterium, Minimum‐Loss-Kriterium.
Zuordnungsfehleranalyse: Likelihood‐Quotient, Regressionstechnik, Diskriminanzanalyse, Distanzmaße (Profilvergleich über Euklidische‐Distanz)
Bisher Trennwertverschiebung -> Veränderung des Alpha‐Fehlers bei Verbesserung des pos. Prädiktionswertes
-> sehr streng/kritisch: entscheide strang wer Merkmalsträger ist und wer nicht
5) Receiver Operating Characteristic (ROC)
Rock Kurve:
Graphiche Entshceidungshilfe für den besten Cut Off
Hohen Trennwert setzen: hohe spezifität, Sensitivität wird kleiner -> wenig falsch positive, mehr falsch negative (im klinischen aber lieber mehr
hoher Trennwert: Spezifität wird größer, mache weniger falsch positive Entscheidungen
gut geeignet für Eignungsdiagnostik (habe weniger ungeeignete Bewerber, selektiere aber auch mehr geeignete)
Klinische Psychologie: Nachteil, großer Anteil an Leuten die eigentlich krank sind werden nicht diagnostiziert (misstrauische Schwelle besser -> viele falch positive; -> mehre Verfahren anschließend zúm falach positive auszuselektieren)
Basisrate (Prävalenz) spielt hierbei keine Rolle
genauste Entscheidung in kurve: viele Wahr Positive, wenig falsch positive
oben rechts: extrem viele FP (will ich bei Spezifitöt nicht) habe aber auch viele wahr Positive -> hohe Sensitivität
Sensitivität: Sensitivität (1 beste Wert)
Spezifittät: 0 besser als 1
Hoher Trennwert = wenig falsch positive Entscheidungen
Diagonale = Rate WSK
je näher sich Rockkurve an Punkt oben links annähre -> genauste Entscheidung (Genauigkeit nimmt ab je weiter Kurve entfernt von Punkt)
5. Bedeutung der Basisrate am Beispiel Lügendetektion
Basisrate sehr gering, sensitivität auch gering
kommt oft zu richtigen Entscheidung, war Anteil der Personen die Merkmal tragen ist gering -> fast immer richjtige Entscheidun
Viele Leute die Merkmal haben, trotzdem hoher Trennwert: auch viele die FP sind (WSK, falsche Entscheidung zu treffen ist höher)
klinisches Bsp.: Wenn eine KH übersehen wird, ist das schlimmer (neidrigere Schwelle besser)
Bei Eignungsdiagnostik: Möchten fp Fehler vermeiden -> strengere Schwelle
Anmerkungen Fragestunde:
Fragen
Was bedeutet „Basisrate“? Welche Konsequenzen hat ihre Berücksichtigung?
Welche Konsequenz hat die Berücksichtigung?
Erhöhung: je höher die BR, desto höher ist der positive Prädiktionswert (also das geeignete Person auch gewählt wird -> positiver Prädiktionswert fällt höher aus)
Taylor Russel: Vorrausetzung zur Effizienz der Entsch.: hohe Basisrate, niedrige Selektionsrate
positiver Prädiktionswert (selektive Eignungsquotient -> erhöht sich mit höheren Prävalenzrate)
hohe Basisrate: großer Pool an leuten die geeignet sind
niedrige Selktionsrate: Anteil der auszulesenden, die ich nehme im Verhältnis zu allen
Bsp.: habe 200 Bewerber für Job und kann 20 auswählen (positiver 20 von 200 auszuwählen als 20 von 100) -> was den Cut off (Trennwert) angeht ist das besser
hohe Basisrate: gibt viele geeignete für den Job
Welche Rolle spielt die Setzung des Trennwerts (cut-off) bei welcher Fragestellung?
Bilden Sie ein Beispiel für eine Receiver-Operating Characteristic mit unterschiedlicher Sensitivität und Spezifität!
Last changed10 months ago