Was ist eine Konfussionmatrix
Was Bedeutet TP, TN, FP und FN
Wie lassen sich die Werte True Positiv, True Negativ, False Positiv und False Negativ aus einer Konfussionmatrix berechnen ?
Metriken für die Bewertung von Klassifikatoren
Accurarcy, Precision, Recall, Specificity
F- Score
Was ist eine Konfussionmatrix ?
Eine Konfusionsmatrix ist eine Matrix oder Tabelle, die Auskunft darüber gibt, wie genau ein Klassifizierungsalgorithmus bei der Klassifizierung eines Datensatzes ist. Eine Konfusionsmatrix ist also eine Methode, um die Leistung eines Klassifizierungsalgorithmus zu bewerten. Eine Konfusionsmatrix für eine binäre Klassifikation hat die 4 Felder TP, TN, FP und FN. Die Spalten bilden die Realen bzw wahren Klassen und die Zeilen die erkannten Klassen.
Quelle: https://databasecamp.de/ki/konfusionsmatrix#:~:text=Die%20Konfusionsmatrix%20(auch%20Wahrheitsmatrix%20oder,f%C3%A4lschlicherweise%20einer%20Klasse%20zugeordnet%20wurden.
Beispiel aus BA Reblin 2023
Was bezeichnet der Begriff True Positive
Das Ergbniss einer Klassifikation ist True Positive wenn die Klasse des Datenpunktes mit der erkannt Klasse übereinstimmt
Weiter Def:
True Positive (TP): Sowohl die Vorhersage als auch der tatsächliche Wert sind positiv.
Beispiel: Eine kranke und eine erwartete(positiv getestete) kranke Person.
(https://datascientest.com/de/confusion-matrix)
Was bedeutet Ture Negativ ?
Das vorhergesagte Erbenis einer Klassifikation entspricht nicht einer definierte Klasse und hat diese Klasse auch nicht
True Negative (TN): Die Vorhersage und der tatsächliche Wert sind negativ.
Beispiel: Eine gesunde Person und eine geplante gesunde Person.
Was bezeichnet der Begriff False Positiv ?
Das Ergeniss eines Klassifikationsalgo ist positive, aber das Prüfobjket entspricht nicht der Klasse
Bsp. Ein Heiler Stein der als Defekt Klassifiziert wird
False Positive (FP): Die Vorhersage ist positiv, während der tatsächliche Wert negativ ist.
Beispiel: Eine gesunde Person und eine per Test kranke Person.
Was bezeichnet der Begriff False Negativ
Das Ergebnis einer Klassifikation ist negativ ob wohl das Prüfobjekt der Klasse entspricht,
Bsp Ein Defekter Stein wird als Heile Klassifiziert
False Negative (FN): Die Vorhersage ist negativ, während der tatsächliche Wert negativ ist.
Beispiel: Eine kranke und eine geplante gesunde Person.
Was ist der Recall einer Klassifikation ?
Recall oder Sensitivity oder True Positive Rate (TPR) oder Entdeckungswahrscheinlichkeit ist das Verhältnis zwischen den richtigen positiven Vorhersagen (TP) und den gesamten positiven Vorhersagen (d.h. TP und FN).
R = TP/(TP + FN)
Recall ist das Maß für die Anzahl der korrekten positiven Ergebnisse im Verhältnis zur Anzahl der möglichen positiven Ergebnisse. Ein höherer Recall-Wert bedeutet, dass es weniger falsch-negative Ergebnisse gibt, was gut für den Algorithmus ist. Verwenden Sie Recall, wenn es wichtig ist, die falsch-negativen Ergebnisse zu kennen. Wenn zum Beispiel eine Person mehrere Verstopfungen im Herzen hat und das Modell zeigt, dass es ihr absolut gut geht, könnte sich dies als tödlich erweisen
Was ist die Precision einer Klassifikation ?
Die Präzision ist das Maß für die richtigen positiven Ergebnisse im Verhältnis zu allen vorhergesagten positiven Ergebnissen, einschließlich der echten und falschen positiven Ergebnisse.
Pr = TP/(TP + FP)
Die Präzision ist sehr wichtig, wenn die falsch-positiven Ergebnisse zu groß sind, um ignoriert zu werden. Zum Beispiel, wenn eine Person nicht an Diabetes leidet, das Modell dies aber anzeigt und der Arzt bestimmte Medikamente verschreibt. Dies kann zu schweren Nebenwirkungen führen.
Was beschreibt der F1 Score ?
Manchmal ist es schwierig, zwei Klassifizierer (Modelle) nur anhand von Precision und Recall zu vergleichen, die lediglich arithmetische Mittelwerte einer Kombination aus den vier Rastern sind. In solchen Fällen können wir den F-Score oder F1-Score verwenden, der das harmonische Mittel darstellt – das genauer ist, weil es bei extrem hohen Werten nicht zu stark schwankt. Ein höherer F-Score (maximal 1) weist auf ein besseres Modell hin.
F-Score = 2*Präzision*Recall/ (Recall + Präzision)
Wenn es wichtig ist, sowohl Falsch-Positive als auch Falsch-Negative zu berücksichtigen, ist der F1-Score eine gute Kennzahl. So müssen beispielsweise diejenigen, die nicht Covid-positiv sind (obwohl der Algorithmus dies gezeigt hat), nicht unnötig isoliert werden. Genauso müssen diejenigen, die Covid-positiv sind (aber der Algorithmus sagte, dass sie es nicht sind), isoliert werden.
Was beschreibt die Accuracy ?
Die Genauigkeit ist die Anzahl der richtigen Vorhersagen im Verhältnis zur Gesamtzahl der Vorhersagen. Wenn Sie also aus einer Stichprobe von 50 Werten 20 positive und 10 negative Werte richtig erkannt haben, beträgt die Genauigkeit Ihres Modells 30/50.
Genauigkeit A = (TP + TN)/(TP + TN + FP + FN)
Was beschreibt die Specificity ?
Die Spezifität oder True Negative Rate (TNR) ist der Anteil der korrekt negativen Ergebnisse an allen Ergebnissen, die negativ hätten sein können.
S = TN/(TN + FP)
Sie ist ein Maß dafür, wie gut Ihr Klassifikator die negativen Werte identifiziert.
Last changed7 months ago
