Was sind die Lernziele der Vorlesung?
Welche 5 Metriken wurden in der Klassifikation und welche 3 in der Regression in der Vorlesung behandelt?
Was ist eine Confusion Matrix und welche Rolle spielt sie bei der Bewertung von Klassifizierungsmodellen?
Welche 4 Ergebnisklassen gibt es?
Confusion Matrix:
NxN-Matrix zur Leistungsbewertung von Klassifizierungsmodellen.
N: Anzahl der Zielklassen.
Vergleich von tatsächlichen Werten (actual) mit vorhergesagten (predicted).
Gutes Modell: Hohe Raten von TP (True Positives) und TN (True Negatives), niedrige FP (False Positives) und FN (False Negatives).
Besonders nützlich bei unausgewogenen Datensätzen.
Wie berechnet man die Accuracy/Genauigkeit und welche Arten für Klassen ist es nicht geeignet?
Accuracy:
Verhältnis zwischen der Anzahl der richtigen Vorhersagen und der Gesamtzahl der Vorhersagen.
Nicht für unausgewogene Klassen
Wenn Modell bei unausgewogenen Daten vorhersagt, dass jeder Punkt der Mehrheitsklasse zuzuordnen ist, wird Genauigkeit hoch sein, aber das Modell ist nicht genau
Wie wird Precision/Präzision berechnet?
Maß für Korrektheit, die bei Vorhersage erreicht wird
Sie gibt an, wie viele Vorhersagen tatsächlich positiv sind, gemessen an der Gesamtzahl der positiven Vorhersagen.
Geeignet, wenn FP Ergebnisse ein größeres Problem darstellen als FN
Wie wird Recall/Sensitivität/Total Positive Rate berechnet?
Maß für tatsächliche Beobachtungen, die korrekt vorhergesagt werden
(Sie gibt an, wie viele Beobachtungen der positiven Klasse tatsächlich als positiv vorhergesagt werden.)
Geeignet, wenn möglichst viele positive Ergebnisse erfasst werden sollen
Was ist der F1-Score?
F1-Score: harmonsiche Mittel aus Precision und Recall —> reagiert nicht auf Extremwerte
Wenn versucht wird, Precision zu erhöhen, sinkt Recall-Wert; und umgekehrt
Wenn Precision niedrig, F1 niedrig; wenn Recall niedrig, F1 niedrig
Wichtig, wenn kein klare Präferenz für Precision oder Recall besteht.
Sollte hoch sein (am besten 1
Was versteht man unter der Receiver Operating Characteristic (ROC) in der Modellbewertung und welche Vor - und Nachteile hat es?
ROC ist eine grafische Darstellung zur Bewertung von Klassifizierungsmodellen.
Zeigt TPR (Recall) gegen FPR für verschiedene Schwellenwerte.
TPR (y-Achse): Anteil richtig positiv klassifizierter Fälle.
FPR (x-Achse): Anteil fälschlicherweise positiv klassifizierter Fälle.
Ideal: Hohe TPR und niedrige FPR (Kurve nahe linker oberer Ecke).
Je höher der Schwellenwert, desto konservativer das Modell (weniger falsch Positive).
Perfektes Modell: Keine Überlappung, Kurve in linker oberer Ecke.
Pro
Contra
Modelle/ Merkmalssätze können grafisch verglichen werden, damit kann leistungsfähigstes Modell ermittelt werden
Tatsächliche Entscheidungsschwellen werden im Diagramm nicht angezeigt
Bestimmung des optimalen Schwellenwerts (cut-off value) möglich
Mit abnehmenden Stichprobenumfang wird Diagramm zackiger
Robust gegen Ungleichgewicht der Klassen
Berechnung ohne spezielle Software aufwendig
Nicht für Mehrklassenprobleme geeignet
Eindeutige Metrik zur Quantifizierung der Kurve und Vergleich von zwei Modellen notwendig
Nenne 2 Vor - und Nachteile hat das ROC?
Was bedeutet die Area under the Curve (AUC) im Kontext der Klassifizierungsmodell-Evaluation?
AUC ist das Integral der Fläche unter der ROC-Kurve.
Misst Modellleistung über alle Klassifizierungsschwellenwerte.
Modellunabhängigkeit vom Schwellenwert.
Zeigt, wie gut Modell Klassen unterscheidet: höherer AUC-Wert = besseres Modell.
Wertebereich zwischen 0 und 1.
Kein direkter Zusammenhang mit Genauigkeit oder Sensitivität.
Gut für ungleichgewichtige Klassen.
Was ist der Gini-Koeffizient und
Gini-Koeffizient: Aussagekräftigere Form der AUC, reicht von -1 bis 1.
Berechnung:
Perfektes Modell: Gini = 1, AUC = 1 (alle Vorhersagen korrekt).
Imperfektes Modell: Gini = 0, AUC = 0,5 (keine Unterscheidung besser als Zufall).
Perfektes Umkehrmodell: Gini = -1, AUC = 0 (alle Vorhersagen falsch, aber umkehrbar).
Ist geeignet für Klassifizierungsprobleme mit einem Ungleichgewicht der Klassen
Was beschreibt der Log-loss Score in der Bewertung von Klassifizierungsmodellen?
Log-loss Score (Log-Verlust/ Kreuz-Entropie-Verlust):
Log-loss misst Durchschnitt der logarithmierten Zielklassenwahrscheinlichkeiten.
Zeigt Konfidenz des Modells in seine Vorhersagen —> Maß für Modellleistung
Niedriger Log-loss weist auf höhere Modellgenauigkeit hin.
Perfektes Modell: Log-loss von 0 (vollständige Sicherheit in Vorhersagen).
Nicht-perfektes Modell: höherer Log-loss (Unsicherheit in Vorhersagen).
Wird zur Schwellewert-Auswahl und Modellvergleich verwendet
Klausurfrage: Erläutern Sie die Anwendung einer Confusion Matrix zur Evaluation eines Machine Learning Modells am Beispiel eines prädiktiven Wartungssystems für Produktionslinien, das Long Short-Term Memory (LSTM) Netzwerke nutzt.
Prädiktives Wartungssystem: Nutzt LSTM zur Analyse von Schweißprozessdaten.
Ziel: Erkennen fehlerhafter Schweißverbindungen ohne manuelle Nachprüfung.
Confusion Matrix: Bewertet die Leistung des LSTM-Modells.
Daten: Trennung in Trainings- und Testdaten, letztere für Evaluierung.
Evaluation:
Einteilung der Schweißverbindungen in Klassen: "unter", "normal", "über".
Confusion Matrix zeigt die Anzahl korrekter und falscher Vorhersagen.
Wichtig für die Beurteilung der Klassifikationsgenauigkeit des Modells.
Ergebnis: Confusion Matrix verdeutlicht, dass LSTM-Modell 99,2% der Testdaten korrekt klassifiziert, mit einer Fehlerquote von nur 0,8%.
Neues Them: Regression
Welche drei Regressionsarten wurden in der Vorlesung besprochen?
Gib von allen drei Regressionsarten die Formel und Vor - und Nachteile an.
MSE: Mittelwert quadratischer Fehler zwischen Vorhersagen und Zielwerten.
Root Mean SquaredError (RMSE)(de. mittlerer quadratischer Wurzelfehler) ist die Quadratwurzel des Mittelwerts der quadratischen Differenz zwischen Modellvorhersage und Zielwert
R2Score (R squared, R-Quadrat, Bestimmtheitsmaß,Determinationskoeffizient) ist ein Maß für die erklärte Varianz eines Modells.
Ein Wert von 1 steht für eine perfekte Anpassung.
Ein Wert von 0 für eine schlechte Anpassung.
Last changed9 months ago
