1- Was ist Klassifikation?
Klassifikation ist die Einteilung in vorgegebene Klassen:
Objekte unbekannter Gruppenzugehörigkeit werden einer bekannten Menge an Gruppen zugeordnet.
- Zuordnung über eine Entscheidungsfunktion oder Regel, die mit bekannten Daten trainiert wird
- Grundlage: gelabelte Daten (Supervised Learning), diskrete Anzahl an Klassen
2 - Was ist ein Entscheidungsbaum und wie entsteht er?
Ein Entscheidungsbaum ordnet ein Objekt über eine Folge von Merkmalsabfragen (Entscheidungsknoten) einer Klasse zu.
- entsteht z. B. mit dem ID3-Algorithmus („Iterative Dichotomiser 3“)
- je Schritt wird das Merkmal mit minimaler Entropie bzw. maximalem Informationszuwachs als Knoten gewählt.
3 - Erläutern Sie, wie der ID3-Algorithmus funktioniert.
Kernidee: ID3 baut einen Entscheidungsbaum wie beim Spiel „Wer bin ich?“.
Man stellt immer zuerst die Frage, die die meisten Möglichkeiten auf einmal ausschließt. Welche Frage das ist, entscheidet der Informationsgewinn.
Formalisiert: Entropie = Größe der Unordnung
Entropie der Daten berechnen, also wie durchmischt die Klassen sind.
Für jedes Merkmal die Daten probeweise aufteilen und den Informationsgewinn berechnen.
Das Merkmal mit dem höchsten Informationsgewinn wird zum Knoten.
Für jeden Ast rekursiv wiederholen, bis die Gruppen rein sind bzw. alle Merkmale im Baum stehen.
4 - Wie funktioniert die k-nächste-Nachbarn-Methode?
Die k-Nearest-Neighbor-Methode klassifiziert: Ein neuer Datenpunkt bekommt die Klasse, die unter seinen k nächsten Nachbarn am häufigsten vorkommt.
Abstand zu Nachbarn (euklidisch) bestimmen
Die k-nächsten Auswählen
Mehrheitsentscheid: Häufigste Klasse unter den k Nachbarn wird wahrscheinlich Klasse des neuen Punkts
- bei geradem k ist ein Unentschieden möglich; k wird über Heuristiken gewählt („Ellenbogen-Methode“)
Quelle: 4_Classification_2026.pdf, Folie 10
5 - Wie werden Wahrscheinlichkeiten in der Klassifikation eingesetzt (Naive-Bayes-Klassifikator)?
Der Naive-Bayes-Klassifikator ordnet ein Objekt der Klasse zu, die anhand seiner beobachteten Merkmale am wahrscheinlichsten ist (Bayes-Theorem).
Klassifikator kennt aus Trainingsdaten die Häufigkeit von Klassen.
beobachtet Markmale z.B. ob Mail Spam ist, indem es Eigenschaften unabhängig voneinander prüft (naiv weil unabhängig Annahme)
Jedes Merkmal wird einzeln bewertet, Ergebnisse multipliziert
Merkmale Spam: 1. Absender unbekannt, 2. Anhang in Mail
Beispiel Spam: x = (Absender unbekannt, Anhang) → P(Spam∣x) = 0,76, kein Spam = 0,24 => ist Spam
Quelle: 4_Classification_2026.pdf, Folie 11
6 - Was ist die Idee hinter Support Vector Machines und dem Kernel-Trick?
Eine SVM trennt Klassen durch eine Hyperebene und wählt die mit dem größten Abstand (Maximum Margin) zu beiden Klassen. Bei n Merkmalen ist die Hyperebene (n−1)-dimensional.
Der Kernel-Trick gilt für nicht linear separierbare Daten:
Die Daten werden über x ↦ φ(x) in einen Raum mit zusätzlicher Dimension transformiert, in dem sie linear trennbar sind.
Beispiel: φ(x) = x².
7 - Wie kann die Klassifikation mit Ensemble Learning verbessert werden (Bagging, Boosting)?
Mehrere schwache Klassifikatoren werden zu einem starken kombiniert; das reduziert Overfitting, Bias und Varianz.
Bagging (parallel): Bootstrap-Stichproben (Ziehen mit Zurücklegen), Modelle lernen unabhängig, Ergebnisse werden kombiniert. Beispiel: Random Forest.
Boosting (sequentiell): Modelle lernen nacheinander; nach jeder Fehlklassifikation werden die Gewichte angepasst. Ergebnis: f(x) = Σ αₜ · hₜ(x).
8 - Nennen Sie Beispiele für Klassifikation im Alltag.
Klassifikation steckt z. B. im Spam-Filter.
- Taxonomie im Tierreich
- Kreditkartenbetrug
- Medizinische Diagnose
- Spam-Filter
Last changed2 days ago
