7 Support Vector Machines

• Der wahre Fehler eines Lernsystems L(hθ)L(hθ​) wird durch den empirischen Fehler L^(hθ)L^(hθ​) plus einem Term, der von der VC-Dimension des Systems und der Anzahl der Lerninstanzen abhängt, nach oben beschränkt.

• Die VC-Dimension sollte möglichst klein und die Anzahl der Lerninstanzen möglichst groß sein, um die Genauigkeit der Schätzung zu verbessern.

• Der Lernerfolg hängt ab von der Kapazität des Lernsystems, der Güte des Optimierungsverfahrens und der Menge und Repräsentativität der Lerninstanzen.

Antwort:

• Das Grundprinzip einer linearen SVM ist die Klassifikation von Datenpunkten durch das Finden der optimalen Trennlinie, auch Hyperplane genannt, die die Klassen mit dem größtmöglichen Abstand, dem Margin, trennt.

• Die Intuition dahinter ist, dass ein größerer

Margin zwischen den Klassen eine bessere Generalisierungsfähigkeit des Modells ermöglicht und somit die Performance auf unbekannten Daten verbessert.

• Support Vektoren sind jene Datenpunkte eines Trainingsdatensatzes, die am nächsten an der Entscheidungsgrenze liegen und direkt die Position der optimalen Hyperplane beeinflussen. Würden sie entfernt, würde sich die Lage der Hyperplane ändern.

• Sie sind die "schwierigsten" zu klassifizierenden Datenpunkte, weil sie am nächsten an der Klassengrenze liegen und somit für die Definition der Grenze entscheidend sind.

Antwort 1:

• Soft Margin SVM erlaubt bewusst eine geringe Anzahl von Fehlklassifikationen, um einen größeren Margin zu ermöglichen und dadurch die Generalisierungsfähigkeit des Modells zu erhöhen.

Antwort 2:

• Es werden Schlupfvariablen ξiξi​ für jeden Datenpunkt xixi​ eingeführt, die anzeigen, wie weit und ob ein Datenpunkt auf der falschen Seite des Margins liegt. Ein ξiξi​ von über 1 bedeutet eine Fehlklassifikation.

Antwort 3:

• Die generalisierte optimale Hyperplane wird durch Minimierung einer Funktion bestimmt, die sowohl die Breite des Margins als auch die Fehlklassifikationen (mittels der Schlupf

variablen ξiξi​) berücksichtigt.

• Der Regularisierungsparameter C steuert das Gleichgewicht zwischen Margin-Größe und Fehlerpenalität: Ein großes C führt zu einer strengeren Bestrafung von Fehlklassifikationen, während ein kleines C diese weniger stark gewichtet.

• Der Kernel-Trick ist eine Methode in SVMs, die es ermöglicht, nicht-lineare Trennflächen zu finden, indem Datenpunkte in einen höherdimensionalen Raum projiziert werden, ohne die Projektion explizit durchzuführen.

• Durch den Einsatz einer Kernel-Funktion, die das Skalarprodukt in diesem höherdimensionalen Raum berechnet, können komplexere Muster erkannt werden, ohne die rechenintensive Transformation und das Produkt direkt zu berechnen.

• Der Vorteil des Kernel-Tricks liegt in der erheblichen Reduzierung des Rechenaufwands, da nicht-lineare Beziehungen in den Daten effektiv modelliert werden können, ohne die Daten explizit in einen höherdimensionalen Raum zu transformieren. Dies macht es möglich, komplexere Klassifikatoren wie SVMs effizient auf größere und komplexere Datensätze anzuwenden

• Gesichtserkennung

• Traffic Sign recognition

• Detection of traffic areas

• Weather classification

• Action detection

Vorteile:

• Finden der optimalen Hyperplane sorgt für gute Ergebnisse.

• Geeignet für die Verarbeitung hochdimensionaler Daten mit schneller Auswertung.

• Anwendungsspezifische Kerneleinstellungen ermöglichen Flexibilität.

• SVMs werden in verschiedenen Anwendungen eingesetzt, darunter Klassifikation, Regression und Hauptkomponentenanalyse (PCA).

• Sie bieten einen probabilistischen Blickwinkel, was sie für semi-überwachtes Lernen nützlich macht.

Nachteile:

• Erfordern externe Vorverarbeitung der Daten und bieten kein "tiefes" Lernen.

• Das Finden des optimalen Kernels und dessen Parametrisierung sind noch offene Forschungsfragen.

• Sie können speicher- und rechenintensiv sein, besonders beim Training mit großen Datensätzen.

• Die Anzahl der Support Vektoren hängt vom Problem und den Parametern ab, obwohl fortgeschrittene Ansätze verfügbar sind.