Entscheidungsbäme

=> Verminderung der Schwächen durch Ensembles

=> Wenn jede Klasse keine gute Zuordnung haben, dann ist eine zufällige Zuordnung sinnvoller

=> Fehlklassifizierung wird eher seltener verwendet, weil es weniger Informationen beinhaltet

Wichtig: Es wird nicht die Version ausgerechnet, sondern die Distanzfunktion mit Hilfe der Version

Formel: Unreinheit des Elternknotens - Unreinheit des linken Knotens - Unreinheit des rechten Knotens

=> Basierend auf Statistik von Over und Underfitting, kann entschieden werden, wie viele Nodes genutzt werden sollten

Im Teilbaum muss nochmal die Entropie des Zielattributs für den Teilbaum berechnet werden -> Wirklich alle Schritte werden rekursiv wiederholt

=> Ist die gleiche Formel, wie für die Berechnung der Entropie bei Klassenunreinheit, es lässt sich auch der GINI oder die Fehlklassifizierung verwenden

=> Wird deswegen auch nicht für die Entscheidung zwischen den Klassen genutzt, sondern beispielsweise als Stoppkriterium, um die Bestimmung des Baumes, bei einer kleinen Änderung des Informationsgehalt zu ändern

Beispiel: Zeitaufwandschätzung von verschiedenen Personen

Varianz: viele Personen schätzen andere Zeiten

Verzerrungen: bestimmte Personen schätzen immer zu viel oder zu wenig

Irreduzibler Fehler kann nicht bestimmt werden, sodass wir den gesamten Fehler nicht ausrechnen können. Deswegen wird nur geschätzt.

=> Modelle sind Vereinfachungen der Wirklichkeit und damit falsch -> aber sie sind oft nützlich

Wenn jedes Modell besser als 50 % ist, dann verbessere ich die Vorhersagekraft deutlich

Schwierige Beispiele sind Datensätze, die nicht so leicht zu trennen und damit schwer richtig zugeordnet werden können.

Gibt an, wie wichtig einzelne Merkmale (Features) für die Vorhersage eines Modells sind. Beim Random Forest wird standardmäßig die Gini Importance genutzt: Sie misst, wie stark ein Feature zur Reduktion der Unreinheit (Impurity) beim Splitten beiträgt.

🔹 Berechnung: Je größer die durchschnittliche Verbesserung der Gini-Impurity durch ein Feature über alle Bäume, desto wichtiger ist es.

Idee: ich trainiere einen baum, belege die gewichte, dann nach diesem werden die gewichte verändert und ein neuer baum trainiert. Später werden Entscheidungen basierend auf den Bäumen und den Gewichtungen getroffen

Sie verbessern die Anpassung des Modells an die Trainingsdaten, man darf sie aber auch nicht zu hocheinstellen, damit kein Overfitting entsteht

max_depth = Tiefe des Baumes

n_estimator = Anzahl der Bäume

Werte werden immer in die Richtung des negativen Gradient der Verlustfunktion korregiert, um den Fehler zu minimieren