2 Lerntheory

1. Antwort: Lernen kann als ein Optimierungsprozess beschrieben werden, bei dem es darum geht, den Fehler zwischen den Vorhersagen eines Modells und den tatsächlichen Daten zu minimieren.

1. Antwort: Ockham's Razor bevorzugt einfachere Modelle gegenüber komplexeren, wenn beide die Daten gleich gut erklären, da einfachere Modelle tendenziell besser generalisieren.

1. Antwort: Ein Lernsystem wird durch den Hypothesenraum, die Lernmethode und die Optimierung der Fehlerfunktion definiert, um die optimale Hypothese zu finden.

1. Antwort: Zu den Herausforderungen gehören die Wahl des Hypothesenraums, der Lernmethode, der Optimierungstechnik und der Fehlerfunktion sowie die Definition einer guten oder optimalen Hypothese.

1. Antwort: Durch die Minimierung der Kostenfunktion, basierend auf einem Trainingsdatensatz, um die Differenz zwischen den Vorhersagen des Modells und den tatsächlichen Werten zu verringern.

1. Antwort: Zu den Verlustfunktionen gehören die Fehlklassifizierung, der absolute Fehler, der quadratische Fehler und die Kreuzentropie.

1. Antwort: Es ist ein Ansatz, bei dem das Risiko (Verlust) über einen empirischen Datensatz minimiert wird, anstatt über die gesamte unbekannte Verteilung.

1. Antwort: Trainingsdaten werden zum Lernen verwendet, Validierungsdaten zur Hypothesenbewertung und Testdaten zur endgültigen Bewertung des Modells.

1. Antwort: Overfitting tritt auf, wenn ein Modell zu komplex ist und die Trainingsdaten zu genau lernt, während Underfitting auftritt, wenn das Modell zu einfach ist und die Daten nicht ausreichend lernt.

1. Antwort: Overfitting kann durch Beobachtung der Trainings- und Validierungsfehler erkannt werden; es kann durch Methoden wie frühes Stoppen oder Verringerung der Modellkomplexität vermieden werden.

1. Antwort: Zu den Metriken gehören Genauigkeit, Fehlerquote, Präzision, Recall und der F1-Score.

Antwort: Boosting kombiniert mehrere "schwache" Modelle zu einem starken Modell, indem es sequenziell auf den Fehlern der vorherigen Modelle aufbaut

1. Die VC-Dimension misst die Kapazität eines Modells, verschiedene Datensätze zu klassifizieren, und hilft zu verstehen, wie gut das Modell generalisieren kann.

1. Antwort: Sie sucht nach einem Gleichgewicht zwischen Modellkomplexität (VC-Dimension) und Trainingsgenauigkeit, um das beste Generalisierungsvermögen zu erzielen.

1. Antwort: Sie zeigt, dass nach einem Punkt, an dem weitere Komplexitätzunächst die Testfehler sinkt, steigt bei hoher Komplexität wieder an (klassisches Overfitting), kann ein weiterer Komplexitätsanstieg den Testfehler erneut reduzieren, was eine Herausforderung für klassische statistische Modelle darstellt und noch nicht vollständig verstanden ist.

1. Lernen wird als Optimierungsprozess verstanden, bei dem ein Modell trainiert wird, um den Fehler zwischen Vorhersagen und tatsächlichen Daten zu minimieren.

1. Der empirische Fehler wird verwendet, da der reale Fehler aufgrund der unbekannten Verteilung der Daten in der Praxis nicht berechenbar ist.

1. Overfitting führt dazu, dass ein Modell zu gut an die Trainingsdaten angepasst ist und schlecht generalisiert, während Underfitting bedeutet, dass das Modell nicht genügend aus den Daten lernt.

1. Unter Hypothesenbewertung versteht man die Evaluation verschiedener Modelle anhand ihrer Leistung auf einem Validierungsdatensatz, um das beste Modell auszuwählen.

1. PAC steht für Probably Approximately Correct und ist ein Rahmenwerk, das angibt, wie gut ein Modell wahrscheinlich mit einer gewissen Näherung korrekt lernt.

1. Durch die Minimierung des empirischen Risikos und unter Berücksichtigung der VC-Dimension, um eine Schätzung des realen Fehlers zu erhalten.

1. Korrektes Lernen kann durch die Strukturelle Risikominimierung erfolgen, die ein Gleichgewicht zwischen Modellkomplexität und der Genauigkeit des Modells auf Trainingsdaten sucht.