3 - Optimization

Follow the slope step by step.

Probleme beim Full Batch Gradient Descent:

• Rechenintensiv: Full Batch Gradient Descent berechnet den Gradienten für den gesamten Datensatz bei jedem Schritt, was bei großen Datensätzen sehr rechenintensiv und zeitaufwendig ist.

• Speicherbedarf: Erfordert viel Speicher, da alle Trainingsdaten gleichzeitig verarbeitet werden müssen.

• Langsame Konvergenz: Kann zu einer langsamen Konvergenz führen, da das Modell in kleinen Schritten optimiert wird, was die Suche nach dem Minimum verlangsamen kann.

Lösung mit Stochastic Gradient Descent (SGD):

• Zufällige Auswahl: SGD verwendet eine zufällige Stichprobe (einzelne Datenpunkte oder Mini-Batches) anstelle des gesamten Datensatzes, um den Gradienten zu berechnen. Dies reduziert den Rechenaufwand erheblich.

• Schnellere Updates: Da SGD den Gradienten häufig aktualisiert, kann das Modell schneller auf die Trainingsdaten reagieren und Konvergenz schneller erreichen.

• Bessere Exploration: Durch die zufällige Auswahl von Trainingsdaten kann SGD das Modell dazu bringen, besser durch den Parameterraum zu „wandern“, was hilft, lokale Minima zu vermeiden und das globale Minimum zu finden.

Very slow progress along shallow dimension, jitter along steep direction

Zero gradient, gradient descent gets stuck —> Lokal minimum

can be noisy due to minibatches

Standard Momentum: Berechnet den Gradienten an der aktuellen Gewichtsposition, was zu Schwankungen in schmalen Minima führen kann.

Nesterov Momentum: Macht einen kleinen Schritt in Richtung des vorherigen Momentum-Terms, bevor der Gradient berechnet wird. Dadurch wird der Gradient an einer vorhergesagten Position der Gewichte evaluiert.

Vorteile von Nesterov Momentum:

Bessere Anpassung: Nutzt die Gradienteninformation effizienter und beschleunigt die Konvergenz.

Weniger Schwankungen: Führt zu stabileren und schnelleren Updates.

• Adaptive Lernraten: AdaGrad passt die Lernrate für jedes Gewicht basierend auf der Häufigkeit der Aktualisierungen an, sodass häufig aktualisierte Gewichte eine kleinere Lernrate erhalten.

• Akumulierung der Gradienten: Speichert die Summe der Quadrate der Gradienten, um die Lernrate dynamisch anzupassen.

Probleme, die gelöst werden:

• Dynamische Anpassung: Ermöglicht eine effektivere Konvergenz, indem die Lernrate während des Trainings angepasst wird.

• Bessere Handhabung seltener Merkmale: Seltene Merkmale werden nicht durch häufige Merkmale verdrängt.

• Minimierung der Überanpassung: Hilft, häufige Merkmale weniger dominant zu machen.

Nachteil: Die Lernrate kann im Laufe der Zeit zu stark abnehmen, was die Konvergenz verlangsamt.

RMSProp:

• Ziel: Entwickelt, um die schnelle Abnahme der Lernrate von AdaGrad zu beheben.

• Adaptive Lernraten: Passt die Lernrate für jedes Gewicht an, verwendet jedoch einen gleitenden Durchschnitt der Quadrate der Gradienten statt einer kumulierten Summe

• Zusätzliche Hyperp. zur Steuerung der Lernrate

Vorteile:

• Stabilität: Verhindert eine zu schnelle Abnahme der Lernrate.

• Effektive Konvergenz: Fördert schnellere und robustere Konvergenz, besonders in nichtstationären Problemen.

Unterschiede von Adam:

1. Kombination von RMSProp und Momentum: Nutzt adaptive Lernraten und Momentum.

2. Adaptive Lernraten: Berechnet gleitende Durchschnitte für Gradienten und deren Quadrate.

3. Bias-Korrektur: Reduziert Verzerrungen in den ersten Schritten.

   
   

1. Tracks first moments (Momentum):

   • Nutzt eine Art „Speicher“ für die vorherigen Gradienten, um die Richtung der Gewichtsaktualisierungen zu stabilisieren und schneller zu lernen.

2. Tracks second moments (Adaptive learning rates):

   • Passt die Lernrate an, je nachdem, wie oft die Gewichte aktualisiert wurden. Dadurch lernen weniger häufig aktualisierte Gewichte schneller.

3. Leaky second moments:

   • Dies bedeutet, dass der Algorithmus einen gleitenden Durchschnitt der zweiten Momente verwendet, was die Stabilität erhöht und die Lernrate flexibler macht.

4. Bias correction for moment estimates:

   • Verbessert die Schätzungen der ersten und zweiten Momente, besonders zu Beginn des Trainings, um genauer zu lernen.

Erklärung der Algorithmen:

• SGD (Stochastic Gradient Descent):

  • Der einfachste Algorithmus. Er hat keine der oben genannten Funktionen und kann daher langsamer konvergieren.

• SGD + Momentum:

  • Verwendet Momentum, um schneller zu lernen, aber keine adaptiven Lernraten.

• Nesterov:

  • Ähnlich wie SGD + Momentum, aber es „schaut“ ein bisschen in die Zukunft, um bessere Aktualisierungen vorzunehmen.

• AdaGrad:

  • Passt die Lernrate an, aber nutzt kein Momentum und keine Bias-Korrektur.

• RMSProp:

  • Nutzt adaptive Lernraten und Leaky second moments, aber keine Bias-Korrektur.

• Adam:

  • Kombiniert alle vier Funktionen, was ihn zu einem der besten Algorithmen für das Training von neuronalen Netzwerken macht.

1. chnellere Konvergenz: Beschleunigt das Lernen durch Verstärkung der Bewegungsrichtung basierend auf vorherigen Aktualisierungen.

2. Reduzierung von Oszillation: Verringert Schwankungen um das Minimum und sorgt für stabilere Updates.

3. Überwindung von lokalen Minima: Hilft, lokale Minima zu überwinden und verbessert die Erkundung des Parameterraums.

4. Effektivere Nutzung des Gradienten: Speichert vorherige Gradienten, was präzisere und schnellere Updates ermöglicht.

Momentum und eigentlicher Step werden kombiniert auf Gewichte angewendet

Adamw

1. Entkopplung der Gewichtsnormierung:

   • AdamW trennt die Gewichtsnormierung (Weight Decay) von der Optimierung. Anstatt die Regularisierung als Teil der Optimierung zu behandeln, wird sie direkt auf die Gewichte angewendet. Dies sorgt für eine genauere Kontrolle über den Einfluss der Regularisierung.

2. Verbesserte Regularisierung:

   • Durch die Entkopplung der Gewichtsnormierung können die Lernrate und der Gewichtsnormierungsfaktor unabhängig voneinander optimiert werden, was zu einer besseren Generalisierung führt.

3. Stabilere Konvergenz:

   • AdamW führt zu einer stabileren Konvergenz, insbesondere bei großen und komplexen Modellen, da die Regularisierung gleichmäßiger auf alle Gewichte angewendet wird.

4. Bessere Performance:

   • In vielen Fällen zeigt AdamW eine verbesserte Leistung im Vergleich zu Adam, insbesondere in Bezug auf die Generalisierung auf Testdaten und die Vermeidung von Überanpassung (Overfitting).