9 Neuronale Netze

Neuron = elektrisch erregbare Zelle, die mit Hilfe von elektrischen und chemischen Signalen Informationen aufnimmt, verarbeitet und weitergibt

·       Zellkern verarbeitet eigehende Signale, um Eingaben zu erzeugen

·       Nach Erreichen eines Schwellwertes feuert Neuron (Aktivierung) und das Signal wandert entlang des Axons zu anderen Neuronen

Künstliches Neuron:

Dendriten        : Eingänge

Synapse          : interne Verarbeitung

Axon                : Ausgang

Perzeptron = binärer Klassifizierer, der basierend auf Input x eine Vorhersage y treffen kann

Aufgabe: finde die Gewichte w­1 und w2 sodass gegeben den Inputs x1 und x2 eine korrekte Klassifikation zwischen richtig (1) und falsch (2) ermöglicht wird

wi = wi + ∆wi

·       𝜂 Lernrate

·       y wahrere Vorhersagewert

·        vom Perzeptron vorhergesagter Wert

—> Anlernen eines Perzeptrons = finden der optimalen Gewichtskonfiguration zur Problemlösung

Bias: notwendig, um Trenngeraden zu finden, die nicht durch den Ursprung gehen (ohne Bias geht jede Trenngerade durch Ursprung)

Neuron = Perzeptron mit unterschiedlichen Aktivierungs-funktionen

Multi-Layer-Perzeptron MLP = Netzwerk mit Eingangs- und Ausgangsschicht und mindestens einer verborgenen Schicht. Jede Schicht besteht aus mehreren Neuronen

Eingabeschicht:

·       Jedes Neuron hat nur einen Eingang

·       Meist lineare Aktivierungsfunktion

·       Verteilen Eingangswerte auf nächste Schicht

Verborgene Schicht(en):

·       Jedes Neuron mit allen Neuronen der Vorgängerschicht verbunden

·       Ausgabe berechnet sich aus Bias und gewichteten Summe der Ausgänge der Neuronen der vorherigen Schicht

Ausgabeschicht:

·       Ausgänge der Neuronen = Ausgang des Netzes

1.     Feed Forward: Gesamte Trainingsdatensazu wird durch das neuronale Netz propagiert und Vorhersagen des neuronalen Netzes berechnet

2.     Fehlerberechnung

Verlustfunktionen: bewerten Vorhersage eines NN durch Berechnung von Verlusten

·       Binäre Klassifikation: binäre Kreuzentropie: berechnet Vorhersagefehler für ein binäres Klassifikationsproblem (y=0/1):

·       Regression: mittlerer quadratischer Fehler MSE berechnet Fehler bei der Vorhersage einer kontinuierlichen Größe

3.     Gewichtsaktualisierung

Backpropagation: Lernmechanismus, der dem MLP ermöglicht, die Gewichtungen im Netzwerk iterativ anzupassen

Ziel: Gewichtungen durch Gradientenabstieg aktualisieren durch Berechnung des Gradienten der Verlustfunktion in Bezug auf die Gewichtungen des NN —> Iteration bis zur Konvergenz

Aktivierungsfunktionen: je nach Layer verwendet man andere Aktivierungsfunktionen —> Wahl der Funktion bestimmt, wie gut NN lernt & welche Art der Vorhersage getroffen wird

Softmax: gibt Vektor von Werten aus (zusammen addiert =1), Werte können als Wahrscheinlichkeit interpretiert werden

Nicht-Linearität kann nicht durch Stacking linearer Aktivierungsfunktion herbeigeführt werden

Verlustfunktionen

Für Multiklassen Klassifikation und Multilabel Klassifikation verwendet man als Verlustfunktion die „Kreuzentropie“

• Verallgemeinerung der binären Kreuzentropie

• Mehrere Klassen möglich

• Vergleicht die prognostizierte Wahrscheinlichkeitsverteilung des Modells mit reellem Datensatz