1 - Was ist Deep Learning?
Deep Learning wird mit neuronalen Netzen modelliert. Die Besonderheit sind viele Hidden Layers (Deep Neural Network).
Wie beim ML: aus Trainingsdaten lernen, dann für neue Eingaben einen Output liefern; gelernt wird über eine Lernregel.
Viele Schichten bringen eigene Probleme, die im Deep Neural Network gelöst werden.
Deep Learning ist Teil von künstlichen neuronalen Netzen
2 - Nach welchem Vorbild ist ein künstliches neuronales Netz aufgebaut?
Nach dem Gehirn: KNN sind der Informationsverarbeitung des Gehirns nachempfunden.
Neuron = Nervenzelle
Neuronen sind über gewichtete Verbindungen in Schichten verknüpft: Input Layer, Hidden Layer, Output Layer.
3 - Wie ist ein künstliches Neuron aufgebaut?
Propagierungsfunktion - gewichtete Funktion aller EIngänge
Aktivierungsfunktion - berechnet aus Netzeingabe Aktivitätslevel des Neurons -> trifft Entscheidung
4 - Welche Funktionen werden häufig für die Realisation der Aktivierungsfunktion verwendet?
Linear (Identität): y = x
Schwellwertfunktion: y = 1 für x ≥ 0, sonst 0
Logistische Funktion (Sigmoid): y = 1 / (1 + e^(−x))
Tangens hyperbolicus: y = tanh(x)
5 - Wie lernt ein neuronales Netz, und worin ist sein Wissen gespeichert?
Lernen bedeutet Veränderung der Gewichte zwischen den Neuronen. Wie das geschieht, gibt die Lernregel vor:
Delta-Regel (Gradientenabstieg) für einschichtige Netze
Backpropagation für mehrschichtige Netze
Hebb Regel kann alle lernarten
Ablauf: Gewichte initialisieren, Input eingeben, Fehler zum Sollwert berechnen, Gewichte anpassen, für alle Trainingsdaten wiederholen, bis der Fehler im Toleranzbereich liegt.
Das Wissen ist in den Gewichten gespeichert.
6 - Was ist die Lernrate?
Die Lernrate α (0 < α ≤ 1) legt fest, wie stark sich die Gewichte in einem Iterationsschritt ändern:
zu hoch: Der Output pendelt um die Lösung und konvergiert nicht.
zu klein: Die Gewichte stellen sich nur sehr langsam ein, die Lösung wird nicht erreicht.
7 - Was ist ein einschichtiges, was ein mehrschichtiges Perzeptron und welche Grenze hat das einschichtige?
Einschichtiges Perzeptron: einfachstes neuronales Netz, Feed-forward ohne Hidden Layer, trainiert mit der Delta-Regel
Mehrschichtiges Perzeptron: Feed-forward mit Hidden Layer(n), trainiert mit Backpropagation
Grenze: Einschichtige Netze können nur linear trennbare Klassen lösen. Die meisten praktischen Probleme sind nicht linear trennbar
8 - Wann verwende ich die Softmax-Funktion als Aktivierungsfunktion?
Wenn mehrere Neuronen in der Output Schicht -> dann Softmax als als Aktivierungsfunktion der Output Schicht
9 - Nennen Sie Beispiele für die Anwendung von neuronalen Netzen
Besonders geeignet für Bilderkennung und Spracherkennung. Beispiele:
selbstfahrende Autos
Gesichtserkennung
Schrifterkennung (z. B. bei der Post)
Übersetzer (z. B. Google Translate)
10 - Vor - und Nachteile von neuronalen Netzwerken?
Vorteil: für komplexe, nicht lineare Probleme / große Datenmengen, gut für Musterkennung
Nachteil: schlecht bei mathematisch beschreibbaren Problemen, Blackbox: Prozess schwer nachvollziehbar, Gefahr Overfitting
11 - Welche Probleme können bei Deep Learning auftreten?
Vanishing Gradient
Overfitting
Rechenzeit
12 - Was macht ein Convolutional Neural Network?
Anwendung: Bilderkennung. Die Aufgabe bleibt Klassifikation, zum Beispiel: Katze oder Hund?
Deep Learning mit besonderer Architektur
13 - Was macht ein rekurrentes neuronales Netzwerk? Welche Fähigkeiten werden benötigt?
Ein RNN transkribiert ein Signal in ein anderes, zum Beispiel bei Spracherkennung, Übersetzung, Handschrift oder Bildbeschriftung.
Erforderliche Fähigkeiten: Zeitlicher Zusammenhang von Informationen erkennen, Gedächtnis ( Langzeit und Kurzzeitgedächtnis)
Last changed2 days ago
