Vorlesung

Künstliche Intelligenz

“Künstliche Intelligenz (KI) [...], englisch artificial intelligence (AI), ist ein Teilgebiet

der Informatik, welches sich mit der Automatisierung intelligenten Verhaltens

und dem maschinellen Lernen befasst.

Der Begriff ist insofern nicht eindeutig abgrenzbar, als es bereits an einer

genauen Definition von „Intelligenz“ mangelt. Dennoch wird er in Forschung

und Entwicklung verwendet.”

Maschinelles Lernen

“Maschinelles Lernen ist ein Oberbegriff für die „künstliche“ Generierung von

Wissen aus Erfahrung: Ein künstliches System lernt aus Beispielen und kann

diese nach Beendigung der Lernphase verallgemeinern.“

KI > ML > DL

Modellieren - Lernen - Schlussfolgern

4 KI Methoden bemessen an “Intelligenz”

Linear Regression is our first ML algorithm

Erweitert das lineare Modell, indem sie zulässt, dass die abhängige Variable einer beliebigen Mitgliedsfamilie der Exponentialverteilungen folgen kann (z.B. Binomial-, Poisson-, Gamma-Verteilungen)

Modell auf Subraum einschränken

• Strafe für hohe Koeffizienten um sie kleiner zu halten

• hilft Overfitting zu bekämpfen

• wird durch Regularisierungs Term mit Parameter Lambda bestimmt

Regularized Least Squares

Teilen sich auf in T P E

()

Daten aus Interaktion

(Kapazität ähnlich zu Komplexität des Modells)

Diskriminative Modelle, auch als bedingte Modelle bekannt, lernen den Unterschied zwischen den Klassen

• konzentrieren sich direkt auf die Grenze zwischen den Klassen

• oft effizienter in der Trainingsphase und direkt an die Aufgabe der Vorhersage angepasst, was sie in vielen Anwendungsfällen leistungsfähiger macht

Generative Modelle hingegen lernen die zugrundeliegende Verteilung der Daten für jede Klasse und können neue Datenpunkte generieren, die den gelernten Verteilungen entsprechen

• flexibel in dem Sinne, dass sie nicht nur für Klassifizierungsprobleme, sondern auch für Datenmodellierung und -generierung verwendet werden können

Logistische Regression

• Wahrscheinlichkeit eines Ereignisses vorherzusagen, basierend auf vorherigen Beobachtungen.

• Beziehung zwischen unabhängigen Variablen (Eingaben) und der Wahrscheinlichkeit eines bestimmten Ergebnisses modelliert,

• für Klassifizierungsprobleme, bei denen die Ausgabe in zwei Kategorien eingeteilt wird.

• benutzt Sigmoidfunktion (um lineare Vorhersagen in Wahrscheinlichkeiten umzuwandeln)

Optimierung:=

Stochastic Gradient Descent (SGD):

• Einzelne Beobachtung pro Update: Nutzt jeweils nur eine einzige Datenbeobachtung (ein Trainingsbeispiel), um die Gradienten zu berechnen und die Modellparameter zu aktualisieren.

Batch Gradient Descent:

• Gesamter Datensatz pro Update: Nutzt den gesamten Datensatz, um die Gradienten zu berechnen und die Modellparameter einmal pro Iteration zu aktualisieren

SGD ist schneller und flexibler, besonders bei großen Datensätzen, kann aber zu einer unruhigeren Konvergenz führen.

Batch Gradient Descent ist stabiler und erreicht eine gleichmäßigere Konvergenz, kann aber bei großen Datensätzen speicherintensiv und langsamer in den Updates sein.

-> Mini batch

mehreren möglichen Klassen in die Beobachtung zuordbar ist

Softmax ähnelt der Sigmoid-Funktion, ist speziell darauf ausgerichtet, mit mehreren Klassen umzugehen.

Sie bestehen aus Schichten von Neuronen/Knoten

Neuronale Netze lernen durch einen Prozess namens "Backpropagation", bei dem das Netz seine Gewichte (die Stärke der Verbindungen zwischen den Neuronen) basierend auf dem Fehler zwischen den Vorhersagen des Netzes und den tatsächlichen Werten anpasst.

Aktivierungsfunktionen bestimmen wie Informationen durch ein neuronales Netz fließen (ob Knoten aktiviert wird oder wie stark).

"Backpropagation" = Anpassung der Gewichte basierend auf Fehler zwischen Vorhersage des Netzes und tatsächlichem Wert. Diese Differenz quantifiziert die Loss Funktion.

Hyperparameter = Konfigurationseinstellungen (Anzahl Layer, Anzahl Trainingsepochen)

Ziel: Bias und Varianz minimieren durch:

• Regularisierung (Begrenzung der Kapazität)

• (gute) Parameter (bspw. Gewichte)

• Hyperparameter (-> Validierungsdatensatz)

Hyperparameter-Optimierung = Suche nach den optimalen Werten der Hyperparameter. Ziel: Modell bestmögliche Leistung auf den Validierungs- oder Testdaten zeigen.

Regularisieren: großes Modell angemessen regularisieren

R2 (ridge Regression): Gewichte anders gewichten

Regularisieren auch durch:

Data Augmentation = künstlichen Erweiterung des Trainingsdatensatzes (durch bspw. Drehen, Verzerren ohne Labels zu verändern)

Early Stopping = Trainingsprozess abbrechen, sobald die Leistung des Modells auf einem Validierungsdatensatz sinkt (-> Vermeiden von Overfitting)

Parameter Sharing = Gleichsetzen von Parametern (Gewichte in einem Modell über mehrere Teile teilen -> Generalisierung verbessern)

Bottleneck layer = layer that contains a smaller number of neurons than the preceding and succeeding layers (dimensionality reduction through forcing)

Denoising Autoencoder = remove noise from corrupted input data and reconstruct a clean version from courrpted input

GMMs assume all the data points are generated from a mixture of several Gaussian distributions with unknown parameters

1. Expectation (E) step: Calculate the expected value of the latent variables given the current parameters of the model.

2. Maximization (M) step: Update the parameters to maximize the likelihood of the data given the expected values of the latent variables calculated in the E step.

Latent-variable models assume the presence of unobserved (hidden) variables influencing the observed data

convex function f:

zwei Punkte, alle verbundenen Punkte dazwischen sind höher als wenn ich den Durschnitt von den beiden x Koordinaten der Punkte nehm.

VAE = generates new data points by learning a distribution of the input data

= generate data conditioned on specific class labels

S