Cardset

ist die Eigenschaft eines IT-Systems “menschenähnliche” intelligente Verhaltensweisen zu zeigen.

ist eine Funktionalität, die es Software ermöglicht, eine Aufgabe ohne explizite Programmierung oder Regeln auszuführen.

a new take on learning representations from data that puts an emphasis on learning successive layers of increasingly meaningful representations.

Automatisiert Informationen aus visuellen Daten extrahieren -> Verständnis über den Inhalt von digitalen Medien z.B. Bildern und Videos erhalten.

Ziel: Methoden entwickeln, die die menschlichen Fähigkeiten zur Objektidentifizierung, -lokalisierung und -klassifizierung (Human Vision) nachbilden -> Objekte in Bilder lokalisieren, identifizieren und klassifizieren.

Automatisch Erkennung der Informationen der natürlichen Sprache

Ein Artificial Neural Network (ANN) ist ein gewichtetes

Funktionennetz, dessen Parameter (die Gewichte) über ein Lernverfahren

selbständig eingestellt werden

• Knoten: Einfache Berechnungseinheiten (verknüpfte Funktionen)

• Kanten: Gewichtete Verbindungen zwischen den Knoten

• Lernverfahren: Algorithmus der anhand einer Menge von Trainingsbeispielen und einer Lernregel die Gewichte des (Funktionen-)Netzes anpasst.

Für den Zusammenhang zwischen Variablen wird kein vorgegebenes mathematisches Modell vorausgesetzt.

Funktionen und Funktionskompositionen werde über gerichtete Graphen repräsentiert:

• Optimierungsfunktion

• Loss Funktion

  • zur Berechnung der Abweichung zwischen den Vorhersagewerten und der realen Werten

• Metrik(en) zur Ermittlung der Güte des Modells

Ggf. aber auch Netzwerkparameter

• Anzahl hidden layers

• Neuronen

Sowohl die Accuracy als auch der Loss sind auf dem Trainings- und Testdatensatz gleich. Liegt eine Abweichung vor, ist dies idR. durch Overfitting zu begründen.

• Tabellarische darstellung der Zuordung der Datensäþze aus dem Testset zu den Kallassen

• Prediction und True Value

• Hilfe beim korrekten klassifiziert bei welchen Klasen die Differenzierung tendenziell schwerer fällt

• F[r die Visualisierung der neuronalen Netze, ihrer internen Darstellung und des Trainingsverlaufs

Precision niedrig -> Modell stuft mehr Schwertlilien in diese Klasse ein als es sollte

Modell erkennt nicht alle Schwertlilinen, die dieser Klasse angehören

**Hyperband** Tuner:

       > Motivation: Ineffizientes Training des _RandomSearch_ Tuners, da alle erstellten Netze die max. Anzahl an Epochen `max_epochs` trainiert werden, auch solche, die ein schlechtes Trainingsverhalten aufweisen und/oder deren Parameterkonstellation evident suboptimal ist.

       - Ermittelt durch Permutation aller Hyperparameter jede mögliche Kombination und erstellt für jede einzelne ein Modell

       - Jedes Modell wird trainiert, jedoch nur wenige Epochen, d.h. idR. deutlich unterhalb der konfigurierten max. Anzahl an Epochen `max_epochs`

       - Nach einem gesamten Trainingsdurchlauf werden die besten Modelle gefiltert

       - Die Schritte 2 und 3 werden wiederholt (**iteratives Modell**) solange die Anzahl der Iterationen unterhalb von `hyperband_iterations` liegt

       - Die finalen Modelle durchlaufen das "volle" Training (= `max_epochs`)

   2. **BayesianOptimization** Tuner:

       > Motivation: Jede Hyperparameterkombination in _RandomSearch_ und _Hyperband_ ist zufällig (randomisiert) gewählt $\rightarrow$ Garantiert nicht zwangsläufig optimale Hyperparameterwerte bzw. die Suche dauert ggf. lange

       - Wenige Hyperparameterkonstellationen werden zufällig gewählt und für diese die entsprechenden Modelle trainiert

       - Alle folgenden Hyperparameterkonstellationen werden systematisch anhand der Güte der vorherigen Hyperparameterwerte ermittelt

3. _Hyperband_ und _BayesianOptimization_ liefern nicht zwangsläufig Hyperparameterkonstellationen, die bessere Ergebnisse hervorbringen, sondern sind vor allem **effizienter** bei der Suche. Insbesondere bei **großen Suchräumen** (viele Hyperparameter mit vielen Ausprägungen) ist die Performance besser im Vergleich zum _RandomSearch_ Tuner.

Das Allgemeine aus dem Spezialen erkken, damit das Spezielle aus dem Allgemeien vorhergesagt werden kann.

Ein Artifical Neural Network (ANN) ist ein gewichtetes Funktionsnetz, dessen Parameter (die Gewichte) über ein lernverfahren selbstständig eingestellt werden.

• Knoten: Einfache Berechnungseinheiten (verknüpfte Funktionen)

• Kanten: Gewichtete Verbindungen zwischen den Knoten

• Lernverfahren: Algorithmus der anhand einer Menge von Trainingsbeispielen und einer Lernregel die Gewichte des (Funktionen-)Netzes anpasst.

• Modellfreier Abschätzer

  • Für den Zusammenhang zwische nVariablen wird kein vorgegebens mathematisches Modell vorausgesetzt

• Universeller Approximator:

  • Jede Funktion kann mit einem ANN beliebig genau angenähert werden.

• Eignung für Untersuchungsfragestellungen: Klassifikation, Prognose, Segemtierung, Optimierung

• 
  

Berecheneinheit die aus mehreren Funktionen besteht?

Forward propagation

Jeder Layer hat eine andere Darstellung des Problems die immer genauer wird.

• Crisp-dm

• KDD

• EDDA

• Business Understanding

• Data Understand

• Data Preparation

• Modeling

• Evaluation

• Deployment

  

Predictive Analytics.

Quantifizierung des “Schadens” eines Fehlers.

Loss und Regularisation

Unterschied zwischen zwei Werten

Optimizer, anhand des Loss wird das Modell angepasst.

Incremental Learning (Direkt nach eingang neuer daten), Interacitve Learning (Nach dem Rückkoppelungssignal des nuterzers)

Das Erstellen von Vorhersagen

Feature engineering ist der Przess der selectierung und des erstellen von Features aus roh daten.

Predictive Power

Sammeln und Aufbereiten der Rohdaten für das Feature Engineerings

Kann du deinen Daten vertraune?

EIn classifications datensatz mit einer schiefen classen proportion.

Es gibt zwei Möglichkeiten:

• Downsampling

  • Mir auf einen Teil der Daten arbeiten

• Upweighting

  • Gewichtung zu den Datens'ätzen hinzufügen

Die Strukturen der Grundgesamtheit sollten in den Trainigsdaten erhalten bleiben.

Zur Leistungsbewertung nach dem Training und damit auf dem Modell

Identifikation (detection) und Behandlung (handling) von fehlerhaften (inconsistent values), fehlenden (missing values), redundanten (duplicates) Daten sowie Außreiser (anormalies)

Merkmalswerte (Feature Values) eines Falls (Sample), der nicht der (statistischen) Erwartung entspricht.

Wenn viele Werte des Objectes null sind.

Transformieren von numerischen daten zu einem Ähnlichen Skala wie andere Daten.

• Gradient könnte springen und langsamer werden

Sunthetisches Feature, das duch eine Opterion aus zwei Features oder mehr erzeugt wird.

• Unsupervised

  • Nicht die ziel Variabel nutzen (entfernen von doppelten variablen)

    • Correlation

• Supervised

  • Nutzen der Ziel variable

    • Wrapper

    • Filter

    • Intrinsic

• Übergabefunktion: aggregiert die gewichtete EIngabe

• Aktivierungsfunktion> die dem Yustand der Berechungseinheit in Abhängigkeit von der Netzeingabe bestimmt

• Ausgabefunktion: die den Ausgabewert der Berechnungseinheit in Abhängigkeit von der Aktivierung bestimmt.

Der Bias ist ein Schwellenwert, der die Verschiebung der AKtivierungsfunktion bestimmt. Damit wird die Flexibilität zur Anpassung an die empirische (wahre) Verteilung erhöht.

Lineare Funktion, verschiebung auf der Y Achse

Non Lineare: Verschiedbung auf der x achste

Über die Gewichtung

Dense NEural Network -> Schleirfen, Time Series

Ruhausgabe des Modells.

WIrd durch eien Normalisierunbgsfunktion in die Prediction umgewandelt.

Logit muss abhängig des Pronblems umgewandelt werden

Add Early Stopping

Numerisches Verfahren für die Optimierung

Reduzieren der Parameter anhand von Anteiligkeit des Fehlers.

Lernrate * dznamische lernrate (abh'ängig der Fehler fuktion) * EIngabewert zu dem Neurpm

Minimiung der Loss funktion