(Z) (V10) Machine Learning in der Qualitätssicherung

• Versuch, die menschliche Intelligenz künstlich nachzubauen

• KI = Jedes künstliche System, welches Entscheidungen trifft

• KI wird dabei in zwei Kategorien eingeteilt

  • (1) Symbolische KI => Simuliert menschliches bewusstes Denken (bspw. Regeln eines Expertensystems)

  • (2) Subsymbolische KI => Simuliert die grundlegenden physikalischen Prozesse im Gehirn

• (1) Symbolische KI => Simuliert menschliches bewusstes Denken (bspw. Regeln eines Expertensystems)

• (2) Subsymbolische KI => Simuliert die grundlegenden physikalischen Prozesse im Gehirn

  
  

• Teilgebiet der KI

• Es wird festgelegt was der Algorithmus können muss. Das “Wie” muss er selbstständig erlernen

  • Algorithmen des Machine Leraning lernen selbtsständig und ohne expizite Programmierung, wie ein bestimmtes Resultat erzielt werden kann

• Deep Learning => Bezeichnet eine Möglichkeit der Realisierung von Machine

  Learning

  • Deep Learning bezieht sich speziell auf den Einsatz eines tiefer künstlicher neuronaler Netzes#

• Traditioneller Algorithmus => Durch Programmierung wird festgelegt, wie der Algorithmus funktioniert

  • Es wird Algorithmen nicht gesagt, was sie tun sollen, sondern wie sie es tun sollen (sie werden programmiert)

• Machine / Deep Learning => Es wird festgelegt was der Algorithmus können muss / was gelernt werden muss. Das “Wie” muss er selbstständig erlernen

  • Algorithmen des Machine Leraning lernen selbtsständig und ohne expizite Programmierung, wie ein bestimmtes Resultat erzielt werden kann

• Überwachtes Lernen

• Unüberwachtes Lernen

• Bestärkendes Lernen

• Ansatz => Trainieren von Vorhersagemodellen auf Basis von Ein- und Ausgangsgrößen (Label)

  • Für dieses Problem liegen sowohl Eingangsgrößen sowie die dazugehörigen Ausgangsgrößen (Label), also die Information darüber vor

  
  

• Ansatz => Finden komprimierter Repräsentation oder Cluster in ungelabelten Datensätzen

• Es sind keine Ausgangsgrößen (Label) vorhanden sind.

  
  

• werden auch als Reinforcement-Learning-Verfahren bezeichnet

• Ansatz => Erlernen einer Problemlösestrategie, d.h. einer Sequenz an Entscheidungen

• Klassifizierung

• Regression

• Anhand von beschrifteten (gelabelten) Beispielen lernt das Modll selbstständig Zusammenhänge zwischen den EIn- und Ausgangsgrößen

• Zuordnung zu verschiedenen Klassen

• Vorhersage eines Wertes

Bewertung erfolgt mittels 4 Gütefunktionen / Kenngrößen

• Precision => Vorhersagen

• Recall

• F1 Score

• Accuracy

• Gibt an, welcher Anteil der Proben, die Kategorie A zugeordnet wurden auch tatsächlich in Kategorie A sind.

• Gibt an, welcher Anteil der Proben, die Kategorie A zugeordnet wurden auch tatsächlich in Kategorie A sind.

• Gibt an, welche der Proben aus Kategorie A auch Kategorie A zugeordnet wurden.

• Gibt an, welche der Proben aus Kategorie A auch Kategorie A zugeordnet wurden.

• Kombiniert Precision und Recall um deren Nachteile zu kompensieren.

• Kombiniert Precision und Recall um deren Nachteile zu kompensieren.

• Gibt an, welcher Anteil aller Proben richtig erkannt wurde.

• Gibt an, welcher Anteil aller Proben richtig erkannt wurde.

• Underfitted => Underfitting

• ( Good Fit / Robust => Idealbild )

• Overfitted => Overfitting

• Modell ist nicht in der Lage genug aus den Trainingsdaten zu lernen

  • verringerte Genauigkeit

  • unzuverlässige Vorhersagen

• Mögliche Gegenmaßnahmen:

  • Erhöhung der Modellkomplexität

• Modell beginnt Trainingsdaten auswendig zu lernen => Hauptproblem

  • nicht in der Lage ungesehene Daten zu generalisieren

• Mögliche Gegenmaßnahmen:

  • Kreuzvalidierung

  • Größere Datenmenge

Das überwachte lernen findet überall dort Anwendung, wo gelabelte Trainingsdaten zur Verfügung stehen

Das überwachte lernen findet überall dort Anwendung, wo gelabelte Trainingsdaten zur Verfügung stehen

• Bauteilidentifikation

  • Detektion von Merkmalen zur Bauteilidentifikation

• Prozessüberwachung

  • Bewertung der Qaulität von Schweißnähten im Automobilbau

• Spamerkennung

  • Automatische Erkennung von Spam-E-Mails

• Support Vector (SV) Machines

• Mithilfe von Support Vector Machines werden die Stichproben durch eine Hyperebene in zwei Kategorien eingeteilt

• Eines der beliebtesten Verfahren für Überwachtes Lernen

• Gefahr von Overfitting ist geringer

• 2 Arten von SVM

  • lineare SV-Mustererkennung

  • nichtlineare SV-Regressio

• Vorverarbeitung der Daten bei nichtlinearen Datensätzen

• Synonym => Stützvektormaschine / Stützvektormethode / Kernel-Methoden

• Anwendung: Herzchirurgie, Gesichtserkennung, Bildklassifizierung, Textkategorisierung etc

Beim Unüberwachten Lernen sollen automatisch Muster oder Strukturen in einem Datensatz erkannt werden

• Clusteranalyse

• Dimensionsreduktion

• Gruppierung eines ungelabelten Datensatzes in Cluster

• Beispielhaftes Verfahren => k-Means-Clustering-Verfahren

• Aufschlüsselung des datensatzes nach größtmöglicher Varianz

• Beispielshaftes Verfharen => Hauptkomponentenanalyse

Das unüberwachte Lernen findet überall dort Einsatz, wo Muster erkannt oder die Komplexität von Datensätzen reduziert werden sollen

Das unüberwachte Lernen findet überall dort Einsatz, wo Muster erkannt oder die Komplexität von Datensätzen reduziert werden sollen

• Anomaliedetektion

  • Detektion von Anomalien in automatisierten Schraubprozessen

• Problemvorhersage

  • Clustering zur Prädiktion von Unterbrechungen der Produktion

• Big Data

  • Dimensionsreduktion bei großen Datenmengen in der Produktion

• k-Means-Clustering

• Die Daten werden in einem Datensatz in einem iterativen Verfahren gruppiert

• Beim k-Means-Clusterin Verfahren wird jeder Datenpunkt im Datensatz genau einem Cluster zugeordnet

• Verfahren für das Unüberwachte Lernen

• Funktioniert am besten bei sphärischen, nicht-überlappenden Clustern

• Zahl k der Cluster muss vorher festgelegt werden

• Jeder Datenpunkt kann nur zu einem Cluster gehören

• Cluster werden als kreisförmig angenommen

• Clustering ebenso in 3 oder mehr Dimensionen möglich

• Anwendung: Marketing, Meteorologie & Klimatologie, Psychologie & Medizin, Suchmaschinen

Beim Bestärkenden Lernen soll basierend auf Erfahrungen eine optimale Strategie zur Erreichung eines Zielzustands erlernt werden

• Agent => Führt eine Aktion aus und erhält dafür ein Feedback (Belohnung)

• Interpreter => Beobachtet das Szenario und gibt dem Agenten den Zustand und die Belohnung zurück

• Umgebung => Simulationsumfeld, welches der Agent erkunden muss

• Bewertet, wie gut eine ausgewählte Aktion bei einem bestimmten Zustand war

• Diskontinuierungsfaktor gewichtet weiter in der Zukunft liegende Belohnungen schwächer

• Die Belohnung steht oft erst nach einer Vielzahl von Aktionen zur Verfügung

• Zuordnung von Belohnung zu einzelnen Aktionen schwierig Credit Assignment Problem

• Robotik

  • Basierend auf Beobachtungen lernt Roboter neue Fähigkeiten.

• Produktionssteuerung

  • Agent lernt die Steuerung und Regelung im Produktionssystem.

• Autonomes Fahren

  • Autonomes Fahren in virtueller Umgebung getestet und gelernt.

Das Bestärkende Lernen wird überall dort eingesetzt, wo ein Agent eine gewisse Aufgabe selbstständig erlernen soll.

• Q-Learning

Beim Q Learning wird die Auswirkung von Entscheidungen in verschiedenen Zuständen bewertet und damit das effiziente Erreichen eines Ziels ermöglicht.

• Trainingsmethode für das Bestärkende Lernen

• Namensursprung von der Q Funktion

  • Q = erwarteter Nutzen

  • ermöglicht Bewertung einer Aktion

Erlernen einer möglich optimalen Verhaltensstrategie

• Verfahren für das Bestärkende Lernen

• Ermöglicht Bewertung einer ausgeführten Aktion

• Methode des Q-Learnings existiert in verschiedenen Ausprägungen (z.B. „value based learnings“)

• Nicht sichergestellt, dass gelernte Strategie optimal ist

• Anwendung: Robotik, autonomes Fahren, Produktionssteuerung

• Durch die Verknüpfung einzelner Neuronen überführt ein künstliches neuronales Netz die vorgegebenen Eingangsgrößen in die gesuchten Ausgangsgrößen

• Bestandteile

  • Grundbaustein => Neuronen

  • eine Eingabeschicht

  • eine Ausgabeschicht

  • Beliebig viele Zwischenschichten mit beliebig vielen Neuronen

• Grundbaustein => Neuronen

• eine Eingabeschicht

• eine Ausgabeschicht

• Beliebig viele Zwischenschichten mit beliebig vielen Neuronen

• Aufbau => Miteinander verknüpfte Neuronen

• Besteht mind. aus 3 Schichten

  • Eingabeschicht => Eingabeneuronen

  • Ausgabeschicht => Ausgabeneuronen

  • mind. 1 Zwischenschicht (“hidden Layer“) => verborgenen Zellen

• Hierbei ist anzumerken, dass jedes Neuron einer Schicht mit jedem Neuron der nächsten Ebene strukturell verknüpft ist

• Eingangsneuronen erhalten externe Reize / Variablen (bspw. Pixel eines Bildes)

• Versteckte Neuronen empfangen, verrechnen und geben Impulse / Informationen weiter (Black Box).

• Ausgangsneuronen zeigen die Ergebnisse an (bspw. Einordnung in Kategorien).

Je mehr Schichten und Neuronen ein künstliches neuronales Netz hat, desto kompliziertere Zusammenhänge können erkannt werden.

Durch die Verknüpfung einzelner Neuronen überführt ein künstliches neuronales Netz die vorgegebenen Eingangsgrößen in die gesuchten Ausgangsgrößen.

• Gewichtung

  • Jedes Eingangsneuron fließt mit einer bestimmten Gewichtung in den internen Zellwert mit ein.

• Aktivierungsfunktion

  • Bestimmt den Zusammenhang zwischen den gewichteten, summierten Eingangsgrößen und dem Wert des Neurons

  • legt den Zusammenhang fest, zwischen Eingangssignal eines Neurons und dessen Ausgangswert

• Künstliche neuronale Netze sind universell einsetzbar und eignen sich für

  • überwachtes Lernen

  • unüberwachtes Lernen

  • bestärkendes Lernen

Je mehr Schichten und Neuronen ein künstliches neuronales Netz hat, desto kompliziertere Zusammenhänge können erkannt werden

• Besteht mind. aus 3 Schichten

  • Eingabeschicht => Eingabeneuronen

  • Ausgabeschicht => Ausgabeneuronen

  • mind. 1 Zwischenschicht (“hidden Layer“) => verborgenen Zellen

• I.d.R. entspricht die Anzahl der Eingabeneuronen der Zahl der Eingabevariablen

  • bspw. Pixel eines Bildes

  • Bildverarbeitung => Eingabeschicht enthält so viele Neuronen wie die Anzahl der Pixel

• Jedes Neuron einer Schicht ist mit jedem Neuron der nächsten Ebene strukturell verknüpft

• Eine temporäre Unterbrechung der Verbindung ist beispielsweise durch die Gewichtung von 0 dieser Verbindung möglich

• Die Zahl der Schichten und der gesamten Neuronenanzahl wird im Wesentlichen durch die Problemstellung beeinflusst

• Diese sollte so gewählt werden, dass einerseits nicht die Generalisierungsfähigkeit beeinträchtigt wird (zu hohe Anzahl) und andererseits ein tolerables Ergebnis erzielt wird (nicht zu geringe Anzahl)

• Die Faustregel besagt, dass eine gute Performance erzielt wird, falls die Zahl der Neuronen der Zwischenschicht ca. der addierten Zahl der Eingangs und Ausgangsneurone entspricht

• Eine gute Performance wird erzielt, falls die Zahl der Neuronen der Zwischenschicht ca. der addierten Zahl der Eingangs und Ausgangsneurone entspricht

• Anzahl von Neuronen = Anzahl möglicher Ergebnisse

Gewichte beim Lernprozess so optimieren, dass gewünschte Ausgaben erzeugt werden

• Verfahren für Überwachtes, Unüberwachtes und Bestärkendes Lernen

• Besteht aus mehreren Schichten von Neuronen

• Beste Arbeitsweise bei großen, komplexen Datensätzen und leistungsfähigen Rechnern

• Ergebnisse können im Wesentlichen nicht interpretiert werden

• Anwendung: Sprach- und Bildverarbeitung, Bilderkennung, autonomes Fahren, Regressions- und Klassifikationsprobleme, Überwachungssysteme, Schrifterkennung im Smartphone, Medizin