Unsupervised Learning

• Machine Learning als Teilgebiet der KI, dass sich mit Algorithmen beschäftigt, sie selbstständig auf Basis von gegebenen Daten lernen

• Bei Unsupervised Learning sind keine Zielvariablen vorhanden

• Identifikation interessant, versteckter Muster in den Daten

• Clustering (gibts auch bei Supervised)

• PCA-Analyse

• Anomalieerkennung (gibts auch bei Supervised)

• Assoziationsanalyse

• Identifikation gleichartiger Datenobjekte auf Grundlage von Ähnlichkeitsmerkmalen

• Homogenität: Ähnliche Merkmale innerhalb einer Gruppe

• Heterogenität: Unterschiedliche Merkmale in verschiedenen Gruppen

• Anwedung in NLP, Ausreißerermittlung, Marketing (Kundensegmentierung)

  
  

Nicht hierarchisch:

• Anzahl der Cluster wird vorgegeben

• Daten werden so lange zu Clustern zugeordnet bis Varianz innerhalb Cluster minimal ist (z.B. K-Means)

Hierarchisch

• Iterative Vorgehensweise führt zu Clusteringhierarchie

• Divisiv: Alle Datensätze bilden einen Cluster und dieser wird immer kleiner partitioniert

• Agglomerativ: Jedes Datenobjekt ein Cluster und dann nach und nach vereint (z.B. K-nearest Neighbour)

• Objekte haben metrische Merkmale in Merkmalsvektorraum

• Berechnung der Distanz zwischen 2 Punkten

• Berechnung der Schwerpunkte (Zentroide) von Gruppen

1. Lege initial k als Cluster Zahl fest

2. Lege im Mermalsraum k Punkte/Zentroid fest

3. Bestimme für jedes Objekt die Distanz zu den Zentroiden

4. Weise Datenpunk Zentroid-Label zu dem Distanz minimal

5. Berechne neue Zentroide innerhalb der Label

6. Wiederhole so lange bis neue Cluster und Zentroide nicht mehr signifikat von vorherigen unterscheiden

• Objekte haben metrische Merkmale in Merkmalsvektorraum

• Berechnung der Distanz zwischen 2 Punkten oder Punkmengen

• Ist ein Agglomerativer Ansatz

1. Die beiden Cluster mit geringestem Abstand zueinander werden gefunden (Hierarchielvel wird erhöht)

2. Es werden wieder die beiden Cluster mit geringstem Abstand zueinander gefuden (Hierarchielvel wird erhöht)

3. Wiederhole bis nur noch ein Cluster gibt

4. Ableitung der optimalen Anzahl an Clustern aus Dendogramm

• Self Organizing Neural Networks (Deep Learning Clustering)

• Gehören zur Klasse der kompetitiv lernenden Algorithmen

• Topologische Abbildung der Eingangsvektoren —> Reduzierung der Dimensionalität auf Kartenräumlichkeit (2-Dimensional)

• Können für Clustering, Kompression oder Visualisierung hochdimensionaler Daten verwendet werden

  
  

1. Gewichte der Neuronen der Output-Schit werden zufällig initialisiert

2. Berechnung der Distanz erster Input Vektor zu Neuronen der Output Schicht

3. Finden der Best Matching Unit (BMU) mit der geringsten Distanz

4. Finden der Neuronen in der Nähe der BMU mithilfe Nachbarschaftsfunktion

5. Aktualisierung der Gewichte der BMU und Nachbarneuronen durch Verschiebung in die Nähe des Input Vektors

6. Beendigung wenn maximale Anzahl an Trainingsiterationen erreicht ist

• Autoencode könnenverwendet werden um kompakte Repräsentation der Daten zu erlernen

• Kompakte Repräsentation kann für Clustering (z.B. K-Means) verwendet werden

• Reduzierung der Dimensionen kann für Verarbeitung hochdimensionaler Daten sinnvoll sein

• Latent Space zwischen Encoder und Decoder kann für Clusterin genutzt werden

• Das Lernen erfolgt supervised. Vergleicht wie gut er rekonstruieren konnte

• K-Nearest Neighbour

  • Inter-Cluster-Distanz

  • Intra-Cluster-Distanz

  • Silhouette Score (berücksichtig Kohäsion als auch Trennschärfe)

  • Visualisierung

• SONN

  • Quantifizierungsfehler

  • Visualisierung

• Autoencoder

  • Rekonstruierungsfehler

• K-Means

  • Cluster Anzahl muss vorab festgelegt werten (z.B. via Elbow method)

  • Empfindlich gegenüber Ausreißern

  • Abhängig von initialen Zentroiden

• K-NEarest-Neighbour

  • Laufzeit kann bei vielen Objekten lange sein

• SONNs

  • Abhängig von initialen Gewichtungen

  • Verschiedene Hyperparameter sind einzustellen

• Autoencode

  • Empfindlich gegenüber Ausreißern

  • Overfitting

  • Verschiedene Hyperparameter sind einzustellen

Principal Component Analysis

• Reduzierung der Anzahl der Dimensionen (Merkmale) eines Datensatzes, während die wesentlichen Informationen (Varianz) erhalten bleiben. (Korrelierendes wird zusammengefasst)

• Vereinfachung von Datensätzen, um Muster und Strukturen besser erkennen zu können.

• Verringerung der Datenmenge, um die Effizienz und Genauigkeit von nachfolgenden Analysen und Algorithmen zu verbessern.

• Datensammlung

• Korrelationen beobachten

• Hauptkomponenten finden

• Dimensionalität reduzieren

1. Standardisierung/Datenzentrierung

2. Kovarianzmatrix berechnen

3. Eigenwerte- und -vektoren der Kovarianzmatrix berechnen

4. Sortieren der Eigenwerte in absteigender Reihenfolge

5. Anzahl k Hauptkomponenten vorgeben

6. Projektionsmatrix bilden

7. Datentransformation & Erklärte Varianz berechnen (Komponenten müssen ausreichend Menge der Gesamtvarianz abdecken)

Multiple Correspondence Analysis (MCA):

• Bietet eine Methode zur Analyse von Daten, die aus mehreren kategorialen Variablen bestehen.

• MCA wandelt die kategorialen Daten in eine niedrigere Dimension um, indem es die Assoziationen zwischen den Kategorien (Spalten) analysiert

  • Jede Row im Dataframe ist eine Pizzakonfiguration

  • Jede Column entspricht Hauptkomponente

    
    

• SVD wird in der Principal Component Analysis (PCA) verwendet, um die Daten auf ihre Hauptkomponenten zu projizieren und die Dimensionen zu reduzieren.

• SVD kann verwendet werden, um Bilder, Texte und andere Daten zu komprimieren, indem nur die größten Singulärwerte und die zugehörigen Vektoren beibehalten werden.

Supervised:

• KNN

• Bayesian NEtwork

• Supervised NN

• Descision Tree

• SVM

Unsupervised:

• Unsupervised NN

• K-Means

• Fuzzy C-Means

• Verknüpfungen/Verbindungen zwischen Elementen und Variablen finden

• Basiert auf Idee, dass bestimmte Erigenisse miteinander verknüpft werden und so ein gewisser Reiz eine gewisse Reaktion auslöst

• Findet Anwendung bei Warenkorbanalyse

• Apriori

• Eclat

• FP-Growth

1. Liste alle Snacks mit ihrer Häufigkeit

2. Streiche alle, die unter einem Support Treshhold liegen

3. Bilde Zweier Kombinationen und schreibe dahinter wie häufig sie vorkommen

4. Streiche auch hier wieder alle unter Support Threshholde und wiederhole die Schritte mit 3er Kombinationen

5. Generiere Assoziationsregeln und berechne deren support (Wie oft kommt element vor) und conficence (wie oft Regel eintrifft)

• Lift: Gibt an, wie viel häufiger B (Konsequens) auftritt, wenn A (das Wenn) vorhanden ist, im Vergleich zu einem zufälligen Auftreten von B unabhängig von A (Trend das B mehrgekauft wird?)

• Leverage: Misst die Stärke der Assoziation zwischen zwei Itemsets. Hilft zu bewerten, wie viel häufiger zwei Itemsets gemeinsam auftreten, als man es durch Zufall erwarten würde

• Conviction: Misst Abhängigkeit der Kosequenz

• Equivalence Class Clustering and bottom-up Lattice Traversal

• Effiziente Alternative zu Apriori

• Funktionweise:

  • Auflisten aller Items mit den Transaktionen

  • Entfernen aller Items die selber vorkommen wie Treshold

  • Alle möglichen Paare als Schnittmengen bilden

  • Schritt 1-3 mit größeren Gruppen wiederholen bis keine Itemsets mehr generierbar

1. Apriori: Verwendet eine iterative, breitensuchebasierte Methode mit horizontaler Datenlayout. Es generiert Kandidaten-Itemsets in mehreren Schritten und berechnet die Unterstützung durch mehrmaliges Scannen der gesamten Datenbank.

2. Eclat: Verwendet eine tiefensuchebasierte Methode mit vertikaler Datenlayout (Tidsets). Es generiert häufige Itemsets durch Schnittmengenoperationen auf Tidsets, was die Notwendigkeit wiederholter Datenbankscans reduziert und potenziell effizienter für große, dichte Datensätze ist.

• Frequzent Pattern Growth

• Algorithmus, der für das Finden von häufigen Mustern in Datensätzen konzipiert wurde, ohne Kandidatengeneration wie beim Apriori-Algorithmus

• Aufbau eines FP-Baums: Zuerst wird das Datenset durchlaufen, um die Häufigkeit jedes Items zu ermitteln, und ein FP-Baum wird aufgebaut. Dieser Baum speichert die Transaktionen und die Häufigkeiten der Items

• Mining des FP-Baums: Nachdem der FP-Baum erstellt wurde, können daraus die häufigen Itemsets durch rekursives Durchsuchen des Baumes generiert werden

1. Auflisten aller Items mit ihren Häufigkeiten

2. Filtere die Items, die den min. Support nicht erreichen

3. Sortiere die Items jeder Transaktion nach der Häufigkeit der Items in absteigender Reihenfolge

4. FP-Baum erstellen, indem jede Transaktion eingefügt wird (inkl. Häufigkeit der Transaktion)

5. Ermittle für jedes Item, welche Pfade zum Item führen inkl. Häufigkeit (Conditional Pattern Base)

6. Ermittle, welche Items in den mehrmals/häufig in den Pfaden vorkommen (Common Items)