Datenaufbereitung

Real-World-Daten sind:

Optimierung der Datenqualität

• Genauigkeit/Korrektheit

• Relevanz

• Vollständigkeit

• Konsistenz

• Datenbereinigung (Data clean(s)ing)

• Datenintegration (Data integration)

• Datentransformation (Data transformation)

• Datenreduktion (Data reduction)

• Entfernung der gesamten Instanzen (Zeilen)

• Ersetzen durch Lageparameter?

  • Mittelwert, Median, Modus

• Ersetzen durch wahrscheinlichsten Wert

durch Lernen von Verhersagemodellen auf vollständigen Instanzen

—> Trainingsdaten

• metrische Zielvariablen: Regression

• kategorische Zielvariablen: Klassifikation

Messwerte, die nicht in die Messreihe passen oder nicht den Erwartungen entsprechen

2-σ-Methode

• basiert auf Mittelwert und Standardabweichung (σ)

• Werte, die >=2 Standardabweichungen (σ) vom Mittelwert abweichen

Berechnung von Clustern

• Elemente, die keinem Cluster zugeordner werden können

• basiert auf Distanzfunktion

• entferne identische oder sehr ähnliche Zeilen bis auf eine

• Betrachtung der Ränge

  • Berechnung einer Abbildung der Ränge

  • Anwendung der Berechnung numerischer Distanzen auf den Rängen

mit f Ausprägungen

• Auch wenn Ausprägungen als ganze Zahlen repräsentiert werden, nicht als numerische Werte interpretieren!

• Hintergrund: Integer Encoding bei nominalen Attributen nicht möglich

• Ähnlichkeitsmaß

• verwendung unterschiedlicher Distanzfunktionen und Kombination mit einer Norm:

oder: Überführung aller Attribute in numerische Attribute

• Integer Encoding für ordinale Attribute

• One-hot Encoding für nominale Attribute

• Distanzmaß für Zeichenketten

• minimale Anzahl von Operationen zur Umwandlung von erster in zweite Zeichenkette

  • Einfügen, Entfernen, Ersetzen eines Zeichens

• Beispiel:

• Kombination von Daten aus unterschiedlichen Quellen zu einem kohärenten Datensatz

• Redundanzen und Inkonsistenzen so weit wie möglich

  reduzieren

• mittels Z-Transformation mit Erwartungswert = 0 und Varianz = 1 —> Standardabweichung = 1

• Entfernung unwichtiger Merkmale

• dadurch Speicher- und Laufzeitoptimierung

• bessere Visualisierbarkeit im 2D- oder 3D-Raum

• Geringere Dichte mit höherer Dimension

• Unterschied zwischen minimaler und maximaler Distanz wird beliebig klein

• Mekmalsselektion

• Pricipal Componente Analysis (PCA)

• Kernal PCA

• Autoencoder

• t-SNE (T-distibuted Stochastic Neigbor Embedding)

• distanzbasierte Verfahren

  • Principal Coordinate Analoysis (PCoA)

  • Metrisches/Klassisches Multidimansional Scaling (MDS)

    • Darstellung von Objekten auf Basis ihrer Distanzen/Ähnlichkeiten im 2D-/3D-Raum

  • Non-metric Multidimansional Scaling (NMDS)

• manuelle Auswahl Untermenge relevanter Features für geg. Fragestellung

• ODER: Selektion relevanter Features durch computergestützte Methoden

  • Filter-Methoden

    • mittels Korrelationskoeffizient —> Vergleich Verteilungen positiver und negativer Instanzen

  • Wrapper-Methoden

    • Training und Evaluation auf verschiedenen Untermengen —> Auswahl der Untermenge mit bestem Ergebnis

  • Eingebettete Methoden

    • z.B. Random Forest

• sehr rechenaufwändig: d Merkmale —> 2^d Kombinationen

• Greedy Algorithmus

• Ersetzung der Features durch Linearkombination

• Datensatz D hat Matrixstruktur n x p mit

  • n Samples

  • jeweils p Merkmalen

• Transformation der Matrix in Unterraum R^q mit q < p

  • möglichst geringer Informationsverlust

  • Auflösung von Korrelationen

• Richtungen mit größter Varianz (Streuung) beinhalten meiste Informationen

• somit: Projektion der Daten auf Richtungen mit größter Varianz

• summary variables

• eine Linearkombination der originalen Variablen

• untereinander unkorreliert

• Minimierung der Korrelation mehrdimensionaler Merkmale durch Überführung in Vektorraum mit neuer Basis

• Projektion auf Verktor w: z = w^T x

• schlecht

• gut

• Ziel: Finden einer Konfiguration (Anordung von Objekten) mit Distanzen = erhobenen?! Ähnlichkeiten

• metrische multidimensionale Skalierung

  • PCoA (Hauptkoordinatenanalyse)

  • Distanzen werden weitestgehend bewahrt

  • “quantitative Ähnlichkeiten”

• Nicht-metrische multidimensionale Skalierung (NMDS)

  • Ränge statt metrischer Werte

  • Monotonie statt tatsächlicher Distanzen

  • “qualitative Ähnlichkeiten”

• t-Distributed Stochastic Neigbor Embedding

• Erhaltung lokaler Ähnlichkeiten (nachbarschaftserhaltend)

  • Unterschied zu PCA: PCA erhält große Distanzen

• nicht-lineares Dimensionsreduktionsverfahren