Data Mining

Data-Mining ist ein Prozess, bei dem eine Vielzahl von Datenanalysewerkzeugen eingesetzt wird, um Muster und Beziehungen in Daten zu entdecken, die für gültige Vorhersagen genutzt werden können.

• Descriptive Data-Mining: Es erstellt ein Modell des Datensatzes, das den gegebenen Datensatz beschriebt.

• Predictive Data-Mining: Es werden auf der Grundlage des vorhandenen Datensatzes neue, nicht triviale Informationen gewonnen.

Ein Modell ist einfach ein Algorithmus oder ein Satz von Regeln, der eine Sammlung von Eingaben mit einem bestimmten Ziel oder Ergebnis verbindet.

Ein Data Warehouse ist eine themenorientierte, integrierte, zeitbezogene und nicht flüchtige Datenbank zur Unterstützung von Managemententscheidungen.

Das DWH gibt dem Unterehmen ein “Gedächtnis”, Data Mining ermöglicht die Intelligenz.

KDD steht für Knowledge Discovery in Data Bases und ist eine automatische, explorative Analyse und Modellierung von großen Datenbeständen.

Dabei werden gültige, neue, nützliche und verständliche Muster in großen und komplexen Datensätzen identifiziert.

Der Zweck von KDD ist die Interpretation von Mustern, Modellen und eine tiefgehende Analyse der Informationen, die eine Organisarion gesammelt hat, um bessere Entcheidungen zu treffen.

1. Verstehen des Datensatzes:

• Ziele der Analyse definieren

• Eigenschaften, Grenzen und Regeln der Daten verstehen

2. Datenauswahl:

• Relevante Daten nach Verfügbarkeit, Zugänglichkeit, Bedeutung und Qualität auswählen

3. Vorverarbeitung und Reinigung:

• Daten auf Fehler und Inkonsistenzen überprüfen

• Fehlende Werte behandeln

• Ausreißer, verrauschte, redundante und minderwertige Daten entfernen

4. Datentransformation:

• Daten für Data-Mining-Algorithmen vorbereiten

• Qualität der Daten durch Transformationen verbessern (z.B. Dimensionalitätsreduktion, Diskretisierung)

5. Auswahl der Data-Mining-Aufgabe:

• Festlegen der Art des Data-Mining (z.B. Klassifikation, Clustering, Assoziationsregel-Mining)

• Basierend auf den Zielen und den vorherigen Schritten

6. Auswahl des Data-Mining-Algorithmus:

• Geeigneten Algorithmus für die gewählte Aufgabe auswählen

• Parameter des Algorithmus anpassen

7. Anwendung des Data-Mining-Algorithmus:

• Den Algorithmus auf die vorbereiteten Daten anwenden

• Den Algorithmus ggf. mehrfach ausführen und Parameter optimieren

8. Evaluierung:

• Gefundene Muster und Regeln auf ihre Gültigkeit und Nützlichkeit bewerten

• Einfluss der Vorverarbeitungsschritte auf die Ergebnisse analysieren

9. Nutzung der gewonnenen Erkenntnisse:

• Wissen in ein anderes System integrieren und anwenden

• Auswirkungen der Anwendung des Wissens messen

• Herausforderungen bei der Implementierung des Wissens in einem realen Umfeld bewältigen

CRISP-DM steht für “Cross Industry Standard Process for Data Mining” und ist ein Data-Mining-Prozess bestehend aus 6 Schritten.

1. Business Understanding

2. Data Understanding

3. Data Preparation

4. Modeling

5. Evaluation

6. Deployment

1. Datenschutzprobleme

2. Sicherheitslücken

3. Datenmissbrauch

1. Computer machen Fehler.

2. Computer machen genau das, was man Ihnen sagt.

3. Auswertungen ergeben nicht immer Sinn.

4. Verschiedene Probleme brauchen verschiedene Lösungen.

• Rapid Miner

• KNIME

• SAS Data Mining

• Oracle BI

• Alteryx

• Erzeugung, Übermitteln, Speichern, Laden und Verarbeiten der Daten

• z.B. schlecht gestaltete Dateneingabeformulare, menschliches Versagen, absichtliche Fehler, Datenverfall, inkonsistente Darstellungen oder Codes, Fehler in den Instrumenten, Systemfehler, Datenintegration

• Zufällige Fehler:

  • Nicht vorhersehbare Fehler ohne Systematik, die zufällig auftreten und einzelne Messwerte betreffen.

  • Ausreißer, fehlende Daten, ungültige Daten, Rauschen

• Systematische Fehler:

  • Fehler mit einer gewissen Systematik oder einem Muster, die mehrere Daten einer Messreihe betreffen.

  • Abweichungen in allen Messwerten, gleichbleibende Abweichungen.

Zufällige Fehler sind nicht vorhersehbare Fehler ohne eine Systematik, von denen wir nicht wissen, ob, wann und wo diese auftreten.

Ausreißer sind einzelne Daten, die sich deutlich von den übrigen Daten unterscheiden.

Systematische Fehler sind Fehler, die eine gewisse Systematik bezüglich ihres Auf­tretens oder ihrer Auswirkungen aufweisen und meist mehrere Daten einer Messrei­he betreffen.

• Messgeräte nicht richtig kalibriert

• falsche Skalierung

• äu­ßere Einflüsse auf die Messung

• fehlerhafte Formeln

Umgang durch einen Korrekturfaktor oder eine Korrekturformel.

• eher statische Werte: Ober- und Untergrenzen für Werte

• eher dynamische Werte: Clusteranalyse und Ausschluss von Clustern

1. Fehlerlisten

2. Fehlerwerte

3. Korrektur oder Schätzung der Werte

4. Entfernen ganzer Merkmalsvektoren

5. Entfernen ganzer Merkmale

1. Ersetzen durch den Mittelwert, den Median, das Minimum oder das Maximum der korrekten Werte.

2. Ersetzen durch einen Wert, der an diesen angrenzt.

3. Ersetzen durch einen Wert, der das Ergebnis einer linearen Inter­polation mit äquidistanten Zeitschritten ist.

4. Ersetzen durch einen Wert, der das Ergebnis einer linearen Inter­polation mit nicht äquidistanten Zeitschritten ist.

5. Ersetzen durch einen Wert ersetzt, der das Ergebnis einer nicht lineraren Interpolation ist.

6. Ersetzen durch einen geschätzten Wert, der das Ergebnis einer Regressionsanalyse ist.

7. Wert wird durch einen Filter korrigiert, der auf Grundlage der gesamten Da­tenmenge den Verlauf glättet, sodass ein begradigter Verlauf der Daten entsteht.

Rauschen ist ein zufälliger Fehler oder eine zufällige Varianz in einer Messgröße.

Es gehört zu den zufälligen Fehlern, kann aber auf Grund gewisser Eigenschaften meist gut erkannt werden.

Ein Filter ist ein System, das bestimmte Eigenschaften (Charakteristika) eines Sig­nals modifiziert, z. B. her vorhebt oder unterdrückt.

Typischer weise sind Filter dyna­mische Systeme und sind frequenzselektiv, d. h. sie sperren bestimmte Frequenzbe­reiche eines Signals oder lassen diese passieren

• Tiefpassfilter: nur Daten werden erfasst, die unterhalb eines Schwellwertes liegen

• Hochpassfilter: oberhalb eines Schwellwertes

• Bandpassfilter: in­nerhalb eines bestimmten Frequenzbereiches, also zwischen einem Maximal- und einem Minimalwert

Metadaten

• Datentyp und Domäne des Attributs

• zulässige Werte

Grundlegende statistische Datenbeschreibungen

• Mittelwert, Median, Modus

• Daten symmetrisch oder verzerrt, Bandbreite

• Standardabweichung (Werte, die mehr als zwei Standardabweichungen vom Mittelwert für ein bestimmtes Attribut abweichen, können als potenzielle Ausreißer gekennzeichnet werden)

• Bekann­te Abhängigkeiten zwischen den Attributen

Regeln

• Einzigartigkeitsregel besagt, dass sich jeder Wert des gegebenen Attributs von allen an­deren Werten für dieses Attribut unterscheiden mus

• Konsekutivregel besagt, dass es zwischen dem niedrigsten und dem höchsten Wert für das Attribut keine falschen Werte geben darf und dass alle Werte auch eindeutig sein müssen (z. B. wie bei Prüfnum­mern)

• Null-Regel spezifiziert die Verwendung von Leerzeichen, Fragezeichen, Sonderzeichen oder anderen Zeichenfolgen, die die Null-Bedingung anzeigen können (z. B. wenn ein Wert für ein bestimmtes Attribut nicht verfügbar ist), und wie solche Werte behandelt werden sollen

• Data-Scrubbing-Tools nutzen einfaches Domänenwissen (z. B. Kenntnisse über Post­adressen und Rechtschreibprüfung), um Fehler zu erkennen und Korrekturen in den Daten vorzunehmen. Diese Tools stützen sich auf Parsing- und Fuzzy-Matching­Techniken, wenn sie Daten aus mehreren Quellen bereinigen.

• Data-Auditing-Tools finden Diskrepanzen, indem sie die Daten analysieren, um Regeln und Beziehungen zu entdecken und Daten zu ermitteln, die gegen diese Bedingungen verstoßen. Sie sind Varianten von Data-Mining-Tools. Sie können z. B. statistische Analysen ver wenden, um Korrelationen zu finden, oder Clustering, um Ausreißer zu identifizieren.

• Identifikationsproblem

• Redundanzen und Korrelationen

• Tupel-Duplikate

• Erkennung und Auflösung von Datenwertkonflikten

Techniken zur Datenreduzierung können angewandt werden, um eine reduzierte Dar­stellung des Datensatzes zu erhalten, die vom Volumen her viel kleiner ist, aber die In­tegrität der Originaldaten weitgehend beibehält.

Das heißt, dass das Data-Mining mit dem reduzierten Datensatz effizienter sein sollte und dennoch die gleichen (oder fast die gleichen) analytischen Ergebnisse liefert.

• Kostenreduzierung

• Performanceerhöhung

• Reduzierung irrelevanter Daten (Dimensionen)

• Reduzierung redundanter Daten (Dimensionen)

• Dimensionalitätsreduzierung

• Reduzierung der Anzahl

• Datenkompression

1. Wavelet-Transformationen:

• Transformieren die Originaldaten in einen kleineren Raum.

• Ermöglichen die Komprimierung von Daten durch Abschneiden schwacher Koeffizienten.

• Geeignet für numerische Daten mit hoher Dimensionalität und Rauschen

1. Hauptkomponentenanalyse (PCA):

• Sucht nach einer kleineren Anzahl von orthogonalen Vektoren, die die Daten am besten darstellen.

• "Kombiniert" das Wesen der Attribute, indem es eine veränderte, kleinere Menge von Variablen verwendet.

• Geeignet für numerische Daten, bei denen die Interpretation der Hauptkomponenten möglich ist.

1. Auswahl von Teilmengen:

• Entfernt irrelevante oder redundante Attribute aus dem Datensatz.

• Ziel ist es, eine minimale Menge von Attributen zu finden, die die ursprüngliche Datenverteilung so gut wie möglich wiedergeben.

• Geeignet für kategoriale Daten und Datensätze mit vielen Attributen.

• parametrisch:

  • Regression und log-lineare Modelle

• nicht parametrisch:

  • Histogramme

  • Clustering

  • Stichproben (Sampling)

    • SRSWOR

    • SRSWR

    • Clusterstichprobe

    • Stratifizierte Stichprobe

  • Datenwürfelaggregation

Transformationen, um eine reduzierte oder “komprimierte” Darstellung der Orginaldaten zu erhalten.

• verlustfrei

• verlusthaft

1. Problem identifizieren und Hypothese formulieren.

2. Daten verstehen (Data understanding)

3. Datenaufbereitung

4. Sammeln der Daten (geplantes Experiment und Beobachtungsansatz)

5. Modell interpretieren und Schlussfolgerungen ziehen

Gerichtet:

• ClassificationKlassifikation

• Estimation/Schätzung

• Prediction/Vorhersage

Ungerichtet:

• Affinity Grouping/Affinitätsgruppierung (Assoziationsregeln)

• Clustering

Beides:

Description & Profiling

Klassifikator, Instanzen

• Generative Model, modelliert Verteilung der einzelnen Klassen

• Discriminative Model, modelliert anhand der beobachteten Daten

Trainingsphase:

• Konstruktion des Modells, Lernen

Klassifizierungsphase:

• Klassen bestimmen, Genauigkeit messen

• Entscheidungsbaum

• Logistische Regression

• Lineare Regression

• Naive Bayes

• Neronale Netze

• K-nächste-Nachbarn

• Support Vector Machines

Vorteile:

• kostengünstig und effizient

Nachteile:

• Datenschutz

• Genauigkeit

• Klassifizierung: diskrete Ergebnisse, feste Kategorien (z.B. ja/nein).

• Schätzung: kontinuierliche Werte, Modellbildung aus Daten.

  • Wahrscheinlichkeit der Zugehörigkeit zu einer Klasse: reelle Zahl zwischen 0 und 1.

  • Schwellenwerte: Festlegung zur Kategorisierung, flexible Anpassung möglich.

Vorhersage bezieht sich auf die Nutzung von Modellen, um numerische Ausgaben basierend auf einem Trainingsdatensatz zu finden. Der Trainingsdatensatz enthält Eingaben und numerische Ausgabewerte, anhand derer der Algorithmus ein Modell erstellt. Dieses Modell sagt bei neuen Daten zukünftige numerische Werte oder geordnete Werte vorher.

Während Klassifizierung Daten in vordefinierte Klassen einteilt, gibt es bei der Vorhersage keine Klassenbezeichnungen. Stattdessen wird ein kontinuierlicher oder geordneter Wert vorausgesagt. Vorhersagemodellierung bezieht zudem oft die zeitliche Beziehung zwischen den Eingabevariablen und der Zielvariablen mit ein.

Die Datenvorbereitung ist entscheidend, da sie die Qualität und Genauigkeit der Vorhersagen bestimmt. Zu den wichtigsten Aktivitäten gehören:

• Datenbereinigung: Reduzierung von Rauschen und Behandlung fehlender Werte.

• Relevanzanalyse: Identifizierung und Entfernung irrelevanter Attribute mittels Korrelationsanalyse.

• Datenumwandlung und -reduzierung: Methoden wie Normalisierung und Verallgemeinerung zur Transformation der Daten.

In den meisten Fällen wird die Regression zur Erstellung von Vorhersagen verwendet, da sie eine Methode zur Modellierung und Analyse numerischer Daten ist, bei der die Beziehung zwischen einer abhängigen und einer oder mehreren unabhängigen Variablen untersucht wird.

Ein Beispiel wäre die Vorhersage der Höhe des Guthabens, das übertragen wird, wenn ein Kreditkartenkunde ein Angebot zur Übertragung des Guthabens annimmt.

Die Affinitätsgruppierung ist ein regelbasierter Ansatz im maschinellen Lernen, um die Beziehung zwischen Elementen in einer großen Anzahl von Datensätzen zu finden. Diese Technik identifiziert Regeln, die auf historischen Daten basieren, wie zum Beispiel welche Artikel häufig zusammen gekauft werden.

Assoziationsregeln beschreiben die Muster, wie Elemente in Datensätzen zusammen auftreten. Die drei Hauptmetriken zur Bewertung sind:

• Support: Gibt an, wie häufig ein Artikel oder eine Kombination von Artikeln in den Transaktionsdatensätzen vorkommt.

• Confidence: Gibt an, wie oft ein Artikel B gekauft wird, wenn Artikel A gekauft wurde.

• Lift: Gibt die Wahrscheinlichkeit an, dass Artikel B zusammen mit Artikel A gekauft wird, relativ zur Wahrscheinlichkeit, dass Artikel B unabhängig von Artikel A gekauft wird.

Der Apriori-Algorithmus ist ein häufiger Algorithmus im maschinellen Lernen zur Identifikation häufiger Elementmengen und zum Lernen von Assoziationsregeln in relationalen Datensätzen. Er arbeitet durch die Erweiterung von Elementmengen und verwendet eine Breath-First-Suche sowie eine Hash-Baumstruktur zur effizienten Zählung von Elementmengen.

Der FP-Wachstums-Algorithmus (Frequent Pattern Growth) ist eine Verbesserung gegenüber dem Apriori-Algorithmus. Er verwendet Musterbäume (FP-Bäume) zur Darstellung häufiger Elemente, wodurch die Effizienz gesteigert und die Anzahl der benötigten Durchläufe durch die Daten verringert wird.

Der Eclat-Algorithmus (Equivalence Class Transformation) verwendet eine Tiefensuche zur Entdeckung häufiger Elementmengen, im Gegensatz zur Breitensuche des Apriori-Algorithmus. Dadurch ist er schneller und besser geeignet für kleine bis mittelgroße Datensätze.

Clustering ist die Gruppierung von Objekten basierend auf ihren Merkmalen und Ähnlichkeiten. Es wird verwendet, um eine heterogene Population in homogenere Untergruppen oder Cluster zu unterteilen, ohne dass vordefinierte Klassen vorhanden sind.

Beim Clustering gibt es keine vordefinierten Klassen und keine Beispiele. Die Daten werden basierend auf ihrer Selbstähnlichkeit gruppiert. Bei der Klassifizierung hingegen werden Daten auf Basis eines Modells, das an vorklassifizierten Beispielen trainiert wurde, in vordefinierte Klassen eingeordnet.

• Biologie: Klassifizierung von Pflanzen und Tieren nach ihren Eigenschaften.

• Marketing: Identifizierung von Kundengruppen mit ähnlichem Verhalten.

• Marktforschung, Mustererkennung, Daten- und Bildverarbeitung.

• Erdbeobachtung: Identifizierung von Gebieten mit ähnlicher Landnutzung.

• Internet: Clustering von Dokumenten zur Informationsfindung.

• Partitioning-based Method: Unterteilt Daten in k Gruppen, wobei jedes Objekt genau einer Gruppe angehört.

• Density-based Method: Bildet Cluster basierend auf hoher Dichte von Datenpunkten.

• Centroid-based Method: Weist Objekte der Gruppe mit dem nächsten Zentrum zu. Anzahl der Gruppen muss vorher festgelegt werden.

• Hierarchical Method: Erstellt eine hierarchische Zerlegung von Datenobjekten, entweder agglomerativ (Bottom-up) oder divisiv (Top-down).

• Grid-based Method: Teilt den Datenraum in ein Raster, das unabhängig von der Reihenfolge der Daten ist.

• Model-based Method: Verwendet ein hypothetisches Modell basierend auf einer Wahrscheinlichkeitsverteilung zur Lokalisierung von Clustern.

• Auswahl des geeigneten Algorithmus für die spezifische Datenstruktur.

• Bestimmung der optimalen Anzahl von Clustern.

• Handhabung von Rauschen und Ausreißern in den Daten.

• Interpretation und Bedeutung der resultierenden Cluster.

Bei harter Partitionierung gehört jedes Objekt genau einem Cluster an. Bei glatter Partitionierung kann ein Objekt teilweise zu mehreren Clustern gehören, was bedeutet, dass die Zugehörigkeit eines Objekts zu den Clustern graduell ist.

Clustering kann genutzt werden, um natürliche Gruppen oder Segmente zu identifizieren, die als Input für weitere Data-Mining-Aufgaben oder Modellierungen dienen. Beispielsweise kann es der erste Schritt bei der Marktsegmentierung sein, bevor spezifische Werbemaßnahmen für jedes Segment entwickelt werden.

Es wird versucht das typische Verhalten einer Person, einer Gruppe oder einer Population zu charakterisieren.

Unter dem Begriff Privacy-Preserving Data-Mining versteht man das datenschutzkonforme Verarbeiten/Gewinnen sensibler Daten, ohne dass man auf einzelne Datenstränge (Personen) rückschließen kann.

1. Veröffentlichung von Daten unter Wahrung der Privatsphäre.

2. Änderung der Ergebnisse von Data-Mining-Anwendungen zur Wahrung der Privatsphäre.

3. Abfrage-Auditing.

4. Kryptographische Methoden für verteilten Datenschutz.

• k-Anonymität: Eine Methode, bei der Daten so transformiert werden, dass jede Person in einem Datensatz nicht von weniger als k-1 anderen Personen unterschieden werden kann. Dies wird erreicht durch die Verallgemeinerung und Unterdrückung von Attributwerten.

• l-Diversität: Eine Erweiterung der k-Anonymität, die sicherstellt, dass in jeder Gruppe (oder Äquivalenzklasse) mindestens l verschiedene „wohlunterscheidbare“ Werte für das sensible Attribut vorhanden sind, um Schutz gegen Homogenitätsangriffe zu bieten.

• Angriffe durch semantische Ähnlichkeit

• Angriffe mit Hintergrundwissen

• Homogenitätsangriffe

• Skewness-Angriffe

• De-Finetti-Theorem

• Minimalistische Angriffe

• Zeitversetzte Angriffe

Eingabedaten:

• Datenperturbation/Störungsdaten

  • Randomisierung

  • Mikroaggregation

• Unterdrückung von Attributen

• Datenaustausch

• Kryptographie

• Gruppenbasierte Anonymisierung

  • k-Anonymität

  • l-Vielfalt

  • t-Ähnlichkeit

    
    

Ergebnisse:

• Steuerung der Abfrageinferenz und Abfragekontrolle

• Differenzierter Datenschutz

• Ausblenden von Assoziationsregeln