V11 Maschinelle Datenanalyse mit R

1. Ermittlung der Eigenschaften der Beobachteten Werte (Verteilung, Korrelationen..)

   -> deskriptive Statistik

2. Ermittlung von Beziehungen zwischen gegebenen Variablen (Dimensionen) und beobachtbaren Größen (Fakten) zur Erstellung von Vorhersagen für zukünftige Werte

   -> prädikative Statistik / Inferenzstatistik

• prägnante zusammenfassung von Daten

• Ermittlung von Lagemaßen (Wo liegen die Daten?) und Streuungsmaßen (Wie sind die Daten verteilt?)

• Ermmitlung von Zussammenhangsmaßen -> Korrelationen

—> Verfahren der Deskriptiven Statistik werden für Assoziationsanalysen benötigt)

• Ziehen von Rückschlüssen auf eine Grundgesamtheit durch betrachtung einer Stichprobe

• Entwicklung von Vorhersagemodellen zur Klassifikation zuvor unbekannter daten

• Aufspüren von kausalen Beziehungen in den Daten

—> Verfahren der Prädikativen Statistik werden für Klassifikations- / Regressionsanalysen benötigt

wie aus kapitel 7

Mit der ROC-Kurve kann die Güte verschiedener Modelle durch Kombinationen der FPR und FNR visualisiert werden.

• jeder Punkt auf der ROC-Kurve repräsentiertein Vorhersagemodell und zeigt dessen FPR und FNR

• Je näher der Punkt oben Links im Graphen (siehe Bild) ist, desto besser funktioniert das Modell

  • kann formal auch durch die Fläche unter der ROC-Kurve berechnet werden (area under the curve, AUC)

• Punkte unterhalb d. gestrichelten Linie würden bedeuten, das Modell liegt häufiger falsch als richtig.

R ist eine freie, quelloffene Programiersprache, mit der sich relativ einfach maschinelle Datenanalysen durchfüren und ggf. automatisieren lassen.

Unterstützung moderner verfahren

• R bietet vielzahl von Paketen mit denen prädikative Modellierung möglich ist

  -> übersteigt Funktionsumfang von Tabellenkalkulationssoftware deutlich

Reproduzierbarkeit

• Durch Erstellung eines Programms werden Analyseschritte dokumentiert

  -> dadurch kann transparent nachvollzogen werden, wie vorgegangen wurde

Automatisierbarkeit

• Einmal ersstellte programme können wiederholt mit neuen daten ausgeführt werden.

  -> daten und Ananlysebefehle sind nicht (wie z.B. bei Excel) vermischt

Quelloffenheit

• R ist kostenlos + kann ohne Erwerb von Lizenzen jederzeit verwendet werden

• R wird permanent von einer großen Gruppe Entwickler weiterentwickelt

Objekte

• Variablen, denen Werte zugewiesen werden können

• Numerische Werte, Vektoren, Matrizen, Listen, Dataframes,…

• Zuweisungen mit “< - “ Operator:

  grades <- c(1.3, 1.7)

  
  

Funktionen

• Berechnnung einer ausgabe zu einer menge von Eingabewerten

• Deklaration mit fuction: mult <- function (a, b) { return (a*b) }

Pakete

• Sammlung an vorgegebenen Funktionen zur Lösung häufig vorkommender Probleme

• Beispiel: Paket arules für Arbeit mit assoziationsregeln

• Einbindung mit library (…)

Zusammengefasste Daten aus der deskriptiven Statstik, lassen sich in Lage- und Streuungsmaße kategorisieren:

Lagemaße:

• Mittelwert

• Median

• Modus

Streuungsmaße:

• Standardabweichung

• Variationskoeffizient

  
  

  Bsp.:

  summarise (data, mean = mean (revenue),

  median = median(revenue),

  stddev = sd(revenue),

  total = sum(revenue))

cor (select(data, sales, revenue))

-> Wenn die Preise im betrachteten Zeitraum halbwegs konstant waren, ist von einer hohe positiven Korrelation zwischen Verkaufszahlen und Umsatz auszugehen.

Funktion zur automatischen Ermittlung und Bewertung von Assoziationsregeln

Beispiel: Immer dann wenn der Umsatz im Land Costa Rica 521 oder 1750 war, war es ein rodukt aus der Gruppe Account. (siehe 1. Zeile)

z.B. mit dem Paket caTools

R ermöglicht Bildung einer Vielzahl von Modellen zur Regression oder Klassifikation von Datensätzen auf Basis von Daten aus DF.

1. Trainings- und Testdaten separieren

2. Modell mit Trainingsdaten erstellen

   • Bsp. 1: Lineare Regression zur Vorhersage des Umsatzes anhand Verkaufszahlen

     lm(revenue ~ sales, data = train)

   • Bsp. 2: Entscheidungsbaum zur Vorhersage der Verkaufszahlen

     rpart(sales ~ month + country + product_grroup, data = train, method = “anova”)

     -> entspricht Regressionsmodell, da kontinuierliche Zahlenwerte vorhergesagt werden

     • Klassifikationsmodell; hierfür wird (binäres) Klassenlabel benötigt (siehe folgender befehl): data$highrevenue <- (data$revenue > mean(data$revenue))

       Baum für Klassifikationsmodell: rpart(highrevenue ~ month + country + productgroup, data = train, method = “class”)

Zur Reproduzierbarkeit der Aufteilung

rpart

Zur Evaluation eines Modells muss Korrektheit seiner Vorhersagen anhand Testdaten überprüft und darauf basierend die Modellgüte berechnet werden.

= ETL-Prozess + Data Warehousing + Datenanalyseprozess

Einlesen - Aufbereiten - Modellieren - Visualisieren - Kommunizieren

Auswählen von relevanten Spalten aus dem Data Frame

Löschen von irrelevanten Zeilen aus dem Data Frame

Sortieren von Zeilen des Data Frames

Aggregation von Daten im Data Frame zu einer erhöhten Aggregationsstufe

Erhöhung der Aggregationsstufe der Daten im Data Frame

Klassifikationsmodelle: ordnen Daten in (diskrete) Klassen

Regressionsmodelle: Treffen (kontinuierliche) numerische Vorhersage