2_Big Data & Data Science Fundamentals

1. Collect (Sammeln)

2. Prepare (Aufbereiten)

3. Examine (Untersuchen)

4. Model (Modellieren)

5. Decide (Entscheidung)

6. Act (Ausführen)

Ein DFS ist ein Dateisystem, das über mehrere Rechner hinweg Daten speicher und verwaltet. Es ermöglicht den Benutzern, auf Datein auf verschiedenen Rechnern zuzugreifen, als ob sie auf einem einzigen Rechner gespeichert wären.

• Ausfallsicherheit

• Lastenverteilung

1. Starte mit Endnutzer-Anforderungen, um gewünschte berichte und analysen zu identifizieren

2. definiere eintsprechende Datenbankschema und abfragen

3. identifiziere erforderliche datenquellen

4. erstelle eine ETL-Pipeline um Daten zu Extrahieren

5. Analysiere Daten und erstelle Bericht

Grundsätzlich sind alle Daten wertvoll!

z.B. Kann ein Restaurant Kundendaten verwenden um Personalisierte Marketingkampagnen (mit z.B. beliebtesten Essen) zu erstellen

Daten können aber auch nicht wertvoll sein wenn z.B.

• die daten bereit veraltet sind

• nicht genau oder fehlerhaft sind

• nicht geschützt und somit ein Risiko darstellen

Alter Weg:

1. Struktur

2. Aufnehmen

3. Analysieren

Neuer Weg:

1. Aufnehmen

2. Analysieren

3. Struktur

Nach dem neuen Weg werden sämtliche Daten erst aufgenommen und danach geschaut ob sie benötigt werden oder nicht. Daher können auch im nachhinein noch neue Analysierungen durchgeführt werden, da die daten da sind.

File (Datei):

Ist eine Art von Speichermedium, das Dateien in einer Ordnerhirachie speichert.

Object (Objekt):

Eine Art der Speicherung, bei der die Daten mit Metadaten verknüft werden.

Metadaten sind Informationen über bestimmte Daten.

• Sie sind für jeden Typ spezifisch

• Ermöpglichen die automatisierte Verwaltung

• Stellen Integrität, Aufbewahrung und authentizität sicher

• Unstrukturierte Daten-Workloads

• Kapazitätsanforderungen über Hunderte von TBS

• Verteilter zugriff auf Inhalte

• Datenarchivierung: Dokumente, E-Mails, BakcUps etc.

• Speicher für Fotos, Videos

• Nicht Hochleistungsanwendungen

• extrem große Datenmengen

• Vielfalt an Strukturen und Formaten

Vorteile:

• Keine Duplikate

• Datenintegrität

• Transaktionen

• Sicherheit

• Datenkonsistenz

Nachteile:

• Leistung

• Arbeiten in verteilter Umgebung

• Zusätzliche Sprache zum Bearbeiten von Daten

• Skalierung

• strukturierte Speichersoftware die entwickelt wurde zu speicherung von großen Datensätzen

• verfügbar, skalierbar, konsistent

• einfach zu benutzen

Consistency

Availability

Partitioning

Vorteile:

• massive Skalierbarkeit

• hohe verfügbarkeit

• niedrige Kosten

• flexibel

• semi-strukturierte Daten

Nachteile:

• begrenzte Abfragemöglichkeiten

• nicht standardisiert

• noch eine Entwicklung

SQL:

• Datenintegrität ist unerlässlich

• Auf Standards basierende, bewährte Technologie und Support

dann bevorzugen sie SQL

NoSQL:

• Datenanforderungen sind unabhängig, unbestimmt oder entwickeln sich weiter

• Projektziele sind einfacher oder weniger spezifisch und ermöglichen den sofortigen Programmierbeginn

• Geschwindigkeit und Skalierbarkeit sind unerlässlich

dann bevorzugen sie NoSQL

Predictive Analytics -> Predictive Maintenance

z.B.

Eine CNC-Fertigung übermittelt sämtliche Status-Daten wie z.B. Leistung, Temperatur, Umdrehungen, Auslastung usw. in ihre Cloud. Aus diesen kann auf Basis von bisher bekannten Fehlermustern und Verschleiß jederzeit eine Zustandsangabe getätigt werden und proaktive der Service angestoßen werden oder Ersatzteile bestellt werden.