Big Data

Die drei Dimensionen sind Volume, Variety und Velocity. Volume und Velocity werden durch Technologien, die Daten vertikal und horizontal verarbeiten, adressiert. Variety wird durch den Umgang mit semi- und unstrukturierten Daten in NoSQL-Datenbanken umgesetzt.

Die technische Herausforderung besteht in der Speicherung und Verarbeitung der großen Datenmengen sowie dem schnellen Datentransport von der Datengewinnung zu den analytischen Tools.

Vertikal skalierte Modelle erhöhen die Leistung eines Servers durch Hinzufügen von Prozessoren und Speicher, während horizontal skalierte Modelle die Verarbeitung der Daten auf viele Knoten in einem Cluster verteilen. Algorithmen wie MapReduce nutzen horizontale Skalierung.

MPP-Systeme haben eine Shared-Nothing-Architektur, bei der jeder Server seinen eigenen Speicher hat und Daten lokal verarbeitet. Die Kommunikation erfolgt durch eine Messaging-Schnittstelle.

Bei der Graphen-Traversierung führt die Wiederholung der Map- und Reduce-Prozesse zur Verlangsamung des Systems. BSP-Modelle umgehen dies durch Supersteps, die parallele Berechnungen mit globaler Synchronisation durchführen.

MPP-Systeme: Teradata, Apache HAWq, Dell EMC Greenplum.

MapReduce-Systeme: Apache Hadoop.

BSP-Systeme: Apache Hama, Google Pregel, Apache Giraph.

In-Memory-Modelle verlagern die Datenverarbeitung auf den Arbeitsspeicher, was die Reaktionszeit erheblich beschleunigt. Cloud-Technologien haben diese Ansätze kostengünstiger und zugänglicher gemacht.

• In-Memory-Datenbanken: Redis, MongoDB, SAP HANA, Oracle DB.

• In-Memory Data Grids: Ehcache, Oracle Coherence, Hazelcast.

1. Hierarchische DB (Single Parent, XML): IMS DB von IBM

2. Netzwerk-DB (Multi-Parent): UDS von Siemens

3. Schlüsselwerte-DB (Key Value): Amazon Dynamo, Google Big Table

4. Objektorientierte DB (Objektdatenbankmodell): ObjectDB++, Wakanda

5. Dokumentorientierte DB (Document Stores, JSON): MongoDB

6. Graph DB (Informationen und Eigenschaften als Graphen mit Knoten und Kanten): Neo4j, SAP HANA Graph

7. Spaltenorientierte DB (Columnar Stores): MariaDB, Apache Hbase

Die Lambda-Architektur, die Kappa-Architektur und die Delta-Lake-Architektur.

1. Data Layer: Aufnahme und Speicherung der Rohdaten (z.B. HDFS, Amazon S3, Azure Storage).

2. Integration & Ingestion Layer: Import und Überführung der Rohdaten in das Data Warehouse, z.B. durch ETL-Prozesse (z.B. Stitch, Apache Kafka).

3. Processing Layer: Bearbeitung der Daten (z.B. Apache Spark, Amazon Redshift).

4. Analytics & BI Layer: Analyse der Daten (z.B. Tableau, Microsoft BI).

1. Batch Mode Stack: Beispiele sind CDH, HDP, Amazon EMR.

2. Real-Time Stack: Beispiele sind HBase, Neo4j, Apache Hive.

3. Low-Latency Stack: Beispiele sind Cloudera Impala, Apache Drill.

4. Continuous Processing Stack: Beispiele sind Apache Storm, AWS Kinesis, Apache Kafka.

1. Batch-Layer: Daten werden gesammelt und periodisch verarbeitet, z.B. einmal täglich.

2. Speed-Layer: Daten werden direkt und ohne Persistenz auf Festplatten verarbeitet.

In der Kappa-Architektur wird der Batch-Layer weggelassen und alle Daten gehen durch den Speed-Layer.

1. Bronze: Ingestion Tables, Aufnahme der Rohdaten.

2. Silver: Refined Tables, verfeinerte und bereinigte Daten.

3. Gold: Feature/Aggregated Data Store, Daten für spezielle analytische Zwecke.

Die Architektur umfasst die Datenquelle, Datenspeicherung, Ressourcenmanagement, Analyse und Präsentation. Sie berücksichtigt Merkmale wie Herkunft der Daten, Vielfalt (un-, semi- oder strukturierte Daten) und Geschwindigkeit (Data-at-Rest oder Data-in-Motion).

Vertikale Schichten wie Data Lifecycle Management und Datenintegration sind ebenfalls enthalten.

1. Sicherheitsbedenken bei Unternehmen, die eine interne Infrastruktur bevorzugten.

2. Fehlende Angebote für Softwarelösungen in der Cloud.

3. Problematische Datentransfers von großen Datenmengen in die Cloud.

1. Viele Unternehmen nutzen jetzt Cloud-Dienstleistungen, um Sicherheitsfragen auszulagern.

2. Es gibt mittlerweile viele Softwarelösungen in der Cloud, inklusive Business Intelligence (BI) Angebote.

3. Obwohl Datentransfers weiterhin eine Herausforderung darstellen, werden Spezialisten für Datenmigration sehr gesucht.

1. Cloud Computing ist ein Modell, das nach Bedarf arbeitet und „on demand“ abgerechnet wird.

2. Es funktioniert geräteunabhängig und bietet Dienstleistungen in Form von geteilten Computerressourcen wie Server, Datenspeicher und Applikationen.

3. Grundvoraussetzung für Cloud Computing ist das Internet.

1. DaaS bezieht sich auf Tools und Services, die für die Arbeit mit Daten zur Verfügung gestellt werden.

2. Beispiele sind Data Warehouses für die Datenlagerung und Business Intelligence Tools für die Datenanalyse.

3. Daten werden auf Abruf bereitgestellt, basierend auf dem On-Demand-Prinzip.

• Internet of Things (IoT): IT-Systeme kommunizieren und vernetzen sich, um physische und virtuelle Objekte auszutauschen. Diese Services werden Internet of Things as Services (IoTaS) genannt.

• Cyber-physisches System (CPS): IT-Systeme kommunizieren mit mechanischen und elektronischen Teilen, typischerweise Maschinendaten, die ausgewertet werden.

• Embedded System: IT-Systeme sind in technische Kontexte eingebunden, zeichnen Signale auf und können regelnd eingreifen.

• Machine to Machine (M2M): Zwei Maschinen tauschen automatisch Informationen aus, oft über das Internet oder Mobilfunknetze.

1. Web Scraping umfasst alle Verfahren zum Auslesen von Texten von Webseiten.

2. Dabei werden Webdaten automatisiert gesammelt und strukturiert.

"Big Data Tools" behandelt die verschiedenen Tools und Frameworks, die durch Big Data entstanden sind, mit einem besonderen Fokus auf die Infrastruktur.

Es umfasst Themen wie

• Storage

• Online-Cloud-Dienste

• Data Warehouses

• Data Lakes

• Datenbanken

• Datenverarbeitungstools in Echtzeit

• ETL/ELT/Reverse ETL

• Open Source Software

• Programmiersprachen.

Die drei Beispiele für Objektspeicher sind Amazon S3, Azure Blob Storage und Google Cloud Storage.

Amazon S3 bietet die Speicherklassen Standard, Standard-IA und Glacier. Die Überführung zwischen diesen Klassen wird durch Lifecycle Management ermöglicht.

Kostenfreie Speicherversionen der Online-Cloud-Dienste sind insbesondere für kleinere Speicherbedarfe und für private Nutzer interessant.

Ein Data Warehouse ist eine Datenbank, in der strukturierte Daten aus ERP-Systemen zusammenfließen. Die typische Operation, die dort durchgeführt wird, ist Extract, Transform und Load (ETL).

Drei Beispiele für Data Warehouse Tools sind Amazon Redshift, Teradata und Oracle 12c.

Das Ziel eines Data Lakes ist die Verwaltung einer Bandbreite an Datentypen, sowohl strukturiert als auch unstrukturiert.

Zwei Vorteile eines Data Lakes sind die Erfassung von unstrukturierten Daten und die schnelle Speicherung und der schnelle Zugriff durch das ELT-Verfahren (Extract, Load, Transform).

Zwei Punkte, auf die man bei einem Data Lake achten muss, sind:

1. Saubere Datenverwaltung: Es bedarf einer guten Dokumentation der im Lake befindlichen Daten, um sicherzustellen, dass die Daten gepflegt und genutzt werden können.

2. Technische Komplexität: Der Zugriff auf die Daten für die Analyse ist komplexer als bei einem klassischen Data Warehouse, da die Daten im Data Lake nicht vorab aufbereitet sind.

SQL-Datenbanken und NoSQL-Datenbanken.

Eine NewSQL-Datenbank ermöglicht SQL-Abfragen und bietet horizontale Skalierbarkeit, um die steigende Anzahl an gleichzeitigen Zugriffen und Datenmengen zu bewältigen. Sie kombiniert die relationale Datenbankstruktur mit SQL-Abfragen.

Eine Distributed Stream Computing Platform (DSCP) wird für die schnelle Verarbeitung von Datenströmen durch massive Skalierung mittels parallel verarbeitender Systeme verwendet. Daten kommen von einer Quelle und werden schnell verarbeitet.

Ein Beispiel für eine Anwendung des Complex-Event Processing (CEP) ist der High-Frequency Algorithm Trading (HFAT) bei Börsen.

Bei ETL (Extract, Transform, Load) werden Daten extrahiert, transformiert und dann geladen. Bei ELT (Extract, Load, Transform) werden Daten extrahiert, geladen und dann transformiert. ELT wird typischerweise bei Data Lakes verwendet.

Unter Open Source Software (OSS) versteht man Software, deren Quellcode öffentlich zugänglich ist und von jedem eingesehen und verändert werden kann. Vorteile von OSS sind häufig geringere Kosten und hohe Qualität.

Laut TIOBE Index 2021 ist Python die beliebteste Programmiersprache.

Zwei Bibliotheken von Python, die im Bereich Big Data eine Rolle spielen, sind NumPy und Pandas.

Ein Framework ist ein "Rahmen", innerhalb dessen Anwendungen programmiert werden können. Es stellt keine fertige Anwendung dar, sondern bietet die Struktur und Werkzeuge, um Software innerhalb dieses Rahmens zu entwickeln.

Die beiden Open-Source-Frameworks von Apache, die besonders hervorgehoben werden, sind Hadoop und Spark.

Apache Hadoop ist ein Open-Source-Framework, das im Zuge eines Projekts der Apache Software Foundation entstanden ist. Es ist in Java programmiert.

Die zwei Hauptkomponenten von Apache Hadoop sind das Hadoop Distributed File System (HDFS) und der MapReduce-Algorithmus.

HDFS ist ein verteiltes Dateisystem, bei dem Daten über Knoten (DataNodes) verteilt werden.

Der NameNode verwaltet die Metadaten und die Verteilung der Datenblöcke, sowie die Speicherkapazität der DataNodes.

Es gibt normalerweise zwei Replikate von jedem Datenblock, um die Datensicherheit zu gewährleisten.

Ein weiterer NameNode wird als "Hot Stand-by" für Ausfallsicherheit bereitgehalten.

Die drei Phasen des MapReduce-Algorithmus sind:

1. Map-Phase: Daten werden in Blöcke geladen, gemappt, sortiert, kombiniert und für den Versand präpariert.

2. Shuffle-Phase: Zwischenergebnisse werden zwischen den DataNodes/TaskTrackern gemixt.

3. Reduce-Phase: Daten werden kombiniert und reduziert, und das Ergebnis wird in das Distributed File System geschrieben.

Apache Spark ist eine mehrsprachige Engine zur Ausführung von Datenverarbeitung, Datenwissenschaft und maschinellem Lernen auf Einzelknoten- oder Clusterrechnern.

Für Apache Spark können die Programmiersprachen Python (PySpark), SQL, Scala, Java und R verwendet werden.

Das Ziel des Spark-Projekts war es, eine möglichst gute Performance zu gewährleisten.

Dieses Ziel wurde durch die Verwendung von In-Memory-Berechnungsmethoden erreicht, die große Datenmengen bis zu 100-mal schneller bearbeiten können als Hadoop.

Der Hauptunterschied zwischen Hadoop und Spark liegt in der Datenverarbeitung: Spark verwendet In-Memory-Berechnungsmethoden, die eine schnellere Bearbeitung großer Datenmengen ermöglichen, während Hadoop auf dem MapReduce-Algorithmus basiert, der eine traditionellere, festplattenbasierte Methode der Datenverarbeitung nutzt.

Orchestrierung ist notwendig, weil verschiedene Tools und Frameworks zusammenarbeiten müssen, um den gesamten Data Lifecycle abzudecken. Eine Orchestrierung hilft dabei, diese unterschiedlichen Services und Produkte zu koordinieren und effizient zu nutzen.

Ein Big-Data-Ökosystem ist ein Netzwerk von Services von verschiedenen Organisationen und Unternehmen, das zusammenarbeitet, um den Data Lifecycle zu implementieren. Es können auch Services außerhalb des Ökosystems kombiniert werden, um den Prozess zu ergänzen.

Das Apache-Hadoop-Ökosystem umfasst Komponenten wie Hadoop HDFS und Alluxio für Storage, HBase für NoSQL-Datenbanken, ML-Tools wie MADLib, Mahout und Spark MLlib, sowie Tools für das Management wie Zookeeper und Ambari. Für den Streaming Process stehen Flink, Storm und Kafka zur Verfügung.

Zum Apache-Spark-Ökosystem gehören Open-Source-Tools von Data Science wie die Python-Bibliotheken scikit-learn und pandas, TensorFlow und R. Bei den BI-Tools findet man PowerBi und Tableau.

MongoDB ist eine dokumentenorientierte NoSQL-Datenbank, die im Verbund mit der Atlas Cloud operiert. Sie kann auch mit anderen Cloud-Systemen arbeiten und durch Realm Daten auf mobilen Apps und Webseiten verbinden, um Applikationen zu transportieren.

Einige Add-ons des IBM-Ökosystems sind:

• Kudos Board: Grafisches Kanban Board für Aktivitäten in IBM Connections.

• IBM Connections Desktop Plugins: Direktzugriff auf IBM-Connections-Inhalte vom Desktop, Outlook oder Microsoft Office.

• VSee: Cloudbasierte Unified-Communication-Lösung.

• Media Upshot: Media-Content-Management-Lösung.

• IBM Docs: Webeditor für gemeinsame Bearbeitung von Microsoft-Office- und OpenOffice-Dokumenten.

Orchestrierung im Kontext von Big Data bezeichnet die Kombination und das Zusammenspiel von verschiedenen Tools, Diensten und Frameworks, um Daten zu verarbeiten, zu speichern und zu analysieren. Es ermöglicht, unterschiedliche Systeme und Technologien nahtlos miteinander zu integrieren.

Die Hauptbestandteile sind:

• Daten in das Azure-System bringen: Einsatz von Azure Storage oder Azure Data Lake Storage für Quelldateien.

• Verwaltung/Koordination der Orchestrierung: Verwendung von Apache Oozie oder Azure Data Factory.

• Speicher für die Erfassung und das Ergebnis: Einsatz von Azure Synapse Analytics.

• Datenbanken: Verwendung von Apache HBase für NoSQL und Azure SQL-Datenbanken für SQL.

• Datenaufbereitung für Analytics: Einsatz von Azure Analysis Services.

• Extrahieren und Laden: Nutzung von Apache Sqoop und Apache Flume.

• Transformieren: Verwendung von Hive, Pig und Spark SQL.

Der Hauptzweck der Orchestrierung in Big-Data-Projekten ist es, verschiedene Tools und Frameworks so zu kombinieren, dass sie nahtlos zusammenarbeiten, um den gesamten Datenlebenszyklus – von der Erfassung über die Speicherung bis hin zur Analyse – effizient zu unterstützen.

Ursprünglich wurden die Dimensionen Volume, Velocity und Variety zur Beschreibung von Big Data verwendet.

Im Laufe der Jahre sind die Dimensionen Veracity (Qualität der Daten), Validity (Aussagekraft oder Echtheit der Daten), Volatility (Dauer der Verfügbarkeit zu Quelldaten und Speicherung der Daten), Visibility (Sichtbarkeit der Daten), Viability (Erkennung der Nutzung der Daten) und Value (wirtschaftlicher Wert) hinzugekommen.

Im Kontext von Big Data bezeichnet "Value" den wirtschaftlichen Mehrwert, der durch die Nutzung neuer Techniken und Methoden wie Cloud Computing, Data Mining, Machine Learning, Deep Learning und künstliche Intelligenz generiert werden kann.

1. Resource Pooling: Gemeinsame Nutzung physischer Ressourcen.

2. Rapid Elastic: Unverzügliche Anpassung an den Bedarf der Ressourcen.

3. On-Demand Self-Services: Nutzer kann die Bedarfsanpassung selbst beeinflussen.

4. Broad Network Access: Zugriff auf ein umfassendes Netzwerk.

5. Measured Service: Messbare Servicenutzung.

Durch die Nutzung von CCS können wirtschaftliche Vorteile wie Effizienzsteigerung und Wegfall von Kostenblöcken erzielt werden.

Effizienzsteigerung wird durch Pay-per-Use-Abrechnung, bedarfsgerechte Skalierung und Einsparungen bei Anschaffungs- und Updatekosten erreicht.

Kostenblöcke können durch Reduzierung von Personalkosten, Wegfall von Hardware- und Softwarekosten sowie Einsparungen bei Raum- und Bewirtschaftungskosten reduziert werden.

Bei der Umstellung auf ein CCS sollten eine grundlegende Strategie und die Bewertung der Prozessänderungen vorab ausgearbeitet werden.

Ein Projekt zur Umsetzung der Strategie sollte initiiert werden, um den laufenden Betrieb nicht zu gefährden.

Der Changeprozess sollte durchlaufen werden, wobei der Fokus auf den Mitarbeitenden und deren Anpassung an neue Aufgaben und Anforderungen liegt. Zudem sollten psychische Einflussfaktoren berücksichtigt und Maßnahmen zur sicheren Umsetzung der Änderungen getroffen werden.

Die drei Kategorien von Unternehmen sind:

1. Datenverwalter: Am Anfang der Implementierung.

2. Datennutzer: Nutzen schon eine sinnvolle Datenverarbeitung.

3. Dateninnovator: Haben eine Strategie, um einen wirtschaftlichen Mehrwert durch die Arbeit mit Daten zu erhalten.

Bei der Auswahl eines CSP sollten dessen Zahlungsfähigkeit, Zuverlässigkeit, Expertise und die Sicherstellung, dass der Service nicht abrupt ausfällt, gründlich geprüft werden.

Außerdem sollten Maßnahmen zur Kontrolle des Verbrauchs und zur Einhaltung von Datenschutzbestimmungen und rechtlichen Verordnungen getroffen werden.

Die gängigsten Cloud Computing Services sind Software as a Service (SaaS), Platform as a Service (PaaS) und Infrastructure as a Service (IaaS).

Besonders für KMU sind SaaS und Data as a Service (DaaS) interessant, da diese Services es ermöglichen, Anwendungen und Datenverarbeitungstools ohne große Anschaffungskosten zu nutzen.

Die Vorteile für ein Unternehmen, das selbst Cloud Services anbietet, umfassen die Möglichkeit, wiederkehrende Einnahmen durch Abonnements oder Nutzungsgebühren zu generieren, und die Flexibilität, verschiedene Ertragsmodelle anzubieten.

Herausforderungen umfassen die Notwendigkeit einer gründlichen Strategieentwicklung, die Implementierung eines Kontrollmechanismus zur schnellen Reaktion auf Marktänderungen, und die Sicherstellung einer hohen Kundenbindung trotz der tendenziell kurzlebigen Natur der Kundenbeziehungen im CCS-Bereich.

Unternehmen können den wirtschaftlichen Wert von Big Data Analytics sichtbar machen, indem sie spezifische Anwendungsfälle identifizieren, Ausgangsanalysen durchführen, Key Performance Indicators (KPIs) festlegen, Big-Data-Methoden implementieren und regelmäßig die KPIs messen und auswerten.

Der Mehrwert zeigt sich durch Verbesserungen in den KPIs, die auf die Datenanalyse zurückgeführt werden können.

Der offensichtliche Wert von Daten bezieht sich auf den Besitz der Daten selbst, insbesondere wenn diese einzigartig oder branchenspezifisch sind.

Der potenzielle Wert von Daten entsteht durch die Anwendung von Datenanalyse-Methoden, wie zum Beispiel Machine Learning, zur Verbesserung von Prozessen oder zur Erschließung neuer Erkenntnisse.

Ein Unternehmen kann den potenziellen Wert von Daten ermitteln, indem es spezifische Geschäftsprozesse identifiziert, die durch Datenanalyse verbessert werden können.

Danach wird eine Ausgangsanalyse durchgeführt und KPIs festgelegt. Durch die Implementierung von Big-Data-Methoden und die regelmäßige Überprüfung der KPIs können Unternehmen den Beitrag der Datenanalyse zur Verbesserung der Prozesse und somit den potenziellen Wert der Daten sichtbar machen.