BigDataEngineering

Die 5 V's von Big Data stehen für Volumen (Volume), Geschwindigkeit (Velocity), Vielfalt (Variety), Wahrhaftigkeit (Veracity) und Wert (Value). 'Volumen' betrifft die große Menge an Daten, 'Geschwindigkeit' die schnelle Datenerzeugung und -verarbeitung, 'Vielfalt' die unterschiedlichen Datenarten und -formate, 'Wahrhaftigkeit' die Qualität und Glaubwürdigkeit der Daten und 'Wert' die aus den Daten zu ziehenden geschäftlichen Nutzen.

'Volumen' (Volume) bezieht sich auf die riesigen Mengen an Daten, die gesammelt und verwaltet werden müssen, und stellt Herausforderungen in Bezug auf Speicherung, Verarbeitung und Analyse dar.

'Geschwindigkeit' (Velocity) steht für die schnelle Geschwindigkeit, mit der Daten erzeugt, gesammelt und analysiert werden, und erfordert effektive Verarbeitung in Echtzeit oder nahezu Echtzeit.

'Vielfalt' (Variety) beschreibt die Breite der Datentypen und -formate, von strukturierten Daten in traditionellen Datenbanken bis hin zu unstrukturierten Texten, Bildern und Videos.

'Wahrhaftigkeit' (Veracity) bezieht sich auf die Zuverlässigkeit und Genauigkeit der Daten. Die Herausforderung besteht darin, die Integrität der Daten inmitten von Ungenauigkeiten, Unvollständigkeit und möglichen Verzerrungen zu gewährleisten.

'Wert' (Value) repräsentiert den geschäftlichen Nutzen, der aus der Analyse von Big Data gezogen wird. Er bezieht sich auf die Fähigkeit, wertvolle Erkenntnisse zu gewinnen, die zu besseren Entscheidungen und Unternehmensstrategien führen können.

CAP im CAP-Theorem steht für Konsistenz (Consistency), Verfügbarkeit (Availability) und Partitionstoleranz (Partition Tolerance).

Das CAP-Theorem besagt, dass in einem verteilten System nur zwei der folgenden drei Garantien gleichzeitig vollständig erfüllt werden können: Konsistenz (Consistency), Verfügbarkeit (Availability) und Partitionstoleranz (Partition Tolerance).

'Konsistenz' (Consistency) bedeutet im CAP-Theorem, dass alle Knoten im Netzwerk zu jedem Zeitpunkt die gleichen Daten sehen.

'Verfügbarkeit' (Availability) im CAP-Theorem bezieht sich darauf, dass jede Anfrage an das System eine Antwort erhält, selbst wenn Teile des Systems ausgefallen sind.

'Partitionstoleranz' (Partition Tolerance) im CAP-Theorem bedeutet, dass das System weiterhin funktioniert, selbst wenn aufgrund von Netzwerkunterbrechungen Teile des Systems nicht miteinander kommunizieren können.

Das CAP-Theorem impliziert, dass Entwickler und Systemarchitekten Kompromisse zwischen Konsistenz, Verfügbarkeit und Partitionstoleranz abwägen müssen. Beispielsweise kann ein System, das hohe Verfügbarkeit und Partitionstoleranz priorisiert, nicht immer sofortige Konsistenz gewährleisten.

Ja, ein verteiltes System kann konsistent und partitionstolerant sein, aber es kann in solchen Fällen an Verfügbarkeit einbüßen, was bedeutet, dass nicht alle Anfragen eine Antwort erhalten, wenn das Netzwerk partitioniert ist.

ACID steht für Atomarität (Atomicity), Konsistenz (Consistency), Isolierung (Isolation) und Dauerhaftigkeit (Durability). Diese vier Eigenschaften garantieren, dass Datenbanktransaktionen zuverlässig verarbeitet werden.

'Atomarität' (Atomicity) bedeutet, dass eine Transaktion als eine unteilbare Einheit behandelt wird, die entweder komplett durchgeführt oder im Falle eines Fehlers vollständig rückgängig gemacht wird.

'Konsistenz' (Consistency) stellt sicher, dass eine Datenbanktransaktion die Datenbank von einem gültigen Zustand in einen anderen gültigen Zustand überführt, wobei alle definierten Regeln (wie Integritätsbedingungen) eingehalten werden.

'Isolierung' (Isolation) bedeutet, dass die Ausführung einer Transaktion unabhängig von anderen gleichzeitig ablaufenden Transaktionen erfolgt. Datenbankmanagementsysteme erreichen dies durch verschiedene Isolationslevel, die bestimmen, inwieweit eine Transaktion auf Daten zugreifen kann, die von einer anderen Transaktion bearbeitet werden.

'Dauerhaftigkeit' (Durability) gewährleistet, dass die von einer Transaktion vorgenommenen Änderungen permanent sind und auch nach einem Systemfehler, wie z.B. einem Stromausfall, erhalten bleiben.

ACID-Eigenschaften sind wichtig, um die Integrität und Zuverlässigkeit von Daten in einer Datenbank zu gewährleisten, insbesondere in einem Umfeld, in dem viele Benutzer gleichzeitig auf die Datenbank zugreifen und Änderungen vornehmen.

BASE steht für "Basically Available" (Grundsätzlich verfügbar), "Soft state" (Weicher Zustand) und "Eventual Consistency" (Endgültige Konsistenz).

"Basically Available" (Grundsätzlich verfügbar) bedeutet, dass das System in der Regel verfügbar ist, aber nicht garantieren kann, zu jedem Zeitpunkt vollständig konsistent zu sein, insbesondere nach einem Netzwerkausfall oder während der Datenreplikation.

"Soft state" (Weicher Zustand) besagt, dass der Zustand eines Systems ohne Eingriff ändern kann und nicht zu jedem Zeitpunkt Konsistenz garantiert wird, was eine flexible Anpassung an Änderungen ermöglicht.

"Eventual Consistency" (Endgültige Konsistenz) bedeutet, dass das System garantiert, dass, wenn keine neuen Updates mehr gemacht werden, alle Kopien der Daten schließlich konsistent werden, auch wenn es eine zeitliche Verzögerung gibt.

Das BASE-Modell wird bevorzugt, weil es höhere Verfügbarkeit und Toleranz gegenüber Netzwerkausfällen bietet, was in groß angelegten, verteilten Systemen oft wichtiger ist als strenge Konsistenz.

Im Gegensatz zum ACID-Modell, das strenge Konsistenz und Zuverlässigkeit in Datenbanktransaktionen betont, bietet das BASE-Modell Flexibilität und Skalierbarkeit, indem es einige Konsistenzgarantien lockert, um Verfügbarkeit und Leistung in verteilten Umgebungen zu verbessern.

Die Lambda-Architektur ist ein Datenverarbeitungsmodell, das speziell für Big Data-Anwendungen entwickelt wurde. Es kombiniert sowohl Batch- als auch Echtzeit-Datenverarbeitung, um eine umfassende und effiziente Analyse großer Datenmengen zu ermöglichen.

Die drei Hauptkomponenten der Lambda-Architektur sind die Batch-Layer (Batch-Schicht), die Speed-Layer (Geschwindigkeitsschicht) und die Serving-Layer (Bereitstellungsschicht).

Die Batch-Layer verarbeitet große Mengen an historischen Daten in Batches. Sie ist verantwortlich für umfangreiche Berechnungen und die Erstellung einer umfassenden Sicht auf die Daten.

Die Speed-Layer verarbeitet neueste Datenströme in Echtzeit. Sie bietet eine zeitnahe Analyse und kompensiert die Latenz der Batch-Layer.

Die Serving-Layer kombiniert die Ausgaben der Batch- und Speed-Layers, um eine konsolidierte Sicht auf die Daten zu bieten. Sie ermöglicht das schnelle Abrufen von Daten für Analysen und Benutzeranfragen.

Die Lambda-Architektur wird verwendet, um die Vorteile von sowohl Batch- als auch Echtzeit-Datenverarbeitung zu nutzen, was eine effektive Handhabung von großen Datenmengen mit unterschiedlichen Anforderungen an die Verarbeitungsgeschwindigkeit ermöglicht.

Die Kappa-Architektur besteht aus einer einzigen Schicht, der Streaming-Layer, die sowohl für Echtzeit-Datenverarbeitung als auch für die Verarbeitung historischer Daten genutzt wird.

In der Kappa-Architektur werden alle Daten als ununterbrochene Ströme behandelt. Sowohl Echtzeit-Daten als auch historische Daten werden durch denselben Stream-Processing-Mechanismus verarbeitet.

Die Kappa-Architektur bietet eine vereinfachte Architektur, indem sie nur eine Verarbeitungsschicht verwendet. Dies erleichtert die Wartung und Entwicklung, da keine separate Logik für Batch- und Echtzeit-Verarbeitung notwendig ist.

Die Kappa-Architektur eignet sich besonders für Anwendungen, die eine kontinuierliche Verarbeitung von Datenströmen erfordern, wie z.B. Echtzeit-Analytik, Fraud Detection in Finanzsystemen oder Monitoring- und Alerting-Systeme.

Eine Herausforderung der Kappa-Architektur ist der Umgang mit großen Mengen historischer Daten, da diese ebenfalls als Stream verarbeitet werden müssen. Zudem kann es schwieriger sein, komplexe Transformationen oder Aggregationen, die in typischen Batch-Prozessen vorkommen, umzusetzen.

Der Hauptunterschied liegt in der Anzahl der Verarbeitungsschichten: Die Lambda-Architektur verwendet eine Batch- und eine Speed-Layer für die Verarbeitung, während die Kappa-Architektur nur eine einzige, einheitliche Streaming-Layer für beide Verarbeitungsarten nutzt.

In der Lambda-Architektur wird Echtzeit-Datenverarbeitung durch die Speed-Layer gehandhabt, während in der Kappa-Architektur Echtzeit- und historische Datenverarbeitung durch dieselbe Streaming-Layer erfolgen.

Die Lambda-Architektur eignet sich besser für komplexe Datenverarbeitungsanforderungen, da sie spezialisierte Schichten für unterschiedliche Arten der Datenverarbeitung (Batch und Echtzeit) bietet.

Die Kappa-Architektur ist vorteilhafter in Szenarien, in denen die Datenverarbeitung hauptsächlich auf Streaming basiert und eine Vereinfachung der Architektur durch die Verwendung einer einzigen Verarbeitungsschicht erwünscht ist, was die Wartung und das Management erleichtert.

Hadoop ist ein Open-Source-Framework zur Speicherung und Verarbeitung großer Datenmengen (Big Data) in einem verteilten Umfeld. Es wird verwendet, um mit riesigen Datensätzen zu arbeiten, die auf mehrere Computer verteilt sind, und bietet Funktionen für Datenanalyse, Speicherung und Verarbeitung.

Die Hauptkomponenten von Hadoop sind das Hadoop Distributed File System (HDFS) für die Datenspeicherung, YARN (Yet Another Resource Negotiator) für das Ressourcenmanagement und das MapReduce-Programmiermodell für die Datenverarbeitung.

HDFS ist das Speichersystem von Hadoop, das speziell für die Speicherung sehr großer Dateien entwickelt wurde und Daten auf mehrere Maschinen verteilt, um hohe Fehlertoleranz und schnellen Zugriff zu ermöglichen.

MapReduce ist ein Programmiermodell in Hadoop, das die Verarbeitung großer Datenmengen ermöglicht, indem es Aufgaben auf mehrere Knoten in einem Cluster verteilt. Es teilt die Verarbeitung in zwei Phasen: die Map-Phase, die Daten aufschlüsselt, und die Reduce-Phase, die die Ergebnisse zusammenfasst.

YARN (Yet Another Resource Negotiator) ist das Ressourcenmanagement- und Job-Scheduling-System von Hadoop. Es ermöglicht verschiedenen Datenverarbeitungsanwendungen, effizient auf demselben Hadoop-Cluster zu laufen, indem es Ressourcen wie CPU und Speicher verwaltet.

Hadoop bietet hohe Skalierbarkeit, da es auf Hunderten oder Tausenden von Servern laufen kann. Es bietet auch hohe Fehlertoleranz durch Datenreplikation über verschiedene Knoten und ist flexibel einsetzbar für verschiedene Arten von Big Data-Anwendungen.

Apache Spark ist im Vergleich zu Hadoop's MapReduce schneller, da es In-Memory-Datenverarbeitung unterstützt, was bedeutet, dass es Daten im Arbeitsspeicher hält und nicht auf Festplatte schreibt, außer es ist notwendig. Dies ermöglicht eine schnelle Datenverarbeitung, insbesondere für Anwendungen, die iterative Algorithmen erfordern.

Apache Spark ist ein Open-Source-Cluster-Computing-Framework, das für schnelle und effiziente Verarbeitung großer Datenmengen entwickelt wurde. Es wird häufig für Aufgaben wie maschinelles Lernen, Echtzeit-Datenverarbeitung und große Datenanalysen eingesetzt.

Apache Spark bietet eine hohe Verarbeitungsgeschwindigkeit, Unterstützung für vielfältige Datenverarbeitungsaufgaben (Batch, Streaming, interaktive Abfragen, maschinelles Lernen), eine benutzerfreundliche API in mehreren Programmiersprachen (Scala, Java, Python, R) und die Möglichkeit, auf verschiedenen Plattformen wie Hadoop YARN, Apache Mesos und Kubernetes zu laufen.

"Push Code to Data, not Data to Code" ist ein Ansatz in der Datenverarbeitung, insbesondere in Big Data-Umgebungen, bei dem die Verarbeitungslogik (Code) zu den Daten gebracht wird, statt die Daten zum Ort der Verarbeitung zu übertragen. Dies reduziert die Notwendigkeit, große Datenmengen über das Netzwerk zu bewegen, was besonders bei verteilten Systemen wie Hadoop effizienter ist. Es ermöglicht eine schnellere Datenverarbeitung, da der Code direkt dort ausgeführt wird, wo die Daten gespeichert sind, und vermeidet Engpässe, die durch das Übertragen großer Datenmengen entstehen können.

Apache Kafka ist eine Open-Source-Stream-Processing-Plattform, die für die Verarbeitung von großen Datenströmen in Echtzeit entwickelt wurde. Es wird häufig für Anwendungsfälle wie Echtzeit-Analytik, Datenintegration, Log-Aggregation und die Implementierung von Event-Driven-Architekturen verwendet.

Zu den Hauptfunktionen von Apache Kafka gehören das zuverlässige Speichern großer Mengen von Nachrichten in Topics (Datenströme), die Unterstützung von Publish-Subscribe-Messaging-Modellen und die Fähigkeit, Datenströme effizient zwischen verschiedenen Systemen und Anwendungen zu verteilen. Es bietet auch hohe Durchsatzraten und Skalierbarkeit.

In Apache Kafka werden Nachrichten in Topics organisiert, welche weiter in Partitionen unterteilt sind. Produzenten (Producers) senden Nachrichten an diese Topics, und Konsumenten (Consumers) abonnieren bestimmte Topics, um Nachrichten zu empfangen und zu verarbeiten. Kafka ermöglicht eine hohe Durchsatzrate und gleichzeitige Verarbeitung durch seine verteilte Architektur und Partitionierung.

Streaming Storage bezieht sich auf Speichersysteme, die für die Verarbeitung von Datenströmen in Echtzeit konzipiert sind. Sie ermöglichen das kontinuierliche Erfassen, Speichern und Verarbeiten von Daten, die als Streams ankommen, wie beispielsweise aus IoT-Geräten oder Online-Transaktionen. Streaming Storage wird oft in Kombination mit Stream-Processing-Plattformen wie Apache Kafka verwendet.

HDFS wird vorrangig in Big Data-Umgebungen und für Batch-Verarbeitungsaufgaben eingesetzt, wobei es sich durch hohe Datendurchsätze auszeichnet. Object Stores sind ideal für die Speicherung großer Mengen unstrukturierter Daten und werden oft in Cloud-Umgebungen verwendet. Streaming Storage ist für Echtzeit-Datenverarbeitung optimiert und unterstützt Szenarien, in denen kontinuierlich Datenströme verarbeitet werden müssen.

Ein Object Store ist ein Speichersystem, das Daten als Objekte speichert, wobei jedes Objekt einen eindeutigen Identifier und Daten enthält, die als ein unteilbares Ganzes behandelt werden. Im Gegensatz zu traditionellen Dateisystemen, die eine hierarchische Struktur verwenden, basieren Object Stores auf einer flachen Struktur, was sie skalierbarer und effizienter für die Speicherung von unstrukturierten Daten macht. Beispiele sind Amazon S3 und Google Cloud Storage.

Ein Data Lake ist ein zentrales Speichersystem, das große Mengen an rohen, unstrukturierten und strukturierten Daten in ihrem nativen Format speichert. Er wird verwendet, um Daten in einem einzigen Repository zu konsolidieren, sodass sie für verschiedene Arten der Analyse, wie Big Data-Verarbeitung, Machine Learning und Echtzeit-Analytics, zugänglich sind.

Data Lakes bieten hohe Flexibilität bei der Speicherung verschiedenster Datentypen und -formate, unterstützen skalierbare Analysen und Data Mining auf großen Datensätzen und ermöglichen eine kosteneffiziente Speicherung durch die Nutzung von Technologien wie Hadoop oder Cloud-basierten Plattformen. Sie bieten außerdem die Möglichkeit, alle Daten in einem einzigen System zu speichern, was eine umfassendere Datenanalyse und -nutzung ermöglicht.

Herausforderungen bei Data Lakes umfassen Datenmanagement, Sicherheit, Datenqualität und Governance. Um diese Herausforderungen zu bewältigen, sind Best Practices wie die Implementierung einer robusten Daten-Governance-Strategie, die Sicherstellung von Datenqualität und -sicherheit und die Verwendung von Metadatenmanagement-Tools notwendig. Außerdem ist es wichtig, klare Richtlinien für den Datenzugriff und die Datenintegration zu etablieren, um einen "Data Swamp" zu vermeiden, bei dem der Data Lake unorganisiert und nicht nutzbar wird.

Ein Data Warehouse ist eine zentrale Datenbank, die strukturierte Daten aus verschiedenen Quellen für Analyse- und Berichtszwecke konsolidiert. Es ist speziell für die Abfrage und Analyse optimiert und wird in Business Intelligence-Anwendungen verwendet, um Entscheidungsfindungen zu unterstützen.

Ein Data Warehouse bietet verbesserte Datenanalyse und Berichterstattung, konsistente Daten, unabhängig von der Quelle, und ermöglicht komplexe Abfragen und Analysen, ohne die Leistung der operationellen Systeme zu beeinträchtigen. Es unterstützt auch die historische Datenanalyse, da es Daten über längere Zeiträume speichert und somit zeitliche Trends und Muster erkennbar macht.

Ein Data Warehouse speichert strukturierte Daten in einem formatierten, oft normalisierten Schema, während ein Data Lake rohe Daten in verschiedenen Formaten (strukturiert, semi-strukturiert, unstrukturiert) speichert. Data Warehouses eignen sich besser für standardisierte, routinemäßige Berichterstattung und Analyse, während Data Lakes flexibler sind und eine breitere Palette von Datenverarbeitungs- und Analyseaufgaben unterstützen. Data Lakes sind ideal für Big Data-Anwendungen, maschinelles Lernen und Daten, die nicht einfach in ein starres Schema passen.

Herausforderungen bei Data Warehouses umfassen Datenintegration aus verschiedenen Quellen, Datenqualität, Performance-Optimierung und Skalierbarkeit.

Ein Data Lakehouse ist ein modernes Datenarchitekturmodell, das die Vorteile eines Data Lakes (Speicherung großer Mengen an rohen, strukturierten und unstrukturierten Daten) mit den Verwaltungs- und Performance-Funktionen eines Data Warehouse (strukturierte, optimierte Datenabfragen und -analyse) kombiniert. Es zielt darauf ab, die Skalierbarkeit und Flexibilität eines Data Lakes mit der Governance, Performance und Benutzerfreundlichkeit eines Data Warehouses zu vereinen.

Das Data Lakehouse bietet eine einheitliche Plattform für verschiedene Datenanalyse-Aufgaben, unterstützt sowohl unstrukturierte als auch strukturierte Daten, ermöglicht fortschrittliche Analysen und maschinelles Lernen auf dem gesamten Datensatz, und verbessert die Datenverwaltung und -qualität durch Governance-Funktionen. Es bietet auch eine kosteneffiziente Lösung, da es auf bestehenden Data-Lake-Infrastrukturen aufbaut.

Herausforderungen bei der Implementierung eines Data Lakehouse umfassen die Integration von Data-Lake- und Data-Warehouse-Technologien, Datenqualität und -governance sowie die Gewährleistung von Performance und Skalierbarkeit. Best Practices beinhalten die Nutzung fortschrittlicher Datenkatalog- und Metadatenverwaltungstools, die Implementierung strikter Datenqualitäts- und Governance-Richtlinien, die Auswahl geeigneter Datenmodellierungsansätze und die Berücksichtigung von Performance-Optimierungen beim Design.

Data Mesh ist ein Architektur- und Organisationsansatz, der darauf abzielt, die Herausforderungen zentralisierter und monolithischer Data-Lake- und Data-Warehouse-Architekturen zu überwinden. Es fördert eine dezentralisierte Datenarchitektur, in der Daten als Produkt betrachtet werden und die Verantwortung für Daten über verschiedene cross-funktionale Teams verteilt wird.

Die vier Hauptprinzipien von Data Mesh sind: 1) Domänengesteuerte Datenownership und -architektur, 2) Daten als Produkt, 3) Selbstbedienungs-Dateninfrastruktur und 4) Federated Computational Governance. Diese Prinzipien zielen darauf ab, die Datenverwaltung agiler und effizienter zu gestalten und den Zugriff sowie die Nutzung von Daten über die Organisation hinweg zu erleichtern.

Ein Data Mesh fördert eine bessere Skalierbarkeit und Agilität in der Datenverwaltung, verbessert die Datenqualität und -zugänglichkeit und unterstützt eine effektivere und dezentralisierte Entscheidungsfindung. Durch die Betrachtung von Daten als Produkt können Organisationen einen höheren Wert aus ihren Daten ziehen und schneller auf Marktveränderungen reagieren.

Zu den Herausforderungen bei der Implementierung eines Data Mesh gehören die kulturelle und organisatorische Veränderung hin zu einer domänengesteuerten Datenverwaltung, die Notwendigkeit einer robusten technologischen Infrastruktur, die Gewährleistung von Datenqualität und -sicherheit über verschiedene Domänen hinweg sowie die Herausforderung, eine konsistente und umfassende Daten-Governance aufrechtzuerhalten.

Blockspeicher, auch als Block-Level-Speicher bekannt, ist eine Form der Datenspeicherung, bei der Daten in festen Größen, sogenannten 'Blöcken', gespeichert werden. Jeder Block wird eindeutig identifiziert und kann wie eine individuelle Festplatte behandelt werden. Blockspeicher ist besonders effizient für datenintensive, transaktionale Anwendungen wie Datenbanken oder E-Mail-Server. Er ermöglicht schnellen, effizienten und zufälligen Zugriff auf die gespeicherten Daten und wird oft in SAN-Umgebungen (Storage Area Networks) eingesetzt.

In relationalen Datenbanken werden strukturierte Daten in Tabellenform abgelegt, wobei jede Tabelle spezifische Datentypen repräsentiert und aus Reihen (Datensätzen) und Spalten (Attributen) besteht. RDBMS sind ideal für Anwendungen, die eine genaue Strukturierung und feste Datenformate erfordern. Sie bieten starke Datenintegrität und Transaktionsunterstützung, was sie für Szenarien wie Finanztransaktionen, Kundenmanagement und Inventarverwaltung in Big Data-Umgebungen geeignet macht.

Relationale Datenbanken unterstützen performante Leseoperationen durch optimierte Abfrageverarbeitung, Indizierung und Caching-Techniken, was schnellen Zugriff auf strukturierte Daten ermöglicht. Der standardisierte Datenzugriff wird durch die Verwendung von SQL (Structured Query Language) erleichtert, einer weit verbreiteten und standardisierten Sprache für die Abfrage und Manipulation von Datenbankdaten. Dies macht SQL-basierte RDBMS zu einem zentralen Werkzeug für konsistente und effiziente Datenabfragen, insbesondere in Umgebungen mit hohen Anforderungen an Datenstruktur und -integrität.

Batch Data Ingestion bezieht sich auf die Verarbeitung großer Datenmengen in niedriger Frequenz. Daten werden in großen Paketen gesammelt und zu festgelegten Zeitpunkten (z.B. täglich oder wöchentlich) verarbeitet. Dieser Ansatz eignet sich für Szenarien, in denen es nicht notwendig ist, Daten in Echtzeit oder nahezu Echtzeit zu verarbeiten, wie z.B. bei der monatlichen Finanzberichterstattung oder der täglichen Datenaktualisierung.

Micro Batch Data Ingestion ist die Verarbeitung von Daten in kleinen Paketen bei hoher Frequenz. Im Gegensatz zu herkömmlicher Batch-Verarbeitung, die große Datenmengen in größeren zeitlichen Abständen verarbeitet, ermöglicht Micro-Batching eine schnellere Verarbeitung und Analyse von Daten. Dieser Ansatz wird oft in Szenarien eingesetzt, in denen aktuellere Daten benötigt werden, aber Echtzeitverarbeitung nicht kritisch ist, wie z.B. bei stündlichen oder minütlichen Aktualisierungen.

Echtzeit Data Ingestion bezieht sich auf die sofortige Verarbeitung von Daten, sobald sie entstehen, mit sehr kurzer Latenz zwischen Datenentstehung und Datenübertragung. Dieser Ansatz ermöglicht die Verarbeitung einzelner Datensätze oder sehr kleiner Datenmengen sofort nach ihrer Erzeugung. Echtzeit Data Ingestion wird in Szenarien eingesetzt, in denen sofortige Datenverarbeitung und -analyse erforderlich sind, wie z.B. bei der Überwachung von Finanztransaktionen in Echtzeit oder bei der Analyse von Streaming-Daten aus IoT-Geräten.

• Push-Methode: Bei der Push-Methode senden Datenquellen aktiv Daten an das Zielsystem. Diese Methode wird häufig in Echtzeit-Datenverarbeitungsszenarien verwendet, wo Daten sofort nach ihrer Erzeugung übertragen werden müssen.

• Pull-Methode: Bei der Pull-Methode fragt das Zielsystem die Datenquellen regelmäßig nach neuen Daten ab. Dies wird oft in Umgebungen verwendet, in denen das Zielsystem die Kontrolle über den Datenabruf hat und die Daten nicht in Echtzeit benötigt werden.

• Polling: Polling ist eine Variante der Pull-Methode, bei der das Zielsystem die Datenquelle in regelmäßigen Abständen abfragt, um festzustellen, ob neue Daten verfügbar sind. Polling wird häufig in Szenarien eingesetzt, in denen Daten nicht kontinuierlich generiert werden, aber das Zielsystem dennoch regelmäßig auf Aktualisierungen prüfen muss.

• Synchrone Ingestion: Bei der synchronen Datenübernahme besteht eine enge Kopplung zwischen Quelle und Ziel. Daten werden in Echtzeit oder nahezu in Echtzeit übertragen, wobei das Zielsystem auf die Daten von der Quelle wartet, bevor es mit der Verarbeitung fortfährt. Dies kann zu komplexen Abhängigkeiten führen und erfordert eine robuste Koordination.

• Asynchrone Ingestion: Bei der asynchronen Datenübernahme besteht eine lose Kopplung zwischen Quelle und Ziel. Daten werden unabhängig voneinander übermittelt, oft durch den Einsatz von Message Queues, die als Puffer zwischen Quelle und Ziel dienen. Dies ermöglicht eine Entkopplung und verringert direkte Abhängigkeiten. In dieser Methode können Daten verarbeitet werden, wenn das Zielsystem verfügbar ist, was eine flexible Datenhandhabung und Skalierbarkeit ermöglicht.

Batch Ingestion bezieht sich auf die Sammlung und Übertragung von Daten in großen Mengen oder 'Batches' innerhalb festgelegter Zeitfenster oder nach Erreichen einer bestimmten Datengröße. Es gibt zwei Hauptarten der Batch Ingestion:

• Zeitgesteuerte Ingestion: Diese Art der Ingestion ist typisch für ETL-Prozesse (Extract, Transform, Load) in einem Data Warehouse. Daten werden zu festgelegten Zeitpunkten, beispielsweise täglich oder wöchentlich, gesammelt und verarbeitet. Diese Methode eignet sich für Szenarien, in denen Daten nicht in Echtzeit verarbeitet werden müssen, sondern in regelmäßigen, vorhersagbaren Intervallen.

• Größengesteuerte Ingestion: Hierbei werden Daten gesammelt, bis eine bestimmte Datengröße erreicht ist, und dann als ein Batch zur Verarbeitung übertragen. Diese Methode ist typisch für Streaming-Daten, bei der die kontinuierlich generierten Daten in handhabbare Batches aufgeteilt werden für die nachfolgende Verarbeitung. Sie kombiniert Elemente der Echtzeit-Verarbeitung mit der Effizienz von Batch-Prozessen.

• Snapshot-Extraktion: Bei dieser Methode wird der gesamte Datenbestand zu einem bestimmten Zeitpunkt übertragen oder extrahiert. Dies entspricht einem vollständigen Abbild (Snapshot) des aktuellen Datenstands in der Quelle. Snapshot-Extraktionen sind hilfreich, um einen vollständigen Überblick über die Daten zu einem definierten Zeitpunkt zu erhalten, führen jedoch zu großem Datenvolumen bei jeder Übertragung.

• Inkrementelle Extraktion: Bei der inkrementellen Extraktion werden nur die Datenänderungen (wie Updates, Inserts und Deletes) seit der letzten Übertragung erfasst und übertragen. Dies erfordert Mechanismen zur Ermittlung von Änderungen in den Datenquellen. Die inkrementelle Extraktion minimiert das Übertragungsvolumen und ist effizienter als die Snapshot-Methode, besonders bei großen Datenmengen und häufigen Aktualisierungen.

• Dateibasierter Export und Ingestion: Dieser Ansatz nutzt den File Transfer als einfachen Mechanismus zur Datenübertragung.

• Datenserialisierung an der Quelle: Die Daten werden an der Quelle in einem standardisierten Format serialisiert, häufig in Formaten wie CSV, JSON usw.

• Bereitstellung der Datei für den Ingestion-Prozess: Nach der Serialisierung werden die Dateien für den Ingestion-Prozess bereitgestellt. Dies kann über Object Stores, SFTP (Secure File Transfer Protocol) oder SCP (Secure Copy Protocol) erfolgen.

• Push Based Ingestion: Bei diesem Muster wird die Ingestion durch die Serialisierung der Daten durch die Quelle ausgelöst. Die Datenquelle initiiert den Prozess, indem sie die serialisierten Daten aktiv an das Zielsystem überträgt. Dieser Ansatz eignet sich für Szenarien, in denen eine direkte und zeitnahe Übertragung von Daten aus der Quelle erforderlich ist.

• Direkte Anbindung der Datenbanken: Für die Data Ingestion kann eine direkte Verbindung zu Datenbanken hergestellt werden, häufig unter Verwendung von JDBC (Java Database Connectivity) oder ODBC (Open Database Connectivity). Diese Methoden ermöglichen den direkten Zugriff auf Datenbanken und den Transfer von Daten in Echtzeit oder nahezu in Echtzeit.

• Change Data Capture (CDC): CDC ist eine Technik, bei der Änderungen (wie Inserts, Updates und Deletes) in der Quelldatenbank erfasst und übertragen werden. CDC ermöglicht eine effiziente und kontinuierliche Datenübertragung, indem nur die geänderten Daten statt des gesamten Datenbestandes übermittelt werden. Dies reduziert das Datenvolumen und sorgt für eine aktuellere Datenverfügbarkeit. CDC wird oft in modernen ETL-Prozessen und für die Datenreplikation in Echtzeit verwendet.

• Batch-orientiertes CDC: Bei dieser Methode werden Daten anhand eines aufgezeichneten Änderungsdatums (z.B. Last Modified Attribut) ausgewählt und übertragen. Es werden nicht alle Änderungen in der Historie übertragen, sondern nur der aktuelle Datenstand. Dies eignet sich für Szenarien, in denen regelmäßige, aber nicht notwendigerweise sofortige Aktualisierungen erforderlich sind.

• Continuous CDC: Diese Methode überträgt die gesamte Änderungshistorie und unterstützt die Dateningestion in Echtzeit. Jede Änderung in den Datenquellen (Insert, Update, Delete) wird als eigenes Event behandelt und sofort übertragen. Continuous CDC ermöglicht eine nahtlose und unmittelbare Aktualisierung des Ziel-Datensystems und eignet sich besonders für Anwendungen, die eine fortlaufende Synchronisation und Echtzeit-Datenanalyse erfordern.

• Dateninhalt:

  • Interpretierbarkeit: Die Daten sollten klar und in einem Kontext verständlich sein, der für die Nutzer sinnvoll ist.

  • Genauigkeit: Die Daten müssen präzise und fehlerfrei sein.

  • Vollständigkeit: Die Daten sollten alle erforderlichen Informationen enthalten und keine wesentlichen Lücken aufweisen.

• Datenquelle/Erhebung:

  • Glaubwürdigkeit: Die Quelle der Daten sollte vertrauenswürdig und zuverlässig sein.

  • Objektivität: Die Daten sollten unvoreingenommen und neutral erhoben worden sein.

  • Reputation: Die Reputation der Datenquelle kann die wahrgenommene Qualität und Akzeptanz der Daten beeinflussen.

Die Eignung der Daten für ihren vorgesehenen Zweck bezieht sich darauf, wie gut die Daten den Anforderungen und Erwartungen des spezifischen Anwendungsfalls gerecht werden. Dies umfasst Aspekte wie Relevanz, Genauigkeit, Vollständigkeit und Aktualität der Daten in Bezug auf ihre Verwendung in einem bestimmten Kontext. Daten, die für einen Zweck geeignet sind, sollten die Entscheidungsfindung unterstützen, Prozesseffizienz verbessern und zuverlässige Ergebnisse liefern.

• Dateninhalt:

  • Interpretierbarkeit: Die Daten sollten klar und in einem Kontext verständlich sein, der für die Nutzer sinnvoll ist.

  • Genauigkeit: Die Daten müssen präzise und fehlerfrei sein.

  • Vollständigkeit: Die Daten sollten alle erforderlichen Informationen enthalten und keine wesentlichen Lücken aufweisen.

• Datenquelle/Erhebung:

  • Glaubwürdigkeit: Die Quelle der Daten sollte vertrauenswürdig und zuverlässig sein.

  • Objektivität: Die Daten sollten unvoreingenommen und neutral erhoben worden sein.

  • Reputation: Die Reputation der Datenquelle kann die wahrgenommene Qualität und Akzeptanz der Daten beeinflussen.

• Interpretierbarkeit: Dies bezieht sich darauf, wie leicht die Daten von den Nutzern verstanden werden können. Sie sollten in einer üblichen Sprache, Symbolik und mit vertrauten Einheiten dargestellt werden, um eine einfache Interpretation zu ermöglichen.

• Genauigkeit: Genauigkeit bedeutet die Fehlerfreiheit und Präzision der erfassten Daten. Daten sollten die Realität möglichst genau abbilden und frei von Fehlern sein.

• Vollständigkeit: Vollständigkeit bezieht sich darauf, ob die Daten alle notwendigen Informationen enthalten. Daten sollten eine hinreichende Tiefe und Breite aufweisen, um den Anforderungen des vorgesehenen Zwecks gerecht zu werden. Unvollständige Daten können zu fehlerhaften Analysen und Entscheidungen führen.

• Glaubwürdigkeit: Dies bezieht sich auf die Vertrauenswürdigkeit und Zuverlässigkeit der Daten. Glaubwürdige Daten sollten wahr, echt und verlässlich sein. Die Glaubwürdigkeit wird oft durch die Herkunft der Daten und die Methoden ihrer Erhebung bestimmt.

• Objektivität: Objektivität bedeutet, dass die Daten ohne Verzerrung, Voreingenommenheit oder subjektive Einflüsse erfasst wurden. Objektive Daten sind wichtig, um neutrale und unparteiische Analysen und Schlussfolgerungen zu gewährleisten.

• Reputation: Die Reputation der Datenquelle spielt eine wichtige Rolle in der wahrgenommenen Qualität der Daten. Eine hohe Reputation der Datenquelle, die sich aus ihrer Historie, Zuverlässigkeit und Anerkennung in der Fachwelt ergibt, kann das allgemeine Vertrauen in die Daten erhöhen.

• Behebung fehlender Attribute oder Attributwerte: Identifikation und Behandlung von Lücken in den Daten, z.B. durch das Auffüllen fehlender Werte oder das Entfernen von Datensätzen, die kritische Informationen vermissen lassen.

• Bereinigung von „noisy“ Daten: "Noisy" Daten (verrauschte Daten) sind Daten, die Fehler oder unnötige Varianzen enthalten. Die Bereinigung umfasst die Korrektur von Fehlern oder die Glättung von Daten zur Erhöhung der Datenqualität.

• Korrektur inkonsistenter Daten: Inkonsistenzen können durch Widersprüche oder Abweichungen in den Daten entstehen. Diese werden durch Standardisierung, Überprüfung gegen bekannte Referenzdaten oder Anwendung von Geschäftsregeln behoben.

• Data Scrubbing: Data Scrubbing (oder Datenputzen) ist ein umfassender Prozess, der die Identifizierung, Korrektur und Entfernung von ungenauen oder korrupten Daten aus einem Datensatz beinhaltet. Dabei werden Techniken wie Parsing, Datenabgleich und Datenprofilierung eingesetzt, um die Genauigkeit und Konsistenz der Daten zu verbessern.

• Ignorieren der Instanz: Entfernen der Datensätze, die fehlende Werte enthalten. Dies ist praktikabel, wenn die Zielvariable fehlt oder genügend viele Datensätze vorhanden sind.

• Manuelles Einfügen der Werte: Direkte Eingabe der fehlenden Datenwerte, wenn diese bekannt oder leicht ermittelbar sind.

• Einfügen eines Defaultwertes (Globale Konstante): Ersetzen fehlender Werte durch einen festgelegten Standardwert, wie z.B. „unbekannt“ oder 0.

• Median / Durchschnitt des Attributs einfügen: Ersetzen fehlender Werte durch den Median oder den Durchschnitt aller Werte dieses Attributs im Datensatz.

• Median / Durchschnitt der Klasse der Instanz einfügen: Verwendung des Medians oder Durchschnitts der spezifischen Klasse oder Gruppe, zu der die Instanz gehört, als Ersatz für fehlende Werte.

• Einfügen des wahrscheinlichsten Werts: Anwendung statistischer Methoden oder maschinellen Lernens, um den wahrscheinlichsten Wert für die fehlenden Daten zu schätzen und einzusetzen.

• Median/Durchschnitt der Klasse: Fehlende Werte können durch den Median oder Durchschnitt der Werte der Klasse ersetzt werden, zu der die Instanz gehört. Beispiel: Wenn das Alter in einer Klasse von Personen um 47,5 Jahre liegt, könnte man fehlende Altersangaben in dieser Klasse mit 47,5 Jahren ersetzen.

• Wahrscheinlichster Wert: Einsatz von Regressions- oder Klassifikationsalgorithmen, um den wahrscheinlichsten Wert für fehlende Daten zu bestimmen. Diese Methoden analysieren Muster in den Daten, um die plausibelsten Werte für fehlende Daten zu schätzen.

• Binning: Sortierung der Daten und Einteilung in Bins (Gruppen) mit gleicher Anzahl an Werten. Innerhalb dieser Bins können die Attributwerte durch den Durchschnitt oder Median des Bins ersetzt werden, um die Daten zu glätten.

• Clustering: Einsatz von Clustering-Verfahren, um Ausreißer zu identifizieren und ggf. zu entfernen. Dies hilft, die Daten von untypischen oder extremen Werten zu bereinigen.

• Metadaten-Sammlung: Erfassung von Informationen über die Daten, wie Datentypen und korrekte Wertebereiche, um Inkonsistenzen zu identifizieren.

• Überladen von Attributen erkennen: Überprüfen von Veränderungen in der Nutzung oder Bedeutung von Attributen über die Zeit.

• Überprüfung von Konsistenzregeln: Kontrolle von Daten anhand von Konsistenzregeln wie Primärschlüssel und Fremdschlüssel, um Inkonsistenzen aufzudecken und zu korrigieren.

• Normalisierung der Daten: Anpassung von Groß- und Kleinschreibung, Durchführung von Rechtschreibprüfungen, Ersetzen von Abkürzungen und Zerlegen zusammengesetzter Attribute (wie Namen und Adressen) in ihre Bestandteile (Straße, PLZ, etc.).

• Konvertierung: Umwandlung von Einheiten, Währungen und anderen Maßangaben, um Konsistenz und Vergleichbarkeit der Daten zu gewährleisten.

Bei der Datenintegration müssen bestehende Datenquellen zu einer einheitlichen Datensammlung zusammengeführt werden. Dies beinhaltet das Zusammenfügen von Beobachtungen zu einer einzelnen Entität und die Konsolidierung von Beobachtungen zu einer Entität, oft bekannt als Datenfusion. Der Prozess erfordert das Abgleichen, Vereinheitlichen und Zusammenführen von Daten aus unterschiedlichen Quellen, um eine kohärente, integrierte Sicht auf die Daten zu schaffen.

• Subsumtion: Ein Tupel subsumiert ein anderes, wenn es weniger NULL-Werte enthält. Das umfassendere Tupel wird bevorzugt.

• Komplementierung: NULL-Werte in einem Tupel werden durch konkrete Werte des jeweils anderen Tupels ersetzt, um vollständigere Daten zu erhalten.

• Konflikt: Bei unterschiedlichen Werten zwischen Tupeln können Konflikte durch Mehrheitsentscheidung, Aggregation oder andere Methoden aufgelöst werden. Diese Strategien helfen dabei, Diskrepanzen zwischen Datenquellen zu lösen und eine einheitliche Datenansicht zu erstellen.

• Beim Bottom-Up Ansatz der Datenintegration sollen bestehende Datenquellen zu einer umfassenden Datensammlung integriert werden. Dies erfordert eine detaillierte Analyse und Verständnis der einzelnen Datenquellen, um sie effektiv zusammenzuführen.

• Die Integration der Daten in ein globales Schema kann physisch oder logisch erfolgen. Physische Integration bedeutet, dass Daten physisch in einem zentralen Speicherort konsolidiert werden, während logische Integration eine virtuelle Sicht auf die integrierten Daten schafft, ohne die Daten physisch zu verschieben. Beide Ansätze zielen darauf ab, eine einheitliche, konsistente und zugängliche Sicht auf die Daten aus verschiedenen Quellen zu bieten.

• Schema Matching: Ermittlung syntaktischer und semantischer Übereinstimmungen zwischen den lokalen Schemata und einem eventuell vorgegebenen globalen Schema. Dieser Schritt ist entscheidend, um sicherzustellen, dass die Datenstrukturen aus verschiedenen Quellen miteinander kompatibel sind.

• Schema Integration: Integration der gemeinsamen Schemaelemente in ein globales, vermitteltes Schema (mediated Schema). Dabei werden die unterschiedlichen lokalen Schemata zu einem einheitlichen Schema zusammengefasst.

• Schema Mapping: Festlegung der Abbildungsregeln, wie die Elemente der lokalen Schemata auf die Elemente des globalen Schemas abgebildet werden. Dieser Schritt definiert, wie Daten aus verschiedenen Quellen in die integrierte Struktur übertragen werden.

Duplikaterkennung in der Datenintegration befasst sich mit dem Problem, dass Datenquellen teilweise Informationen über dasselbe reale Objekt (Entität) enthalten. Die Herausforderung besteht darin, diese identischen Objekte in verschiedenen Datenquellen zu identifizieren, trotz Unterschieden in der Kodierung oder Benennung von Attributen (z.B. unterschiedliche Kundennummern). Eine fehlerhafte Identifikation kann zu Duplikaten in den integrierten Daten führen. Die Ziele der Duplikaterkennung sind daher, Duplikate zu identifizieren und Inkonsistenzen in diesen zu erkennen und zu beheben.

Die Identifikation von Duplikaten erfolgt durch den paarweisen Vergleich aller Instanzen. Dies beinhaltet die Anwendung von Ähnlichkeitsmaßen oder Distanzmaßen (wie in Clustering-Algorithmen verwendet), abhängig von den Datentypen der Attribute. Ein Schwellenwert wird festgelegt, um die Qualität des Ergebnisses zu bestimmen, basierend auf Precision und Recall. Dieser Prozess hilft, Instanzen zu identifizieren, die dasselbe reale Objekt repräsentieren, auch wenn sie in den Datenquellen unterschiedlich dargestellt werden.

Das Zusammenführen von Duplikaten zu einer einzigen Instanz, bekannt als Datenfusion, beinhaltet das Verschmelzen von Daten aus verschiedenen Quellen. Probleme, die dabei auftreten können, umfassen widersprüchliche Daten, für die Konfliktlösungsstrategien erforderlich sind, und unterschiedliche Datenstrukturen in den Quellen für dieselben Entitäten. Außerdem müssen Abhängigkeiten zwischen den Attributen, die sich in den verschiedenen Quellen unterscheiden können, berücksichtigt werden. Ziel ist es, eine konsistente, einheitliche Darstellung der Entitäten zu schaffen.

• Glätten der Daten: Anwendung von Techniken zur Reduzierung von Rauschen und Ausreißern, um eine konsistentere Datenbasis zu schaffen.

• Attributerzeugung: Erstellung neuer Attribute aus bestehenden Daten, um zusätzliche Einblicke oder Merkmale für die Analyse zu gewinnen.

• Aggregation/Zusammenfassung der Attribute: Zusammenfassen mehrerer Attribute oder Datensätze, um eine höhere Ebene der Datenabstraktion zu erreichen.

• Normalisierung der Attributwerte: Anpassung der Skalierung der Daten, um sie vergleichbar zu machen oder bestimmte statistische Eigenschaften zu erfüllen.

• Diskretisierung: Aufteilung kontinuierlicher numerischer Attribute in diskrete Intervalle oder Kategorien, oft um die Analyse zu vereinfachen oder bestimmte Algorithmen anwenden zu können.

LabeledPoint Semantik beinhaltet die Umwandlung von Attributen in eine Vektorrepräsentation, wobei nur numerische Attribute erlaubt sind. Ein LabeledPoint Datenobjekt besteht aus einem Vektor (dense oder sparse), der die Attribute repräsentiert, und einem dazugehörigen Label/Response-Wert. Diese Repräsentation ist häufig in maschinellem Lernen und statistischen Modellen anzutreffen, wo Features als Vektoren und Zielvariablen als Labels dargestellt werden.

• Min-Max-Normalisierung: Eine lineare Transformation der Daten, die die Werte eines Attributs in einen neuen, oft standardisierten Wertebereich (z.B. [0,1]) verschiebt. Dies wird durch Anwendung einer Formel basierend auf dem Minimum und Maximum des Attributs und des neuen Wertebereichs erreicht.

• Standardisierung (Z-Score): Verwendung von Durchschnitt und Standardabweichung eines Attributs zur Normalisierung. Diese Methode ist besonders nützlich, wenn die Minima und Maxima der Daten nicht bekannt sind oder wenn Ausreißer die Minima und Maxima dominieren. Sie transformiert die Daten in eine Form, bei der der Durchschnitt Null und die Standardabweichung Eins beträgt.

• Diskretisierung: Diese Technik beinhaltet die Aufteilung kontinuierlicher numerischer Attribute in diskrete Intervalle oder Kategorien. Dies kann die Datenmenge reduzieren und ist eine Vorbereitung für weitere Analyseverfahren.

• Methoden der Diskretisierung:

  • Binning: Einteilung der Daten in Bins (Behälter) basierend auf bestimmten Kriterien.

  • Clustering/Decision Tree: Verwendung von Clustering-Algorithmen oder Entscheidungsbäumen zur Bestimmung der Intervalle.

  • Histogramm-Analyse: Einteilung der Daten in Bins, wobei entweder gleich breite Bins (Equal-Width Histogram) oder Bins mit gleicher Anzahl an Instanzen (Equal-Frequency Histogram) verwendet werden.

• Notwendigkeit der Umwandlung: Viele Maschinenlernalgorithmen und -modelle können nur numerische Attribute verarbeiten, daher ist die Umwandlung von qualitativen Attributen in numerische notwendig.

• Verfahren für nominale Attribute:

  • Label Encoding: Bei dieser Methode werden nominale Attributwerte in fortlaufende Zahlen umgewandelt. Beispielsweise könnte das Attribut "Division" in eine Zahl in "Encoded Division" umgewandelt werden.

  • One Hot Encoding: Jeder nominale Attributwert wird als eigene binäre Spalte codiert. Dies ist hilfreich, um kategoriale Daten ohne implizite Ordnung in ein Format umzuwandeln, das von Algorithmen verarbeitet werden kann. Varianten beinhalten die Codierung mit oder ohne Vergleichsgruppe (Comparison Group).

• Verfahren für ordinale Attribute:

  • Ordinal Encoding: Bei dieser Methode wird der ordinale Wert in einen entsprechenden Zahlenwert umgewandelt. Zum Beispiel könnte "Level of Education" in "Encoded Education" mit numerischen Werten, die die Bildungsstufen repräsentieren, umgewandelt werden. Ordinal Encoding berücksichtigt die inhärente Ordnung der Attributwerte.

• Serving bezeichnet die Bereitstellung der Daten für den Zugriff und die Nutzung. Dies ist ein entscheidender Schritt, um sicherzustellen, dass die Daten für Analysen, Business Intelligence und maschinelles Lernen verfügbar sind.

• Hauptnutzer umfassen:

  • Analysen/Business Intelligence: Nutzung der Daten für strategische Entscheidungsfindung, Berichterstattung und Visualisierung.

  • Machine Learning: Einsatz der Daten zur Entwicklung und Anwendung von Algorithmen und Modellen.

  • Reverse ETL: Verwendung von Ergebnissen aus Analysen oder ML-Modellen als Quelle für neue Data Engineering Prozesse.

• Vertrauen ist die Grundlage aller Datennutzung. Nutzer müssen darauf vertrauen können, dass die bereitgestellten Daten hochwertig und vertrauenswürdig sind.

• Zur Sicherstellung des Vertrauens können Maßnahmen ergriffen werden wie:

  • Etablierung von Datenvalidierungsprozessen: Kontinuierliche Überprüfung und Sicherstellung der Datenqualität.

  • Überprüfung von Stichproben durch die Stakeholder: Regelmäßige Kontrollen der Daten durch die Nutzer.

  • Zugesicherte Verfügbarkeit der Daten: Gewährleistung, dass die Daten stets zugänglich und nutzbar sind.

Bei der anwendungsbezogenen Datenbereitstellung steht der spezifische Anwendungsfall im Fokus. Dies erfordert:

• Bestimmung der erforderlichen Datenqualität abhängig von den Anforderungen des Anwendungsfalls.

• Bestimmung relevanter Datenattribute, die für die spezifische Analyse oder Anwendung relevant sind.

• Festlegung der Aktualisierungsintervalle, um sicherzustellen, dass die Daten aktuell und relevant bleiben.

Im Bereich Analyse/Business Intelligence geht es darum, wichtige Erkenntnisse und Muster in Daten zu erkennen, zu erforschen, zu identifizieren und zu visualisieren. Dazu gehören:

• Business Analytics: Nutzung aktueller und historischer Daten für strategische Unternehmensentscheidungen, oft visualisiert in Dashboards und Reports.

• Operational Analytics: Nutzung der Daten zur Ableitung unmittelbarer Maßnahmen, z.B. in Echtzeit-Überwachungssystemen.

• Embedded Analytics: Bereitstellung von Analysen für Endkunden, oft mit höheren Anforderungen an die Aktualisierungsfrequenz.

• Machine Learning: Hier dienen Daten als Input für ML-Algorithmen. Dies umfasst das Training, die Evaluation, den Test und die Anwendung der Modelle.

• Reverse ETL: In diesem Prozess sind die Ergebnisse einer Analyse oder eines ML-Modells die Quelle für einen neuen Data Engineering Prozess. Ein Beispiel ist die Nutzung von CRM- und Verkaufsdaten aus einem Data Warehouse für eine Lead-Analyse, wobei die Ergebnisse zurück ins Data Warehouse fließen.

• Analoge Datengenerierung bezieht sich auf Daten, die in physischer Form entstehen, wie Sprache oder handschriftliche Notizen. Diese Daten sind oft kontinuierlich und repräsentieren direkte Messungen oder Beobachtungen.

• Digitale Datengenerierung umfasst die Umwandlung analoger Daten in digitale Form sowie Daten, die direkt von digitalen Systemen erzeugt werden. Digitale Daten sind in diskreten Einheiten organisiert und können effizienter gespeichert, verarbeitet und analysiert werden.

• Datensätze: Dazu gehören relationale Daten in Tabellenform und Dokumente.

• Graphen/Netzwerke: Diese repräsentieren Beziehungen zwischen Entitäten, wie z.B. in sozialen Netzwerken oder Straßennetzen.

• Geordnete Daten: Dazu zählen temporale Daten, wie Zeitreihen, und Videos.

• Geodaten: Diese beinhalten topographische Karten und Informationen über geographische Standorte.

• Multimedia: Umfassen Bilder und Videos, die in einer Vielzahl von Formaten vorliegen können.

• Strukturierte Daten: Dies beinhaltet relationale Daten in Tabellenform und Formate wie CSV (Comma-Separated Values).

• Semistrukturierte Daten: Beispiele sind JSON (JavaScript Object Notation), XML (eXtensible Markup Language) und HTML (Hypertext Markup Language).

• Unstrukturierte Daten: Dazu gehören Textdokumente, Nachrichten und andere Formen von Daten, die keine feste Struktur oder Formatierung haben.

• Relationale Datenbanken: Speichern Daten in strukturierter Form in Tabellen.

• Message Queues: Systeme zur Übertragung von Nachrichten zwischen Softwarekomponenten.

• Protokolle/Logs: Dazu zählen binäre Protokolle, teilstrukturierte Protokolle (z.B. Webserver-Logs) und unstrukturierte Protokolle, die Informationen über die Aktivitäten innerhalb eines Systems aufzeichnen.

• CRUD (Create, Read, Update, Delete): Veränderungen in den Datenquellen erfolgen durch CRUD-Operationen. 'Create' fügt neue Daten hinzu, 'Update' modifiziert bestehende Daten und 'Delete' entfernt Daten. Diese Operationen spiegeln die dynamischen Veränderungen in Datenbanken und anderen Speichersystemen wider.

• Insert Only: Eine alternative Methode zur Datenänderung ist das Hinzufügen einer neuen Version der Daten, ohne die bestehenden Daten zu verändern. Dieser Ansatz wird oft in Systemen verwendet, die die Historie der Datenänderungen beibehalten wollen, indem jede Änderung als neue, separate Instanz gespeichert wird. Dies ermöglicht die Nachverfolgung der Datenentwicklung über die Zeit.

• Message Queues: Sie dienen der Kommunikation zwischen Anwendungen. Nachrichten werden in eine Queue gestellt und von der empfangenden Anwendung abgerufen. Nach der Bearbeitung der Nachrichten werden diese oft aus der Queue gelöscht. Message Queues sind nützlich für die Entkopplung von Prozessen und die Gewährleistung einer zuverlässigen Datenübermittlung.

• Data Streams: Data Streaming bezieht sich auf die kontinuierliche Übermittlung von Ereignisdaten über einen längeren Zeitraum. Neue Messwerte oder Datenpunkte werden fortlaufend an den Stream angehängt, oft unter Verwendung eines Append-Only-Protokolls. Dies ermöglicht die Echtzeitanalyse und -verarbeitung von Daten, was in vielen modernen Anwendungen wie IoT, Echtzeit-Analytics und Online-Transaktionsverarbeitung von Bedeutung ist.