Introducing the Cloud Data Platform

Kombination aus Data WH, Lake und Hub

• einzelne physische Maschine

beinhaltet:

• ETL (extract, transform, load) data

• storage, processing, SQL

Problem: physische Grenzen in der Anpassung an neue Herausforderungen

• Diversity of data types

• Social Media, IOT and SAAS create new types of data

• Data Warehouse only works with structured data

• Warehouse limits use to built in processing language,

  limits processing new type of data

• no predefined structure

• Video, Image, Social Media, etc

  
  

• Warehouse couples storage and processing, limits amount scalibility and flexibilty

• new hardware required, expensive

• wie schnell werden Daten generiert und können bewegt werden

• WH works batch oriented: Daten werden in Gruppen verarbeitet anstatt in echtzeit

  Prozesse verzögert, bis komplette Batch analysiert ist

speichert non relationale data (NoSQL - not only SQL)

RDBMS - relational database management system

• speichert Daten in Reihen und Spalten

NoSQL - not only SQL

• speichert Daten in verschieden Modellen

Hadoop kompliziert zu managen

• Elastic resources:

  • Amount of resources exactly as you wish

• Modularity: − Storage and compute are separated in a cloud

• Pay per use: − You only pay for what you use

• Instant availability:

  • Ordering and deploying a cloud service takes minutes

+ cost-effectively handles an almost unlimited variety, volume, and velocity of data

+ erlaubt echt-zeit analyse

- not organised

- ungoverned: keine standards und Richtlinien, die hohe Datenqualität sichern

—> meist WH gekoppelt mit Lake. WH nutzt governed Data. Lake für Exploration of Data (i.e. Data scientists)

• cost effective, flexible, and capable of ingesting, integrating, transforming, and managing all the V’s

Daten in die Plattform kriegen wie:

• relational or NoSQL databases, file storage, or internal or third-party APIs

• muss viele und unterschiedliche Daten speichern könen

• Cloud storage ist elastisch

• Data wird transformiert für einfache Verarbeitung:

  • Schema Management

  • Datensäuberung

  • Datenvalidierung

  • Produktion neuer Datenprodukte

• Geschieht durch SQL oder andere languages (i.e: Apache Spark, Apache Beam, Apache Flink)

Data Lake Zugang für andere Applikationen