Data Ingestion

• wie orders, bookings, Zahlungen

• Tabellen mit klaren Datentypen (strings, integers, dates, etc.)

• Daten mit falschem Datentyp werden nicht in die DB aufgenommen

• mapping data types?

• automatisierte ingestion

• Daten haben hohe Volatilität, bei Amazon werden jede Sekunde zig Befehle durchgegeben

FTP (File Transfer Protocol)

• unterschiedliche Formate (JSON, CSV, XML…)

• text files haben keine Struktur wie RMDBS

• parse files: versucht Schlüssel:Wert paare oder strukturierte Daten in Files zu finden

• Schemata ändern sich schnell in Files

• sind meistens Snapshots of datasets, selten Echtzeit wie RMDBS

• meisten SaaS erlauben REST API

  • erlaubt einfachere Kommunikation mit anderer Software, weil gleiche Prinzipien eingehalten werden

• trotzdem, viele SaaS nutzen eigene API Methoden, was SaaS data herausfordernd in data platform bringen lässt

• wenn mehrere SaaS verwendet werden, muss man jeweils unterschiedliche ingestion pipeline nutzen und regelmäßig updaten

• Events, die zu einem bestimmten Zeitpunkt passieren, wie: click auf website mit zugehöriger IP adresse, browser typ etc.)

• im ecommerce dinge in und aus Warenkorb legen

• Aktivitäten im Bankaccount

• RMDBS sagen, was momentan im Warenkorb liegt, Streams zeigen alle Aktionen die zum aktuellen Warenkorb geführt haben

• wichtig für analyse

• sind auf spezielle Struktur von Daten beschränkt

• streaming daten haben oft Duplikate, damit muss ingestion pipeline umgehen können

• Nachrichten können nicht verändert, nur neu geschrieben werden

• hohe volumen, ingestion pipeline muss damit umgehen können