Ziel von Data Science

Bei Data-Science-Projekten geht es meistens darum:

👉 Modelle zu trainieren, die Vorhersagen treffen können.

Beispiel:

• Spam-Mail erkennen

• Besucherzahlen vorhersagen

• Produktempfehlungen geben

Arten des Maschinellen Lernens

Es gibt drei wichtige Lernarten:

Überwachtes Lernen (Supervised Learning)

Hier bekommt das Modell:

• Eingabedaten

• und die richtige Lösung dazu.

Beispiel: Spam-Erkennung

Das Modell bekommt viele E-Mails.

Zu jeder E-Mail weiß man bereits:

• Spam

• oder kein Spam.

Das Modell lernt daraus Regeln.

Wie werden die Spalten des Trainingsdatensatzes bezeichnet?

• Features

Wie werden die Zeilen bezeichnet?

• Samples

Wie wird die Spalte bezeichnet die die Zielvariable beinhaltet?

• Label

Features

Features sind Eigenschaften der Daten.

Beispiel:

• Anzahl der Empfänger

• bestimmte Wörter

• Länge der E-Mail

Samples

Samples sind einzelne Datenzeilen.

Beispiel:

• eine einzelne E-Mail.

Label

Das Label ist die richtige Lösung.

Beispiel:

• „Spam“

• „Kein Spam“

Inferenz

Nach dem Training macht das Modell Vorhersagen für neue Daten.

Beispiel: 👉 „Diese neue E-Mail ist wahrscheinlich Spam.“

Overfitting

Bedeutung

Das Modell lernt die Trainingsdaten zu genau auswendig.

Dann funktioniert es schlecht bei neuen Daten.

Lösung gegen Overfitting

Die Daten werden aufgeteilt:

Das nennt man:

Partitionierung

Parameter

Das Modell lernt diese automatisch während des Trainings.

Hyperparameter

Diese werden vorher festgelegt.

Beispiele:

• Lernrate

• Algorithmus

• Anzahl der Trainingsdurchläufe

Hyperparameter steuern also: 👉 wie das Training abläuft.

Unüberwachtes Lernen (Unsupervised Learning)

Hier gibt es: ❌ keine Labels.

Das Modell sucht selbst Muster in den Daten.

Beispiel

E-Mails automatisch nach Themen gruppieren:

• Arbeit

• Werbung

• Schule

• Privat

Das nennt man:

Clustering

Reinforcement Learning

Hier lernt ein Modell durch:

✅ Belohnungen ❌ Bestrafungen

Beispiel: Schach

• gute Züge → Belohnung

• schlechte Züge → Bestrafung

Dadurch lernt das Modell bessere Strategien.

1. Business Understanding

Frage:

Welches Problem soll gelöst werden?

Beispiel:

• Spam erkennen

• Umsatz vorhersagen

2. Data Understanding

Frage:

Welche Daten gibt es?

Man untersucht:

• Datenqualität

• Datenstruktur

• Vollständigkeit

3. Data Preparation

Wichtigste und aufwendigste Phase

Daten werden vorbereitet:

• bereinigt

• sortiert

• umgewandelt

4. Modelltraining

Verschiedene:

• Algorithmen

• Einstellungen

• Hyperparameter

werden getestet.

5. Evaluierung

Die Modelle werden verglichen:

👉 Welches Modell macht die besten Vorhersagen?

6. Deployment

Das beste Modell wird produktiv eingesetzt.

Dann kann es:

• Vorhersagen liefern,

• von Anwendungen genutzt werden.

Warum anbieterunabhängige Tools wichtig sind

Es gibt Tools, die:

• mit AWS,

• Azure,

• Google Cloud

funktionieren.

Das ist wichtig, um: ✅ flexibel zu bleiben ✅ Vendor Lock-In zu vermeiden

Wichtige Tools

In diesem Text geht es besonders um:

• MLflow

• Databricks

MLflow ist eine:

✅ Open-Source-Plattform für Machine Learning

Sie hilft bei:

• Training,

• Organisation,

• Vergleich,

• Speicherung,

• Bereitstellung

von ML-Modellen.

Problem ohne MLflow

Beim Trainieren von Modellen testet man oft:

• verschiedene Algorithmen,

• unterschiedliche Hyperparameter,

• viele Experimente.

Ohne Organisation wird das schnell unübersichtlich.

Lösung: MLflow

MLflow organisiert:

• Experimente,

• Modelle,

• Parameter,

• Ergebnisse.

1. MLflow Tracking

2. MLflow Projects

3. MLflow Models

4. MLflow Model Registry

1. MLflow Tracking

Aufgabe

Speichert:

• Parameter,

• Metriken,

• Ergebnisse,

• Experimente.

2. MLflow Projects

Aufgabe

Modelle werden als portable Projekte gespeichert.

Dadurch können Projekte:

• leicht geteilt,

• auf anderen Systemen ausgeführt,

• in der Cloud genutzt

werden.

Technologien

MLflow nutzt:

• Docker

• Conda

für die Portabilität.

3. MLflow Models

Aufgabe

Modelle werden so gespeichert, dass sie einfach bereitgestellt werden können.

Beispiel:

• lokal

• Cloud

• API

4. MLflow Model Registry

Aufgabe

Zentrale Verwaltung trainierter Modelle.

Dort kann man:

• Modelle speichern,

• vergleichen,

• versionieren,

• produktiv einsetzen.

Dies ist ein beliebtes Framework für die Verarbeitung großer Datenmengen.

• Databricks ist eine Plattform für Data Science, Big Data und Machine Learning in der Cloud.

• Sie wurde 2013 von Entwicklern gegründet, die auch an Apache Spark und MLflow gearbeitet haben.

Das Ziel von Databricks ist:

• große Datenmengen einfach verarbeiten,

• Machine-Learning-Modelle trainieren,

• und alles zentral in der Cloud verwalten.

Das bedeutet:

• Unternehmen müssen keine Server selbst verwalten.

• Databricks übernimmt Infrastruktur, Skalierung und Wartung.

• Die Plattform läuft auf:

  • AWS

  • Microsoft Azure

  • Google Cloud

Lakehouse-Konzept

Databricks nutzt das sogenannte Lakehouse.

Ein Lakehouse verbindet:

• Data Lake → speichert große, auch unstrukturierte Daten

• Data Warehouse → speichert strukturierte Daten für Analysen

Dadurch können alle Daten zentral gespeichert und genutzt werden.

Vorteile:

• weniger Datensilos

• bessere Zusammenarbeit

• einheitliche Datenplattform

Die 3 Tabellen-Stufen

Databricks organisiert Daten oft in 3 Ebenen:

Bronze

• rohe Originaldaten

• noch nicht bearbeitet

Silber

• teilweise bereinigte/verarbeitete Daten

• z. B. zusammengeführte Tabellen

Gold

• vollständig aufbereitete Daten

• direkt für Berichte und Analysen nutzbar

Google Cloud Platform (GCP) bietet viele Dienste für:

• Data Science

• Big Data

• Machine Learning (ML)

• Künstliche Intelligenz (KI)

Man kann dabei entweder:

• alles selbst verwalten,

• oder fertige Cloud-Dienste von Google nutzen.

Dataflow

• verarbeitet große Datenmengen

• für Datenpipelines

Cloud Composer

• verwaltet Workflows und Datenpipelines

• basiert auf Apache Airflow

Dataproc

• verwaltete Spark- und Hadoop-Cluster

• für Big-Data-Verarbeitung

BigQuery ML

• Machine Learning direkt in SQL

Vorteile der AI Platform

Die Plattform:

• verwaltet die Infrastruktur automatisch

• skaliert Ressourcen selbstständig

• unterstützt GPU und TPU

• verbindet sich mit anderen GCP-Diensten

Beispiele:

• BigQuery

• Cloud Storage

• Dataproc

Teachable Machine

Natural Language AI

Dialogflow

Translation AI

Speech-to-Text / Text-to-Speech

Vision AI

Video Intelligence API

Timeseries Insights API

Dabei gibt es zwei Möglichkeiten:

• Viel Kontrolle: Man verwaltet die Technik selbst.

• Wenig Kontrolle: AWS übernimmt die Technik und macht vieles automatisch.

Je weniger man selbst verwaltet, desto einfacher wird die Nutzung.

SageMaker – der wichtigste ML-Dienst von AWS

Was ist SageMaker?

SageMaker ist die zentrale Plattform von AWS für Machine Learning.

Damit kann man:

• Daten vorbereiten

• Modelle trainieren

• Modelle testen

• Hyperparameter optimieren

• Modelle bereitstellen

• Vorhersagen per API nutzen

AWS übernimmt dabei viel Infrastrukturarbeit.

AWS bietet:

• Infrastruktur für ML

• Tools zur Datenverarbeitung

• komplette ML-Plattformen

• fertige KI-APIs

Der wichtigste Dienst ist:

Amazon SageMaker

→ komplette Umgebung für moderne Machine-Learning-Projekte in der Cloud.

• AWS bietet bereits trainierte KI-Modelle an.

• Man muss keine eigenen Modelle trainieren.

• Die Dienste werden meist per API genutzt.

Die Kontrolle und Verwaltung der Infrastruktur

• obliegen bei AWS

• wodurch diese Dienste sofort eingesetzt werden können

Comprehend

Analysiert Texte.

Kann:

• Stimmung erkennen

• Themen finden

• Personen und Orte erkennen

Rekognition

Analysiert Bilder und Videos.

Kann:

• Gesichter erkennen

• Objekte erkennen

• OCR (Texterkennung)

• Inhalte moderieren

Lookout for Vision

Für Industrie und Qualitätskontrolle.

Erkennt:

• Fehler

• Anomalien

• Produktionsprobleme

• Liest Text aus Dokumenten und Bildern

• Transcribe ist der Speech-to-Text-Service von AWS

  • Sprache → Text

Polly

Text → Sprache

• Polly für Text-to-Speech-Anwendungen

Lex

Erstellt Chatbots.

• Chatbots können mit Lex schnell konfiguriert werden

Personalize

Empfehlungssystem wie bei Amazon-Shop.

Beispiele:

• Produktempfehlungen

• individuelle Vorschläge

Forecast

Vorhersagen mit Zeitreihen.

Beispiele:

• Verkaufsprognosen

• Nachfrageprognosen

Fraud Detector

Erkennt Betrug automatisch.

Lookout for Metrics

Erkennt Anomalien in Daten und KPIs.

Kendra

Intelligente Suchmaschine für eigene Anwendungen.

Augmented AI (A2I)

Kombiniert:

• KI

• menschliche Kontrolle

Menschen prüfen dabei kritische Entscheidungen.

DevOps- und Code-KI

AWS bietet auch KI-Dienste für Entwickler:

Beispiele

• CodeGuru

• DevOps Guru

Funktionen:

• Code-Analyse

• Fehlererkennung

• Performance-Optimierung

Microsoft Azure bietet viele Cloud-Dienste für Data Science und Künstliche Intelligenz (KI) an. Dabei gibt es zwei Möglichkeiten:

• Viel Kontrolle: Man richtet alles selbst ein und verwaltet die Infrastruktur.

• Wenig Aufwand: Azure übernimmt viele technische Aufgaben automatisch.

Virtuelle Maschinen (VMs)

Mit Azure-VMs kann man eigene Computer in der Cloud erstellen.

Dort kann man:

• Python installieren,

• Bibliotheken wie TensorFlow oder Scikit-learn nutzen,

• eigene Sicherheitsregeln festlegen.

Container-Dienste

Modelle können auch als Container bereitgestellt werden.

Azure Container Instances (ACI)

• einfache Container

• gut zum Testen

Azure Kubernetes Service (AKS)

• leistungsfähige Container-Plattform

• für große Produktivsysteme

• kann Modelle trainieren und bereitstellen

Azure Machine Learning (Azure ML)

Azure ML ist die wichtigste Plattform für Machine Learning in Azure.

Damit kann man:

• Modelle trainieren,

• testen,

• verwalten,

• deployen (bereitstellen).

Ziel:

• Data-Science-Projekte einfacher und schneller machen.

Azure ML Workspace

Für Azure ML erstellt man zuerst einen Workspace.

Dabei werden automatisch wichtige Dienste angelegt:

Compute Targets

Compute Targets sind die Rechenressourcen für ML.

Compute Instance

• einzelne VM

• bereits mit ML-Frameworks vorbereitet

Compute Cluster

• mehrere VMs zusammen

• für große Trainingsaufgaben

• automatische Skalierung möglich

Data Assets vereinfachen den Zugriff auf Daten.

Beispiel:

• Daten liegen im Azure Blob Storage

• Azure ML greift automatisch darauf zu

Vorteile:

• keine manuellen Zugangsdaten nötig

• sichere Verwaltung über:

  • Key Vault

  • Azure Entra ID

Der Designer ermöglicht Machine Learning ohne Programmieren.

Man zieht:

• Daten,

• Algorithmen,

• Verarbeitungsschritte

einfach per Drag-and-Drop zusammen.

Gut geeignet für:

• Anfänger

• schnelles Testen

Modell-Deployment

Wenn ein Modell fertig ist:

1. Modell trainieren

2. Modell containerisieren

3. In Registry speichern

4. In Azure deployen

Deployment-Möglichkeiten:

• ACI → Test

• AKS → Produktion

• Edge-Geräte

• Multi-Cloud

• lokale Systeme

Azure ML bietet:

• rollenbasierte Zugriffe

• Netzwerk-Schutz

• Verschlüsselung

• Schwachstellen-Scans

• private Netzwerke (VNets)

• Computer Vision

• Face

• Azure Cognitive Service for Language

• Language Understanding

• QnA Maker

• Translator

• Speech Service

• Anomaly Detector

Computer Vision

Erkennt:

• Personen

• Objekte

• Marken

• Farben

• Gesichter

• Texte (OCR)

Face

Spezialdienst für Gesichtserkennung.

Kann:

• Personen identifizieren

• Emotionen erkennen

• Alter und Geschlecht schätzen

Verarbeitet Sprache und Texte.

Kann:

• Texte verstehen

• Zusammenfassungen erzeugen

• Stimmung analysieren

• Themen erkennen

• personenbezogene Daten erkennen

Erkennt:

• Absichten (Intent)

• wichtige Begriffe (Entities)

Gut für:

• Chatbots

• Sprachassistenten

Erstellt Frage-Antwort-Systeme und Chatbots.

Übersetzt Texte automatisch zwischen Sprachen.

Für:

• Speech-to-Text

• Text-to-Speech

• Spracherkennung

• Übersetzungen

Erkennt ungewöhnliche Muster in Zeitreihen.

Beispiele:

• Betrug

• Maschinenfehler

• Ausfälle