Die Governance-Kette beschreibt, wie digitale Systeme verantwortungsvoll gesteuert werden.

Sie zeigt den Weg von allgemeinen Regeln bis zur messbaren Wirkung.

Die Kette besteht aus fünf Elementen:

1. Policy

2. Prozesse

3. Artefakte

4. Rollen

5. Metriken

Merksatz: Governance funktioniert nur, wenn Regeln auch in konkrete Abläufe, Zuständigkeiten und Messgrößen übersetzt werden.

1. Policy: Regeln und Leitplanken

Policy bedeutet:

Es gibt verbindliche Regeln und Leitplanken.

Dazu gehören zum Beispiel:

• Gesetze

• interne Richtlinien

• Datenschutzregeln

• Branchenvorgaben

• Regeln für KI

• IT-Sicherheitsvorgaben

Diese Regeln legen fest:

• Was ist erlaubt?

• Was ist verboten?

• Was ist verpflichtend?

Merksatz: Policy gibt den rechtlichen und organisatorischen Rahmen vor.

2. Prozesse: feste Abläufe

Prozesse beschreiben, wie etwas konkret abläuft.

Dabei geht es um wiederholbare Schritte über den gesamten Lebenszyklus eines digitalen Systems.

Zum Beispiel:

• Risiken prüfen

• Datenschutz prüfen

• Sicherheitschecks durchführen

• Freigaben vor dem Go-Live einholen

• mit Vorfällen umgehen

• laufendes Monitoring durchführen

Der Vorteil:

• Nicht jede Entscheidung muss neu erfunden werden.

• Es gibt klare, prüfbare Abläufe.

• Merksatz: Prozesse machen Governance wiederholbar und kontrollierbar.

3. Artefakte: Belege und Dokumente

Artefakte sind schriftliche Nachweise und Dokumente.

Sie zeigen, was geprüft, entschieden oder getestet wurde.

Beispiele:

• Datensteckbriefe

• Modellsteckbriefe

• Testprotokolle

• Trainingsprotokolle

• Bias-Berichte

• Robustheitsberichte

• Software-Stücklisten

• Protokolle menschlicher Freigaben

Diese Artefakte schaffen Nachvollziehbarkeit.

Man kann später prüfen:

• Was wurde entschieden?

• Auf welcher Grundlage?

• Welche Risiken wurden erkannt?

• Wer hat was freigegeben?

Merksatz: Artefakte machen Entscheidungen erklärbar und überprüfbar.

4. Rollen und Gremien: Wer entscheidet was?

Governance braucht klare Zuständigkeiten.

Es muss geregelt sein:

• Wer ist für Daten verantwortlich?

• Wer ist für Produkte verantwortlich?

• Wer ist für Modelle verantwortlich?

• Wer kümmert sich um Sicherheit?

• Wer prüft Datenschutz?

• Wer entscheidet bei kritischen Fällen?

Bei heiklen Entscheidungen kann ein unabhängiges Gremium wichtig sein.

Dieses kann zum Beispiel entscheiden:

• Go

• Stop

• Nachbesserung nötig

Merksatz: Rollen klären Verantwortung und Entscheidungsrechte.

5. Metriken: Messen und Steuern

Metriken sind Kennzahlen, mit denen Governance sichtbar und steuerbar wird.

Sie zeigen, ob Prozesse funktionieren.

Beispiele:

• Wie viele Fälle wurden risikogeprüft?

• Wie viele Vorfälle gab es?

• Wie schnell wurden Vorfälle gelöst?

• Wie fair sind Modelle?

• Wie stabil sind Modelle?

• Wie verfügbar sind digitale Dienste?

• Wie gut ist die Dokumentation?

Metriken helfen dabei, gezielt nachzusteuern.

Merksatz: Metriken zeigen, ob Governance in der Praxis wirkt.

Der Abschnitt unterscheidet zwei Ebenen:

Compliance

Compliance bedeutet:

Die Organisation erfüllt rechtliche und regulatorische Mindestanforderungen.

Es geht darum:

• Gesetze einzuhalten

• Prüfungen zu bestehen

• Risiken zu dokumentieren

• vorgeschriebene Prozesse umzusetzen

Merksatz: Compliance = Pflicht.

Ethics-by-Design

Ethics-by-Design geht über Compliance hinaus.

Hier werden ethische Werte schon beim Entwurf digitaler Systeme berücksichtigt.

Zum Beispiel:

• Transparenz für Nutzer:innen

• verständliche Erklärungen

• faire Risikoabwägungen

• Einbindung von Stakeholdern

• vorsichtige Modell- und Datenentscheidungen bei hohen Risiken

-> Es geht also nicht nur darum, rechtlich korrekt zu sein.

-> Es geht darum, digitale Systeme vertrauenswürdig zu gestalten.

Merksatz: Ethics-by-Design = Verantwortung wird von Anfang an eingebaut.

Praktischer Unterschied

• Beide nutzen dieselbe Governance-Kette.

• Aber Ethics-by-Design hat eine höhere Ambition.

Bei Prozessen

• Nicht nur Pflichtprüfungen, sondern frühzeitige Stakeholder-Einbindung.

Bei Artefakten

• Nicht nur technische Dokumentation, sondern verständliche Erklärformate für Nutzer:innen.

Bei Metriken

Nicht nur Vorfälle und Prüfquoten, sondern auch:

• Verständlichkeit

• wahrgenommene Fairness

• Vertrauen

• Nutzerakzeptanz

Kurzformel

• Policy: Welche Regeln gelten?

• Prozesse: Wie wird geprüft und umgesetzt?

• Artefakte: Welche Nachweise gibt es?

• Rollen: Wer entscheidet und verantwortet was?

• Metriken: Wie wird Wirkung gemessen?

  
  

• Compliance: rechtlicher Mindeststandard

• Ethics-by-Design: ethische und vertrauenswürdige Gestaltung von Anfang an

Kernidee: Governance wirkt erst dann, wenn Regeln in konkrete Prozesse, Dokumente, Verantwortlichkeiten und Kennzahlen übersetzt werden. Compliance ist die Pflicht; Ethics-by-Design schafft zusätzlichen strategischen Wert durch Vertrauen.

• Automatisierung ersetzt meistens nicht ganze Berufe.

• Sie betrifft eher einzelne Tätigkeiten innerhalb eines Berufs.

• Das ist wichtig, weil ein Beruf aus vielen verschiedenen Aufgaben besteht.

Merksatz: Automatisiert werden meist Aufgaben, nicht ganze Jobs.

Welche Aufgaben sind gut automatisierbar?

Gut automatisierbar sind vor allem routinemäßige und klar beschreibbare Tätigkeiten.

Beispiele:

• standardisierte Dokumente abgleichen

• wiederkehrende Kennzahlen auslesen

• einfache Serviceanfragen sortieren

• Daten erfassen

• Regeln anwenden

Diese Aufgaben folgen festen Mustern und können daher technisch leichter ersetzt werden.

Welche Fähigkeiten werden wichtiger?

Wenn einfache Routinetätigkeiten automatisiert werden, gewinnen andere Fähigkeiten an Bedeutung.

Wichtiger werden:

• Kontextverständnis

• Empathie

• Urteilskraft

• Kreativität

• Kommunikationsfähigkeit

• Integration verschiedener Datenquellen

Einfach gesagt: Menschen werden besonders dort gebraucht, wo Situationen komplex, uneindeutig oder sozial anspruchsvoll sind.

Verschiebung von Rollenprofilen

• Durch Automatisierung verändern sich Rollen im Unternehmen.

• Mitarbeitende verbringen weniger Zeit mit standardisierten Mikroaufgaben.

Stattdessen arbeiten sie mehr an:

• Koordination

• Ausnahmebehandlung

• Kommunikation mit Kund:innen

• Prozessgestaltung

• Kontrolle digitaler Systeme

• Verbesserung digitaler Abläufe

Merksatz: Arbeit verschiebt sich von Routineausführung hin zu Steuerung, Kommunikation und Problemlösung.

Aufgabenbasierte Analyse statt Berufsprognosen

Früher wurde oft gefragt:

Welche Berufe verschwinden?

Heute fragt man eher:

Welche Aufgaben innerhalb eines Berufs können automatisiert werden?

Das nennt man eine aufgabenbasierte Analyse.

Sie ist genauer, weil Berufe aus vielen unterschiedlichen Tätigkeiten bestehen.

Drei Arten von Aufgaben

1. Routineartige Aufgaben

Diese Aufgaben sind regelbasiert und gut beschreibbar.

Beispiele:

• Datenerfassung

• einfache Sachbearbeitung

• standardisierte Prüfungen

Automatisierbarkeit: hoch

2. Nicht-routine kognitive Aufgaben

Diese Aufgaben verlangen Denken, Kreativität und Problemlösung.

Beispiele:

• Forschung

• Design

• Strategie

• komplexe Beratung

Automatisierbarkeit: gering

3. Nicht-routine manuelle Aufgaben

Diese Aufgaben sind körperlich, aber stark kontextabhängig.

Beispiele:

• Pflege

• Handwerk

• bestimmte Servicetätigkeiten

Automatisierbarkeit: mittel

Merksatz: Je klarer eine Aufgabe regelbasiert ist, desto leichter lässt sie sich automatisieren.

Beschäftigungspolarisierung

Empirisch zeigt sich eine Polarisierung der Beschäftigung.

Das bedeutet:

Es gibt Zuwächse bei:

• hochqualifizierten Tätigkeiten

• einfachen Dienstleistungen

Aber Rückgänge im mittleren Tätigkeitssegment.

Dadurch kann sich auch die Lohnspreizung erhöhen.

Einfach gesagt: Automatisierung trifft vor allem mittlere Routinetätigkeiten und verstärkt Unterschiede am Arbeitsmarkt.

Chancen der Automatisierung

Automatisierung kann positive Effekte haben.

Sie kann:

• monotone Tätigkeiten reduzieren

• Fehlerquoten senken

• Prozesse beschleunigen

• Mitarbeitende entlasten

• Freiraum für höherwertige Aufgaben schaffen

• Arbeitszufriedenheit erhöhen

Aber das gelingt nur, wenn Automatisierung gut eingeführt wird.

Risiken der

Automatisierung

Automatisierung kann auch Probleme schaffen.

Risiken sind:

• Polarisierung

• Akzeptanzprobleme

• Reibungsverluste

• Exklusion einzelner Beschäftigtengruppen

• steigende Anforderungen an digitale Kompetenzen

• intransparente Leistungsbewertung

• Besonders kritisch wird es, wenn Qualifizierung und Beteiligung fehlen.

Merksatz: Automatisierung braucht Qualifizierung, Transparenz und Beteiligung.

Algorithmisches Management

Mit Plattformisierung entsteht eine neue Form des Managements: algorithmisches Management.

Das bedeutet:

Digitale Systeme steuern Arbeit.

Zum Beispiel:

• Arbeitszuweisung

• Leistungsmonitoring

• Bewertung

• Vergütung

• Einsatzplanung

Das kann effizient sein, aber auch Machtasymmetrien verstärken.

Problematisch wird es, wenn:

• Bewertungskriterien intransparent sind

• Beschäftigte kaum Einfluss haben

• nur Kosten, Reaktionszeit oder Auslastung optimiert werden

Merksatz: Algorithmisches Management bedeutet, dass Arbeit durch digitale Systeme gesteuert und kontrolliert wird.

Aus human-zentrierter Sicht soll Technologie den Menschen ergänzen, nicht einfach ersetzen.

Das passt zum Leitbild von Industrie 5.0.

Wichtig sind:

• kollaborative Robotik

• adaptive Assistenzsysteme

• gut gestaltete Mensch-Maschine-Schnittstellen

• klare Eingriffsrechte

Dazu gehören Konzepte wie:

• Human-in-the-Loop

• Human-on-the-Loop

Das bedeutet: Menschen behalten Kontrolle, Aufsicht oder Eingriffsmöglichkeiten.

Merksatz: Nachhaltige Produktivität entsteht, wenn Technik und Mensch sinnvoll zusammenarbeiten.

Drei Leitprinzipien für Organisationen

1. Tätigkeitsanalyse statt abstrakter Jobdebatten

Nicht fragen:

Welche Berufe verschwinden?

Sondern fragen:

Welche konkreten Aufgaben verändern sich?

2. Qualifizierung als strategisches Investitionsfeld

Mitarbeitende müssen neue Kompetenzen aufbauen.

Zum Beispiel:

• Datenkompetenz

• Prozessverständnis

• Systemkompetenz

• Umgang mit KI und Automatisierung

3. Mitbestimmung und Co-Design

• Beschäftigte sollten an der Gestaltung neuer Technologien beteiligt werden.

• Das ist kein einmaliger Workshop, sondern ein wiederkehrender Prozess.

• Co-Design bedeutet: Technik wird gemeinsam mit den betroffenen Menschen gestaltet.

Kurzformel

• Automatisierung: betrifft meist Tätigkeiten, nicht ganze Berufe

• Routineaufgaben: hohe Automatisierbarkeit

• Nicht-routine kognitive Aufgaben: geringe Automatisierbarkeit

• Nicht-routine manuelle Aufgaben: mittlere Automatisierbarkeit

• Polarisierung: mehr Hochqualifizierte und einfache Dienste, weniger mittlere Tätigkeiten

• Algorithmisches Management: digitale Systeme steuern Arbeit

• Industrie 5.0: Technik ergänzt den Menschen

• Co-Design: Beschäftigte gestalten Technik mit

Kernidee: Arbeit 4.0 bedeutet nicht einfach, dass Menschen durch Technik ersetzt werden. Entscheidend ist, welche Aufgaben automatisiert werden, welche neuen Kompetenzen entstehen und ob Technologie human-zentriert, transparent und beteiligungsorientiert gestaltet wird.

• Datenschutz, Datensicherheit und Nachhaltigkeit dürfen nicht getrennt betrachtet werden.

• Sie bilden ein Gestaltungsdreieck.

• Das bedeutet: Entscheidungen in einem Bereich beeinflussen immer auch die anderen Bereiche.

Merksatz: Datenschutz, Sicherheit und Nachhaltigkeit sind keine Silos, sondern hängen gegenseitig zusammen.

Gestaltungsdreieck

Das Gestaltungsdreieck besteht aus drei Ecken:

• Datenschutz, also Privacy-by-Design

• Datensicherheit, also Security-by-Design

• Nachhaltigkeit, also Sustainable IT / Green IT

Zwischen diesen Bereichen gibt es Wechselwirkungen.

Beispiele:

• Weniger Daten bedeuten weniger Angriffsfläche und oft weniger Energieverbrauch.

• Mehr Sicherheit kann mehr Rechenaufwand oder längere Speicherfristen bedeuten.

• Nachhaltige IT-Entscheidungen beeinflussen Datenschutz und Sicherheit, zum Beispiel bei Standortwahl, Hardware oder Speicherfristen.

Kernidee: Man muss immer abwägen, weil eine gute Entscheidung in einem Bereich Auswirkungen auf die anderen Bereiche hat.

1. Datenschutz: Privacy-by-Design

Privacy-by-Design bedeutet:

• Datenschutz wird von Anfang an in digitale Systeme eingebaut.

• Es wird also nicht erst nachträglich geprüft, sondern bereits bei Planung und Entwicklung berücksichtigt.

Wichtige Fragen sind:

• Wofür werden Daten erhoben?

• Welche Rechtsgrundlage gibt es?

• Wie lange werden die Daten benötigt?

• Wer darf auf die Daten zugreifen?

• Wie werden Betroffene informiert?

• Wie können Daten gelöscht oder berichtigt werden?

Wichtige Prinzipien

Zum Datenschutz gehören besonders:

• Zweckbindung

• Datenminimierung

• Transparenz

• Nutzerorientierung

• Auskunfts-, Berichtigungs- und Löschprozesse

• klare Rollen in der Datenverarbeitung

Datenminimierung bedeutet: Es werden nur die Daten erhoben, die wirklich notwendig sind.

Merksatz: Privacy-by-Design = Datenschutz wird von Anfang an technisch und organisatorisch mitgedacht.

Warum ist Datenminimierung sinnvoll?

Datenminimierung ist nicht nur rechtlich wichtig.

Sie ist auch ökonomisch sinnvoll.

Jeder zusätzliche Datenpunkt erzeugt:

• Speicherkosten

• Pflegeaufwand

• Sicherheitsrisiken

• mögliche Reputationsrisiken

Einfach gesagt: Weniger unnötige Daten bedeuten weniger Risiko und weniger Aufwand.

2. Datensicherheit: Security-by-Design

Security-by-Design bedeutet:

• Sicherheit wird von Anfang an in Architektur, Prozesse und Betrieb eingebaut.

Sicherheit ist also nicht nur eine technische Zusatzfunktion.

Sie betrifft:

• Systemarchitektur

• Zugriffskontrolle

• Betrieb

• Updates

• Monitoring

• Vorfallsreaktion

Wichtige Prinzipien

Typische Sicherheitsprinzipien sind:

• Zero Trust

• starke Authentifizierung

• Netzsegmentierung

• Least Privilege

• Geheimnis-Management

• Threat Modeling

• Patch- und Schwachstellenmanagement

• Logging und Monitoring

• Vorfallsreaktion

Least Privilege bedeutet: Personen oder Systeme bekommen nur die Rechte, die sie wirklich brauchen.

Zero Trust bedeutet: Niemandem wird automatisch vertraut; Zugriffe müssen immer geprüft werden.

Merksatz: Security-by-Design = Sicherheit wird von Anfang an in Technik und Prozesse eingebaut.

Lieferkettensicherheit

In digitalen Ökosystemen werden viele externe Komponenten genutzt.

Zum Beispiel:

• Open-Source-Bibliotheken

• SaaS-Dienste

• IoT-Hardware

• Cloud-Anbieter

Deshalb wird Lieferkettensicherheit wichtig.

Hilfreich sind:

• Software Bill of Materials, also Software-Stücklisten

• transparente Updateprozesse

• Abnahmeprozesse

• reproduzierbare Builds

• klare Sicherheitsanforderungen an Anbieter

Merksatz: Sicherheit endet nicht beim eigenen System, sondern betrifft auch Partner, Anbieter und Komponenten.

3. Nachhaltigkeit: Green IT / Responsible IT

Digitale Technik hat einen Klima- und Ressourcenfußabdruck.

Dieser entsteht direkt durch:

• Rechenzentren

• Netzwerke

• Endgeräte

• Energieverbrauch

Und indirekt durch Rebound-Effekte.

• Das bedeutet: Effizienzgewinne führen manchmal zu mehr Nutzung und dadurch insgesamt zu höherem Ressourcenverbrauch.

• Beispiel: Ein KI-Modell wird effizienter, aber dadurch viel häufiger eingesetzt.

Hebel nachhaltiger IT

Nachhaltige IT kann gefördert werden durch:

• effiziente Algorithmen

• effiziente Modellarchitekturen, also Green AI

• rechenökonomische Trainingsstrategien

• bewusste Standortwahl von Workloads nach Energie-Mix

• langlebige Hardware

• reparierbare Geräte

• Kreislaufwirtschaft

• digitale Produktpässe

• Recycling- und Second-Life-Konzepte

Merksatz: Nachhaltigkeit ist nicht nur ein Zusatzthema, sondern beeinflusst technische Entscheidungen von Anfang an.

Die drei Bereiche können sich gegenseitig unterstützen oder in Konflikt geraten.

Beispiel 1: Datenminimierung

Weniger Daten bedeuten:

• besserer Datenschutz

• kleinere Angriffsfläche

• oft weniger Speicher- und Energieverbrauch

Das ist positiv für alle drei Bereiche.

Beispiel 2: Verschlüsselung

Verschlüsselung erhöht die Sicherheit.

Aber sie kann auch:

• mehr Rechenaufwand erzeugen

• Latenz erhöhen

• Verwaltung von Schlüsseln notwendig machen

Beispiel 3: dezentrale Verarbeitung

Dezentrale Verarbeitung kann Datenschutz verbessern, weil Daten lokal bleiben.

Aber je nach Umsetzung kann sie:

• Energiebedarf erhöhen

• Wartung erschweren

• technische Komplexität steigern

Merksatz: Es gibt nicht immer die eine perfekte Lösung. Oft braucht es eine bewusste Abwägung.

Trade-off-Matrix

Die Trade-off-Matrix hilft, solche Entscheidungen systematisch zu treffen.

Sie betrachtet Stellhebel wie:

• Speicherfristen

• Tiefe des Loggings

• Verschlüsselungsniveau

• Datenminimierung

• zentrale oder dezentrale Modellverarbeitung

• Zugriffsrechte

• Standort der Verarbeitung

• Energiebezug

Die Logik lautet:

Ziel / Regel → Nutzen → Risiken → Entscheidung → verantwortliche Rolle → Metriken

Wozu dient die Matrix?

Die Matrix hilft dabei:

• Zielkonflikte sichtbar zu machen

• Entscheidungen nachvollziehbar zu dokumentieren

• Verantwortlichkeiten zu klären

• spätere Audits vorzubereiten

• Datenschutz, Sicherheit und Nachhaltigkeit gemeinsam zu bewerten

Merksatz: Die Trade-off-Matrix macht Abwägungen sichtbar und prüfbar.

Speicherfrist für Kundendaten

Kürzere Speicherfrist:

• besser für Datenschutz

• weniger Angriffsfläche

• weniger Speicherbedarf

Aber:

• möglicherweise weniger Daten für Analyse oder Service

Tiefe des Loggings

Mehr Logging:

• bessere Nachvollziehbarkeit

• höhere Sicherheit

• bessere Vorfallsanalyse

Aber:

• mehr personenbezogene Daten

• höherer Speicherbedarf

• höherer Energiebedarf

Zugriffsrechte

Strenge Rechtevergabe:

• geringeres Missbrauchsrisiko

• besserer Datenschutz

Aber:

• mehr Verwaltungsaufwand

• möglicherweise langsamere Prozesse

Zentrale Aussage

Datenschutz, Datensicherheit und Nachhaltigkeit müssen gemeinsam gestaltet werden.

Gerade in digitalen Ökosystemen und im Internet of Things ist das wichtig, weil:

• viele Geräte Daten erzeugen

• viele Akteure beteiligt sind

• Datenflüsse komplex sind

• Sicherheitsrisiken hoch sind

• Energie- und Ressourcenverbrauch steigen kann

Kurzformel

Datenschutz / Privacy-by-Design: nur notwendige Daten, klare Zwecke, Transparenz Datensicherheit / Security-by-Design: sichere Architektur, Zugriffskontrolle, Monitoring Nachhaltigkeit / Green IT: Energieeffizienz, Ressourcenschonung, langlebige Systeme Gestaltungsdreieck: alle drei Bereiche beeinflussen sich gegenseitig Trade-off-Matrix: hilft, Zielkonflikte systematisch abzuwägen

Kernidee: Digitale Systeme sollten so gestaltet werden, dass Datenschutz, Sicherheit und Nachhaltigkeit gemeinsam berücksichtigt werden. Gute Governance bedeutet, Zielkonflikte transparent abzuwägen und Entscheidungen nachvollziehbar zu dokumentieren.

Bei datengetriebenen Systemen entsteht Gerechtigkeit nicht nur im Einzelfall.

Sie hängt ab von:

• Daten

• Modellen

• Messverfahren

• Einsatzkontexten

• organisatorischen Entscheidungen

Bias bedeutet hier: Ein System enthält Verzerrungen, die bestimmte Gruppen systematisch benachteiligen können.

Merksatz: Bias kann in KI-Systemen an vielen Stellen entstehen — nicht nur im Algorithmus selbst.

Wo kann Bias entstehen?

Bias kann entlang des gesamten Lebenszyklus auftreten.

Zum Beispiel bei:

• Datenerzeugung: Wer kommt überhaupt in den Daten vor?

• Messung und Labeling: Wie wird gemessen und klassifiziert?

• Merkmalsauswahl: Welche Variablen werden genutzt?

• Zieldefinition: Was optimiert das Modell?

• Betrieb: Verstärkt das System eigene Muster?

Beispiel: Wenn Polizei häufiger in bestimmten Vierteln kontrolliert, entstehen dort mehr Meldungen. Das System kann dann lernen, diese Viertel als besonders risikoreich einzustufen — obwohl die Daten selbst durch die stärkere Kontrolle verzerrt sind.

Folgen von Bias

Bias kann zu Problemen führen bei:

• Kreditvergabe

• Personalvorauswahl

• dynamischen Preisen

• Versicherungen

• polizeilichen Entscheidungen

• medizinischen Empfehlungen

Mögliche Folgen:

• ungerechte Behandlung

• Vertrauensverlust

• Diskriminierung

• regulatorische Risiken

• Haftungsrisiken

Nach Mehrabi et al. lassen sich Verzerrungen in drei Bereiche einordnen.

1. Datenbezogene Verzerrungen

Diese entstehen durch die Daten selbst.

Beispiele:

• Historische Verzerrung: Trainingsdaten spiegeln vergangene Diskriminierung wider.

• Repräsentationsverzerrung: Bestimmte Gruppen kommen zu wenig vor.

• Messverzerrung: Messverfahren oder Labels sind für bestimmte Gruppen unzuverlässig.

• Aggregationsverzerrung: Ein einziges Modell wird für sehr unterschiedliche Gruppen genutzt.

Merksatz: Wenn die Daten unfair oder unvollständig sind, kann auch das Modell unfair werden.

2. Algorithmusbezogene Verzerrungen

Diese entstehen durch Modellannahmen, Prüfverfahren oder falsche Einsatzkontexte.

Beispiele:

• Lernverzerrung: Das Modell beruht auf Annahmen, die in der Realität nicht gelten.

• Evaluationsverzerrung: Testdaten sind nicht repräsentativ.

• Einsatzverzerrung: Das System wird in einem anderen Kontext genutzt als ursprünglich geplant.

Merksatz: Ein Modell kann technisch gut funktionieren, aber im falschen Kontext problematisch sein.

3. Nutzungsbezogene Verzerrungen

Diese entstehen im tatsächlichen Einsatz.

Beispiele:

• Populationsverzerrung: Die tatsächlichen Nutzer:innen unterscheiden sich von der geplanten Zielgruppe.

• Verhaltensverzerrung: Das System beeinflusst Verhalten und verstärkt dadurch eigene Muster.

Merksatz: Auch die Nutzung eines Systems kann Verzerrungen erzeugen oder verstärken.

Fairness als Gestaltungsziel

Fairness ist kein einfacher, eindeutig messbarer Zustand.

Es gibt verschiedene Fairnessbegriffe, die sich teilweise widersprechen.

Wichtige Begriffe sind:

• Demografische Parität

• Equalized Odds

• Prognoseparität

Demografische Parität

Positive Entscheidungen sollen über Gruppen hinweg ähnlich häufig vorkommen.

Beispiel: Ein Auswahlverfahren soll nicht deutlich häufiger eine Gruppe bevorzugen als eine andere.

Equalized Odds

Das System soll für verschiedene Gruppen ähnlich gute Trefferquoten und ähnliche Fehlerquoten haben.

Es geht also darum, dass Fehler fair verteilt sind.

Prognoseparität

Eine positive Vorhersage soll für alle Gruppen ähnlich verlässlich sein.

Beispiel: Wenn das System jemanden als kreditwürdig einstuft, soll diese Einschätzung gruppenübergreifend gleich zuverlässig sein.

Wichtig

Diese Fairnessbegriffe können nicht immer gleichzeitig erfüllt werden.

Deshalb muss eine Organisation bewusst entscheiden:

• Welche Fairnessdefinition nutzen wir?

• Warum wählen wir diese?

• Welche Stakeholder sind betroffen?

• Welche Nebenwirkungen entstehen?

• Welche Alternativen wurden geprüft?

Merksatz: Fairness ist eine bewusste Abwägungsentscheidung, keine rein technische Kennzahl.

Gegenmaßnahmen gegen Bias

Technische Maßnahmen reichen allein nicht aus.

Wichtig sind zusätzlich Dokumentation, Kontrolle und organisatorische Verankerung.

Beispiele:

• Datasheets: Dokumentation von Herkunft, Abdeckung und Grenzen eines Datensatzes.

• Model Cards: Steckbriefe zu Modellleistung, Einsatzgrenzen und bekannten Verzerrungen.

• Fairness-Metriken

• Robustheitstests

• Audits

• klare Freigabeprozesse

• diverse Teams

• Eingriffsrechte

• regelmäßige Überprüfung im Betrieb

Erklärbare KI und Human Oversight

Erklärbare KI, also XAI, hilft dabei, Entscheidungen verständlicher zu machen.

Aber: Erklärbarkeit ersetzt nicht menschliche Aufsicht.

Bei risikoreichen Systemen braucht es meaningful human oversight.

Das bedeutet: Menschen müssen tatsächlich eingreifen, prüfen und Entscheidungen korrigieren können.

Merksatz: XAI erklärt Entscheidungen, aber Verantwortung bleibt bei Menschen und Organisationen.

Digitale Ungleichheit: Digital Divide

Ethische Fragen betreffen nicht nur KI-Modelle.

Wichtig ist auch die digitale Spaltung, also Digital Divide.

Diese zeigt sich als:

• Zugangsungleichheit

• Kompetenzungleichheit

• Nutzungsungleichheit

• Ergebnisungleichheit

Es reicht also nicht, nur Internet oder Geräte bereitzustellen.

Entscheidend ist digitale Souveränität.

Das bedeutet: Menschen müssen Technologien verstehen, selbstbestimmt nutzen und mitgestalten können.

Merksatz: Digitale Teilhabe bedeutet mehr als Zugang — sie braucht Kompetenz und Selbstbestimmung.

Plattformökonomie und Gerechtigkeit

Plattformen können Gatekeeper-Rollen einnehmen.

Sie kontrollieren zum Beispiel:

• Sichtbarkeit

• Datenzugang

• Schnittstellen

• Marktzugang

• Wertschöpfungsverteilung

Dadurch entscheiden Plattformen mit, welche Geschäftsmodelle überhaupt möglich sind.

Deshalb sind aus gesellschaftlicher Sicht wichtig:

• Transparenz

• Interoperabilität

• faire Wettbewerbsbedingungen

Merksatz: Plattformmacht ist nicht nur ein Wettbewerbsthema, sondern auch eine Gerechtigkeitsfrage.

Verantwortliche digitale Transformation entsteht nicht automatisch durch gute Absichten.

Sie braucht konkrete, messbare Praktiken über den gesamten Lebenszyklus digitaler Systeme.

1. Vor-Phase: Legitimitätsprüfung

Am Anfang steht die Frage:

• Welches Problem soll gelöst werden?

• Ist der Eingriff gerechtfertigt?

• Gibt es weniger eingriffsintensive Alternativen?

• Welche Grundrechte oder Persönlichkeitsrechte sind betroffen?

Bei erhöhtem Risiko braucht es Impact-Assessments.

Diese helfen dabei:

• Risiken sichtbar zu machen

• Schutzmaßnahmen abzuleiten

• Restrisiken zu bewerten

Merksatz: Vor dem Einsatz digitaler Systeme muss geprüft werden, ob der Einsatz legitim und verhältnismäßig ist.

2. Entwicklungsphase: Dokumentation und Testbarkeit

Während der Entwicklung braucht es nachvollziehbare Dokumentation.

Wichtige Werkzeuge sind:

• Datasheets

• Model Cards

• Versionierung

• Audit-Trails

• Fairness-Tests

• Robustheitstests

• Sicherheitstests

Audit-Trails dokumentieren, wer wann was entschieden oder verändert hat.

Das macht Entscheidungen später nachvollziehbar.

Adversariale Szenarien und Red-Teaming

Adversariale Szenarien sind künstlich erzeugte Angriffe oder Störfälle.

Ziel ist, Schwachstellen aufzudecken.

Red-Teaming bedeutet: Ein unabhängiges Team versucht, das System gezielt zu umgehen, zu manipulieren oder zu brechen.

Merksatz: Systeme müssen nicht nur im Normalfall funktionieren, sondern auch gegen Angriffe und Störungen robust sein.

Secure SDLC

Secure Software Development Lifecycle, kurz Secure SDLC, bedeutet:

Sicherheit wird während der gesamten Entwicklung mitgedacht.

Also nicht erst am Ende als nachträgliche Härtung.

Merksatz: Sicherheit gehört in den Entwicklungsprozess, nicht nur in die Endkontrolle.

3. Betrieb: Monitoring und Eingriffsrechte

Im Betrieb sind klare Eingriffsrechte wichtig.

Human-in-the-Loop darf nicht nur ein Schlagwort sein.

Es braucht konkret:

• Schwellenwerte

• Freigaberegeln

• Eskalationspfade

• geübte Eingriffsprozesse

Außerdem müssen Leistungs- und Fairness-KPIs laufend gemessen werden.

So können Probleme wie Drift früh erkannt werden.

Drift bedeutet: Ein Modell verändert seine Leistung, weil sich Daten oder Umfeldbedingungen ändern.

Vorfallmanagement und Audits

Digitale Systeme brauchen klare Reaktionspläne für Vorfälle.

Zum Beispiel bei:

• Sicherheitsverletzungen

• Ausfällen

• ethischen Fehlleistungen

• Diskriminierung

• falschen Entscheidungen

Wichtig sind:

• schnelle Reaktion

• transparente Kommunikation

• Dokumentation

• Nachbesserung

• regelmäßige Audits

Unabhängige Audits erhöhen Glaubwürdigkeit und verhindern organisationales Vergessen.

Merksatz: Governance muss dauerhaft betrieben werden, nicht nur vor dem Go-Live.

Responsible-AI-Boards

Viele Organisationen richten interdisziplinäre Gremien ein.

Zum Beispiel:

• Ethik-Boards

• Responsible-AI-Boards

Diese bringen verschiedene Perspektiven zusammen:

• Produktverantwortliche

• Datenschutz

• IT-Sicherheit

• Recht

• Compliance

• Fachbereiche

• Arbeitnehmervertretungen

• externe Expert:innen

Wichtig ist: Diese Gremien sollten nicht nur beraten, sondern echte Entscheidungskompetenzen haben.

Qualifizierung

Verantwortliche digitale Transformation braucht Kompetenzen in vielen Rollen.

Wichtig sind Grundkenntnisse in:

• Datenverständnis

• Modellverständnis

• Prozessverständnis

• Risikosteuerung

• Lieferkettentransparenz

• Zieldefinition

• Metriken

Das betrifft nicht nur IT-Abteilungen, sondern auch:

• Einkauf

• Produktmanagement

• Fachbereiche

• Geschäftsführung

Merksatz: Responsible AI ist keine reine Technikaufgabe, sondern eine Organisationsaufgabe.

Kurzformel

Bias: Verzerrungen in Daten, Algorithmen oder Nutzung Fairness: bewusste Abwägung zwischen unterschiedlichen Fairnesszielen Datasheets: Steckbriefe für Datensätze Model Cards: Steckbriefe für Modelle XAI: erklärbare KI Meaningful Human Oversight: echte menschliche Kontrolle Digital Divide: digitale Ungleichheit bei Zugang, Kompetenz, Nutzung und Ergebnissen Impact-Assessment: systematische Risiko- und Folgenabschätzung Red-Teaming: gezieltes Testen durch Angreiferperspektive Secure SDLC: Sicherheit im gesamten Entwicklungsprozess Responsible-AI-Board: interdisziplinäres Gremium für verantwortliche KI

Kernidee: Ethische digitale Transformation entsteht nicht durch Technik allein. Organisationen müssen Bias erkennen, Fairness bewusst gestalten, digitale Ungleichheit berücksichtigen und Verantwortung durch Prozesse, Dokumentation, Tests, menschliche Aufsicht und Governance-Gremien absichern.

Aufgabe 6.1

Wodurch unterscheidet sich die Wirkung von Automatisierung auf T.tigkeiten von der auf Berufe, und welche drei Leitprinzipien leitet das Kapitel daraus im Sinne einer human-zentrierten „Industrie 5.0“ für Organisationen ab?

„ T.tigkeiten vs. Berufe: Automatisierung trifft Bündel einzelner T.tigkeiten,

nicht ganze Berufe. Routinierbare/standardisierbare Mikroaufgaben werden

eher substituiert; komplement.re F.higkeiten (Kontext, Empathie, Urteil,

Kreativit.t, Datenintegration) gewinnen an Bedeutung → Rollenprofile verschieben

sich.

„ Ambivalenz: Potenziale (weniger monotone Arbeit, weniger Fehler, h.here

Zufriedenheit) vs. Risiken (Polarisierung, Exklusion) bei fehlender Qualifizierung/

Transparenz/Partizipation.

„ Drei Leitprinzipien (Industrie 5.0):

1. T.tigkeitsanalyse statt abstrakter Jobdebatten.

2. Qualifizierung als strategisches Investitionsfeld.

3. Mitbestimmung & Co-Design als wiederkehrender Prozess (inkl. klarer

Eingriffsrechte „Human-in/-on-the-Loop“ und gut gestalteter Mensch-

Maschine-Schnittstellen).

Aufgabe 6.2

Erl.utern Sie das im Text beschriebene Gestaltungsdreieck aus Datenschutz, Datensicherheit und Nachhaltigkeit. Nennen Sie je zwei konkrete Ma©¨nahmen pro Dimension, die das Kapitel 6 anführt.

„ Gestaltungsdreieck:

f Die drei Dimensionen sind wechselseitig abh.ngig (z. B. weniger Datenflüsse

→ kleinere Angriffsfl.chen und weniger Energieverbrauch; h.here

Sicherheit beeinflusst Verarbeitungspfade/Speicherdauer; Nachhaltigkeitsentscheidungen

wirken auf Datenschutz/Sicherheit).

„ Datenschutz (Privacy-by-Design):

f Zweckkl.rung, Datenminimierung, Zweckbindung; klare Rechtsgrundlage

und Speicherfristen.

f Transparenz & Betroffenenrechte; Rollenkl.rung Verantwortliche/Auftragsverarbeiter;

Datenschutzfolgeabsch.tzung bei hohem Risiko.

„ Datensicherheit (Security-by-Design):

f Architekturprinzipien: Zero Trust, starke Authentifizierung, Segmentierung,

Least-Privilege, Secret-Management.

f Betriebspraktiken: Threat Modeling, Secure SDLC, Patch-/Vuln-

Management, Logging/Monitoring, Vorfallsreaktion; Lieferkettensicherheit

(SBOM, reproduzierbare Builds).

„ Nachhaltigkeit (Green/Responsible-IT):

f Effiziente Algorithmen/Modellarchitekturen („Green AI“) & daten-/

rechen.konomisches Training; Standortwahl nach Energie-Mix.

f Langlebige/reparierbare Hardware, Kreislaufans.tze (digitale Produktp.sse,

Second-Life/Recycling); Rebound-Effekte im Blick.

Aufgabe 6.3

Wo k.nnen laut Kapitel 6 Bias/Verzerrungen in KI Systemen entstehen, und welche Governance-Bausteine entlang des Lebenszyklus (vorher – Entwicklung – Betrieb) nennt der Text als Gegenma©¨nahmen?

„ Entstehungsorte von Bias:

f Datenerzeugung (Wer kommt vor?), Messung/Labeling, Feature-Auswahl

(Proxy-Variablen), Zieldefinition (optimierte Verlustfunktion),

Betrieb (Rückkopplungen/Feedback-Loops).

„ Governance-Bausteine:

f Vorher (Vor-Phase): Legitimit.tsprüfung (Zweck/Alternativen/Rechte),

Impact-Assessments bei erh.htem Risiko.

f Entwicklung: Datasheets und Model Cards zur Dokumentation; Versionierung/

Audit-Trails; Fairness-, Robustheits- und Sicherheitstests, inkl.

adversarialer Szenarien/Red-Teaming; Secure SDLC.

f Betrieb: Human-in-the-Loop mit definierten Schwellen/Freigaben/

Eskalationen; kontinuierliche Leistungs- und Fairness-KPIs (Drift-

Erkennung); Incident-Response und transparente Kommunikation; periodische

unabh.ngige Audits.

„ Organisatorische Verankerung:

f Interdisziplin.re Ethik-/Responsible-AI-Boards mit Entscheidungskompetenzen

und Qualifizierung breiter Rollen (vom Einkauf bis Gesch.ftsführung).