Die Governance-Kette beschreibt, wie digitale Systeme verantwortungsvoll gesteuert werden.

Sie zeigt den Weg von allgemeinen Regeln bis zur messbaren Wirkung.

Die Kette besteht aus fünf Elementen:

1. Policy

2. Prozesse

3. Artefakte

4. Rollen

5. Metriken

Merksatz: Governance funktioniert nur, wenn Regeln auch in konkrete Abläufe, Zuständigkeiten und Messgrößen übersetzt werden.

1. Policy: Regeln und Leitplanken

Policy bedeutet:

Es gibt verbindliche Regeln und Leitplanken.

Dazu gehören zum Beispiel:

• Gesetze

• interne Richtlinien

• Datenschutzregeln

• Branchenvorgaben

• Regeln für KI

• IT-Sicherheitsvorgaben

Diese Regeln legen fest:

• Was ist erlaubt?

• Was ist verboten?

• Was ist verpflichtend?

Merksatz: Policy gibt den rechtlichen und organisatorischen Rahmen vor.

2. Prozesse: feste Abläufe

Prozesse beschreiben, wie etwas konkret abläuft.

Dabei geht es um wiederholbare Schritte über den gesamten Lebenszyklus eines digitalen Systems.

Zum Beispiel:

• Risiken prüfen

• Datenschutz prüfen

• Sicherheitschecks durchführen

• Freigaben vor dem Go-Live einholen

• mit Vorfällen umgehen

• laufendes Monitoring durchführen

Der Vorteil:

• Nicht jede Entscheidung muss neu erfunden werden.

• Es gibt klare, prüfbare Abläufe.

• Merksatz: Prozesse machen Governance wiederholbar und kontrollierbar.

3. Artefakte: Belege und Dokumente

Artefakte sind schriftliche Nachweise und Dokumente.

Sie zeigen, was geprüft, entschieden oder getestet wurde.

Beispiele:

• Datensteckbriefe

• Modellsteckbriefe

• Testprotokolle

• Trainingsprotokolle

• Bias-Berichte

• Robustheitsberichte

• Software-Stücklisten

• Protokolle menschlicher Freigaben

Diese Artefakte schaffen Nachvollziehbarkeit.

Man kann später prüfen:

• Was wurde entschieden?

• Auf welcher Grundlage?

• Welche Risiken wurden erkannt?

• Wer hat was freigegeben?

Merksatz: Artefakte machen Entscheidungen erklärbar und überprüfbar.

4. Rollen und Gremien: Wer entscheidet was?

Governance braucht klare Zuständigkeiten.

Es muss geregelt sein:

• Wer ist für Daten verantwortlich?

• Wer ist für Produkte verantwortlich?

• Wer ist für Modelle verantwortlich?

• Wer kümmert sich um Sicherheit?

• Wer prüft Datenschutz?

• Wer entscheidet bei kritischen Fällen?

Bei heiklen Entscheidungen kann ein unabhängiges Gremium wichtig sein.

Dieses kann zum Beispiel entscheiden:

• Go

• Stop

• Nachbesserung nötig

Merksatz: Rollen klären Verantwortung und Entscheidungsrechte.

5. Metriken: Messen und Steuern

Metriken sind Kennzahlen, mit denen Governance sichtbar und steuerbar wird.

Sie zeigen, ob Prozesse funktionieren.

Beispiele:

• Wie viele Fälle wurden risikogeprüft?

• Wie viele Vorfälle gab es?

• Wie schnell wurden Vorfälle gelöst?

• Wie fair sind Modelle?

• Wie stabil sind Modelle?

• Wie verfügbar sind digitale Dienste?

• Wie gut ist die Dokumentation?

Metriken helfen dabei, gezielt nachzusteuern.

Merksatz: Metriken zeigen, ob Governance in der Praxis wirkt.

Der Abschnitt unterscheidet zwei Ebenen:

Compliance (reaktiv)

Compliance bedeutet:

Die Organisation erfüllt rechtliche und regulatorische Mindestanforderungen.

Es geht darum:

• Gesetze einzuhalten

• Prüfungen zu bestehen

• Risiken zu dokumentieren

• vorgeschriebene Prozesse umzusetzen

Merksatz: Compliance = Pflicht.

Ethics-by-Design (proaktiv)

Ethics-by-Design geht über Compliance hinaus.

Hier werden ethische Werte schon beim Entwurf digitaler Systeme berücksichtigt.

Zum Beispiel:

• Transparenz für Nutzer:innen

• verständliche Erklärungen

• faire Risikoabwägungen

• Einbindung von Stakeholdern

• vorsichtige Modell- und Datenentscheidungen bei hohen Risiken

-> Es geht also nicht nur darum, rechtlich korrekt zu sein.

-> Es geht darum, digitale Systeme vertrauenswürdig zu gestalten.

Merksatz: Ethics-by-Design = Verantwortung wird von Anfang an eingebaut.

Praktischer Unterschied

• Beide nutzen dieselbe Governance-Kette.

• Aber Ethics-by-Design hat eine höhere Ambition.

Bei Prozessen

• Nicht nur Pflichtprüfungen, sondern frühzeitige Stakeholder-Einbindung.

Bei Artefakten

• Nicht nur technische Dokumentation, sondern verständliche Erklärformate für Nutzer:innen.

Bei Metriken

Nicht nur Vorfälle und Prüfquoten, sondern auch:

• Verständlichkeit

• wahrgenommene Fairness

• Vertrauen

• Nutzerakzeptanz

Kurzformel

• Policy: Welche Regeln gelten?

• Prozesse: Wie wird geprüft und umgesetzt?

• Artefakte: Welche Nachweise gibt es?

• Rollen: Wer entscheidet und verantwortet was?

• Metriken: Wie wird Wirkung gemessen?

  
  

• Compliance: rechtlicher Mindeststandard

• Ethics-by-Design: ethische und vertrauenswürdige Gestaltung von Anfang an

Kernidee: Governance wirkt erst dann, wenn Regeln in konkrete Prozesse, Dokumente, Verantwortlichkeiten und Kennzahlen übersetzt werden. Compliance ist die Pflicht; Ethics-by-Design schafft zusätzlichen strategischen Wert durch Vertrauen.

• Automatisierung ersetzt meistens nicht ganze Berufe.

• Sie betrifft eher einzelne Tätigkeiten innerhalb eines Berufs.

• Das ist wichtig, weil ein Beruf aus vielen verschiedenen Aufgaben besteht.

Merksatz: Automatisiert werden meist Aufgaben, nicht ganze Jobs.

Welche Aufgaben sind gut automatisierbar?

Gut automatisierbar sind vor allem routinemäßige und klar beschreibbare Tätigkeiten.

Beispiele:

• standardisierte Dokumente abgleichen

• wiederkehrende Kennzahlen auslesen

• einfache Serviceanfragen sortieren

• Daten erfassen

• Regeln anwenden

Diese Aufgaben folgen festen Mustern und können daher technisch leichter ersetzt werden.

Welche Fähigkeiten werden wichtiger?

Wenn einfache Routinetätigkeiten automatisiert werden, gewinnen andere Fähigkeiten an Bedeutung.

Wichtiger werden:

• Kontextverständnis

• Empathie

• Urteilskraft

• Kreativität

• Kommunikationsfähigkeit

• Integration verschiedener Datenquellen

Einfach gesagt: Menschen werden besonders dort gebraucht, wo Situationen komplex, uneindeutig oder sozial anspruchsvoll sind.

Verschiebung von Rollenprofilen

• Durch Automatisierung verändern sich Rollen im Unternehmen.

• Mitarbeitende verbringen weniger Zeit mit standardisierten Mikroaufgaben.

Stattdessen arbeiten sie mehr an:

• Koordination

• Ausnahmebehandlung

• Kommunikation mit Kund:innen

• Prozessgestaltung

• Kontrolle digitaler Systeme

• Verbesserung digitaler Abläufe

Merksatz: Arbeit verschiebt sich von Routineausführung hin zu Steuerung, Kommunikation und Problemlösung.

Aufgabenbasierte Analyse statt Berufsprognosen

Früher wurde oft gefragt:

Welche Berufe verschwinden?

Heute fragt man eher:

Welche Aufgaben innerhalb eines Berufs können automatisiert werden?

Das nennt man eine aufgabenbasierte Analyse.

Sie ist genauer, weil Berufe aus vielen unterschiedlichen Tätigkeiten bestehen.

Drei Arten von Aufgaben

1. Routineartige Aufgaben

Diese Aufgaben sind regelbasiert und gut beschreibbar.

Beispiele:

• Datenerfassung

• einfache Sachbearbeitung

• standardisierte Prüfungen

Automatisierbarkeit: hoch

2. Nicht-routine kognitive Aufgaben

Diese Aufgaben verlangen Denken, Kreativität und Problemlösung.

Beispiele:

• Forschung

• Design

• Strategie

• komplexe Beratung

Automatisierbarkeit: gering

3. Nicht-routine manuelle Aufgaben

Diese Aufgaben sind körperlich, aber stark kontextabhängig.

Beispiele:

• Pflege

• Handwerk

• bestimmte Servicetätigkeiten

Automatisierbarkeit: mittel

Merksatz: Je klarer eine Aufgabe regelbasiert ist, desto leichter lässt sie sich automatisieren.

Beschäftigungspolarisierung

Empirisch zeigt sich eine Polarisierung der Beschäftigung.

Das bedeutet:

Es gibt Zuwächse bei:

• hochqualifizierten Tätigkeiten

• einfachen Dienstleistungen

Aber Rückgänge im mittleren Tätigkeitssegment.

Dadurch kann sich auch die Lohnspreizung erhöhen.

Einfach gesagt: Automatisierung trifft vor allem mittlere Routinetätigkeiten und verstärkt Unterschiede am Arbeitsmarkt.

Chancen der Automatisierung

Automatisierung kann positive Effekte haben.

Sie kann:

• monotone Tätigkeiten reduzieren

• Fehlerquoten senken

• Prozesse beschleunigen

• Mitarbeitende entlasten

• Freiraum für höherwertige Aufgaben schaffen

• Arbeitszufriedenheit erhöhen

Aber das gelingt nur, wenn Automatisierung gut eingeführt wird.

Risiken der

Automatisierung

Automatisierung kann auch Probleme schaffen.

Risiken sind:

• Polarisierung

• Akzeptanzprobleme

• Reibungsverluste

• Exklusion einzelner Beschäftigtengruppen

• steigende Anforderungen an digitale Kompetenzen

• intransparente Leistungsbewertung

• Besonders kritisch wird es, wenn Qualifizierung und Beteiligung fehlen.

Merksatz: Automatisierung braucht Qualifizierung, Transparenz und Beteiligung.

Algorithmisches Management

Mit Plattformisierung entsteht eine neue Form des Managements: algorithmisches Management.

Das bedeutet:

Digitale Systeme steuern Arbeit.

Zum Beispiel:

• Arbeitszuweisung

• Leistungsmonitoring

• Bewertung

• Vergütung

• Einsatzplanung

Das kann effizient sein, aber auch Machtasymmetrien verstärken.

Problematisch wird es, wenn:

• Bewertungskriterien intransparent sind

• Beschäftigte kaum Einfluss haben

• nur Kosten, Reaktionszeit oder Auslastung optimiert werden

Merksatz: Algorithmisches Management bedeutet, dass Arbeit durch digitale Systeme gesteuert und kontrolliert wird.

Aus human-zentrierter Sicht soll Technologie den Menschen ergänzen, nicht einfach ersetzen.

Das passt zum Leitbild von Industrie 5.0.

Wichtig sind:

• kollaborative Robotik

• adaptive Assistenzsysteme

• gut gestaltete Mensch-Maschine-Schnittstellen

• klare Eingriffsrechte

Dazu gehören Konzepte wie:

• Human-in-the-Loop

• Human-on-the-Loop

Das bedeutet: Menschen behalten Kontrolle, Aufsicht oder Eingriffsmöglichkeiten.

Merksatz: Nachhaltige Produktivität entsteht, wenn Technik und Mensch sinnvoll zusammenarbeiten.

Drei Leitprinzipien für Organisationen

1. Tätigkeitsanalyse statt abstrakter Jobdebatten

Nicht fragen:

Welche Berufe verschwinden?

Sondern fragen:

Welche konkreten Aufgaben verändern sich?

2. Qualifizierung als strategisches Investitionsfeld

Mitarbeitende müssen neue Kompetenzen aufbauen.

Zum Beispiel:

• Datenkompetenz

• Prozessverständnis

• Systemkompetenz

• Umgang mit KI und Automatisierung

3. Mitbestimmung und Co-Design

• Beschäftigte sollten an der Gestaltung neuer Technologien beteiligt werden.

• Das ist kein einmaliger Workshop, sondern ein wiederkehrender Prozess.

• Co-Design bedeutet: Technik wird gemeinsam mit den betroffenen Menschen gestaltet.

Kurzformel

• Automatisierung: betrifft meist Tätigkeiten, nicht ganze Berufe

• Routineaufgaben: hohe Automatisierbarkeit

• Nicht-routine kognitive Aufgaben: geringe Automatisierbarkeit

• Nicht-routine manuelle Aufgaben: mittlere Automatisierbarkeit

• Polarisierung: mehr Hochqualifizierte und einfache Dienste, weniger mittlere Tätigkeiten

• Algorithmisches Management: digitale Systeme steuern Arbeit

• Industrie 5.0: Technik ergänzt den Menschen

• Co-Design: Beschäftigte gestalten Technik mit

Kernidee: Arbeit 4.0 bedeutet nicht einfach, dass Menschen durch Technik ersetzt werden. Entscheidend ist, welche Aufgaben automatisiert werden, welche neuen Kompetenzen entstehen und ob Technologie human-zentriert, transparent und beteiligungsorientiert gestaltet wird.

• Datenschutz, Datensicherheit und Nachhaltigkeit dürfen nicht getrennt betrachtet werden.

• Sie bilden ein Gestaltungsdreieck.

• Das bedeutet: Entscheidungen in einem Bereich beeinflussen immer auch die anderen Bereiche.

Merksatz: Datenschutz, Sicherheit und Nachhaltigkeit sind keine Silos, sondern hängen gegenseitig zusammen.

Gestaltungsdreieck

Das Gestaltungsdreieck besteht aus drei Ecken:

• Datenschutz, also Privacy-by-Design

• Datensicherheit, also Security-by-Design

• Nachhaltigkeit, also Sustainable IT / Green IT

Zwischen diesen Bereichen gibt es Wechselwirkungen.

Beispiele:

• Weniger Daten bedeuten weniger Angriffsfläche und oft weniger Energieverbrauch.

• Mehr Sicherheit kann mehr Rechenaufwand oder längere Speicherfristen bedeuten.

• Nachhaltige IT-Entscheidungen beeinflussen Datenschutz und Sicherheit, zum Beispiel bei Standortwahl, Hardware oder Speicherfristen.

Kernidee: Man muss immer abwägen, weil eine gute Entscheidung in einem Bereich Auswirkungen auf die anderen Bereiche hat.

1. Datenschutz: Privacy-by-Design

Privacy-by-Design bedeutet:

• Datenschutz wird von Anfang an in digitale Systeme eingebaut.

• Es wird also nicht erst nachträglich geprüft, sondern bereits bei Planung und Entwicklung berücksichtigt.

Wichtige Fragen sind:

• Wofür werden Daten erhoben?

• Welche Rechtsgrundlage gibt es?

• Wie lange werden die Daten benötigt?

• Wer darf auf die Daten zugreifen?

• Wie werden Betroffene informiert?

• Wie können Daten gelöscht oder berichtigt werden?

Wichtige Prinzipien

Zum Datenschutz gehören besonders:

• Zweckbindung

• Datenminimierung

• Transparenz

• Nutzerorientierung

• Auskunfts-, Berichtigungs- und Löschprozesse

• klare Rollen in der Datenverarbeitung

Datenminimierung bedeutet: Es werden nur die Daten erhoben, die wirklich notwendig sind.

Merksatz: Privacy-by-Design = Datenschutz wird von Anfang an technisch und organisatorisch mitgedacht.

Warum ist Datenminimierung sinnvoll?

Datenminimierung ist nicht nur rechtlich wichtig.

Sie ist auch ökonomisch sinnvoll.

Jeder zusätzliche Datenpunkt erzeugt:

• Speicherkosten

• Pflegeaufwand

• Sicherheitsrisiken

• mögliche Reputationsrisiken

Einfach gesagt: Weniger unnötige Daten bedeuten weniger Risiko und weniger Aufwand.

2. Datensicherheit: Security-by-Design

Security-by-Design bedeutet:

• Sicherheit wird von Anfang an in Architektur, Prozesse und Betrieb eingebaut.

Sicherheit ist also nicht nur eine technische Zusatzfunktion.

Sie betrifft:

• Systemarchitektur

• Zugriffskontrolle

• Betrieb

• Updates

• Monitoring

• Vorfallsreaktion

Wichtige Prinzipien

Typische Sicherheitsprinzipien sind:

• Zero Trust

• starke Authentifizierung

• Netzsegmentierung

• Least Privilege

• Geheimnis-Management

• Threat Modeling

• Patch- und Schwachstellenmanagement

• Logging und Monitoring

• Vorfallsreaktion

Least Privilege bedeutet: Personen oder Systeme bekommen nur die Rechte, die sie wirklich brauchen.

Zero Trust bedeutet: Niemandem wird automatisch vertraut; Zugriffe müssen immer geprüft werden.

Merksatz: Security-by-Design = Sicherheit wird von Anfang an in Technik und Prozesse eingebaut.

Lieferkettensicherheit

In digitalen Ökosystemen werden viele externe Komponenten genutzt.

Zum Beispiel:

• Open-Source-Bibliotheken

• SaaS-Dienste

• IoT-Hardware

• Cloud-Anbieter

Deshalb wird Lieferkettensicherheit wichtig.

Hilfreich sind:

• Software Bill of Materials, also Software-Stücklisten

• transparente Updateprozesse

• Abnahmeprozesse

• reproduzierbare Builds

• klare Sicherheitsanforderungen an Anbieter

Merksatz: Sicherheit endet nicht beim eigenen System, sondern betrifft auch Partner, Anbieter und Komponenten.

3. Nachhaltigkeit: Green IT / Responsible IT

Digitale Technik hat einen Klima- und Ressourcenfußabdruck.

Dieser entsteht direkt durch:

• Rechenzentren

• Netzwerke

• Endgeräte

• Energieverbrauch

Und indirekt durch Rebound-Effekte.

• Das bedeutet: Effizienzgewinne führen manchmal zu mehr Nutzung und dadurch insgesamt zu höherem Ressourcenverbrauch.

• Beispiel: Ein KI-Modell wird effizienter, aber dadurch viel häufiger eingesetzt.

Hebel nachhaltiger IT

Nachhaltige IT kann gefördert werden durch:

• effiziente Algorithmen

• effiziente Modellarchitekturen, also Green AI

• rechenökonomische Trainingsstrategien

• bewusste Standortwahl von Workloads nach Energie-Mix

• langlebige Hardware

• reparierbare Geräte

• Kreislaufwirtschaft

• digitale Produktpässe

• Recycling- und Second-Life-Konzepte

Merksatz: Nachhaltigkeit ist nicht nur ein Zusatzthema, sondern beeinflusst technische Entscheidungen von Anfang an.

Die drei Bereiche können sich gegenseitig unterstützen oder in Konflikt geraten.

Beispiel 1: Datenminimierung

Weniger Daten bedeuten:

• besserer Datenschutz

• kleinere Angriffsfläche

• oft weniger Speicher- und Energieverbrauch

Das ist positiv für alle drei Bereiche.

Beispiel 2: Verschlüsselung

Verschlüsselung erhöht die Sicherheit.

Aber sie kann auch:

• mehr Rechenaufwand erzeugen

• Latenz erhöhen

• Verwaltung von Schlüsseln notwendig machen

Beispiel 3: dezentrale Verarbeitung

Dezentrale Verarbeitung kann Datenschutz verbessern, weil Daten lokal bleiben.

Aber je nach Umsetzung kann sie:

• Energiebedarf erhöhen

• Wartung erschweren

• technische Komplexität steigern

Merksatz: Es gibt nicht immer die eine perfekte Lösung. Oft braucht es eine bewusste Abwägung.

Trade-off-Matrix

Die Trade-off-Matrix hilft, solche Entscheidungen systematisch zu treffen.

Sie betrachtet Stellhebel wie:

• Speicherfristen

• Tiefe des Loggings

• Verschlüsselungsniveau

• Datenminimierung

• zentrale oder dezentrale Modellverarbeitung

• Zugriffsrechte

• Standort der Verarbeitung

• Energiebezug

Die Logik lautet:

Ziel / Regel → Nutzen → Risiken → Entscheidung → verantwortliche Rolle → Metriken

Wozu dient die Matrix?

Die Matrix hilft dabei:

• Zielkonflikte sichtbar zu machen

• Entscheidungen nachvollziehbar zu dokumentieren

• Verantwortlichkeiten zu klären

• spätere Audits vorzubereiten

• Datenschutz, Sicherheit und Nachhaltigkeit gemeinsam zu bewerten

Merksatz: Die Trade-off-Matrix macht Abwägungen sichtbar und prüfbar.

Speicherfrist für Kundendaten

Kürzere Speicherfrist:

• besser für Datenschutz

• weniger Angriffsfläche

• weniger Speicherbedarf

Aber:

• möglicherweise weniger Daten für Analyse oder Service

Tiefe des Loggings

Mehr Logging:

• bessere Nachvollziehbarkeit

• höhere Sicherheit

• bessere Vorfallsanalyse

Aber:

• mehr personenbezogene Daten

• höherer Speicherbedarf

• höherer Energiebedarf

Zugriffsrechte

Strenge Rechtevergabe:

• geringeres Missbrauchsrisiko

• besserer Datenschutz

Aber:

• mehr Verwaltungsaufwand

• möglicherweise langsamere Prozesse

Zentrale Aussage

Datenschutz, Datensicherheit und Nachhaltigkeit müssen gemeinsam gestaltet werden.

Gerade in digitalen Ökosystemen und im Internet of Things ist das wichtig, weil:

• viele Geräte Daten erzeugen

• viele Akteure beteiligt sind

• Datenflüsse komplex sind

• Sicherheitsrisiken hoch sind

• Energie- und Ressourcenverbrauch steigen kann

Kurzformel

Datenschutz / Privacy-by-Design: nur notwendige Daten, klare Zwecke, Transparenz

Datensicherheit / Security-by-Design: sichere Architektur, Zugriffskontrolle, Monitoring Nachhaltigkeit / Green IT: Energieeffizienz, Ressourcenschonung, langlebige Systeme Gestaltungsdreieck: alle drei Bereiche beeinflussen sich gegenseitig

Trade-off-Matrix: hilft, Zielkonflikte systematisch abzuwägen

Kernidee: Digitale Systeme sollten so gestaltet werden, dass Datenschutz, Sicherheit und Nachhaltigkeit gemeinsam berücksichtigt werden. Gute Governance bedeutet, Zielkonflikte transparent abzuwägen und Entscheidungen nachvollziehbar zu dokumentieren.

Bei datengetriebenen Systemen entsteht Gerechtigkeit nicht nur im Einzelfall.

Sie hängt ab von:

• Daten

• Modellen

• Messverfahren

• Einsatzkontexten

• organisatorischen Entscheidungen

Bias bedeutet hier: Ein System enthält Verzerrungen, die bestimmte Gruppen systematisch benachteiligen können.

Merksatz: Bias kann in KI-Systemen an vielen Stellen entstehen — nicht nur im Algorithmus selbst.

Wo kann Bias entstehen?

Bias kann entlang des gesamten Lebenszyklus auftreten.

Zum Beispiel bei:

• Datenerzeugung/Modelltraining: Wer kommt überhaupt in den Daten vor?

  • Wenn Trainingsdaten ungleich verteilt sind.

  • Gesichtserkennung trainiert auf überwiegend hellen Gesichtern → schlechtere Erkennung anderer

• Messung und Labeling: Wie wird gemessen und klassifiziert?

  • Wenn Annotierende ihre eigenen Vorurteile in die Daten tragen.

  • Sentiment-Analyse: Texte von Frauen werden anders bewertet als von Männern.

• Merkmalsauswahl: Welche Variablen werden genutzt?

  • Wenn Proxy-Variablen geschützte Merkmale indirekt einkodieren.

  • Wohnort als Proxy für Ethnie; Hobbys als Proxy für Geschlecht.

  • Proxy Variablen = Variablen, die ein geschütztes Merkmal indirekt repräsentieren, obwohl es formal ausgeschlossen wurde.

  • Auch: Redundant Encoding.

• Zieldefinition: Was optimiert das Modell?

  • Wenn das zu optimierende Ziel selbst diskriminierend ist.

  • KI optimiert auf historische Einstellungsdaten → lernt die Vorurteile des Unternehmens.

• Betrieb/Feedback: Verstärkt das System eigene Muster?

  • Wenn Modellentscheidungen die nächsten

    Trainingsdaten erzeugen.

  • Kredite werden in einem Stadtteil seltener vergeben → weniger positive Daten → Bias verstärkt sich

-> „Bias steckt nur in den Trainingsdaten“ ist die häufigste Fehlannahme.

-> Er entsteht kumulativ entlang des gesamten Lebenszyklus, auch ganz ohne böse Absicht.

Beispiel: Wenn Polizei häufiger in bestimmten Vierteln kontrolliert, entstehen dort mehr Meldungen. Das System kann dann lernen, diese Viertel als besonders risikoreich einzustufen — obwohl die Daten selbst durch die stärkere Kontrolle verzerrt sind.

Folgen von Bias

Bias kann zu Problemen führen bei:

• Kreditvergabe

• Personalvorauswahl

• dynamischen Preisen

• Versicherungen

• polizeilichen Entscheidungen

• medizinischen Empfehlungen

Mögliche Folgen:

• ungerechte Behandlung

• Vertrauensverlust

• Diskriminierung

• regulatorische Risiken

• Haftungsrisiken

Kreditwürdigkeit durch KI

Wo liegt das Problem?

Ein Kreditinstitut prüft Kreditwürdigkeit per KI. Das Modell verwendet Ethnie ausdrücklich NICHT als Variable. Es nutzt: Wohnort, Berufsfeld, Kontoführungsverhalten, Konsummuster.

Trotzdem werden Personen aus bestimmten Stadtteilen systematisch schlechter bewertet als statistisch vergleichbare Personen aus anderen Stadtteilen.

1. Welches Konzept erklärt das Problem?

Wie kann ein Modell diskriminieren, ohne das Merkmal zu kennen?

2. An welchen Stellen des Lebenszyklus ist der Bias entstanden?

Prüfen Sie alle fünf; oft sind es mehrere zugleich.

• Proxy-Variable/ Merkmalsauswahl

• Man kann nicht alle korrelierten Merkmale entfernen

• Feedbackschleife entsteht: weniger positive Daten → Bias verstärkt sich

3. Wann hätte man eingreifen müssen und wie?

Vor dem ersten Code oder nach dem ersten Fehler?

• Prüfung von Proxy-Variablen vorab

• Ethica by Design;

  • Proxy Variablen vor Erhebung prüfen

  • Dafür sorgen, dass Modell “Fair lernt”

  • prüfen, ob Modell Verzerrung in einzelnen Subgruppen aufweist

  • während des Trainings und währemd des laufenden betriebs (audit) prüfen

Nach Mehrabi et al. lassen sich Verzerrungen in drei Bereiche einordnen.

1. Datenbezogene Verzerrungen

Diese entstehen durch die Daten selbst.

Beispiele:

• Historische Verzerrung: Trainingsdaten spiegeln vergangene Diskriminierung wider.

• Repräsentationsverzerrung: Bestimmte Gruppen kommen zu wenig vor.

• Messverzerrung: Messverfahren oder Labels sind für bestimmte Gruppen unzuverlässig.

• Aggregationsverzerrung: Ein einziges Modell wird für sehr unterschiedliche Gruppen genutzt.

Merksatz: Wenn die Daten unfair oder unvollständig sind, kann auch das Modell unfair werden.

2. Algorithmusbezogene Verzerrungen

Diese entstehen durch Modellannahmen, Prüfverfahren oder falsche Einsatzkontexte.

Beispiele:

• Lernverzerrung: Das Modell beruht auf Annahmen, die in der Realität nicht gelten.

• Evaluationsverzerrung: Testdaten sind nicht repräsentativ.

• Einsatzverzerrung: Das System wird in einem anderen Kontext genutzt als ursprünglich geplant.

Merksatz: Ein Modell kann technisch gut funktionieren, aber im falschen Kontext problematisch sein.

3. Nutzungsbezogene Verzerrungen

Diese entstehen im tatsächlichen Einsatz.

Beispiele:

• Populationsverzerrung: Die tatsächlichen Nutzer:innen unterscheiden sich von der geplanten Zielgruppe.

• Verhaltensverzerrung: Das System beeinflusst Verhalten und verstärkt dadurch eigene Muster.

Merksatz: Auch die Nutzung eines Systems kann Verzerrungen erzeugen oder verstärken.

Fairness als Gestaltungsziel

Fairness ist kein einfacher, eindeutig messbarer Zustand.

Es gibt verschiedene Fairnessbegriffe, die sich teilweise widersprechen.

Wichtige Begriffe sind:

• Demografische Parität

• Equalized Odds

• Prognoseparität

Demografische Parität

• Positive Entscheidungen sollen über Gruppen hinweg ähnlich häufig vorkommen.

• Beispiel: Ein Auswahlverfahren soll nicht deutlich häufiger eine Gruppe bevorzugen als eine andere.

• Bsp.: 30 % erhalten Kredit – unabhängig von

  der Gruppe.

• Ignoriert echte Unterschiede in den Daten.

Equalized Odds

• Das System soll für verschiedene Gruppen ähnlich gute Trefferquoten und ähnliche Fehlerquoten haben.

• Es geht also darum, dass Fehler fair verteilt sind.

• Bsp.: Das Modell irrt für keine Gruppe

  häufiger als für eine andere.

• Der Fokus liegt auf den Fehlerraten.

Prognoseparität

• Eine positive Vorhersage soll für alle Gruppen ähnlich verlässlich sein.

• Beispiel: Wenn das System jemanden als kreditwürdig einstuft, soll diese Einschätzung gruppenübergreifend gleich zuverlässig sein.

• Bsp.: „Hochrisiko“ bedeutet in jeder Gruppe

  dasselbe.

• Der Fokus liegt auf der Verlässlichkeit der

  Vorhersage.

Wichtig

Impossibility Theorem:

• Es gibt keinen Algorithmus, der alle Fairness-Begriffe zugleich adressiert.

• Diese Fairnessbegriffe können nicht immer gleichzeitig erfüllt werden.

Deshalb muss eine Organisation bewusst entscheiden:

• Welche Fairnessdefinition nutzen wir?

• Warum wählen wir diese?

• Welche Stakeholder sind betroffen?

• Welche Nebenwirkungen entstehen?

• Welche Alternativen wurden geprüft?

Merksatz: Fairness ist eine bewusste Abwägungsentscheidung, keine rein technische Kennzahl.

Technische Maßnahmen reichen allein nicht aus.

Wichtig sind zusätzlich Dokumentation, Kontrolle und organisatorische Verankerung.

Beispiele:

• Datasheets: Dokumentation von Herkunft, Abdeckung und Grenzen eines Datensatzes.

• Model Cards: Steckbriefe zu Modellleistung, Einsatzgrenzen und bekannten Verzerrungen.

• Fairness-Metriken

• Robustheitstests

• Audits

• klare Freigabeprozesse

• diverse Teams

• Eingriffsrechte

• regelmäßige Überprüfung im Betrieb

Tutorium: Wo im Prozess kann man gegen Bias eingreifen?

Daten → Training/Modell → Ergebnis

Gegen Bias kann man an allen drei Stellen eingreifen:

• vor dem Training an den Daten

• während des Trainings im Modell

• nach dem Training an den Ausgaben

1. Pre-Processing

• Pre-Processing bedeutet: Man greift vor dem Training ein, also bei den Daten.

• Die Frage ist: Sind die Trainingsdaten fair und ausgewogen?

• Wenn bestimmte Gruppen in den Daten zu wenig vorkommen, lernt das Modell diese Gruppen schlechter.

Methoden:

Re-Sampling

• Re-Sampling bedeutet: Man verändert die Zusammensetzung der Daten.

• Zum Beispiel: Eine Gruppe ist unterrepräsentiert.

Dann kann man:

• mehr Daten dieser Gruppe hinzufügen

• vorhandene Daten dieser Gruppe häufiger verwenden

• Daten anderer Gruppen reduzieren

Ziel: Das Modell soll nicht nur von der Mehrheit lernen.

Re-Weighting

• Re-Weighting bedeutet: Man gibt bestimmten Datenpunkten mehr oder weniger Gewicht.

• Beispiel: Eine unterrepräsentierte Gruppe bekommt ein höheres Gewicht im Training.

• Das Modell „achtet“ dann stärker auf diese Fälle.

• Merksatz: Re-Weighting verändert nicht unbedingt die Datenmenge, sondern die Bedeutung einzelner Daten im Training.

2. In-Processing

• In-Processing bedeutet: Man greift während des Trainings ein, also direkt im Modell.

• Hier wird dem Modell nicht nur gesagt: Sei möglichst genau. Sondern zusätzlich: Achte auch auf Fairness.

Fairness Constraints

• Fairness Constraints sind Fairness-Bedingungen im Training.

• Das Modell wird so trainiert, dass es nicht nur Genauigkeit optimiert, sondern auch Fairness-Regeln berücksichtigt.

Beispiel:

• Ein Modell zur Bewerberauswahl soll nicht nur möglichst gut passende Personen erkennen, sondern auch vermeiden, bestimmte Gruppen systematisch zu benachteiligen.

Accuracy-Trade-off

• Ein wichtiger Begriff auf der Folie ist Accuracy-Trade-off.

Das bedeutet:

Manchmal gibt es einen Zielkonflikt zwischen:

• maximaler Genauigkeit

• Fairness

• Wenn man Fairness stärker berücksichtigt, kann die reine Vorhersagegenauigkeit etwas sinken.

• Das ist nicht automatisch schlecht, sondern eine bewusste Abwägung.

Merksatz: In-Processing baut Fairness direkt ins Modelltraining ein, kann aber komplexer sein.

3. Post-Processing

• Post-Processing bedeutet: Man greift nach dem Training ein, also bei den Ausgaben des Modells.

• Das Modell selbst bleibt gleich.

• Man verändert aber, wie die Ergebnisse interpretiert oder entschieden werden.

Threshold Optimization

• Threshold Optimization bedeutet: Man passt Entscheidungsschwellen an.

• Beispiel: Ein Modell gibt eine Wahrscheinlichkeit aus: „Diese Person ist zu 70 % kreditwürdig.“

• Dann muss entschieden werden: Ab welchem Wert gibt es einen Kredit?

  • ab 50 %?

  • ab 60 %?

  • ab 70 %?

• Bei Threshold Optimization kann man diese Schwellen gruppenspezifisch anpassen, um unfair verteilte Ergebnisse zu reduzieren.

Merksatz: Threshold Optimization verändert die Entscheidungsschwelle nach dem Modelltraining.

Kalibration

• Kalibration bedeutet: Die vorhergesagten Wahrscheinlichkeiten sollen vergleichbar und verlässlich sein.

• Beispiel: Wenn ein Modell sagt: „80 % Wahrscheinlichkeit“ dann sollte das ungefähr auch bedeuten: In 80 von 100 ähnlichen Fällen trifft die Aussage zu.

• Kalibration macht also Modellwahrscheinlichkeiten nachträglich besser vergleichbar.

Wichtig laut Folie: Kalibration ist eine Post-Processing-Methode und kein eigener Fairness-Begriff wie Equalized Odds.

Klassische Verwechslung: Kalibration vs. Fairness-Begriff

Die Folie warnt ausdrücklich:

• Kalibration ist eine Methode, kein Fairness-Konzept.

Das heißt:

• Kalibration = technische Nachbearbeitung von Wahrscheinlichkeiten

• Equalized Odds = Fairness-Kriterium, also ein Ziel, an dem Fairness gemessen wird

Einfach gesagt: Kalibration sagt: „Sind die Wahrscheinlichkeiten verlässlich?“ Equalized Odds sagt: „Sind Fehlerquoten zwischen Gruppen fair verteilt?“

Erklärbare KI und Human Oversight

• Erklärbare KI, also XAI, hilft dabei, Entscheidungen verständlicher zu machen.

• Grundidee: Wenn wir verstehen, warum ein Modell entscheidet, können wir beurteilen, ob die Entscheidung fair und angemessen ist.

Globale Erklärbarkeit:

Frage: Wie funktioniert das Modell generell?

• Welche Merkmale sind insgesamt am wichtigsten?

• Methoden:

  Feature Importance

  • schaut welche Variable wie wichtig ist

  Partial Dependence Plots

  • sie zeigen, wie sich die Vorhersage im Durchschnitt ändert. (wenn man ein Merkmale variiert)

Lokale Erklärbarkeit

Frage: Warum diese eine Entscheidung?

• schaut auf die einzelnen Fälle

• Warum wurde dieser Kredit abgelehnt? Warum wurde diese Bewerbung aussortiert?

• Das ist die Perspektive der betroffenen Person und die Grundlage jedes Rechtsbehelfs.

-> Aber: Erklärbarkeit ersetzt nicht menschliche Aufsicht.

Die Grenze:

• Eine Erklärung ist nicht dasselbe wie Fairness.

• Ein Modell kann perfekt erklärbar und trotzdem diskriminierend sein → Transparenz zeigt das Problem, sie löst es aber nicht.

Bei risikoreichen Systemen braucht es meaningful human oversight.

• Das bedeutet: Menschen müssen tatsächlich eingreifen, prüfen und Entscheidungen korrigieren können.

• Merksatz: XAI erklärt Entscheidungen, aber Verantwortung bleibt bei Menschen und Organisationen.

• → Managementkonsequenz: Erklärbarkeit ist eine Voraussetzung für Rechenschaft, kein Ersatz für Fairness-Prüfung.

Digitale Ungleichheit: Digital Divide

Ethische Fragen betreffen nicht nur KI-Modelle.

Wichtig ist auch die digitale Spaltung, also Digital Divide.

Diese zeigt sich als:

• Zugangsungleichheit

• Kompetenzungleichheit

• Nutzungsungleichheit

• Ergebnisungleichheit

Es reicht also nicht, nur Internet oder Geräte bereitzustellen.

Entscheidend ist digitale Souveränität.

Das bedeutet: Menschen müssen Technologien verstehen, selbstbestimmt nutzen und mitgestalten können.

Merksatz: Digitale Teilhabe bedeutet mehr als Zugang — sie braucht Kompetenz und Selbstbestimmung.

Plattformökonomie und Gerechtigkeit

Plattformen können Gatekeeper-Rollen einnehmen.

Sie kontrollieren zum Beispiel:

• Sichtbarkeit

• Datenzugang

• Schnittstellen

• Marktzugang

• Wertschöpfungsverteilung

Dadurch entscheiden Plattformen mit, welche Geschäftsmodelle überhaupt möglich sind.

Deshalb sind aus gesellschaftlicher Sicht wichtig:

• Transparenz

• Interoperabilität

• faire Wettbewerbsbedingungen

Merksatz: Plattformmacht ist nicht nur ein Wettbewerbsthema, sondern auch eine Gerechtigkeitsfrage.

Ethics By Design (Proaktiv)

• Ab der Konzeptionsphase

• Stakeholder-Partizipation

• iterative ethische Prüfung

Compliance (Reaktiv)

• Nach dem Deployment

• Checklisten & Audits

• Mindestanforderungen.

Model Cards

• Standardisierte Dokumentation: Modellperformance, Einsatzgrenzen und ethische Überlegungen

• aufgeschlüsselt nach Subgruppen. Schafft Transparenz und Rechenschaft.

• kann mithilfe der Model Cards Subgruppenanalyse durchführen um transparent zu dokumentieren

HUMAN-IN-THE-LOOP

• Mensch bei JEDER kritischen Entscheidung aktiv eingebunden.

• → Medizin, Kredizvergabe, EInstellungsverfahren, Rechtsprechung, Einstellungen

HUMAN-ON-THE-LOOP

• Mensch überwacht das System und greift nur bei Anomalien ein.

• → Produktion, Logistik, Monitoring

—> Je höher das Schadenspotenzial einer Fehlentscheidung, desto weiter muss der Mensch in die Schleife hinein.

Übung

Szenario 1:

• Human in the loop

Szenario 2:

• Ein Proxy, der das Merkmal indirekt einkodiert

• Lösung: Um zu testen, ob Verzerrung durch Proxy Variable vorliegt, könnte ich Modell einmal trainieren ohne Geschlechtsangabe und einmal mit

  • wenn merke, obwohl Merkmal entfernt wurde, trotzdme Gruppendifferenziert entsteht, kann ich feststellen, das eine korrlierte Variable diese Info wieder rekonstruiert hat

Szenario 3:

• Post-Proceccing:

Ein Mobilitäts-Plattformunternehmen wächst durch starke Netzwerkeffekte auf beiden Marktseiten. Es sammelt Millionen Datenpunkte von Fahrern und Fahrgästen und nutzt sie für ein KI-gestütztes dynamisches Preismodell und ein Fahrer- Bewertungssystem.

Welche ethischen Spannungen entstehen und was würde Ethics-by-Design vorschlagen?

Netzwerkeffekte

Welche Machtasymmetrie entsteht gegenüber Fahrern, die auf die Plattform angewiesen sind?

• Wenn Nachfrage steigt, muss mehr Angebot folgen

• Für Fahrer: Mehr Konkurrenz; eher günstig für Fahrgäste

• Asymmetrie:

  • Plattform kontrolliert Daten, Zugang. Sanktionen gegen Fahrer, Preislogik

  • Fahrer: tragen Betriebsrisiko; Ihrer Fahrzeuge, kosten, einen Teil des Nachfragrisikos etc.

  • -> Fahrer erscheint formal selbstständig, aber sind von dem Alorythmus abhängig, der ihnen Aufträge zuteilt und bestimmt, was sie dadurch verdienen

Fairness & Bias

Welche Proxy-Variablen könnten Preismodell und Bewertung nutzen? Wer wird benachteiligt?

• Abholgebiet, Zielgebiet, Tageszeit, Zahlungsmethode, bisheriges Zahlungs/Buchungsverhalten

• Wohngebite kann mit gewinssen ethischen Zugehörigkeit korrelierne, Einkommen etc.

• Kundenbewertung ebenfalls: Können Vorurteile enthalten; jemand spricht mit Akzent den ich nicht leide, ich mag das Auto nicht etc. —> das spielt in Bewertung mit ein und wirkt sich benachteiligend auf den Fahrer aus

Dynamic Capabilities

Warum fällt das Seizing ethischer Korrekturen schwer, obwohl das Sensing funktioniert?

• Organisation muss richtige Handlungsschritte einleiten; Erkennen ist gut, aber bei Trägheit, fehelndem Mut und mangelnden Ressourcen scheitert umsetzung

Krisenkommunikation

Fahrer machen Diskriminierung öffentlich. Welche Strategie trägt und welche eskaliert?

• Verständnis, Entschuldigen, Transparent, Verantwortung übernehmen

• um hohe Empathie bemühen

• Keine Rechtfertigung oder Erklärung, kein schweigen

1. Technologie allein reicht nicht

• Gute Technologie ist notwendig, nicht hinreichend.

• Sensing der Möglichkeit genügt nicht: Seizing und Reconfiguring müssen folgen.

• Bsp. Kodak: Senzing war dar: Haben erste Digitalkamera entworfen;

1. Geschäftsmodell ohne Change scheitert

   • Ein disruptives Modell erfordert organisationale Transformation.

   • Wer die unsichtbare Ebene ignoriert, scheitert auch mit perfektem BMC.

   • -> Eisberg Methapher (ERB Beispiel Tutorium)

1. Reifegrad ≠ Transformationserfolg

   • Eine hohe Reifegradmessung ohne geschäftlichen Mehrwert ist ein Warnsignal, kein Beweis.

2. Kommunikation ist strategisch

• Krisenkommunikation und Change scheitern an den selben Punkten → der unsichtbaren Ebene und der Echtzeit-Dynamik.

• nicht abwartend

1. KI-Ethik ist kein Luxus

• Algorithmic Bias beschädigt Marken, zieht Regulierung an und zerstört Vertrauen → das Gegenteil von Transformationserfolg.

• wird oft abgetan, oder durch Ethics by design von vornerein verankert

Die Systemfrage, die alle Themen verbindet:

• Nicht „Was ist das Problem?“, sondern „Welche unsichtbare Dynamik treibt das sichtbare Problem an?“

Verantwortliche digitale Transformation entsteht nicht automatisch durch gute Absichten.

Sie braucht konkrete, messbare Praktiken über den gesamten Lebenszyklus digitaler Systeme.

1. Vor-Phase: Legitimitätsprüfung

Am Anfang steht die Frage:

• Welches Problem soll gelöst werden?

• Ist der Eingriff gerechtfertigt?

• Gibt es weniger eingriffsintensive Alternativen?

• Welche Grundrechte oder Persönlichkeitsrechte sind betroffen?

Bei erhöhtem Risiko braucht es Impact-Assessments.

Diese helfen dabei:

• Risiken sichtbar zu machen

• Schutzmaßnahmen abzuleiten

• Restrisiken zu bewerten

Merksatz: Vor dem Einsatz digitaler Systeme muss geprüft werden, ob der Einsatz legitim und verhältnismäßig ist.

2. Entwicklungsphase: Dokumentation und Testbarkeit

Während der Entwicklung braucht es nachvollziehbare Dokumentation.

Wichtige Werkzeuge sind:

• Datasheets

• Model Cards

• Versionierung

• Audit-Trails

• Fairness-Tests

• Robustheitstests

• Sicherheitstests

Audit-Trails dokumentieren, wer wann was entschieden oder verändert hat.

Das macht Entscheidungen später nachvollziehbar.

Adversariale Szenarien und Red-Teaming

Adversariale Szenarien sind künstlich erzeugte Angriffe oder Störfälle.

Ziel ist, Schwachstellen aufzudecken.

Red-Teaming bedeutet: Ein unabhängiges Team versucht, das System gezielt zu umgehen, zu manipulieren oder zu brechen.

Merksatz: Systeme müssen nicht nur im Normalfall funktionieren, sondern auch gegen Angriffe und Störungen robust sein.

Secure SDLC

Secure Software Development Lifecycle, kurz Secure SDLC, bedeutet:

Sicherheit wird während der gesamten Entwicklung mitgedacht.

Also nicht erst am Ende als nachträgliche Härtung.

Merksatz: Sicherheit gehört in den Entwicklungsprozess, nicht nur in die Endkontrolle.

3. Betrieb: Monitoring und Eingriffsrechte

Im Betrieb sind klare Eingriffsrechte wichtig.

Human-in-the-Loop darf nicht nur ein Schlagwort sein.

Es braucht konkret:

• Schwellenwerte

• Freigaberegeln

• Eskalationspfade

• geübte Eingriffsprozesse

Außerdem müssen Leistungs- und Fairness-KPIs laufend gemessen werden.

So können Probleme wie Drift früh erkannt werden.

Drift bedeutet: Ein Modell verändert seine Leistung, weil sich Daten oder Umfeldbedingungen ändern.

Vorfallmanagement und Audits

Digitale Systeme brauchen klare Reaktionspläne für Vorfälle.

Zum Beispiel bei:

• Sicherheitsverletzungen

• Ausfällen

• ethischen Fehlleistungen

• Diskriminierung

• falschen Entscheidungen

Wichtig sind:

• schnelle Reaktion

• transparente Kommunikation

• Dokumentation

• Nachbesserung

• regelmäßige Audits

Unabhängige Audits erhöhen Glaubwürdigkeit und verhindern organisationales Vergessen.

Merksatz: Governance muss dauerhaft betrieben werden, nicht nur vor dem Go-Live.

Responsible-AI-Boards

Viele Organisationen richten interdisziplinäre Gremien ein.

Zum Beispiel:

• Ethik-Boards

• Responsible-AI-Boards

Diese bringen verschiedene Perspektiven zusammen:

• Produktverantwortliche

• Datenschutz

• IT-Sicherheit

• Recht

• Compliance

• Fachbereiche

• Arbeitnehmervertretungen

• externe Expert:innen

Wichtig ist: Diese Gremien sollten nicht nur beraten, sondern echte Entscheidungskompetenzen haben.

Qualifizierung

Verantwortliche digitale Transformation braucht Kompetenzen in vielen Rollen.

Wichtig sind Grundkenntnisse in:

• Datenverständnis

• Modellverständnis

• Prozessverständnis

• Risikosteuerung

• Lieferkettentransparenz

• Zieldefinition

• Metriken

Das betrifft nicht nur IT-Abteilungen, sondern auch:

• Einkauf

• Produktmanagement

• Fachbereiche

• Geschäftsführung

Merksatz: Responsible AI ist keine reine Technikaufgabe, sondern eine Organisationsaufgabe.

Kurzformel

Bias: Verzerrungen in Daten, Algorithmen oder Nutzung Fairness: bewusste Abwägung zwischen unterschiedlichen Fairnesszielen Datasheets: Steckbriefe für Datensätze Model Cards: Steckbriefe für Modelle XAI: erklärbare KI Meaningful Human Oversight: echte menschliche Kontrolle Digital Divide: digitale Ungleichheit bei Zugang, Kompetenz, Nutzung und Ergebnissen Impact-Assessment: systematische Risiko- und Folgenabschätzung Red-Teaming: gezieltes Testen durch Angreiferperspektive Secure SDLC: Sicherheit im gesamten Entwicklungsprozess Responsible-AI-Board: interdisziplinäres Gremium für verantwortliche KI

Kernidee: Ethische digitale Transformation entsteht nicht durch Technik allein. Organisationen müssen Bias erkennen, Fairness bewusst gestalten, digitale Ungleichheit berücksichtigen und Verantwortung durch Prozesse, Dokumentation, Tests, menschliche Aufsicht und Governance-Gremien absichern.

Aufgabe 6.1

Wodurch unterscheidet sich die Wirkung von Automatisierung auf T.tigkeiten von der auf Berufe, und welche drei Leitprinzipien leitet das Kapitel daraus im Sinne einer human-zentrierten „Industrie 5.0“ für Organisationen ab?

„ T.tigkeiten vs. Berufe: Automatisierung trifft Bündel einzelner T.tigkeiten,

nicht ganze Berufe. Routinierbare/standardisierbare Mikroaufgaben werden

eher substituiert; komplement.re F.higkeiten (Kontext, Empathie, Urteil,

Kreativit.t, Datenintegration) gewinnen an Bedeutung → Rollenprofile verschieben

sich.

„ Ambivalenz: Potenziale (weniger monotone Arbeit, weniger Fehler, h.here

Zufriedenheit) vs. Risiken (Polarisierung, Exklusion) bei fehlender Qualifizierung/

Transparenz/Partizipation.

„ Drei Leitprinzipien (Industrie 5.0):

1. T.tigkeitsanalyse statt abstrakter Jobdebatten.

2. Qualifizierung als strategisches Investitionsfeld.

3. Mitbestimmung & Co-Design als wiederkehrender Prozess (inkl. klarer

Eingriffsrechte „Human-in/-on-the-Loop“ und gut gestalteter Mensch-

Maschine-Schnittstellen).

Aufgabe 6.2

Erl.utern Sie das im Text beschriebene Gestaltungsdreieck aus Datenschutz, Datensicherheit und Nachhaltigkeit. Nennen Sie je zwei konkrete Ma©¨nahmen pro Dimension, die das Kapitel 6 anführt.

„ Gestaltungsdreieck:

f Die drei Dimensionen sind wechselseitig abh.ngig (z. B. weniger Datenflüsse

→ kleinere Angriffsfl.chen und weniger Energieverbrauch; h.here

Sicherheit beeinflusst Verarbeitungspfade/Speicherdauer; Nachhaltigkeitsentscheidungen

wirken auf Datenschutz/Sicherheit).

„ Datenschutz (Privacy-by-Design):

f Zweckkl.rung, Datenminimierung, Zweckbindung; klare Rechtsgrundlage

und Speicherfristen.

f Transparenz & Betroffenenrechte; Rollenkl.rung Verantwortliche/Auftragsverarbeiter;

Datenschutzfolgeabsch.tzung bei hohem Risiko.

„ Datensicherheit (Security-by-Design):

f Architekturprinzipien: Zero Trust, starke Authentifizierung, Segmentierung,

Least-Privilege, Secret-Management.

f Betriebspraktiken: Threat Modeling, Secure SDLC, Patch-/Vuln-

Management, Logging/Monitoring, Vorfallsreaktion; Lieferkettensicherheit

(SBOM, reproduzierbare Builds).

„ Nachhaltigkeit (Green/Responsible-IT):

f Effiziente Algorithmen/Modellarchitekturen („Green AI“) & daten-/

rechen.konomisches Training; Standortwahl nach Energie-Mix.

f Langlebige/reparierbare Hardware, Kreislaufans.tze (digitale Produktp.sse,

Second-Life/Recycling); Rebound-Effekte im Blick.

Aufgabe 6.3

Wo k.nnen laut Kapitel 6 Bias/Verzerrungen in KI Systemen entstehen, und welche Governance-Bausteine entlang des Lebenszyklus (vorher – Entwicklung – Betrieb) nennt der Text als Gegenma©¨nahmen?

„ Entstehungsorte von Bias:

f Datenerzeugung (Wer kommt vor?), Messung/Labeling, Feature-Auswahl

(Proxy-Variablen), Zieldefinition (optimierte Verlustfunktion),

Betrieb (Rückkopplungen/Feedback-Loops).

„ Governance-Bausteine:

f Vorher (Vor-Phase): Legitimit.tsprüfung (Zweck/Alternativen/Rechte),

Impact-Assessments bei erh.htem Risiko.

f Entwicklung: Datasheets und Model Cards zur Dokumentation; Versionierung/

Audit-Trails; Fairness-, Robustheits- und Sicherheitstests, inkl.

adversarialer Szenarien/Red-Teaming; Secure SDLC.

f Betrieb: Human-in-the-Loop mit definierten Schwellen/Freigaben/

Eskalationen; kontinuierliche Leistungs- und Fairness-KPIs (Drift-

Erkennung); Incident-Response und transparente Kommunikation; periodische

unabh.ngige Audits.

„ Organisatorische Verankerung:

f Interdisziplin.re Ethik-/Responsible-AI-Boards mit Entscheidungskompetenzen

und Qualifizierung breiter Rollen (vom Einkauf bis Gesch.ftsführung).