Lektion 5 - Risiken und Herausforderungen von Digital Health

Zwei Hauptrisiken von KI im Gesundheitswesen (Meskó, 2021):

• Unzureichende Regulierung adaptiver KI-Algorithmen

  • Problem von Bias (Diskriminierung durch Geschlecht, Alter, Ethnie usw.)

  • Relevanz für alle KI-Systeme in sensiblen Bereichen wie Gesundheitswesen, Justiz, Bildung

• Unzureichende Tests von KI in realen klinischen Umgebungen

  • Mangelnde Zuverlässigkeit der KI-Systeme im praktischen Einsatz

Beispiel IBM Watson Health AI:

• IBM investierte 4 Milliarden US-Dollar in Watson

• Anfangs Erfolge in der Onkologie, aber später Probleme aufgrund von nicht repräsentativen Daten

• Fehlerhafte Diagnosen führten zum Ende der Zusammenarbeit und Verkauf an Investmentfirma (2022)

Reproduzierbarkeitsprobleme:

• Datenverzerrungen beeinflussen die Reproduzierbarkeit von ML-Ergebnissen

• Reproduzierbarkeitsdefizite in 329 Studien aus 17 Bereichen, inkl. Medizin (Kapoor & Narayanan, 2022)

• Keine der überprüften ML-Modelle für Covid-19 Detektion und Prognose war klinisch akzeptabel (Roberts et al., 2021)

Steigende Cyberangriffe:

• 2022 stiegen weltweite Cyberangriffe um 38 % im Vergleich zu 2021 (Check Point Research, 2022).

• Gesundheitssektor verzeichnet den größten Anstieg von Cyberangriffen im Vergleich zu anderen Branchen.

Ransomware-Angriffe:

• Cyberkriminelle verwenden Malware, um Patientendaten zu verschlüsseln und fordern Lösegeld in Kryptowährung.

• Gesundheitsorganisationen sind beliebte Ziele aufgrund der Dringlichkeit, Patientendaten schnell wiederherzustellen.

Auswirkungen auf die Patientenversorgung:

• 44 % der Angriffe führten zu Unterbrechungen bei der Patientenversorgung.

• 8,6 % der Unterbrechungen dauerten mehr als zwei Wochen.

Beispiel Elevance Health:

• 2015: Einer der größten Datenschutzvorfälle im Gesundheitswesen.

• Zugriff auf 79 Millionen sensible Datensätze; 115 Millionen US-Dollar Lösegeld.

• Angriffe auf Gesundheitsdienstleister haben sich von 2016 bis 2021 mehr als verdoppelt.

Probleme bei Datenschutzrichtlinien:

• Mobile Health-Apps hatten oft unzureichende oder keine Datenschutzrichtlinien (Blenner et al., 2016).

• 81 % der Diabetes-Apps im Google Play Store hatten keine Datenschutzrichtlinie.

• Von den verbleibenden Apps sammelten 80,5 % Benutzerdaten und 48,8 % teilten diese mit Dritten.

Datenverwendung durch Dritte:

• Datenmakler

  verkaufen und tauschen psychische Gesundheitsdaten, ohne durch HIPAA reguliert zu sein (Kim, 2023).

• Unethische Praktiken, wie die Veröffentlichung von Namen und Adressen von Personen mit psychischen Erkrankungen, wurden aufgezeigt.

• Vorschläge für umfassende Datenschutzgesetzgebung und Verbot des Verkaufs psychischer Gesundheitsdaten.

1. Deprofessionalisierung: Ersetzung hoch qualifizierter Fachkräfte durch weniger qualifizierte Arbeitskräfte.

2. Deskilling: Umwandlung hoch qualifizierter Arbeit in unqualifizierte Tätigkeiten.

KI im Gesundheitswesen:

• Emotion AI: KI-Systeme, die emotionale Zustände durch Sprach- und Gesichtserkennung erkennen und empathische Interaktionen imitieren.

• Diese Systeme könnten die menschliche Arbeitskraft in der Pflege, Betreuung und psychotherapeutischen Arbeit reduzieren und den Fokus auf Überwachung und Koordination verlagern (Koncz, 2023).

Risiken und Herausforderungen:

• Empathie und authentisches Mitgefühl sind entscheidende Fähigkeiten in Bereichen wie Altenpflege und psychische Gesundheit (Martin et al., 2000).

• Emotion AI kann empathisches Verhalten imitieren, aber es bleibt eine Illusion ohne echte emotionale Tiefe und Authentizität.

• Die potenziellen heilenden Effekte solcher Beziehungen und die Risiken, wie Datenverzerrungen, sind noch unklar und bedürfen weiterer Forschung.

Akzeptanz und Präferenzen:

• Viele Menschen bevorzugen weiterhin den persönlichen Kontakt zu Psychotherapeut

  über digitale Interventionen für die psychische Gesundheit (Phillips et al., 2019; Musiat et al., 2014).

• Sherry Turkle: Warnt vor der Gefahr, dass digitale Begleitende eine verführerische Illusion von Gesellschaft bieten, die echte menschliche Beziehungen ersetzen könnte (Turkle, 2017).

das Ausbalancieren von Datenschutzbedenken mit den potenziellen Vorteilen für das Gesundheitswesen

In vielen Fällen treten Deprofessionalisierung und Deskilling gemeinsam auf, da neue Technologien und wirtschaftlicher Druck die Fragmentierung und Auslagerung professioneller Arbeit vorantreiben.

1. Digital Ethics Shopping

2. Digital Ethics Bluewashing

3. Digital Ethics Lobbying

4. Digital Ethics Dumping

5. Digital Ethics Shirking

1. Digital Ethics Shopping:

   • Selektive Anwendung ethischer Standards gemäß eigenen Interessen.

   • Bekämpfung durch klare, gemeinsame ethische Leitlinien.

2. Digital Ethics Bluewashing:

   • Irreführende Behauptungen über ethische Praktiken.

   • Bekämpfung durch Transparenz und Aufklärung der Öffentlichkeit.

3. Digital Ethics Lobbying:

   • Verzögerung oder Umgehung notwendiger Gesetzgebung.

   • Bekämpfung durch Gesetzgebung, Rechtsdurchsetzung und Transparenz.

4. Digital Ethics Dumping:

   • Verlagerung von Forschung in Länder mit schwächeren Regulierungen.

   • Bekämpfung durch Zertifizierungssysteme für digitale Produkte und Dienstleistungen.

5. Digital Ethics Shirking:

   • Geringere Einhaltung ethischer Standards bei erwarteten geringen Vorteilen.

   • Bekämpfung durch klare Definition und Zuweisung von Verantwortlichkeiten.

Territorialer Anwendungsbereich der DSGVO:

• Fokus auf Standort und Aktivitäten der Datenverarbeitenden, nicht auf Staatsbürgerschaft/Wohnsitz der betroffenen Person.

• Schutz personenbezogener Daten auch für Nicht-EU-Bürger

  , wenn Datenverarbeitung in der EU erfolgt.

• DSGVO verbietet Datenübertragung in Länder ohne ausreichende Datenschutzgesetze.

• Betroffen sind EU- und Nicht-EU-Technologieunternehmen, die Daten von EU-Bürger

  verarbeiten.

• Einführung hoher Geldstrafen bei Verstößen: bis zu 4 % des Jahresumsatzes oder 20 Millionen Euro, sowie privates Klagerecht.

Vergleich DSGVO vs. HIPAA:

• DSGVO umfassender als HIPAA; schützt persönliche Daten (z.B. Ethnizität, Religion) vs. PHI bei HIPAA.

• DSGVO schützt Daten von EU-Bürger

  , HIPAA bezieht sich auf Organisationen und Geschäftspartner

  in den USA.

• mHealth-Apps nicht von HIPAA abgedeckt, außer wenn von Gesundheitsdienstleister verschrieben.

1. EU verhängt Geldstrafe von 390 Millionen Euro gegen Facebook und Instagram nach DSGVO-Verstoß.

2. Urteil zielt auf Geschäftsmodell des Überwachungskapitalismus.

3. Positive Resonanz von Forschenden, Journalist und Datenschützer

   
   

1. Verabschiedung des weltweit ersten Gesetzes zur Künstlichen Intelligenz (AI Act) durch die EU im Jahr 2024.

2. Ziel: Negative Auswirkungen von KI minimieren, grundlegende Menschenrechte schützen.

Hintergrund und Kontext:

• Unterschiedliche Ansätze: EU betont Menschenrechte, USA fokussiert auf Innovation und Wettbewerbsfähigkeit.

• Gesetz soll KI-Systeme transparenter, nachvollziehbarer, umweltfreundlicher und nicht diskriminierend machen.

1. Verbot von Social Scoring und Emotionserkennung am Arbeitsplatz/Bildungseinrichtungen.

2. Verbot von Gesichtserkennung im öffentlichen Raum, außer bei Ausnahmen für Polizei/Sicherheitsbehörden.

Regelungen und Sanktionen:

• Menschliche Überwachung der KI-Systeme vorgeschrieben.

• Sanktionen bei Nichteinhaltung: Geldstrafen, Berichterstattung von Privatpersonen, nationale Überwachungsverfahren.

• Ziel: "Brüssel-Effekt", um globale Konformität durch große Tech-Konzerne zu erreichen.

Erwartete Auswirkungen:

• Geldstrafen bei Verstößen bis zu 6 % des globalen Umsatzes eines Unternehmens.

• Bedenken: Mögliche Verlangsamung der KI-Entwicklung in der EU, Förderung von US-amerikanischen Großkonzernen.

• Befürworter sehen 2024 als Beginn einer neuen Ära der KI-Governance.

Die USA priorisieren den Schutz der Innovationskapazität und die Erhaltung der internationalen Wettbewerbsfähigkeit, während die EU dem Schutz grundlegender Menschenrechte Vorrang einräumt.

Inakzeptable KI bezieht sich auf KI-Anwendungen, die ethische, rechtliche oder soziale Normen verletzen, während KI mit hohem Risiko auf Anwendungen verweist, die das Potenzial haben, Schaden oder negative Auswirkungen auf Einzelpersonen oder die Gesellschaft zu verursachen.

Risikobasierter Ansatz:

• Vier Risikokategorien:

  1. Inakzeptables Risiko: Verbotene Anwendungen (z.B. Social Scoring).

  2. Hohes Risiko: Strenge Vorschriften, betrifft kritische Infrastrukturen, Bildung, Berufsbildung, Überwachungssysteme.

  3. Begrenztes Risiko: Transparenzanforderungen (z.B. Chatbots).

  4. Minimales Risiko: Verhaltenskodizes (z.B. Videospiele, Spamfilter).

Ethische Soft Laws erweisen sich als unzureichend, da es an Durchsetzbarkeit und unabhängiger Überwachung fehlt. Ohne rechtliche Konsequenzen oder eine unabhängige Kontrolle besteht wenig Anreiz für Individuen oder Unternehmen, ethische Leitlinien zu befolgen.

Ethics Dumping und Ethics Shirking beinhalten die Ausfuhr oder Verlagerung unethischer Aktivitäten in Kontexte mit schwächeren Regulierungen, was potenzielle Schäden für Individuen bzw. Gesellschaften mit sich bringt.