Da KI im Gesundheitswesen immer stärker Einzug hält, gewinnen Fragen zum Datenschutz, zur Datensicherheit und zu den Patientenrechten zunehmend an Dringlichkeit. Im Rahmen ihres Projekts „KI im Gesundheitswesen“ untersuchen Liberties und seine Partner gemeinsam mit der unabhängigen Expertin Júlia Keserű, wie KI-Systeme europaweit im Gesundheitswesen eingesetzt werden, wer die sensiblen Daten kontrolliert, auf denen sie basieren, und ob die Patientenrechte angemessen geschützt sind. In diesem Interview spricht Júlia über die Schwerpunkte des Projekts, die Machtstrukturen, die KI im Gesundheitswesen prägen, und darüber, was nötig ist, um diese Technologien transparenter und rechenschaftspflichtiger zu gestalten.

Was ist Ihr Hintergrund und welche Rolle spielen Sie derzeit in diesem Projekt?

Meine berufliche Laufbahn war von Anfang an in der Zivilgesellschaft verwurzelt. Den größten Teil meiner Karriere habe ich an der Schnittstelle zwischen datengesteuerten Technologien, sozialer Gerechtigkeit und Menschenrechtsaktivismus verbracht. Ich habe versucht zu verstehen, wie neue Technologien den Aktivismus und die Gesellschaft prägen und wie Aktivisten darauf reagieren und sogar eine Vorreiterrolle übernehmen können, um zu zeigen, dass Technologie eine Kraft für das Gute sein kann.

Ich begann meine berufliche Laufbahn in Ungarn als Teil der damals noch jungen Open-Government-Bewegung. Von dort aus verbrachte ich einige Jahre in Washington, D.C., bei der Sunlight Foundation, die datengestützte Interessenvertretung und Journalismus kombinierte, um die US-Regierung zu strengeren Offenlegungsstandards zu bewegen. Später schloss ich mich dem „Engine Room“ an, einer globalen Organisation, die die Zivilgesellschaft dabei unterstützt, Technologie und Daten verantwortungsvoll zu nutzen – sowohl durch praktische Unterstützung als auch durch Wissensaufbau. Während meiner Zeit beim „Engine Room“ war ich an verschiedenen praxisorientierten Forschungsprojekten beteiligt, die von internationalen Nichtregierungsorganisationen, zwischenstaatlichen Institutionen und Stiftungen in Auftrag gegeben wurden. Diese wollten einen ganz bestimmten Ausschnitt des sich entwickelnden Technologie-Ökosystems verstehen: welche moralische Verantwortung sie in diesem Bereich trugen, welche ethischen Implikationen sie berücksichtigen mussten und was dies in praktischer und technischer Hinsicht bedeutete.

Wir haben uns mit einer Vielzahl neuer Technologien befasst: Blockchain, Biometrie, digitale Identitäten, prädiktive Analytik und – in zunehmendem Maße – das, was als KI bezeichnet wird, aber eigentlich eine Reihe sehr unterschiedlicher Technologien unter einem gemeinsamen Begriff ist. In jedem Fall haben wir versucht zu verstehen, wie sich diese technologischen Lösungen auf bestimmte Gemeinschaften auswirken oder wie sie mit heiklen gesellschaftlichen Themen zusammenhängen.

In jüngerer Zeit war ich zwei Jahre lang als „Senior Tech Policy Fellow“ bei der Mozilla Foundation tätig. Dort begann ich, mich auf das zu konzentrieren, was ich als „übermäßige Erhebung körperlicher Daten“ bezeichne. Diese Arbeit führte mich zu Projekten, die aufdecken, wie die Tech-Branche immer mehr Informationen über unsere Körper sammelt und wie Forschung und bessere politische Rahmenbedingungen die digitale Integrität des Körpers schützen können. Vor allem interessiert mich, wie wir die Menschen dazu bringen können, sich wirklich für die Entwicklungen im Tech-Sektor und dessen übermäßigen Einfluss auf unser Leben zu interessieren.

Als ich im Zeitalter der massiven digitalen Überwachung, von KI-generierten Inhalten, Deepfakes und dem Durchsickern sensibler Daten Mutter wurde, begann ich zum ersten Mal intensiv darüber nachzudenken, wo die Grenzen der Privatsphäre im digitalen Zeitalter liegen und wie ich meine Tochter auf das vorbereiten kann, was auf sie zukommt – ohne wirklich zu wissen, wie die Welt aussehen wird, wenn sie erwachsen ist, oder welche Rolle Technologie in ihrem Leben spielen wird. Eine große Rolle, das steht fest.

Sehen Sie KI eher als ein weiteres Werkzeug oder betrachten Sie sie als eine Art drastischen Wandel, als eine neue Epoche, wenn man so will?

Ich bin definitiv der Meinung, dass KI einen drastischen Wandel darstellt, wenn auch vielleicht nicht aus den Gründen, die man normalerweise erwartet.

Zunächst einmal lohnt es sich, bei den Definitionen genau zu sein, da „KI“ zu einem Sammelbegriff für so viele verschiedene Dinge geworden ist, darunter auch Anwendungen des maschinellen Lernens, die es schon lange gab, bevor man diesen Begriff überhaupt in den Mund nahm. Wenn heute von KI die Rede ist, insbesondere von ihren negativen Auswirkungen, sind oft nur generative KI-Tools gemeint; KI-nahe Systeme wie Vorhersagealgorithmen, Gesichtserkennung und andere Modelle des maschinellen Lernens gibt es jedoch schon seit geraumer Zeit.

Was diese Ära jedoch zu etwas Neuem macht, ist nicht die Technologie an sich. Ja, die dahinterstehende Wissenschaft ist bemerkenswert und baut auf jahrzehntelanger Forschung auf, aber das ist nicht das Besondere daran – vielmehr ist es die extreme Machtkonzentration, die damit einhergeht. Nur sehr wenige Unternehmen verfügen mittlerweile über enorme finanzielle, politische und technologische Macht, entscheiden darüber, in welche Richtung Innovationen gehen, und häufen Ressourcen in einem Ausmaß an, wie wir es noch nie zuvor gesehen haben.

Zu Beginn meiner Karriere war ich davon überzeugt, dass unsere Gesellschaften demokratischer und rechenschaftspflichtiger würden, wenn die Menschen Zugang zu Daten und digitalen Werkzeugen hätten, um beispielsweise zu sehen, wie Amtsträger Gelder ausgeben. Wenn ich mir anschaue, wo wir heute stehen, glaube ich nicht, dass sich diese Theorie als völlig falsch erwiesen hat: Die Menschen haben tatsächlich mehr Zugang zu entscheidenden Informationen darüber, wie die Welt funktioniert, aber es wird immer schwieriger zu entscheiden, ob Daten glaubwürdig sind oder nicht. Gleichzeitig haben genau jene Technologien, die uns einen besseren Einblick in die Staatsausgaben verschafft haben, auch enormen Schaden angerichtet: auf dem Arbeitsmarkt, durch Massenüberwachung und die Verbreitung von Desinformation, indem sie Online-Missbrauch in großem Maßstab ermöglichen, sowie durch ihre Belastung für die Umwelt. Ich glaube nach wie vor, dass dieselben Technologien auf ganz andere, viel bessere Weise genutzt werden könnten (zum Beispiel, um die Machthaber zur Rechenschaft zu ziehen), aber die eigentliche Frage ist derzeit, ob unsere Gesellschaften die Last und die Kosten der Art und Weise tragen können, wie diese Technologien derzeit aufgebaut und eingesetzt werden. Ich bin mir nicht so sicher, ob sie das können.

Das ist auch der Grund, warum ich die öffentliche Wut und Frustration, die wir derzeit beobachten, für mehr als gerechtfertigt halte. Die Menschen reagieren darauf, dass eine Handvoll Unternehmen ihre Arbeitsplätze, ihr Informationsumfeld und ihre Gemeinschaften umgestalten, ohne sie zu fragen, und darauf, dass die Kosten auf alle anderen abgewälzt werden.

Wie sieht Ihre Theorie des Wandels – einschließlich der Methodik – für dieses Projekt aus?

Ich habe großes Interesse daran entwickelt, wie sich die massenhafte Erfassung von Körperdaten auf unser individuelles und gesellschaftliches Wohlbefinden auswirkt, was zum Teil auf meine eigenen Erfahrungen als Patientin zurückzuführen ist. Ich hatte vor nicht allzu langer Zeit Krebs und durchlief meine Behandlung zu einer Zeit, als das Gesundheitswesen sich rasch digitalisierte. Krankenhäuser begannen, KI-Tools einzusetzen, um vorherzusagen, wie ein bestimmter Tumor auf eine bestimmte Behandlung ansprechen wird, um Krankheiten früher zu diagnostizieren, interne Arbeitsabläufe zu optimieren und sogar bei Operationen zu assistieren und Behandlungen zu planen. Aus Einzelberichten wissen wir, dass einige dieser Tools offensichtlich schneller eingeführt werden, als sie ordnungsgemäß evaluiert werden können. Und doch wissen wir sehr wenig darüber, wie Krankenhäuser über die Risiken von KI denken, abgesehen von der Erfüllung der EU-rechtlichen Anforderungen. Wie entscheiden sie, welche Tools sie einführen und wie sie diese integrieren? Wie wägen sie Kosten und Nutzen ab? Wie gehen sie mit möglichen Schäden um? Wann und wie befragen sie Patienten dazu, wie KI Teil ihres Behandlungsverlaufs wird? Wie setzen sie Forschungsergebnisse in Innovationen um und halten dabei die Vorschriften ein?

Die Veränderungstheorie für dieses Projekt lautete wie folgt: Wenn Menschen wirklich verstehen, wie KI-Systeme ihren Behandlungsverlauf beeinflussen, sind sie eher bereit, dem Prozess zu vertrauen – und das Gesundheitswesen braucht dieses Vertrauen, wenn es diese neuen Instrumente einführen und unsere Daten digitalisieren will. Wir müssen die Einwilligung nicht komplett neu erfinden, aber wir brauchen deutlich bessere Wege, um diese Informationen den Patienten zugänglich zu machen.

Um zu verstehen, was im Gesundheitswesen wirklich vor sich geht, sind wir in dieser Untersuchung der Kette von Brüssel bis zum Krankenbett gefolgt. Wir begannen mit dem Geld: Welche Unternehmen entwickeln und vertreiben KI für das Gesundheitswesen in Europa, wer finanziert sie und wer bestimmt somit, wie unsere Gesundheitsdaten genutzt werden? Anschließend haben wir die Rechtsvorschriften auf dem Papier mit der Praxis verglichen: Wie gut schützen die Vorschriften tatsächlich die Rechte und Daten der Patienten, und welche Belastungen bringen sie für Krankenhäuser mit sich? Vor diesem Hintergrund haben wir uns den Krankenhäusern selbst zugewandt: Wie gehen sie mit KI um, und wie viel Kontrolle haben sie tatsächlich über die Systeme, die sie anschaffen? Schließlich haben wir untersucht, inwieweit all dies mit den Erwartungen der Patienten an KI im Gesundheitswesen übereinstimmt und wie ihre Daten dabei weitergegeben werden.

Die Untersuchung, die wir durchgeführt haben, um Antworten auf diese Fragen zu erhalten, stützt sich auf eine Kombination verschiedener Methoden. Wir haben Daten zu Investitionen, öffentlicher Auftragsvergabe und EU-Fördermitteln analysiert und die einschlägigen EU-Rechtsvorschriften sowie die vorhandene Forschungsliteratur ausgewertet. Wir haben mehr als 50 Personen befragt, darunter KI-Verantwortliche und Compliance-Beauftragte in Krankenhäusern sowie Entwickler und Patientenvertreter. Zudem haben wir Instrumente genutzt, die eher aus dem investigativen Journalismus bekannt sind: Anträge auf Auskunft nach dem Informationsfreiheitsgesetz an Krankenhäuser in neun EU-Ländern, Anträge auf Datenzugang bei KI-Unternehmen gemäß der DSGVO sowie direkte Anfragen an Hunderte von Entwicklern im Bereich Gesundheits-KI.

Wer könnte daran interessiert sein, dieses Projekt zu verfolgen und daraus zu lernen?

Generell sollten unsere Ergebnisse jeden interessieren, der die finanzielle Realität der KI im Gesundheitswesen in Europa verstehen möchte, darunter Investoren, Politikanalysten und diejenigen, die sich mit der technologischen Souveränität der EU befassen. Unsere Analyse von Investitions- und Beschaffungsdaten zeigt, wer den Sektor tatsächlich finanziert, welche Unternehmen Krankenhausaufträge erhalten und inwieweit Europa von US-Anbietern abhängig ist. Dieses Bild sieht oft ganz anders aus, als es die Förderstrategien der EU darstellen.

Darüber hinaus richtet sich unsere Forschung an mehrere unterschiedliche Zielgruppen. Eine davon sind Fachkräfte im Gesundheitswesen in EU-Krankenhäusern und Gesundheitseinrichtungen – sowohl diejenigen, die bereits mit KI experimentieren, als auch diejenigen, die noch keine KI-Tools einsetzen, und diejenigen, denen gar nicht bewusst ist, dass sie dies bereits tun, was häufiger vorkommt, als man denkt. Für sie könnte die Studie einen praktischen Orientierungsplan in einer unübersichtlichen Landschaft bieten, einige Beispiele dafür aufzeigen, was in anderen Krankenhäusern und Ländern gut funktioniert, und praktische Wege vorschlagen, wie man sowohl mit dem Personal als auch mit den Patienten über KI-Systeme kommunizieren kann.

Eine weitere Zielgruppe sind Entwickler von KI-Lösungen im Gesundheitswesen. Diese Studie könnte ihnen ein klareres Bild vom europäischen Markt vermitteln: wer tatsächlich Krankenhausaufträge erhält, wie fragmentiert der Binnenmarkt nach wie vor ist und wie öffentliche und private Fördermittel beeinflussen, welche Tools entwickelt werden. Außerdem wird aufgezeigt, wo sich EU-Vorschriften überschneiden und widersprechen.

Gesetzgeber sowohl auf EU- als auch auf nationaler Ebene sind ebenfalls eine wichtige Zielgruppe, insbesondere für die zweite Phase des Projekts, in der wir vom Forschungs- zum Interessenvertretungsbereich übergehen. Auch die Regulierungsbehörden spielen hier eine wichtige Rolle: Datenschutzbehörden sowie die für die Umsetzung des KI-Gesetzes und für Medizinprodukte zuständigen Aufsichtsbehörden sind diejenigen, die diese Vorschriften in die Praxis umsetzen werden.

Schließlich möchten wir mit diesem Projekt auch zivilgesellschaftliche Organisationen, Patientenvertretungen und Journalisten erreichen. Ein Teil des Projekts besteht darin, Instrumente zur Rechenschaftspflicht – wie Anträge auf Informationsfreiheit (FOI) und Datenzugang (DSAR) – in einem Bereich zu testen, in dem sie bisher selten zum Einsatz kamen, um KI-Systeme von öffentlichem Interesse zu überprüfen.

Welche kurz- und mittelfristigen Auswirkungen könnte dieses Projekt haben?

Kurzfristig besteht die größte Auswirkung darin, eine Evidenzlücke zu schließen. Im europäischen Gesundheitswesen wird viel über KI gesprochen, aber es gibt nur sehr wenige konkrete Daten darüber, wer diese Tools tatsächlich bereitstellt, wie Krankenhäuser sie einsetzen und was dabei mit den Patientendaten geschieht. Dies ist einer der ersten Versuche, dies über mehrere EU-Länder hinweg zu erfassen, und der Zeitpunkt ist entscheidend, da gerade jetzt mehrere wichtige Entscheidungen getroffen werden: die Änderungen der DSGVO durch den „Digital Omnibus“, die Überarbeitung der Vorschriften für Medizinprodukte sowie die nationalen Entscheidungen darüber, wie der Europäische Gesundheitsdatenraum funktionieren soll, einschließlich Ausnahmen vom Opt-out für Patienten. Wir möchten unsere Ergebnisse den Entscheidungsträgern vorlegen, solange noch Spielraum besteht, diese Entscheidungen mitzugestalten.

Außerdem möchten wir, dass andere diese Methoden übernehmen. Anträge auf Informationsfreiheit und Datenzugang werden selten genutzt, um KI in Krankenhäusern zu überprüfen, und wir haben viel darüber gelernt, was funktioniert – darunter auch, welche Arten von Anfragen eher eine aussagekräftige Antwort von Krankenhäusern erhalten. Ich würde mich sehr freuen, wenn Organisationen in der gesamten EU – von Journalisten über Patientengruppen bis hin zu Organisationen für digitale Rechte – Selbstvertrauen entwickeln würden, KI-Tools im Gesundheitswesen, die auf sensible Daten zurückgreifen, zu überprüfen und die bereits bestehenden rechtlichen Möglichkeiten zu nutzen.

Mittelfristig besteht das Ziel darin, von der Evidenz zum Wandel zu gelangen. Ich denke, wir werden in der Lage sein, einige wirklich kreative Lösungen aus den Krankenhäusern hervorzubringen, und wir werden auch ein fundierteres Verständnis davon gewinnen, was verantwortungsvolle KI im Gesundheitswesen tatsächlich bedeutet – sowohl unter den derzeitigen rechtlichen Rahmenbedingungen als auch in einem denkbaren, besseren Rahmen. Ehrlich gesagt halte ich eine zukunftssichere Gesetzgebung nicht für realistisch. Aber angesichts der Tatsache, wie schwer es ist, Gesetze zu ändern – insbesondere auf EU-Ebene –, erscheint es mir sowohl erreichbar als auch wichtig, etwas anzustreben, das zumindest gegen aktuelle Entwicklungen gewappnet ist. In der Praxis bedeutet das, sich für Einwilligungsmechanismen einzusetzen, die den Patienten echte Informationen liefern, sowie für mehr Transparenz darüber, welche KI-Systeme in der klinischen Versorgung zum Einsatz kommen.

Schließlich möchte ich mit dieser Arbeit dazu beitragen, die öffentliche Debatte ein wenig zu verändern. Wenn mehr Patienten beginnen, ihre Ärzte zu fragen, wie ihre Daten genutzt werden und wer daran beteiligt ist, werden Krankenhäuser und Unternehmen besser darauf antworten müssen.

Wie kann dieses Projekt dazu beitragen, die Zukunft der KI mitzugestalten?

Das Gesundheitswesen ist einer der sensibelsten Bereiche, in denen KI zum Einsatz kommt, und eignet sich daher gut als Testfall dafür, ob unsere Regeln und Institutionen tatsächlich mit dem Tempo der Entwicklung Schritt halten können. Wenn wir die Daten und die körperliche Selbstbestimmung der Patienten in Krankenhäusern nicht schützen können – wo Einwilligung und Sicherheit eigentlich unantastbar sein sollten –, ist es schwer vorstellbar, dass wir es anderswo besser hinbekommen.

Indem das Projekt aufzeigt, wo Regulierung auf dem Papier funktioniert, in der Praxis jedoch nicht, wer auf dem Markt tatsächlich die Macht hat und welche Instrumente der Rechenschaftspflicht noch wirken, wird es ein praktisches Modell bieten, um KI-Systeme auch in anderen Bereichen mit hohem Risiko transparenter und rechenschaftspflichtiger zu gestalten. Letztendlich versuchen alle Projekte, die mich interessieren und in die ich mich engagiere, dazu beizutragen, die Frage von „Wie schnell können wir KI einführen?“ hin zu „Wem dient sie und zu wessen Bedingungen?“ zu verlagern.

Ähnliche Artikel:

Melden Sie sich für das Webinar zum Start der Studie an (24. November) – Prüfung von KI im Gesundheitswesen: Finanzen, Vorschriften und Patientendaten in der EU

Sichere KI für Patienten: Verantwortlichkeit im digitalen Gesundheitswesen stärken