Die Kommission hat ihren Entwurf für Leitlinien zur Einstufung von KI-Systemen mit hohem Risiko veröffentlicht. (Hier können Sie unsere ausführliche Analyse lesen.) Das EU-KI-Gesetz gilt als das weltweit erste umfassende Gesetz zur Regulierung künstlicher Intelligenz. Einer seiner wichtigsten Grundsätze ist einfach: Je mehr Schaden ein KI-System Menschen und ihren Rechten zufügen könnte, desto strenger sollten die Vorschriften sein. Die Entscheidungsträger der EU haben den risikobasierten Ansatz unterstützt, doch diese Lösung weist Probleme auf: KI-Unternehmen haben erheblichen Einfluss darauf, wie ihre eigenen Systeme eingestuft werden – ob als risikoreich oder nicht. Warum ist „hohes Risiko“ von Bedeutung? Nach dem KI-Gesetz gelten Bereiche wie Beschäftigung, Bildung, wesentliche öffentliche Dienste, Strafverfolgung und Justiz als sensibel und werden als risikoreich eingestuft. Für risikoreiche Systeme gelten zusätzliche Anforderungen, darunter Dokumentation, Risikomanagement und Aufsicht. In vielen Fällen entscheidet das Unternehmen, das das KI-System bereitstellt, selbst, ob sein System den strengeren Auflagen entspricht. Die Einstufung stützt sich auf den „beabsichtigten Zweck“ des Systems, also darauf, wofür das System laut Herstellerangaben konzipiert ist. 

Dies führt zu einem offensichtlichen Problem. 

Stellen Sie sich zwei KI-Tools vor, die am Arbeitsplatz eingesetzt werden. Das eine wird als „Mitarbeiterbewertungssystem“ beschrieben, das andere als „Tool zur Arbeitsablaufoptimierung“. Das erste klingt schwerwiegend, und intuitiv würden die meisten Menschen eine menschliche Beteiligung erwarten. Aber das zweite? Obwohl beide Tools das Verhalten von Mitarbeitern analysieren und Entscheidungen über deren Karriere beeinflussen können, wird wahrscheinlich nur das erste als „risikoreich“ eingestuft. Wenn wir uns zu sehr auf die Selbsteinschätzung der KI-Systemanbieter verlassen, könnten ähnliche Technologien sehr unterschiedlichen Maßnahmen und Konsequenzen sowohl für Unternehmen als auch für Menschen ausgesetzt sein. 

Ein weiterer Ausweg aus der Kategorie „hohes Risiko“ 

Es gibt noch ein zweites Problem. Selbst wenn ein KI-System zunächst in eine Hochrisikokategorie fällt, erlaubt der KI-Gesetzentwurf, dass bestimmte Systeme aus dieser Kategorie ausgeschlossen werden. 

Ein Unternehmen könnte beispielsweise argumentieren, dass seine KI lediglich eine eng gefasste administrative Aufgabe erfüllt, bereits von einem Menschen geleistete Arbeit verbessert, Muster erkennt, ohne eine Entscheidung zu beeinflussen, oder lediglich Informationen für jemand anderen aufbereitet. 

Diese Ausnahmen können durchaus sinnvoll sein. Ein Tool, das Dokumente organisiert, sollte nicht unbedingt genauso reguliert werden wie ein KI-System, das darüber entscheidet, ob jemand eine Stelle bekommt. 

Ein KI-Tool, das als „Informationen aufbereitend“ beschrieben wird, könnte dennoch Bewerbungen bewerten, bestimmte Personen hervorheben oder entscheiden, welche Informationen ein menschlicher Prüfer zuerst sieht. Diese Entscheidungen können reale Entscheidungen beeinflussen, selbst wenn technisch gesehen eine Person die endgültige Entscheidung trifft. 

Warum ist das über den reinen Papierkram hinaus wichtig? 

Diese Einstufungsfragen betreffen Situationen, in denen KI unsere Grundrechte direkt beeinflussen kann. Bei Wahlen können beispielsweise Allzweck-KI-Chatbots politische Parteien vergleichen, Fragen zu Kandidaten beantworten oder Wahlempfehlungen geben. Dabei wurden sie möglicherweise gar nicht speziell als Wahlhilfetools entwickelt oder vermarktet. 

Ähnliche Lücken zeigen sich im Justizsystem. KI kann eingesetzt werden, um Beweismittel zu analysieren, Muster in polizeilichen Informationen zu erkennen oder juristische Entscheidungsprozesse zu unterstützen. Von diesen Systemen betroffene Menschen haben möglicherweise kaum ein Verständnis dafür, wie KI die gegen sie verwendeten Informationen geprägt hat, was es erschwert, diese Entscheidungen wirksam anzufechten. Und wenn KI lebensverändernde Entscheidungen wie beispielsweise die Dauer einer Bewährungsstrafe vorhersagen kann, dann können wir uns nicht auf ein KI-System verlassen, das weder transparent noch anfechtbar ist. 

Daher sollten sich die EU-Leitlinien darauf konzentrieren, was ein KI-System tatsächlich tut und wie es sich auf Menschen auswirkt, und nicht lediglich auf die Selbsteinschätzung und Selbstbeschreibung seines Anbieters. 

Ein besserer Ansatz 

Die Europäische Kommission hat nun die Gelegenheit, ihre Leitlinien zu risikoreicher KI zu präzisieren. 

Bei der Einstufung sollten mehrere Faktoren berücksichtigt werden: was die Technologie leisten kann, wie sie voraussichtlich genutzt wird und wie sie in der Praxis funktioniert. Anbieter sollten zudem verpflichtet werden, stichhaltigere Nachweise vorzulegen, wenn sie behaupten, dass ein in einem sensiblen Bereich eingesetztes System kein hohes Risiko darstellt. 

Das Ziel besteht nicht darin, jedes KI-System als gefährlich einzustufen, sondern sicherzustellen, dass Schutzmaßnahmen dort greifen, wo sie wirklich benötigt werden. 

Das KI-Gesetz hat einen wichtigen Rahmen für den Schutz der Menschen geschaffen, da KI zunehmend Teil des Alltags wird. Es schreibt Folgenabschätzungen hinsichtlich der Grundrechte, Transparenz und Anfechtbarkeit vor – jedoch nur, wenn Systeme zutreffend als risikoreich identifiziert werden. 

Wenn die Folgen Arbeitsplätze, Wahlen, öffentliche Dienste oder die Justiz betreffen, sollten wir uns nicht einfach darauf verlassen, was ein KI-Unternehmen über die Funktionsweise seines Produkts angibt. Die Frage sollte lauten, wie sich das System tatsächlich auf das Leben der Menschen auswirken kann.

Weiterführende Literatur

Schließung der regulatorischen Lücken bei Hochrisikosystemen: Stärkung der Einstufung und des Schutzes der Grundrechte im Rahmen des EU-KI-Gesetzes

Stellungnahme zur gezielten Konsultation zum Entwurf der Leitlinien für die Einstufung von KI-Systemen mit hohem Risiko