Technologie & Rechte

Haben Entscheidungsalgorithmen immer Recht, sind sie fair und zuverlässig?

Algorithmische Entscheidungsfindung (ADM) verändert unsere Gesellschaft in rasantem Tempo. Aber halten sie ihr Versprechen der Objektivität, oder schaden sie am Ende mehr als sie nützen?

by Anna Ackermann

ADMs bieten die Möglichkeit, Entscheidungen ohne die Nachteile menschlicher Voreingenommenheit zu treffen. In der Realität sind jedoch bereits die Daten, die in diese Systeme eingespeist werden, verfälscht, was wiederum zu diskriminierenden Ergebnissen der Modelle des maschinellen Lernens führt. Anstatt Diskriminierung zu verhindern, wird dadurch die Diskriminierung von sozialen Randgruppen noch weiter verstärkt.

Es gibt zwei Arten von ADMs, die Entscheidungen über uns treffen: Lernfähige und nicht lernfähige Maschinen. Lernen bedeutet in diesem Fall, dass sich der Algorithmus durch Erfahrung verändert. Beide Systeme können vielfältige Probleme verursachen, aber in diesem Artikel konzentrieren wir uns nur auf die ersteren, also auf algorithmische Entscheidungssysteme, die "lernen".

Hilf uns zu verhindern, dass Technologie deine Rechte beeinträchtigt. Donate

Wozu dienen die Entscheidungsalgorithmen?

Meist wird der Einsatz algorithmischer Entscheidungsfindung damit begründet, dass dadurch die Effizienz gesteigert und menschliche Voreingenommenheit ausgeschaltet werde. Auf den ersten Blick klingt das ganz wunderbar. Wenn wir zum Beispiel einen Kredit beantragen, wollen wir, dass die Anfrage schnell und fair bearbeitet wird. Leider wird dieses Versprechen nur selten eingelöst. Der Einsatz von ADMs wird zwar mit der Verbesserung der Objektivität beworben, aber oft geht es vor allem darum, Geld und Ressourcen zu sparen - und dafür muss die Gesellschaft einen hohen Preis zahlen.


Wie funktionieren Algorithmen zur Entscheidungsfindung?

Algorithmische Entscheidungsfindung bedeutet, dass Entscheidungsfindung und Umsetzung an Maschinen delegiert werden. Damit dies möglich ist, leitet ein maschinelles Lernmodell Schlussfolgerungen ab, die es durch das Erkennen von Mustern in einem Trainingsdatensatz gelernt hat. Der große Vorteil von Algorithmen im Vergleich zu Menschen ist, dass sie in der Lage sind, Zusammenhänge - und damit Muster und Kausalitäten - in riesigen Datensätzen zu erkennen.

Wo nutzen wir algorithmische Entscheidungsfindung?

Algorithmen sind bereitsTeil unseres täglichen Lebens. Von der Verwaltung von Social Media Feeds bis hin zur Erkennung von Krebs in Röntgenbildern - unsere Realität im 21. Jahrhundert wird von Algorithmen bestimmt. Dies sind vielleicht die bekanntesten Anwendungsfälle, aber Algorithmen kommen auch immer häufiger dort zum Einsatz, wo man sie nicht erwartet. Die Polizei verlässt sich auf Algorithmen, um zu entscheiden, wie wahrscheinlich es ist, dass du ein Verbrechen begehst, das Unternehmen, bei dem du dich bewirbst, nutzt sie, um zu entscheiden, ob es dich einstellen soll oder nicht, und staatliche Behörden nutzen sie, um dir Sozialprogramme zuzuweisen.

In einigen Fällen kann der Einsatz von Algorithmen den Menschen unterstützen und unsere Lebensqualität verbessern, z. B. wenn Ärzte nach einer 12-Stunden-Schicht Krankheiten erkennen. Leider passiert allzu oft das Gegenteil. Bei allen Entscheidungen, die sich auf das Leben eines Menschen auswirken, ist Objektivität das oberste Gebot. Es gibt jedoch zahlreiche Beispiele dafür, dass Algorithmen für eindeutig fehlerhafte Entscheidungen verantwortlich waren und/oder bestehende Diskriminierungen reproduziert haben.

Welche Gefahren birgt die Entscheidungsfindung durch Algorithmen?

Die Annahme, algorithmische Entscheidungen seien objektiver als menschliche Entscheidungen, ist zwar weit verbreitet, trifft aber nicht unbedingt zu. Obwohl es weniger wahrscheinlich ist, dass sie ihre Vorurteile korrigieren können, könnten ADMs sogar noch diskriminierender sein als menschliche Entscheidungen.

Auch wenn solche Fehler durch eine angemessene Überwachung - das sogenannte Debiasing - leicht zu beheben sind, liegt es in der Natur der künstlichen Intelligenz, dass ein wirksames Gegenmittel schwer zu finden ist. Da die interne Funktionsweise der KI verborgen ist und nicht ohne Weiteres verstanden wird, bleibt die Entscheidungsfindung im Dunkeln. Die daraus resultierende Intransparenz hat den selbstlernenden Algorithmen den Spitznamen "Black Box AI" eingebracht. Eine wichtige neue Herausforderung bei diesen maschinellen Lernsystemen ist es daher, herauszufinden, wann und wie sie eine Verzerrung in den Entscheidungsprozess einbringen.

Auf Algorithmen ist Verlass, wenn es darum geht, für die gleiche Eingabe immer das gleiche Ergebnis zu erzielen (zumindest bei Systemen, die nicht "on the go" (im laufenden Betrieb) lernen. Man kann davon ausgehen, dass sie objektive Entscheidungen produzieren und dass sie keinen schlechten Tag haben oder jemanden nicht mögen.


So weit, so gut. Aber das bedeutet, wenn sie zu falschen oder schädlichen Schlussfolgerungen kommen, werden diese auch kontinuierlich ausgegeben. Und genau das ist das Problem. Da sie aus der Vergangenheit lernen müssen, führt das zu zwei Problemen: Erstens reagieren sie nicht auf Veränderungen in der Realität, solange sie nicht umgeschult wurden, und zweitens sehen sie ein Individuum nur im Vergleich zu anderen und reproduzieren oder verstärken daher unbeabsichtigt historische Muster der Verzerrung. Das passiert, weil die Eingabedaten, die zum Trainieren der Systeme verwendet werden, fast immer aufgrund früherer diskriminierender Praktiken oder aufgrund der Unterrepräsentation von Mitgliedern marginalisierter Gruppen verzerrt sind. Natürlich fällt es auch Menschen oft schwer, ihr Verhalten oder ihre Werte zu ändern, aber im Gegensatz zu Algorithmen, sagt man uns auch nicht nach, dass wir besonders objektiv urteilen könnten.

In unserer Gesellschaft können manche Menschen mit dem Aufzug nach oben fahren, während andere die Treppe nehmen müssen. Man stelle sich Joe vor, dessen Eltern ihn auf eine gute Schule schicken konnten und der die richtigen Verbindungen hat, aber für eine bestimmte Stelle nicht geeignet ist. Jetzt stell dir Jessica vor, eine alleinerziehende Mutter mit einigen Lücken in ihrem Lebenslauf, die aber die perfekte Besetzung für die Stelle ist. Während ein Mensch zumindest theoretisch in der Lage wäre, in Vorstellungsgesprächen individuell zu bewerten, würde ein Algorithmus lernen, nur die Kandidaten einzustellen, die mit dem Aufzug ankommen. Das beraubt die Menschen der Möglichkeit, ihr Schicksal selbst in die Hand zu nehmen.

In einer Welt, die sich ständig verändert und in der wir kollektiv versuchen, schädliche Stereotypen abzubauen, ist die Logik der algorithmischen Entscheidungsfindung kontraproduktiv. Wir alle wollen danach beurteilt werden, was wir selbst getan haben, und nicht danach, was die Gruppe, mit der wir assoziiert werden, unsere "In-Group", bis jetzt gemacht hat.

Wie funktioniert das KI-Lernen in der Praxis?

Du möchtest, dass dein Machine Learning-Modell die besten Kandidaten für eine bestimmte Stelle findet. Du sagst deinem Algorithmus nicht, was den perfekten Bewerber oder die perfekte Bewerberin ausmacht, denn das weißt du vielleicht selbst nicht. Stattdessen fütterst du das Modell mit den Lebensläufen früherer Bewerber, die du eingestellt hast, und markierst einige Lebensläufe als besonders gut (diejenigen, die du eingestellt hast und die sehr gute Leistungen erbringen) und andere mit schlechteren Noten.

Ist es wahrscheinlich, dass dein Modell alle Bewerber/innen fair beurteilt?

Ein algorithmusbasiertes Einstellungstool bei Amazon nutzte diese Strategie, und die Ergebnisse waren alles andere als zufriedenstellend. Im Jahr 2015 fanden Experten heraus, dass Amazons neue RekrutierungsmaschineFrauen benachteiligte. Das experimentelle KI-Einstellungstool des Unternehmens bewertete Bewerber/innen danach, ob ihre Lebensläufe denen ähnelten, die über einen Zeitraum von 10 Jahren von erfolgreichen Bewerber/innen eingereicht wurden. Es überrascht nicht, dass die meisten dieser Bewerbungen von Männern stammten: Die männliche Dominanz in der Tech-Branche ist gut dokumentiert. Das KI-System von Amazon erkannte daher ein Muster, dass die von Amazon als wünschenswert eingestuften Kandidaten männlich waren.


Die wichtige Frage, die man sich hier stellen muss, ist: Macht das algorithmenbasierte Einstellungsinstrumente schlechter als normale Arbeitgeber? Schließlich ist es nicht ungewöhnlich, dass Arbeitgeber ihre Entscheidungen auf der Grundlage persönlicher Vorurteile treffen. Die Antwort lautet ja, auch wegen des sogenannten "Kontrollproblems". Arbeitspsychologen und Ingenieure, die sich mit den menschlichen Bedienern komplexer Maschinen befassen, haben seit langem eine besondere Gefahr der Übertragung von Verantwortung auf Maschinen erkannt: Algorithmen erwecken einen falschen Eindruck von Objektivität, wodurch es schwierig wird, ihre Ergebnisse zu hinterfragen.

Wie wirken sich Algorithmen auf die Gesellschaft aus?

In einer Demokratie erwarten wir, dass Behörden wie Gerichte oder Banken in der Lage sind, die von ihnen getroffenen Entscheidungen zu erklären. Wenn uns Kredite verweigert werden oder wir ins Gefängnis kommen, haben wir das Recht zu erfahren, warum. ADMs und die Art, wie sie eingesetzt werden, sind dagegen nicht mit demokratischen Standards vereinbar.

Eine weitere rote Linie ist die Tatsache, dass komplexe maschinelle Lernmodelle die Überwachung von Menschen sehr viel einfacher machen. Vor 30 Jahren war es sehr schwierig, die Bewegungen einer Person zu verfolgen, aber heute können ihre Smartphones alle Informationen preisgeben, die man braucht, um vorherzusagen, wo man sie in Zukunft finden wird. Zunehmend besorgniserregend ist die biometrische Massenüberwachung, mit der es möglich wird, Menschen im wirklichen Leben zu identifizieren. Das ist besonders gefährlich für marginalisierte Gemeinschaften (denk zum Beispiel an Mitglieder der LGBTI-Gemeinschaft oder Menschen ohne Papiere), die gute Gründe haben, sich davor zu fürchten, an bestimmten Orten identifiziert zu werden. Niemand sollte Angst haben müssen, verfolgt zu werden und sein Recht auf Privatsphäre zu verlieren. Es gab und gibt autoritäre Regierungen - in ihren Händen könnten solche Technologien eine große Gefahr für Menschen darstellen und sie daran hindern, ihre Ablehnung auszudrücken, indem sie zum Beispiel an einer Demonstration teilnehmen.

Fazit

Wenn die algorithmische Entscheidungsfindung hält, was sie verspricht - nämlich objektiver und weniger diskriminierend zu sein als der Mensch -, könnte sie ein großes Potenzial haben. Leider neigen Systeme, die maschinelles Lernen nutzen, dazu, menschliche Voreingenommenheit zu verstärken und dabei leichter unentdeckt zu bleiben. Die Auswirkungen auf die Diskriminierung von Minderheiten und die Schaffung einer gleichberechtigteren Gesellschaft sind beunruhigend. Angesichts der zunehmenden Verbreitung von ADM-Systemen ist es wichtig, dass wir unsere Aufmerksamkeit darauf richten, diese Technologien sorgfältig zu regulieren. Technologien sollten genutzt werden, um die Freiheit und Unabhängigkeit von uns allen zu erhöhen, nicht um sie zurückzudrehen.

Bildnachweis:

Christina@wocintechchat.com / Unsplash

Donate to liberties

Together we’re making the difference

When the many put our resources together, we defeat the few who think they hold all the power. Join us to bring rights to life for all of us.

Be a part of protecting our freedoms

We have

  • Created the largest fund for democracy groups in the EU
  • 
Got new powers to cut off EU funding to autocrats

  • Written new EU rules to protect journalists & campaigners from bogus lawsuits

  • Trained over 400 rights defenders to supercharge the campaigns you care for

More milestones


Together we’re making the difference

When the many put our resources together, we defeat the few who think they hold all the power. Join us to bring rights to life for all of us.

Subscribe to stay in
the loop

Why should I?
  • You will get the latest reports before everyone else!
  • You can follow what we are doing for your right!
  • You will know about our achivements!

Show me a sample!