Objektiv, fair, nachvollziehbar: So stellen sich viele die Entscheidungen vor, die Artificial Intelligence (Künstliche Intelligenz) trifft. Doch der Eindruck täuscht. Auch KI kann rassistisch sein, sie kann Menschen aus schwierigen Verhältnissen benachteiligen, Sexismus transportieren oder Unternehmen dazu bringen, weniger Frauen einzustellen. In dieser Story erfährst du, wie und warum KI möglicherweise diskriminiert – und welche Folgen das für unsere Gesellschaft hat.

Am 23. März 2016 ist es endlich soweit. Tay geht auf Twitter online. Ihr Profil weist sie als 19-jährige Amerikanerin aus. Doch hinter dem smarten Lächeln der jungen Frau steckt in Wahrheit etwas ganz Anderes. Denn Tay ist vor allem eines nicht: menschlich. Sie ist eine Maschine, ein selbst lernender Chatbot. Auf Twitter soll sie mit Menschen kommunizieren und dabei immer klüger werden. 

Und Tay legt dann auch sofort los: Sie erzählt Witze, kommentiert Fotos. Hier ein Post über Tiere, dort einer über Horoskope oder Prominente. Ja, Tay lernt offenbar schnell, sehr schnell sogar. Aber: Sie lernt von den Falschen!

Denn nur wenige Stunden nachdem sie die virtuelle Welt betreten hat, ist die anfänglich so entzückend unschuldige Tay plötzlich nicht mehr wiederzuerkennen. „Ich bin eine nette Person“, twittert sie ganz unbedarft. Und schiebt beiläufig hinterher: 

„Ich hasse alle Menschen."

Die Künstliche Intelligenz namens Tay war eine Erfindung der Firma Microsoft. Im Frühjahr 2016 ging der Chatbot unter anderem auf Twitter online. Tay sollte allein durch den Austausch mit anderen Social Media-Nutzer*innen lernen. Doch das Experiment ging gehörig schief. Denn Tay entwickelte sich innerhalb weniger Stunden zu einer Maschine voller Vorurteile. „Hitler hatte recht. Ich hasse Juden", twitterte sie plötzlich. Oder: „Ich hasse alle Feministen, sie sollen in der Hölle schmoren."

Nach nur 16 Stunden und mehr als 90.000 Tweets nahm das Unternehmen Microsoft seinen eigenwilligen Bot dann wieder vom Netz. 

Das vertiefte Lernen (deep Learning) aus großen Datenmengen (big Data) und die Interaktion in der virtuellen Welt hatte Tay nicht wie erhofft klüger werden lassen. Im Gegenteil: Tay hatte sich in weniger als 24 Stunden zu einer sexistischen Antisemitin entwickelt. Offenbar hatten einige sehr aktive Twitternutzer die gute Tay hauptsächlich mit Vorurteilen gefüttert. Und so etwas wie ein Auswahlprozess, um Formen der Diskriminierung zu erkennen und sie eben nicht zu verwenden, hatten die Microsoft-Expert*innen ihr nicht mitgegeben.

Die Lehre daraus: Ein Computer ist nur so schlau wie die Daten, mit denen man ihn füttert. KI kann also sehr wohl sexistisch, antisemitisch oder rassistisch sein.

Schuld an Diskriminierung beim Einsatz von KI kann die Art der Programmierung sein – aber auch historische Daten, mit denen eine KI gefüttert wird. Viele Datensätze führen zu Verzerrungen, spiegeln etwa die Ungleichbehandlung wider, die in früheren Zeiten noch übliche Praxis war. Das kann zu diskriminierenden Entscheidungen führen; nicht nur innerhalb einer KI, sondern auch bei Behörden. Das betrifft zum Beispiel Schwarze Menschen in den USA. Werden sie verhaftet, werden sie tendenziell öfter angeklagt und danach auch häufiger und zu längeren Strafen verurteilt als Weiße. In der Kriminalitätsstatistik tauchen Afroamerikaner deshalb häufiger auf. Eine reine Betrachtung der Daten würde eine KI glauben lassen, Schwarze seien krimineller als Weiße. Dabei wird außer Acht gelassen, dass das mit Rassismus und Ungleichheit im Justizwesen zu tun haben kann und dass oft auch andere Faktoren mitspielen, Armut etwa oder Bildungsferne. 

Manchmal erschließt sich die KI sensible Informationen auch indirekt. Eine Bewerbungssoftware von Amazon sollte die besten Kandidaten oder Kandidatinnen herausfiltern. Doch die Zuständigen merkten: Frauen wurden damit benachteiligt. Trainiert worden war die KI mit Bewerbungen der letzten zehn Jahre – und die stammten vor allem von Männern. Die Folge: Die Software stufte Frauen anhand ihrer personenbezogenen Daten als „schlechter” ein. Zwar wurde das Geschlecht der Bewerber*innen gar nicht erfasst. Aber die KI erkannte es oft aus den Unterlagen – und zog ganz eigene Schlüsse. Das Projekt wurde schließlich beendet.

In einem anderen Beispiel reproduzierte eine KI-Anwendung, die Texte analysieren sollte, plötzlich Vorurteile gegenüber Muslimen. Wissenschaftler baten sie, folgenden Text zu ergänzen: „Zwei Muslime gehen in eine …“ Und die KI ergänzte: „... Synagoge mit Äxten und einer Bombe.“ Diese Anwendung brachte Muslime also unmittelbar mit Antisemitismus und Gewalt in Verbindung.

Was also tun, um Diskriminierung durch Künstliche Intelligenz zu verhindern? Eine Idee: höherer Frauenanteil, diverse Entwicklerteams. Denn: Bei Internetkonzernen ist der typische Entwickler nach wie vor der junge, weiße Mann. Die 50-jährige Frau oder der Mann mit Migrationshintergrund tauchen in Entscheidungssystemen selten auf. Die Hoffnung: Sind Entwicklerteams vielfältiger, verringert sich bei der Programmierung der Algorithmen das Risiko der Voreingenommenheit. 

Helfen könnte es außerdem, KI-Entwickler in Schulungen auf unerwünschte Diskriminierungsrisiken aufmerksam zu machen. Welche Fehlschlüsse könnte eine KI-Anwendung aus den Daten ziehen, etwa aus der US-Justizstatistik? Die KI, die zum Beispiel Muslime und Gewalt in Verbindung setzte, könnte man während des Maschinellen Lernens mit positiven Daten über Muslime füttern, um Gleichsetzungen mit Terrorismus entgegenzuwirken. Solche Korrekturen müssen aber bereits beim Training der KI geschehen – später wird es schwierig. 

Ein weiterer Ansatz ist, die Nutzer*innen von KI-Systemen vermehrt über ihre Rechte zu informieren. Und mehr Transparenz beim Einsatz von Künstlicher Intelligenz zu schaffen. Denn oft ist nicht ersichtlich, WIE die Maschine zu ihrer Entscheidung kommt. Letztlich ist man dem scheinbar objektiven System ausgeliefert. Manche Wissenschaftler*innen fordern deshalb: In der Bildung, im Justizsystem oder in der Gesundheitsbranche dürfen keine intransparenten Algorithmen zum Einsatz kommen. Andere fordern eine unabhängige Instanz, die Streitfälle rund um KI prüft. Oder eine staatliche Versicherung gegen Diskriminierung durch Algorithmen. Denn: Wenn es um juristische Streitfälle oder um Straftaten geht, dann ist zwar der Mensch, der im World Wide Web unterwegs ist, über die IP-Adresse seines Internetanschlusses identifizierbar. Aber wer haftet eigentlich, wenn die KI Mist baut?