Künstliche Intelligenz, soziale Diskriminierung

Corinna Bath, Koordinations- und Forschungsstelle Netzwerk Frauen- und Geschlechterforschung NRW

(Titelbild: © Adobe Stock | 845820002 | touseef)

Künstliche Intelligenz ist ein Forschungszweig, dessen Name und ideengeschichtliche Wurzeln bis in die 1950er Jahre zurückreichen. Ein Blick in die wechselvolle Geschichte zeigt, wie stark die Technologie seit ihren Anfängen umstritten war. Es gab Versprechungen und Befürchtungen, aber auch sogenannte KI-Winter, in denen die Forschungsgelder für das Feld eingefroren wurden.

Um auf aktuelle Problematiken von Objektivität und Diskriminierung zu sprechen zu kommen, springe ich in die Zeit um 2012, als sich mit Big Data und Deep Learning-Algorithmen (Convolutional Neural Networks) neue Möglichkeiten im Bereich der Bildverarbeitung – und darüber hinaus – ergaben. Zu den Versprechungen dieser Zeit gehörten Transformationen der Wissensproduktion, die Danah Boyd und Kate Crawford als „computional turn in thought and research“ [1] bezeichneten. Lisa Gitelman wies bereits damals zu Recht darauf hin, dass „raw data […] already ‚cooked‘“ [2] sei. Später fasste Bianca Prietl die damit verbundene Epistemologie wie folgt zusammen: Daten würden verstanden als „unmittelbarer Ausdruck der (empirischen) Realität, […] die es entsprechend einfach nur zu sammeln und auszuwerten gilt, um Wissen über die (soziale) Welt zu generieren.“ [3] Dieses Verständnis der Objektivität von Daten setzt sich bis heute in das Versprechen fort, dass KI, die auf großen Datenmengen operiert, objektiver sei als ein menschliches Pendant. Wir finden es zum Beispiel in der Medizin, wo die datenbasierte Analyse bessere Diagnosen als die von Ärzt:innen verspricht, oder im Personalmanagement, wo KI-Systeme bessere Entscheidungen über Bewerber:innen treffen sollen als Peronaler:innen. Der „Datenfundamentalismus“ [4] wird insbesondere dann zum Problem, wenn auf dieser Grundlage Lebenschancen ungerecht verteilt werden. So zeigen zahlreiche konkrete Fälle, dass der Einsatz von KI die Diskriminierung derjenigen sozialen Gruppen fortführt und zuspitzen kann, die bereits gesellschaftlich benachteiligt sind.

Die Debatte um Bias und Diskriminierung durch KI entzündete sich in den USA an der sogenannten COMPAS-Software, mit deren Hilfe das Risiko von Strafgefangenen, erneut straffällig zu werden, prognostiziert werden soll [5]. Im Jahr 2016 ermittelte ProPublica, ein Zusammenschluss kritischer Journalist:innen, die Daten von 7.000 verhafteten Personen in Florida und verglich die Ergebnisse der Software mit den tatsächlichen Rückfällen der letzten zwei Jahre. Dabei differenzierten sie nach Schwarzen und weißen Personen. Das KI-Modell ergab bei allgemeinen Straftaten eine doppelte Rate falsch-positiver Vorhersagen für Schwarze Personen im Vergleich zu weißen (45 Prozent versus 23 Prozent). Umgekehrt prognostizierte die COMPAS-Software weißen Menschen häufig fälschlicherweise, nicht nochmals straffällig zu werden (48 Prozent), während Schwarze nur zu 28 Prozent falsch-negativ beurteilt wurden. ProPublica unterstellte dem System einen „machine bias“. COMPAS wird bis heute an Gerichten in fünf US-amerikanischen Bundesstaaten eingesetzt.
Entgegen dem Versprechen auf Objektivität durch den Einsatz von KI-Systemen wurden zahlreiche Beispiele der Diskriminierung durch KI weltweit, in Europa und Deutschland bekannt. Sie finden sich bei Suchmaschinen, in der Werbung, im Personalmanagement, in der Kreditwirtschaft, im Bildungsbereich, in der Medizin, im Handel, der Polizeiarbeit, im Strafvollzug, der öffentlichen Verwaltung und berühren damit quasi alle Lebensbereiche (vgl. [6], [7]).

Die Fallstudien schlugen nicht nur in der Öffentlichkeit hohe Wellen, sondern auch in der Wissenschaft. So sucht eine interdisziplinäre Fachcommunity, die Informatiker:innen, KI-Forscher:innen und Datenwissenschaftler:in-nen umfasst, nach Wegen, solche Problematiken zu vermeiden. 2014 wurde etwa die Konferenzserie FAT/FAccT ins Leben gerufen, bei der Fairness und Transparenz von KI als Qualitätsmerkmal sowie Verantwortung von Entwickler:innen diskutiert werden. Jüngere Ansätze zielen ferner auf die Vertrauenswürdigkeit und Erklärbarkeit von KI. Ergänzt werden diese Initiativen durch Ansätze zur Ethik in der KI sowie zur politischen Regulierung, wie jüngst der EU-AI-Act, der sich nun im Prozess der nationalen Umsetzung befindet.
So erfreulich diese breiten Reaktionen auf problematische technische Entwicklungen auch zu beurteilen sind, werde ich im Folgenden mit Geschlechterforschung und feministischen Science and Technology Studies argumentieren, dass die bisherigen Bestrebungen nicht ausreichen, um Objektivitätsversprechen und Diskriminierungen entgegenzuwirken.

Auf der Suche nach den Ursachen und Hintergründen von Diskriminierungen durch KI wird häufig verharmlosend von „Fehlern“ und „Biases“ (Verzerrungen) gesprochen. Dieser Sprachgebrauch tendiert dazu, Machtverhältnisse und soziale Konsequenzen nicht genügend ernst zu nehmen. In der Geschlechterforschung und den feministischen Science and Technology Studies dagegen werden KI-Systeme als sozio-technische Systeme verstanden, die von Machtverhältnissen durchdrungen sind ([8], [9]). Damit verschiebt sich zugleich die Perspektive von „Fairness“ zu Gerechtigkeit. Während bereits Fairness nicht ohne Kontextualisierung und Situierung definiert werden kann [10], verdeutlicht die Philosophiegeschichte die Schwierigkeit, Gerechtigkeit exakt zu fassen. Mit einem vermeintlich objektiven „Blick vom Nirgendwo“ [11] wird dies nicht möglich sein. Vielmehr verlangt eine Definition von Gerechtigkeit Positionierungen.
Nichtsdestotrotz liegen in Bezug auf den Umgang mit Daten bereits eine Reihe von Vorschlägen aus den Computer- und Datenwissenschaften vor, um KI-Systeme gerechter zu machen. So setzte sich eine Gruppe renommierter Forscher:innen für eine konsequente Dokumentation von Machine-Learning-Daten ein, um dadurch Diskriminierungen entgegenzuwirken [12]. Mit dem Ziel, einen Industriestandard zu entwickeln, schlagen sie konkrete Fragen vor, deren Antworten in einem Datenblatt festgehalten werden sollen. So sollen etwa die Motivation für die Herstellung des Datensatzes, seine Zusammensetzung, der Prozess der Datensammlung (zum Beispiel: Vorverarbeitung, Labeling, Bereinigung) sowie die empfohlene Nutzung dokumentiert werden. Das Vorgehen soll Transparenz und Verantwortlichkeit in der Community erhöhen und es Wissenschaftler:innen wie Praktiker:innen erleichtern, Datensätze passend zu wählen.

Einen anderen Weg beschreiten Catherine D‘Ignazio und Lauren Klein. In „Data Feminism“ [9] schlagen sie sieben Prinzipien des Umgangs mit Daten vor, die von den Arbeiten der Wissenschaftshistorikerin und Feministin Donna Haraway zu einer verantwortungsvollen Wissensproduktion inspiriert sind. Sie fordern 1. zu einer Analyse auf, wie Macht (in und mit Daten) funktioniert, um 2. ungleiche Machtverhältnisse herauszufordern und auf Gerechtigkeit hinzuwirken. Gegenüber der im westlichen Wissen stark verankerten Abwertung von Emotionen und verkörpertem Wissen zielen sie 3. auf die Wertschätzung multipler Wissensformen. Die Autorinnen rufen 4. dazu auf, Binaritäten, Hierarchien und Klassifikationssysteme, die zu Unterdrückung führen, zu überdenken und neu zu konfigurieren. Im Sinne eines Pluralismus treten sie 5. für die Zusammenführung multipler Perspektiven im Lokalen und Konkreten ein. Ferner plädieren sie 6. für eine Kontextualisierung und das Durchführen ethischer Analysen von Daten. Es geht ihnen 7. darum, (insbesondere „unsichtbare“) Arbeit sichtbar zu machen und wertzuschätzen.
Während der Datenblatt-Ansatz stark von den Datenwissenschaften geprägt ist und einen Schritt auf die sozialwissenschaftliche Analyse zugeht, indem Zusammenhänge transparent gemacht werden sollen, geht der Datenfeminismus von der feministischen Wissenschaftstheorie aus und bewegt sich mit den geforderten Reflexionen von Daten auf die Datenwissenschaften zu. Ein interdisziplinäres Zusammenführen beider Ansätze kann zu mehr Datengerechtigkeit beitragen.

Auch bei der Modellierung von KI-Systemen kann eine solche kritisch-interdisziplinäre Vorgehensweise produktiv sein, wie das „Design Justice Network“ demonstriert. Es entwickelte zehn Prinzipien, die das Wissen von aktivistischen und marginalisierten Communities wie Queer, Trans* oder Indigenen in den Entwicklungsprozess einbeziehen. Die Prinzipien stehen in starker Resonanz mit den Ansätzen des Partizipativen Designs der Skandinavischen Schule aus den 1970er Jahren, wie die folgende Auswahl zeigt: „Im Fokus stehen die Stimmen derjenigen, die direkt von den Ergebnissen des Designprozesses betroffen sind. Es zählen die Auswirkungen des Designs auf die Community vor den Absichten der designenden Person. Wir sehen die Rolle der gestaltenden Person nicht als Expert:in, sondern als Facilitator:in. Wir glauben, dass jede Person aufgrund ihrer eigenen Lebenserfahrungen ein:e Expert:in ist, und dass wir alle einzigartige Beiträge in einen Designprozess einbringen können. Bevor wir nach neuen Designlösungen streben, suchen wir nach dem, was bereits auf Community-Ebene funktioniert. Wir respektieren und fördern traditionelle, indigene und lokale Kenntnisse und Praktiken.“ [13]. Sasha Costanza-Chock [14] hat die Theorie und Praxis des Design Justice-Ansatzes ausführlich dargelegt. Auf dieser Basis lassen sich Modelle in der KI und die Probleme, die sie lösen soll, neu denken und umsetzen.

Bisher habe ich zwei Ansätze – den Datenfeminismus und die Gestaltungsgerechtigkeit – angeführt, die insbesondere die Problemdefinitionen, Daten und Modelle in der Entwicklung von KI-Systemen neu verstehen. Würden ausgehend von diesen Ideen sämtliche Entscheidungen der technischen Gestaltung von KI mit einer kritischen Reflexion auf Basis feministischer Wissenschaftstheorie (vgl. [11]), postkolonialer Gestaltung [15] und weiteren Ansätzen kritischen Denkens verknüpft, könnten verantwortungsvolle, diskriminierungsfreie KI-Systeme entstehen. Hierzu bieten auch verschiedene KI-Manifestos (z.B. [16], [17], [18]), afrikanische [19] beziehungsweise neomaterialistische Ethiken [20] sowie die partizipative Zusammenarbeit mit marginalisierten Gruppen (zum Beispiel nach dem Design Justice-Ansatz) Inspirationen, die es in Zukunft umzusetzen gilt. Sie führen vor Augen, dass es gerade in den Datenwissenschaften und der KI immer wieder darum geht, die eingesetzten Modelle und Annahmen über die Welt, einschließlich des Objektivitätsverständnisses, zu reflektieren und neu zu justieren.