Künstliche Intelligenz (KI) ist aus unserer Welt nicht mehr wegzudenken, ohne sie sähe unser alltägliches Leben ganz anders aus. Algorithmen bringen uns viele Vorteile, zumindest augenscheinlich. Allerdings sind sie auch anfällig für die Diskriminierung marginalisierter Gruppen. Was sind die Hintergründe und wie sehen mögliche Lösungen aus?

Algorithmen begegnen uns im Alltag ständig – ob beim Warten an einer roten Ampel, beim Online-Shopping oder in Sozialen Medien. In der heutigen Zeit regeln sie aber auch weitaus komplexere Prozesse wie Aktienkäufe oder Lieferketten. Die globalisierte Postmoderne käme ohne diese Technik schon lange nicht mehr weit. Aber was genau ist überhaupt ein Algorithmus? Der Duden definiert ihn als einen „Rechenvorgang nach einem bestimmten [sich wiederholenden] Schema“. Das bedeutet, dass ein Algorithmus automatisch nach einem vorher definierten Lösungsweg handelt. Daran hindern ihn auch nicht veränderte Umstände, denn in diesem Fall wird der Lösungsweg einfach entsprechend angepasst. Die aus dieser Technologie entstandenen Möglichkeiten eröffnen der Wirtschaft neue Zweige – die Industrialisierung 4.0 wäre ohne Algorithmen undenkbar. Nicht nur Produktionsprozesse werden dadurch beschleunigt, betriebswirtschaftliche Vorgänge werden generell verkürzt. Klingt doch alles super, oder? Nicht ganz.

It’s a white man’s world

Es gibt ein großes Manko an Algorithmen: Sie sind nur so gut wie ihr Programmiercode – und der stammt nun mal von Menschen. Und da unsere Welt voll von struktureller Diskriminierung ist, die unser Denken und Handeln beeinflusst, überträgt sich dies auch auf Algorithmen. Die Ursache liegt meist in den Datensätzen, die zur Programmierung verwendet werden. Wie die Nachrichtenagentur Reuters berichtete, musste Amazon im Jahr 2015 zugeben, dass das automatisierte Bewerbungssystem des Unternehmens die Bewerbungen von Frauen systematisch als weniger geeignet einstufte und deshalb im Verfahren frühzeitig aussortierte. Dies kam zustande, weil das Programm mit alten Bewerbungen für das Unternehmen gefüttert wurde, die vorrangig von Männern kamen – weshalb der Algorithmus das Geschlecht als relevante Variable übernahm. Kam allein das Wort „Frauen“ in der Bewerbung vor, wurde diese schon als eher ungeeignet eingestuft. Nach eigenen Angaben von Amazon befand sich das Programm bis zur Entdeckung dieses Fehlers nur in der Testphase und wurde noch nicht für die Personalentwicklung genutzt.

Im Fachjargon nennt man das „Coded Bias“, also „vorprogrammierte Diskriminierung“. Aber nicht nur das Patriarchat zieht seine Fäden bis ins Internet, auch Rassismus wird von Algorithmen reproduziert. Dass dies ein seit Jahren wohl bekanntes und weit verbreitetes Problem ist, zeigt auch der gleichnamige Dokumentarfilm („Coded Bias“) aus dem Jahr 2021. Joy Buolamwini ist Wissenschaftlerin am Massachusetts Institute of Technology MIT und zeigte anhand eines Experiments, dass führende Gesichtserkennungsprogramme von IBM, Face++ und Microsoft rassistisch diskriminieren. Während die Gesichter ihrer weißen Freund:innen problemlos erkannt wurden, wurde sie als schwarze Frau nicht erkannt. Als sie sich eine weiße Maske vor das Gesicht hielt, funktionierte das Programm jedoch wieder. Ursache ist auch hier wieder der Datensatz, mit dem der Algorithmus trainiert wurde. Dieser bestand nämlich hauptsächlich aus Fotos von weißen Männern. Die Folgen dieser Programmierung können fatal sein, da es unter anderem von US-amerikanischen Sicherheitsbehörden verwendet wird und es so häufiger zu Falschbeschuldigungen und nicht gerechtfertigten Verhaftungen kommt.

Wer nun denkt, diese zwei Beispiele seien Ausnahmen, irrt leider gewaltig. Die Liste solcher Diskriminierungen ist lang und nicht nur in den USA zu finden. So deckt etwa die Berliner NGO AlgorithmWatch regelmäßig neue Benachteiligungen auf: unter anderem diskriminierende Online-Formulare, die Missachtung von EU-Recht bei LinkedIn, die gezielte Förderung sexistischer Stereotype von Instagram und Rassismus im Gesundheitssystem der Schweiz.

Die Lösung des Problems: Mehr Diversity oder noch mehr Algorithmen?

Die meisten Algorithmen wurden von weißen Männern programmiert und von deren Sicht auf die Welt beeinflusst – infolgedessen kommt es oft zu Diskriminierung. Eine Lösung wäre mehr Diversität unter den Programmierenden, aber auch die Möglichkeit, eine KI zu programmieren, die gezielt Diskriminierung aufdeckt. Zum Beispiel entwickelte die candidate select GmbH in Zusammenarbeit mit Forschenden der Universität zu Köln den FAIR-Index, einen Algorithmus, der Diskriminierung beim Recruiting von Jobbewerber:innen sichtbar machen soll.

Mittlerweile gibt es viele Projekte und Organisationen, die über diskriminierende Algorithmen aufklären, informieren und dagegen vorgehen. Darunter die Algorithmic Justice League von der oben vorgestellten Wissenschaftlerin Joy Buolamwini oder die ebenfalls erwähnte NGO AlgorithmWatch. Wer selbst das Gefühl hat, von Diskriminierung im Internet betroffen zu sein, findet Hilfe bei der Beratungsstelle gegen Hass im Netz HateAid.

Autorin: Marisa Wenzlawski