Mögliche Diskriminierung durch algorithmische Entscheidungssysteme und maschinelles Lernen

24.11.2020 | Neuerscheinung

Mögliche Diskriminierung durch algorithmische Entscheidungssysteme und maschinelles Lernen

TAB-Hintergrundpapier Nr. 24 erschienen

Algorithmische Entscheidungssysteme (AES), also programmierte Verfahren, die aus einem bestimmten Input in verschiedenen, genau definierten Schrittfolgen einen Output berechnen und eine Entscheidung(sempfehlung) ableiten, begegnen uns im Alltag häufig: Sie bestimmen die beste Strecke für eine geplante Fahrt, den passenden Partner in einer Singlebörse oder die eigene Kreditwürdigkeit. Damit stellen sie mehr oder weniger bedeutsame Weichen und bestimmen somit möglicherweise über Lebenschancen – oft, ohne dass es der oder dem Betroffenen bewusst ist.

Aufgrund ihrer zahlenbasierten Regelhaftigkeit könnten AES zunächst als objektivere Entscheidungsinstanzen angenommen werden. Einige medienwirksame Fälle von verzerrten maschinellen Entscheidungen – beispielsweise als ein Onlineversandhändler neue Mitarbeitende suchte und sein lernendes AES fast ausschließlich Männer vorschlug – wecken jedoch Zweifel an der Objektivität algorithmischer Entscheidungsempfehlungen und werfen die Frage auf, ob AES (un)fairere Entscheidungen als Menschen treffen: Verändern sich Diskriminierungsrisiken durch den Einsatz von AES?

Dieser Frage geht das TAB in der als Hintergrundpapier Nr. 24 erschienenen Studie nach, die anhand von vier Fallbeispielen aus den Bereichen der Arbeitsvermittlung, der medizinischen Versorgung, des Strafvollzugs und der automatisierten Personenerkennung nachzeichnet, dass Ungleichbehandlungen durch AES häufig Fortführungen »vordigitaler« Ungleichbehandlungen sind, und dabei zugleich verdeutlicht, dass die Frage, ob eine konkrete Ungleichbehandlung diskriminierend ist (oder nicht), innerhalb einer Gesellschaft und innerhalb der Rechtsprechung oftmals hoch umstritten ist. Abschließend stellt das Hintergrundpapier verschiedene Handlungsansätze zur Prävention von algorithmisch basierten Diskriminierungen vor.

Das Hintergrundpapier Nr. 24 sowie eine Zusammenfassung stehen als Download zur Verfügung.

Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag