→Springe direkt zum Inhalt

Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag

Informationen zur Untersuchung

Mögliche Diskriminierung durch algorithmische Entscheidungssysteme und maschinelles Lernen

Themenbereich: Technik, Gesellschaft, Innovation
Analyseansatz: TA-Projekt
Themeninitiative: Ausschuss für Bildung, Forschung und Technikfolgenabschätzung
Status: laufend
Bearbeitungsstand: Studienauswertung
Laufzeit: 2019 bis 2019

Thematischer Hintergrund

Vielfältige Entscheidungen, die konkret die Lebensführung und Entwicklungschancen von Menschen betreffen, werden seit Langem regel- und merkmalsbasiert getroffen. Mediziner und Kostenträger berücksichtigen Erkrankungs- und Rückfallrisiken von Patienten, wenn sie über Behandlungen oder Rehabilitationen entscheiden. Versicherungen klassifizieren ihre Kunden mit Blick auf Schadenswahrscheinlichkeiten und berechnen entsprechende Tarife, Banken treffen Kreditentscheidungen auf Basis von Einschätzungen der Kreditwürdigkeit beispielsweise durch die SCHUFA Holding AG.

Seitdem diese Entscheidungen zunehmend datenbasiert und mittels Algorithmen/Software automatisiert werden (algorithmische Entscheidungssysteme [AES]), rücken diese in den Fokus der öffentlichen Wahrnehmung, und von Wissenschaft, Politik und anderen Stakeholdern werden damit verbundene Chancen und Risiken thematisiert. AES bieten das Potenzial, Entscheidungen schneller, effizienter und objektiver zu treffen und Unzulänglichkeiten menschlicher Entscheidungen vermindern oder gar vermeiden zu können. Gleichwohl gehen direkte Risiken automatisierter Entscheidungen mit Fehlentscheidungen und den daraus erwachsenden Folgen sowie oftmals unklaren Verantwortungs- und Haftungsfragen einher. Bislang gibt es keine spezifischen Offenlegungspflichten, weder für eingesetzte (Trainings-)Daten, anhand derer Kriterien für Entscheidungsregeln und -modelle abgeleitet werden noch für die Algorithmen, mit denen diese Regeln auf neue Fälle angewendet werden. Dadurch sind Entscheidungsprozesse von außen oft nicht nachvollziehbar. Die fehlende Transparenz bereitet den Nährboden für Misstrauen oder Ablehnung. Durch die zunehmende Anwendung maschineller Lernverfahren wird diese Situation verstärkt und auf eine neue Stufe gehoben.

Seit einiger Zeit wird darauf hingewiesen, dass jenseits von Fehlentscheidungsrisiken AES dazu führen können, dass einzelne Personen oder Personengruppen systematisch diskriminiert werden und dass dies aufgrund der fehlenden Transparenz nur schwer zu erkennen und nachzuweisen ist. Der Vorwurf der möglichen Diskriminierung wiegt gesellschaftlich schwer, weil Grundrechte von Einzelnen betroffen sind. In Deutschland besteht ein Diskriminierungsverbot nicht nur für staatliche Stellen, sondern auch für den privaten Bereich (geregelt im Allgemeinen Gleichbehandlungsgesetz [AGG]). Einzelne Fälle von AES, die Diskriminierung Vorschub leisteten, sind bereits öffentlich geworden (wobei nicht immer klar ist, inwiefern tatsächlich Menschen geschädigt wurden).

Die gesellschaftliche Relevanz des Themas wird zunehmend deutlich. Von der Politik wurden jüngst mehrere wissenschaftliche Untersuchungen dazu angeregt, darunter von der Antidiskriminierungsstelle des Bundes, dem Sachverständigenrat für Verbraucherfragen sowie vom BMBF im Rahmen des Projekts Assessing Big Data (ABIDA).

Zudem beschäftigen sich etliche weitere Institutionen mit der Ethik von Algorithmen, darunter der Deutsche Ethikrat, die Bertelsmann-Stiftung, der Verein Algorithm Watch oder im Kontext spezifischer Anwendungen das Hans-Bredow-Institut für Medienforschung, der Lehrstuhl für Verwaltungswissenschaft, Staatsrecht, Verwaltungsrecht und Europarecht der Deutschen Universität für Verwaltungswissenschaften Speyer. Auch für die vom Deutschen Bundestag 2018 eingerichtete Enquete-Kommission zur künstlichen Intelligenz und die Datenethikkommission der Bundesregierung sind Diskriminierungsrisiken durch algorithmische Entscheidungssysteme ein relevantes Thema.

Ziel und Vorgehensweise

Die Diskriminierungsrisiken durch AES stellen auch nach Einschätzung des TAB nicht nur eine technische, sondern eine juristische, gesellschaftliche und politische Herausforderung dar. Zentrale Fragen sind insbesondere:

  • In welchen Bereichen und für welche Entscheidungen werden bereits algorithmische Entscheidungssysteme eingesetzt, die nach geltender Rechtslage diskriminierungsfrei sein sollten (insbesondere gemäß AGG)? In welchen Bereichen ist eine Anwendung von AES und maschinellem Lernen in Zukunft wahrscheinlich? Welche Vorteile erwartet man sich von deren Einsatz?
  • Welche Risiken von Diskriminierung entstehen durch den Einsatz von AES? Welche Fälle von Diskriminierung aufgrund von algorithmischen Entscheidungssystemen sind bereits bekannt geworden?
  • Nach welchen Kriterien und Verfahren sollte der behördliche Einsatz algorithmischer Entscheidungssysteme zugelassen werden? Welche behördlichen Anwendungen gibt es bereits, welche sind möglich?
  • Welche technischen Möglichkeiten existieren, um Diskriminierung durch algorithmische Entscheidungssysteme und maschinelles Lernen im Vorhinein oder nachträglich zu erkennen und zu beheben?
  • Welche Verfahren (wie z.B. »counterfactual explanations«) werden in der Literatur diskutiert, um Nachvollziehbarkeit komplexer Verfahren herzustellen? Wie können dabei Geschäftsgeheimnisse gewahrt bleiben?
  • Welche rechtlichen Möglichkeiten und Vorschläge zur Einhegung von Diskriminierungsrisiken durch Algorithmen gibt es, beispielsweise im Rahmen des Wettbewerbsrechts oder durch behördliche Kontrollmechanismen? Liegen diesbezüglich bereits Erfahrungen in anderen Ländern vor?

Das TAB wird die Vielzahl vorliegender und erwarteter Studienergebnisse anhand dieser Leitfragen auswerten und in Form einer Synopse zusammenfassen, um einen sachlich fundierten Überblick über die noch junge Debatte zu schaffen. Ergänzend sollen Interviews mit Expertinnen und Experten geführt werden, um mögliche Widersprüche bzw. Unschärfen zu klären.

Stand der Projektbearbeitung

Studienauswertung.

Zum Seitenanfang