Deutschlands Rolle in der algorithmischen Beurteilung von Menschen

Intelligente und effiziente Algorithmen können den uns zur Verfügung stehenden Datenmengen einen Sinn geben: Sie beginnen, Sprache zu verstehen, und werden bald unsere Autos fahren. Wie tun sie das? Durch einen Paradigmenwechsel: Anstatt eine Software zu entwickeln, die Input in Output umwandelt, suchen die neuen Algorithmen nach Regeln, die erklären, weshalb dieser bestimmte Input zu diesem bestimmten Output führt. Heute versuchen Algorithmen beispielsweise anhand maschinellen Lernens aus einer Fülle von (menschlich) übersetzten Sätzen abzuleiten, welcher Teil des englischen Satzes welchem Teil des deutschen Satzes entspricht. Diese Korrelation wird dann als ein Indikator dafür verwendet, dass letzterer die Übersetzung des ersteren ist.

Sollten Menschen Entscheidungen über andere Menschen treffen – oder Maschinen?

Unser Vertrauen in menschliche Entscheidungen hat erheblich gelitten. Nobelpreisträger Kahneman und ­andere Psychologen haben Experimente durchgeführt, die zeigen, dass Menschen oft unbeständig, irrational und voreingenommen sind. Und das gilt auch, wenn Menschen andere Menschen beurteilen. Wäre es nicht ein Fortschritt, das neue Denkmodell zu nutzen, um Menschen zu beurteilen und ihr Verhalten vorherzusagen? Nehmen wir Risikobewertung als Beispiel. Die Amer­ican Civil Liberties Union fordert, dass Risikobewertungssysteme in jedem Schritt eines Gerichtsverfahrens verwendet werden sollten: bei Entscheidungen zu Sorgerecht, Kaution, Strafmaß und für jegliche Entscheidung nach einer Gefängnisentlassung.

Menschen sind oft unbeständig, irrational und voreingenommen. Und das gilt auch, wenn Menschen andere Menschen beurteilen.

Eine in den USA bereits verwendete Software zur Beurteilung der Rückfallgefahr lernt aus vorhandenen Daten die Eigenschaften einer Person, die am stärksten auf eine Rückfälligkeit deuten. Anhand dieser Daten stellt die Software Entscheidungsregeln auf, die dann für Entscheidungen über neue Fälle verwendet werden können. Der Algorithmus ordnet dabei jeden neuen Kriminellen einer Gruppe von anderen Kriminellen zu, die ihm ähneln. Die Rückfallquote dieser Gruppe wird als persönliches Risiko der zu beurteilenden Person verwendet; es handelt sich also um ein »algorithmisch legitimiertes Vorurteil«. In unseren Untersuchungen haben wir gezeigt, dass eine solche auf Algorithmen basierte Personenbewertung das Ergebnis eines langen, komplizierten Designprozesses ist, in dem viele subjektive Entscheidungen getroffen werden und Fehler möglich sind.

Algorithmenbasiertes Personenbewertungssystem

Basierend auf einer ausgeklügelten und doch konservativen Ansicht zum Datenschutz würden die meisten Unternehmen und Regierungsinstitutionen die Einführung eines auf Algorithmen basierten Personenbewertungssystems nicht in Erwägung ziehen. Das Risiko besteht allerdings nicht in der grundsätzlichen Verwendung von Daten und maschinellem Lernen, sondern vielmehr darin, dass die Maschine die menschliche Vielschichtigkeit auf eine einzige Zahl pro Person reduziert. Ich bin überzeugt, dass Maschinen uns helfen können, bessere Entscheidungen zu treffen – wenn wir sie für die Forschung nutzen. Es wird die Gesellschaft teuer zu stehen kommen, nicht auch von menschlichen Daten zu lernen.

Für 2030 hoffe ich daher, dass Deutschland eine Vorreiterrolle bei der Entwicklung eines qualitätssichernden Gestaltungsprozesses von Personenbewertungssystemen in Europa einnimmt: Es muss klare ethische Richtlinien geben, die den gesamten Prozess regeln. Deutschland muss aber auch einen Weg finden, wie wir als Gesellschaft, als Forscher und Unternehmer die uns umgebenden Daten auf neue, kreative und aufschlussreiche Weise ohne allzu große Einschränkung und mit mehr Vertrauen nutzen können.

Prof. Dr. Katharina A. Zweig (42) ist Informatikprofessorin an der TU Kaiserslautern, wo sie das Algorithm Accountability Lab leitet. Sie entwickelte und leitet dort auch den Studiengang Sozioinformatik. Im Jahr 2016 gründete sie gemeinsam mit Matthias Spielkamp, Lorena Jaume-Palasí und Lorenz Matzat die NGO AlgorithmWatch, um eine faktenbasierte Diskussion der Chancen und Risiken von Algorithmen zu unterstützen. Dafür erhielten sie im Jahr 2018 die Theodor-Heuss-Medaille. Prof. Zweig berät Kirchen, Ministerien, Parteien und Journalisten in Bezug auf den Einfluss von Algorithmen.