Wenn Instagram einen Steuerbetrüger verraten soll — Entscheidungen durch Software

In Estland vergibt der Staat Kindergeld, ohne dass die Eltern irgendetwas dafür tun müssten. Von der Geburt an landen alle nötigen Informationen in einer Datenbank und werden von einer Software selbstständig analysiert. Wer ein Anrecht auf das Geld hat, bekommt es automatisch.

Automated Decision Making heißt so etwas, kurz ADM. Die automatisierte Entscheidungsfindung wird unter anderem im Bildungswesen eingesetzt, in der Justiz und in der Kriminalitätsprävention, im Gesundheitssektor und von Steuerbehörden. Allerdings in unterschiedlicher Ausprägung und unterschiedlicher Güte, wie ein neuer Bericht verdeutlicht. Dass etwas so gut funktioniert wie die Kindergeldbescheide in Estland, ist demnach eher die Ausnahme.

Zu diesem Schluss kommen die Berliner Nichtregierungsorganisation AlgorithmWatch und einer ihrer Förderer, die Bertelsmann Stiftung. Sie haben mehr als 100 ADM-Systeme analysiert, die in 16 europäischen Ländern im Einsatz sind, es waren oder künftig sein sollen. In dem am Mittwoch veröffentlichten Bericht «Automating Society 2020», der dem SPIEGEL vorab vorlag, ziehen die Autorinnen und Autoren ein niederschmetterndes Fazit: «Wenn wir den derzeitigen Stand von ADM-Systemen in Europa betrachten, sind Positivbeispiele mit echten Vorzügen selten.» Die «große Mehrheit» der Systeme «setzt Menschen eher einem Risiko aus, als ihnen zu helfen».

• In Großbritannien beispielsweise errechnete ein Algorithmus Schulabschlussnoten, weil Schüler wegen der Corona-Pandemie ihre Abschlussarbeiten nicht schreiben konnten. 40 Prozent der errechneten Zensuren waren schlechter als die Noten, die von den Lehrern vorhergesagt wurden. Aufgrund von öffentlichem Druck stoppte die Regierung das Experiment. Besonders betroffen waren eigentlich gute Schüler von Schulen, die in der Vergangenheit unterdurchschnittliche Gesamtergebnisse hervorgebracht hatten.

• In sechs Kantonen der Schweiz wird ein System namens Dyrias-Intimpartner eingesetzt, das auf der Basis einiger Ja-Nein-Fragen erkennen soll, ob jemand eine Gefahr für die Lebenspartnerin oder den Lebenspartner darstellt und daher jahrelang mit erhöhter Aufmerksamkeit der Polizei rechnen muss. Eine — vom Hersteller angezweifelte — Studie kam zu dem Schluss, dass die Software häufig daneben liegt: Zwei Drittel derer, die Dyrias als hochgefährlich einstufte, begingen kein schweres Gewaltdelikt.

Allerdings eignen sich nur wenige der auf den 287 Seiten des Berichts geschilderten Fälle für plakative Aussagen zu ADM-Systemen. Vieles ist noch in der Planung, und vor allem Behörden testen neue Software in der Regel zunächst im Rahmen von Modellprojekten. Wachsame Datenschutzbehörden, Medien und engagierte Bürgerinnen und Bürger greifen häufig erfolgreich ein.

«Wir sehen viele gute Absichten, die dann oft schlecht umgesetzt werden», sagt Sarah Fischer, Expertin für algorithmische Entscheidungsfindung bei der Bertelsmann Stiftung dennoch. «Um das volle Potenzial algorithmischer Systeme zu nutzen, brauchen wir einen europäischen Rahmen mit kohärenten Regeln für Transparenz, Aufsicht und Durchsetzungsmechanismen, die aus einer informierten und inklusiven demokratischen Debatte entstehen.»

AlgorithmWatch und die Stiftung fordern in ihrem Bericht unter anderem mehr Transparenzverpflichtungen. Die EU-Mitgliedstaaten sollten demnach öffentliche Register über eingesetzte ADM-Systeme führen. Wer die Systeme betreibt, müsse verpflichtet werden, Sinn und Zweck zu dokumentieren, die Logik des dahinterstehenden Modells zu erklären und Informationen zu den Entwicklern zu geben. Auch sollten die Daten, mit denen das System trainiert wird, sowie Beispielergebnisse für unabhängige Wissenschaftler, Journalisten und zivilgesellschaftliche Organisationen wie AlgorithmWatch zugänglich gemacht werden.

Im Fall von Gesichtserkennung sprechen sie sich sogar für ein Verbot aus: Die Technologie sei «eine ernste Bedrohung für die Öffentlichkeit und für die Grundrechte», da sie «den Weg bereitet für eine unterschiedslose Massenüberwachung».

Die bestehenden Gesetze greifen zu kurz, findet Matthias Spielkamp, Mitgründer und Geschäftsführer von AlgorithmWatch: «Die Datenschutz-Grundverordnung reicht in keinem Fall aus, denn es gibt viele Anwendungen, die keine persönlichen Daten nutzen, aber dennoch problematische Auswirkungen haben können — etwa wenn anonyme Verbrechensdaten genutzt werden um zu entscheiden, welche Gegend besonders stark überwacht wird.» Im von der EU-Kommission geplanten Digitale-Dienste-Gesetz könne immerhin der Zugang zu den Daten der großen Internetplattformen geregelt werden. «Wenn es allerdings um Forderungen wie ein Register für ADM-Systeme geht, die die öffentliche Verwaltung nutzt, muss das an anderen Stellen umgesetzt werden», sagt Spielkamp.

Auch in Deutschland werden ADM-Systeme eingesetzt oder erprobt, etwa für das sogenannte Predictive Policing, also die auf automatisch erstellten Prognosen basierende Polizeiarbeit. Spielkamp aber sagt: «Im Gegensatz zu den USA, Großbritannien, den skandinavischen Ländern oder etwa Estland, hinkt die Digitalisierung der öffentlichen Verwaltung in Deutschland um Jahre hinterher. Wenn es um Automatisierung geht, kann sich das aber auch als ungeahnte Chance entpuppen: Wir können hier Fehler vermeiden, die in anderen Ländern bereits gemacht wurden».

Keine weiteren Fragen, Euer Roboter-Ehren

Die Anzahl von ADM-Systemen im öffentlichen Bereich wird weiter steigen:

• In Estland etwa soll ein Robo-Richter entwickelt werden, der über Klagen mit einem Streitwert von bis zu 7000 Euro entscheiden kann. Die Streitparteien würden Daten und Dokumente einreichen, die Software nach der Analyse ein verbindliches Urteil aussprechen. Menschliche Richter kommen nur ins Spiel, so die Vorstellung, wenn jemand das Urteil anfechtet.

• In Italien wird derweil an einem System gearbeitet, das Daten aus sozialen Netzwerken, von Kleinanzeigen-Websites und Auktionsplattformen wie eBay abgreift, um Steuerbetrüger ausfindig zu machen — etwa durch einen Abgleich von Steuererklärungen mit dem Lifestyle, den jemand auf Instagram zeigt. Wer arm ist, aber auf Selfies nicht arm aussieht, könnte dann ein Problem bekommen, ganz automatisch.

Source: spiegel.de