Demokratie, Behörden und KI

17.05.2021 · Algorithmische Systeme können historische Benachteiligung und Diskriminierung reproduzieren und zementieren. Am Beispiel des strukturellen Rassismus und Normabweichungen von Transgender-Menschen legten dies Laura Schelenz und Regina Ammicht Quinn in diesem Blog bereits dar. Ich möchte in meinem Beitrag nun explizit auf den Einsatz von Künstlicher Intelligenz – womit ich komplexe regelbasierte Systeme genauso meine wie solche, die auf Maschinellem Lernen basieren – auf Seiten von staatlichen Behörden eingehen.

Aus den USA sind negative Beispiele mittlerweile gut bekannt, wo etwa Rückfallquoten von Strafgefangenen durch eine Software ermittelt werden, die – wie sich inzwischen herausgestellt hat – nicht-weiße Menschen systematisch benachteiligt. Aber nicht nur in den USA, auch in Europa werden bedenkliche KI-Systeme eingesetzt. Nachdem in Großbritannien die Abschlussprüfungen für Schulabsolvent*innen wegen der Covid-19-Pandemie am Ende des Schuljahres 2020 ausfielen, entschied sich die zuständige Behörde die Abschlussnoten von einem Algorithmus errechnen zu lassen. Infolgedessen kam es bei mehr als einem Drittel der Schüler*innen zu einer Herabstufung der Noten gegenüber der Einschätzung der Lehrer*innen. Das betraf mehrheitlich Schüler*innen aus öffentlichen bzw. unterfinanzierten Schulen, deren Schüler*innen in den letzten Jahren insgesamt weniger gute Abschlussnoten erreichten. Wie sich herausstellte, war die Software so programmiert, dass sie die Leistungen der Schulen der letzten drei Jahre abbildete. Es konnte also passieren, dass die Note einer guten Schülerin aus einer eher leistungsschwachen Schule ohne eigenes Verschulden herabgestuft wurde, um der Statistik der letzten Jahre zu entsprechen. Nach Protesten wurden wieder die Bewertungen der Lehrer*innen herangezogen.

Ein oft genanntes Argument für den Einsatz von KI ist, dass die Computersysteme gerechter und fairer „entscheiden“ würden, weil sie im Gegensatz zum Menschen objektiv und neutral urteilen könnten. Maschinen werden jedoch von Menschen programmiert und lernen mit von Menschen erzeugten Daten. Sie folgen daher menschlichen Modellen und Bewertungsmaßstäben, die nie neutral sind, sondern bestimmte Werte mittragen. Selbst bei guten Absichten besteht die Gefahr, dass der Einsatz von KI bestehende menschliche Vorurteile und Vorannahmen verfestigt. Das KI-System kann zur selbsterfüllenden Prophezeiung werden, weil es genau die Realität erzeugt, für die es programmiert ist. Wie sollte sich eine Schule jemals verbessern, wenn sie nach einem festgelegten Modell wie in der Vergangenheit performen muss? Wäre es da nicht ein besserer Ansatz, die Ergebnisse des Algorithmus zum Anlass zu nehmen, um das Bildungssystem beispielsweise durch besser Finanzierung der Schulen zu verbessern, als die Noten der ohnehin schlechter Gestellten herabzustufen?

Noch einen Schritt weiter geht der Algorithmus des Österreichischen Arbeitsmarktservices, der Mitte 2020 in Betrieb gehen sollte: Er arbeitet nämlich mit den personenbezogenen Daten der Betroffenen. Das „Arbeitsmarkt-Chancen-Assistenzsystem“ (AMAS), das sich seit 2018 im Testbetrieb befand, wurde daher vorerst von der österreichischen Datenschutzbehörde gestoppt und liegt nun beim obersten Verwaltungsgericht. Das AMAS sollte die Reintegrationschancen von Arbeitssuchenden in den regulären Arbeitsmarkt berechnen und teilte die Menschen dazu in drei Kategorien mit guten, mittleren und schlechten Jobaussichten ein. Aus Gründen der Schulungseffektivität sollte v.a. die mittlere Kategorie kostenlose Weiterbildungsangebote erhalten. Zur Einteilung in die Kategorien sucht das System nach historischen statistischen Zusammenhängen zwischen erfolgreicher Erwerbstätigkeit und individuellen Merkmalen Arbeitssuchender wie Alter, Geschlecht, Ausbildung, Betreuungspflichten und gesundheitlicher Beeinträchtigung sowie vergangener Beschäftigung.

Der Österreichische Arbeitsmarktservice sieht sich u.a. mit dem Vorwurf konfrontiert, dass das System verschiedene Formen von Bias aufweise und infolgedessen potentiell bestimmte Personengruppen aufgrund von Merkmalen diskriminieren würde. Dies wäre gesetzlich unzulässig, wie beispielsweise Benachteiligung wegen des Geschlechts, einer Behinderung oder der Staatsangehörigkeit. Laut einer wissenschaftlichen Studie bewertet das AMAS beispielsweise Frauen schlechter als Männer, Personen mit gesundheitlicher Beeinträchtigung schlechter als solche ohne und Nicht-Österreicher*innen schlechter als Österreicher*innen. Das AMAS verwendet zudem genau jene sensiblen Merkmale zur Einordnung der Personen in die Kategorien, welche in der Vergangenheit zur sozioökonomischen Schlechterstellung geführt haben. Anstatt hier Ungleichbehandlung am Arbeitsmarkt und gesellschaftliche Vorurteile zu hinterfragen, werden sie in das System implementiert und können in weniger Unterstützung für die Betroffenen enden – was die strukturelle Benachteiligung in die Zukunft überträgt und zementiert.

Ein umfassendes System wie in Österreich scheint in Deutschland aktuell nicht in der Planung, auch wenn die Bundesagentur für Arbeit und die Jobcenter zahlreiche Computersysteme benutzen. Algorithmische Systeme werden allerdings in anderen Bereichen in mehr oder weniger großem Ausmaß verwendet, beispielsweise vom Bundesamt für Migration und Flüchtlinge (BAMF). Die Meinungen zu diesem Einsatz gehen auseinander; es gibt sowohl Kritik, z. B. an der Fehlerquote der Technik (bei der Spracherkennungssoftware liegt sie bei 15 Prozent), als auch positive Stimmen, die hervorheben, dass das BAMF ansonsten überfordert wäre und die Algorithmen helfen würden seine hoheitlichen Aufgaben besser und gerechter zu erfüllen. Die unterschiedlichen Betrachtungsweisen zeigen, wie kontrovers der Einsatz von Algorithmen von staatlicher Seite ist. In der deutschen KI-Strategie sieht sich die Bundesregierung daher „in der Pflicht, eine verantwortungsvolle und gemeinwohlorientierte Nutzung von KI voranzubringen.“

Um diesen hohen Ansprüchen gerecht zu werden, muss der Staat besondere Sorgfalt beim Einsatz automatisierter Systeme walten lassen. Hier bedarf es sowohl einer breiten gesellschaftlichen Diskussion als auch einer Technik- und Risikofolgenabschätzung durch unabhängige Expert*innen, welche die möglichen negativen Konsequenzen der Systeme reflektieren und abwägen sowie die Grenzen des staatlichen Einsatzes von KI definieren. Um die Rechte der Betroffenen sicherzustellen, müssen algorithmische Entscheidungen erklärbar und vor allem einspruchsfähig sein – was übrigens auch für den Einsatz von KI seitens der Privatwirtschaft gelten sollte. Das bedeutet auch, dass entsprechende Stellen sowie genügend kompetente Mitarbeiter*innen für Einzelfallprüfungen zur Verfügung stehen müssen. Gerade weil algorithmische Systeme bestehende Ungleichheiten so offenkundig vor Augen führen können, sind sie eine Chance, um strukturelle Defizite zu beheben – nicht um sie weiter zu zementieren. Demokratien und ihre Bürger*innen sollten immer eine gerechtere Gesellschaft als Ziel vor Augen haben, dabei können und sollten wir durchaus auf modernste, ethisch wünschenswerte Technik zurückgreifen.

Der Beitrag erschien in etwas ausführlicher Form zuerst in Denkfabrik (Hrsg.) (2021): Verbündet Euch. Nautilus Flugschrift, S. 149-156.

Kurz-Link zum Teilen: https://uni-tuebingen.de/de/211219