19.08.2022

Ethical thoughts on the use of AI in migration - Interview with Prof. Ammicht Quinn

Regina Ammicht Quinn is Professor of Ethics at the International Center for Ethics in Science at the University of Tübingen, and spokesperson for the Center. She is also chair of the independent Cyber Valley Public Advisory Board. Rebecca Beiter, Public Engagement Manager at Cyber Valley Tübingen, spoke with Ammicht Quinn about her views on the use of AI in migration and asked what solutions AI can offer in this area.

Frau Ammicht Quinn, wie wird KI in der Migration aktuell eingesetzt?

Das einfachste Beispiel sind die Smartphones; also Techniken zur Information und Orientierung, aber auch zur Kontrolle der Menschen. Andere Techniken versuchen zum Beispiel Migrationsströme vorherzusagen, um bessere Versorgungen zu gewährleisten. Es gibt Techniken zur Identifikation, wenn Menschen ohne Papiere und ohne Visum einreisen, die Daten der Menschen mit biometrischen Datenbanken abgleichen. Weitere Techniken dienen der Risikoanalyse, zum Beispiel in Form von Lügendetektoren, die momentan an der griechischen Grenze eingesetzt werden.

Sie sprechen von „Techniken“; ich verwende eher den Begriff „intelligente Systeme“. Gibt es für Sie einen Unterschied?

Was für intelligente Systeme gilt, gilt für alle Techniken auch. Nur verschärft sich die Lage mit intelligenten Systemen, weil sie umfassender umgreifen und schwerer zu kontrollieren sind als beispielsweise eine Waschmaschine.

Wie funktioniert der Lügendetektor genau: Die Menschen werden befragt und nebenbei analysiert ein intelligentes System die Sprache oder den Gesichtsausdruck daraufhin, ob diese Person lügt?

Es ist noch komplexer, da die Asylsuchenden am Bildschirm mit einem Avatar sprechen. Je nach Voreinstellung hat dieser Avatar ein freundliches oder ein sehr strenges Gesicht. Menschen auf der Flucht sind häufig Menschen mit traumatischen Erfahrungen, die auf einen solchen Avatar mit viel größerer Nervosität oder größerem Misstrauen reagieren, als wir das tun würden. Momentan erkennt dieses System traumatische Reaktionen als Täuschung oder Lüge und empfiehlt diese Menschen für die Rückführung.

Eine gesellschaftliche und politische Verantwortung über Asylverfahren und Menschenleben wird dadurch an Technik abgeben.

Das dürfen wir nicht, weder rechtlich noch moralisch. Es dürfen keine Lebensentscheidungen automatisiert und auch nicht teilautomatisiert getroffen werden. Und schon gar nicht an Grenzen, wo es tatsächlich oft Entscheidungen über Leben und Tod sind.

... wobei das Beispiel der Lügendetektoren zeigt, dass es ja faktisch bereits getestet wird. 

Genau, sie sind entwickelt worden im EU Projekt „iBorderCTRL". Bereits in der Entwicklungsphase konnte man sich vorstellen, was mit dieser Technik geschieht. Wir müssen nicht nur sorgfältig mit Grenzsituationen umgehen, sondern sorgfältig überlegen, wohin uns unsere Forschungsfreiheit eigentlich führt. Techniken sind in diesem Sinne eben nie neutral, weil Leitvorstellungen, Werte, Normen, Idealbilder in Techniken eingeschrieben sind.

Technik wird allerdings häufig damit assoziiert, neutraler, objektiver zu sein als Menschen. Wenn intelligente Systeme an der Grenze zum Einsatz kommen, geschieht dass dann nicht sogar zum Wohle der migrierenden Menschen? Ist die Technik neutraler, als wenn sie auf andere Menschen an Grenzen träfen?

Menschen sind subjektiv und emotional. Nicht mal Schiedsrichter im Fußball sind wirklich neutral. Mit der Neutralität ist es, glaube ich, weder beim Menschen noch in der Technik wirklich weit her. Aber es ist zu einfach, Menschen und Technik gegenüber zu stellen. Denn Technik im Kontext menschlichen Handelns bedeutet immer, dass Technik auch „handelt“. Wir handeln mit Technik und Technik handelt mit uns. In diesem Kontext sprechen wir von soziotechnischen Systemen. Wir müssen wissen, dass Konflikte über Technik, die wir haben, immer auch gesellschaftliche Konflikte sind.

... die wir versuchen, mit Technik zu lösen. Sollte man überhaupt KI an Grenzen einsetzen?

Keine einfache Frage. Die grundsätzlichen Spielregeln sind: Techniken dürfen keine Lebensentscheidungen treffen, nicht automatisiert und auch nicht teilautomatisiert, weil dann immer die Gefahr ist, dass der Technik zu viel Objektivität und Wahrheit zugeschrieben wird. Das Zweite ist: Verantwortung darf nicht abgegeben werden. Und das Dritte: Wir brauchen natürlich Techniken in schwierigen Situationen. Wir brauchen Techniken für die Seenotrettung, sonst sterben noch mehr Menschen im Mittelmeer.

Zugleich wissen wir, dass je stärker technisch überwacht bestimmte Migrationsrouten sind, zum Beispiel mit Drohnen, Wärmebildkameras, Bewegungsmeldern oder Herzschlagsensoren, desto riskantere Wege nehmen Menschen. Mir macht das große Sorgen. Wir haben intelligente Systeme, die schnelle, saubere, neutrale Lösungen versprechen. Doch bei dem Versuch, diese Lösungen herzustellen, entstehen zahlreiche Probleme: Diskriminierungen und Menschenrechtsverletzungen. Wir brauchen politische Lösungen, wie wir mit einer mobilen Weltbevölkerung umgehen, und nicht eine Hochrüstung von Grenzen.

In Tübingen gab es vor kurzem eine Tagung zu dem Thema „Border Regimes“. Haben Sie denn den Eindruck, dass sich KI-Forschende der Verantwortung der Wissenschaft bewusst sind?

Das Problem ist, dass wir hier viel Grundlagenforschung machen, bei der schwer vorstellbar ist, wo sie einmal implementiert werden könnte. Ein klassisches Dilemma: Am Anfang einer Forschung könnte man vieles ändern, um ein mögliches Produkt besser zu machen. Wenn man am Ende ist und weiß, wie es aussehen wird, ist es oft zu spät. Cyber Valley versucht, die Gesellschaft früher in den Prozess der Forschung einzubinden und den Dialog zu starten – das müsste noch in viel größerem Maße stattfinden. Wir als Public Advisory Board fragen junge Menschen, die in Cyber Valley Projekte entwickeln, zwei Dinge: Wo in der besten aller möglichen Welten wird ihre Forschung einmal landen und wo in der schlechtesten aller möglichen Welten? Und was können sie jetzt schon tun, um das zu beeinflussen?

Und wie sind die Reaktionen drauf?

Manche sagen: Ich mache Forschung; das hat damit doch gar nichts zu tun. Und andere sind sich dessen sehr bewusst.

Im Interview mit ArrivalAid kamen ganz pragmatische, praktische Forderungen an die Wissenschaft auf, zum Beispiel bessere Sprachübersetzungssysteme für seltene Sprachen. Fehlt der Wissenschaft der Bezug zu diesen realen Problemen, die gelöst werden sollten?

Es ist völlig klar, dass wir finanzielle und strukturelle Unterstützung brauchen für gemeinwohlorientierte künstliche Intelligenz. Denn ein hoher Anteil der Forschung wird letztendlich für Konsum, Kommerz und Werbezwecke eingesetzt. Und ja, wir brauchen mehr Teilhabe mit anderen, nicht für andere.

Sie waren Staatsrätin für interkulturellen und interreligiösen Dialog als parteiloses Mitglied der Landesregierung in Baden Württemberg. Welche Möglichkeiten sehen Sie, dass KI unterschiedliche Kulturen und religiöse Hintergründe migrierender Menschen zusammenbringt?

Tatsächlich ist Sprachverständnis ein ganz wesentlicher Teil. Eine weitere Idee sind Lernprogramme, die auf die ganz individuellen Bedürfnisse von Menschen zugeschnitten sind, aber keine Profile bilden oder Daten verkaufen. Man könnte sich Augmented oder Virtual Reality Programm vorstellen mit der Frage: Wie fühlt es sich denn für mich an, durch deine Heimat zu gehen? Alles, was Kontakte sowohl in die alte als auch in die neue Heimat, Orientierung und Information befördert, ist gut. Aber letztendlich geht es darum, anderen mit Wohlwollen und Neugier zu begegnen. Das kann am Bildschirm mittels Technik passieren, aber viel besser tatsächlich in der Wirklichkeit.

Wie bewerten Sie denn den Einsatz von KI in der Migration: Stehen Sie dem eher hoffnungsvoll oder eher sorgenvoll gegenüber?

Ich stehe dem sorgenvoll gegenüber. Ein Beispiel: Es gab in Afghanistan Polizeibildungsprojekte. Für diese wurden von den Teilnehmer:innen Namen, Bilder, Fingerabdrücke, und Scans hinterlegt. Nun fürchtet man, dass all diese Daten in den Händen der Taliban sind. Wenn jemand einen Behördengang macht, kann das tödlich sein. Was wir uns unter biometrischen Datenbanken als Lösung vorstellen, ist ein extremes Zukunftsrisiko.

Ein anderes Beispiel: Das Bundesamt für Migration und Flüchtlinge benutzt seit 2019 eine Spracherkennungs- und Dialekterkennungssoftware. Damit soll festgestellt werden, ob die Menschen wirklich daherkommen, woher sie behaupten. Das ist Unsinn. Das System hat eine extrem hohe Fehlerquote, und Sprachgrenzen halten sich nicht an Ländergrenzen. Und: Tübingen hat seit 2019 eine Liste mit Asylbewerbern, die als „potenziell gefährlich“ gelten. Der Landesdatenschutzbeauftragte hat das nun verboten.

Das zeigt auch nochmal, warum es wichtig ist, bei dem Thema KI und Migration die ethische Perspektive einzubeziehen.

Die Ethik ist wie ein Stück Archäologie. Was für Werte liegen denn eigentlich einem technischen Vorhaben zugrunde? Sie ist genauso ein Stück Zukunftsforschung mit der Frage: Wie verändert sich die Gesellschaft durch solche technischen Lösungen? Ist das wünschenswert? Und sie ist eine Strukturanalyse. Ethik analysiert, welche Voraussetzungen wir brauchen, um eine wünschenswerte Lösung zu erreichen, beispielsweise welche Regelungen, Zertifikate, Bildungsprogramme oder Teilhabe brauchen wir, um tatsächlich in einer guten technisierten Gesellschaft leben zu können.

Bleiben wir zum Abschluss beim ethischen Blick in die Zukunft: Welche KI-Systeme brauchen wir, damit Migration gut gelingen kann? Wo kann Technik eine Lösung bieten?

Wir brauchen tatsächlich intelligente Lösungen für bürokratische Fragen. Wir brauchen intelligente Lösungen für rechtliche Fragen, für sprachliche Fragen zu Bildungsfragen. Wir brauchen auch intelligente Lösungen, um Gerechtigkeit voranzutreiben. Lösungen, in denen nicht Grenzschutz vor Menschenrechte gestellt wird, sondern umgekehrt.

Das geschieht bei der Seenotrettung oder in anderen Situationen, wo flüchtende Menschen dringend auf Hilfe angewiesen sind und wir durch Überwachungstechnologien feststellen können, welche Art von Hilfe wie schnell nötig ist. Aber insbesondere für diesen Kontext Flucht, Vertreibung, Migration müssen wir uns bewusst werden, dass solche Systeme nicht nur für Menschen wie mich gebaut werden – weiß, klar als Frau erkennbar, heterosexuell, wohlhabend –, sondern tatsächlich für alle Menschen.

An article by Rebecca Beiter, Cyber Valley Tübingen. Original publication

The interview was shortend and edited for the written form. It was held in German. The long version of the interview can be found in the latest episode of our podcast “Direktdurchwahl“.
For another interview in the podcast episode: "Interview on automated border control systems and the use of AI in migration"
with Martin Rubin, ArrivalAidStuttgart.