Internationales Zentrum für Ethik in den Wissenschaften (IZEW)

Conversational Agents in der Bildung: Ethische Reflexion

KI-Systeme und insbesondere interaktive, personalisierte Anwendungen wie Chatbots bieten neue Chancen der Wissensvermittlung, die zielgruppengerecht und barrierefrei auf die Bedürfnisse von Schüler*innen und Lehrkräften abgestimmt werden können. Problemstellungen wie die zunehmend anthropomorphe Ausgestaltung von KI-Anwendungen, blindes Vertrauen in und potenzielle Abhängigkeiten von KI-Informationen, mangelnde Daten- und KI-Kompetenz, sowie die massenhafte Verarbeitung personenbezogener Daten bergen jedoch auch erhebliche Risiken im Bildungsbereich. Gefördert von der Hector Stiftung begleitet das Ethikprojekt die interdisziplinären Arbeiten der Projekte des AI + Education Future Fund durch Methoden der integrierten, kooperativen Forschung. 

Teammitglieder

Laufzeit

01.07.2025 – 30.06.2028

Förderung

Projektbeschreibung

Die interdisziplinären Zukunftsprojekte des AI + Education Future Fund entwickeln verschiedene pädagogische KI-Lösungen für Kinder, Schüler*innen und Lehrkräfte. Um eine souveräne und kritische Nutzung von KI-Anwendungen zu ermöglichen, ist ein grundlegendes Verständnis ihrer Funktionsweisen zentral. Im Sinne von Medienmündigkeit bedarf es Befähigungsangebote, die begleitete Erfahrungen ermöglichen und Gelegenheiten zur Reflexion der KI-Nutzung unterbreiten. Fragen der Medienmündigkeit betreffen gegenwärtig besonders Anwendungen der kommunikativen KI (KI-Chatbots und Conversational Agents), die mit den Lernenden in einen menschenähnlichen Austausch treten. Dabei sollten sie als technische Artefakte in Bezug auf Design und (unbeabsichtigte) Folgewirkungen einer kritischen Einschätzung standhalten, um ihre Vorteile in der Schule und im außerschulischen Bereich ausspielen zu können. 

Das Ethikprojekt integriert die interdisziplinären Arbeiten im Forschungsverbund kritisch-reflexiv auf Basis der Medien- und KI-Ethik sowie eines kinderrechtlichen Ansatzes. Erforscht werden insbesondere drei Schwerpunktfelder:

1) Kommunikationsdesign für Technikkompetenz: Anwendungen kommunikativer KI lassen Personen, insbesondere Kinder, leicht vergessen, dass sie mit statistisch arbeitenden Sprachmaschinen kommunizieren. Im Design von KI-Chatbots geht es aus ethischer Sicht um die Vermeidung unangemessener Anthropomorphisierung, gleichzeitig werden Möglichkeiten eruiert, die Vorteile einer niedrigschwelligen Kommunikationssituation für ein produktives Lernerlebnis zu nutzen. 

2) KI als Wissensquelle: Wenn Personen nicht klar ist, wie Informationen durch KI verarbeitet oder generiert werden, können sie schlecht einschätzen, ob und inwiefern die ausgegebenen Informationen falsch und/oder durch Biases beeinflusst sind. Kinder und Lehrkräfte benötigen Unterstützung hinsichtlich der notwendigen Wissensgrundlagen für einen kritisch-reflexiven Umgang mit KI-generierten Informationen. Das Projekt prüft Möglichkeiten, dieses Wissen im Rahmen der entsprechenden Anwendungen bereitzustellen. 

3) Data Literacy und informationelle Selbstbestimmung: Bei der Nutzung von KI-Systemen werden in der Regel personenbezogene oder -beziehbare Daten aufgezeichnet. Transparenz und eine informierte, freiwillige Einwilligung zur Verarbeitung personenbezogener Daten sind zentrale Voraussetzungen der informationellen Selbstbestimmung. Gerade Kinder und Jugendliche sollen im Projekt entwicklungsgerecht zu den entsprechenden Entscheidungen befähigt werden.

Die übrigen Projekte des Hector AI + Education Innovation Fund werden bei der Reflexion des eigenen Studiendesigns, insbesondere bezüglich Methoden der partizipativen Forschung mit Kindern, sowie möglicher empirischer Teilstudien zu ethischen Fragestellungen unterstützt. Mit den Projektpartnern im Verbund werden interdisziplinär Vorschläge und Leitlinien zu KI-Kennzeichnungen und Transparenz für eine adressatengerechte informierte Einwilligung bei Conversational Agents entwickelt. Basierend auf den Projektergebnissen erarbeitet das Ethik-Projekt Richtlinien für die Entwicklung interaktiver, sprachbasierter KI und macht diese in einem Policy Paper der Fachöffentlichkeit zugänglich.