Uni-Tübingen

attempto online

03.02.2025

“Filtert smarter statt mehr!”

GEBF-Nachwuchspublikationspreis 2025 für Publikation von LEAD-Mitgliedern verliehen

Ausgezeichnete Publikation

Wie lässt sich KI sinnvoll einsetzen, um Literatur der Empirischen Bildungsforschung inhaltlich zu prüfen und zusammenzufassen? 

Diese Frage beantwortete ein Team von Wissenschaftlerinnen und Wissenschaftlern der LEAD Graduate School & Research Network (Learning, Educational Achievement, and Life Course Development) so gut , dass es für seine Publikation mit dem Nachwuchspublikationspreis 2025 der Gesellschaft für Empirische Bildungsforschung (GEBF) in der Kategorie Promovierende ausgezeichnet wurde.

Die Zusammenfassung bestehender Literatur zu einem Thema, sogenannte Forschungssynthesen, helfen Wissenschaftlerinnen und Wissenschaftlern, einen Überblick über den aktuellen Stand der Forschung zu einem bestimmten Thema zubekommen. In der Praxis und der Anwendung sind sie außerdem ein wichtiges Instrument für Politikerinnen und Politiker, um politische Entscheidungen evidenzbasiert treffen zu können. Forschungssynthesen zu erstellen, benötigt viel Zeit und ist dadurch meist mit hohen Kosten verbunden: Denn bei der systematischen Sichtung von Primärstudien, dem sogenannten Screening, müssen zuerst viele Zusammenfassungen von Studien, sogenannte Abstracts, angeschaut und klassifiziert werden. Programme, die auf maschinellem Lernen (ML) basieren, können zwar grundsätzlich beim Klassifizieren von Abstracts unterstützen, doch wurde bisher nicht getestet, ob ML-Algorithmen dieser Aufgabe bei Studien speziell aus der Erziehungswissenschaft, Bildungsforschung und Pädagogischen Psychologie gewachsen sind. 

Die Autorinnen und Autoren der jetzt ausgezeichneten LEAD-Studie testeten dies. Ihr Ansatz bewertet die Performanz von ML-Screening-Algorithmen und fokussiert dabei auf die Kriterien Sensitivität, Spezifität und Zeitersparnis. Die Studie zeigt: Der Einsatz von ML funktioniert und kann den Forschenden viel Zeit sparen – doch die Leistung und Qualität dieses spezifischen Einsatzes hängt vom verwendeten Algorithmus sowie den Abstracts ab, die untersuchtwerden. Die Ergebnisse helfen Forschenden, ML beim Screening für Forschungssynthesen zu nutzen und dadurch deutlich schneller zu wichtigen Forschungsergebnissen zu gelangen. Das ist nicht nur praktisch, sondern kann in Situationen wie der Coronapandemie besonders relevant werden, wenn beispielsweise schnell über Maßnahmen zur Schulschließung oder die Weiterführung des Unterrichts entschieden werden muss. In Zukunft lässt sich in so einer Situation schneller zusammenfassen: Was kann uns die Wissenschaft zu diesem Thema sagen?

Die ausgezeichnete Publikation entstand als Teil des Projekts „Artificial Intelligence Assisted Systematic Literature Reviews and Meta-Analyses“ unter der Leitung von Dr. Tim Fütterer, das über das LEAD Graduate School & Research Network gefördert wird. An der Publikation beteiligte LEAD-Mitglieder sind Tim Fütterer, Thomas Gfrörer, Rosa Lavelle‐Hill, Steffen Zitzmann und Kou Murayama. Der GEBF-Nachwuchspublikationspreis 2025 in der Kategorie PhD wird Diego Campos, Universität Oslo, verliehen.

Gesellschaft für Empirische Bildungsforschung

Die GEBF, die Gesellschaft für Empirische Bildungsforschung ist eine Vereinigung von Wissenschaftlerinnen und Wissenschaftlern, die in Forschung und Lehre auf dem Gebiet der Empirischen Bildungsforschung aktiv sind. Sie schreibt jährlich zwei Nachwuchspublikationspreise in den Kategorien Postdocs und Promovierende aus. Die Preise werden für Publikationen verliehen, die Ergebnisse der Empirischen Bildungsforschung auf besonders überzeugende Weise darstellen und in einer Zeitschrift mit Peer-Review-Verfahren erschienen sind.

Rebecca Beiter

Studie

Campos, D. G., Fütterer, T., Gfrörer, T., Lavelle-Hill, R., Murayama, K., König, L., Hecht, M., Zitzmann, S., & Scherer, R. (2024): Screening Smarter, Not Harder: A Comparative Analysis of Machine Learning Screening Algorithms and Heuristic Stopping Criteria for Systematic Reviews in Educational Research. Educ Psychol Rev 36, 19. https://doi.org/10.1007/s10648-024-09862-5 

Zurück