03.02.2025

“Filtert smarter statt mehr!”

GEBF-Nachwuchspublikationspreis 2025 für Publikation von LEAD-Mitgliedern verliehen

Wie lässt sich KI sinnvoll einsetzen, um Literatur der Empirischen Bildungsforschung inhaltlich zu prüfen und zusammenzufassen? Antworten auf diese Frage lieferte folgende Publikation, die dafür nun mit dem GEBF-Nachwuchspublikationspreis 2025 in der Kategorie Promovierende ausgezeichnet wurde: 

Campos, D. G., Fütterer, T., Gfrörer, T., Lavelle-Hill, R., Murayama, K., König, L., Hecht, M., Zitzmann, S., & Scherer, R. (2024): Screening Smarter, Not Harder: A Comparative Analysis of Machine Learning Screening Algorithms and Heuristic Stopping Criteria for Systematic Reviews in Educational Research. Educ Psychol Rev 36, 19. https://doi.org/10.1007/s10648-024-09862-5 

Die Zusammenfassung bestehender Literatur zu einem Thema, sogenannte Forschungssynthesen, helfen Wissenschaftler:innen, einen Überblick über den aktuellen Stand der Forschung zu einem bestimmten Thema zu bekommen. In der Praxis und der Anwendung sind sie außerdem ein wichtiges Instrument für Politiker:innen, um politische Entscheidungen evidenzbasiert treffen zu können. Forschungssynthesen zu erstellen, benötigt viel Zeit und ist dadurch meist mit hohen Kosten verbunden: Denn bei der systematischen Sichtung von Primärstudien, dem sogenannten Screening, müssen zuerst viele Zusammenfassungen von Studien, sogenannte Abstracts, angeschaut und klassifiziert werden. Programme, die auf maschinellem Lernen (ML) basieren, können zwar grundsätzlich beim Klassifizieren von Abstracts unterstützen, doch wurde bisher nicht getestet, ob ML-Algorithmen dieser Aufgabe bei Studien speziell aus der Erziehungswissenschaft, Bildungsforschung und Pädagogischen Psychologie gewachsen sind. Die Autor:innen der Studie testeten dies. Ihr Ansatz bewertet die Performanz von ML-Screening-Algorithmen und fokussiert dabei auf die Kriterien Sensitivität, Spezifität und Zeitersparnis.

Die Studie zeigt: Der Einsatz von ML funktioniert und kann den Forschenden viel Zeit sparen – doch die Leistung und Qualität dieses spezifischen Einsatzes hängt vom verwendeten Algorithmus sowie den Abstracts ab, die untersucht werden. Die Ergebnisse helfen Forschenden, ML beim Screening für Forschungssynthesen zu nutzen und dadurch deutlich schneller zu wichtigen Forschungsergebnissen zu gelangen. Das ist nicht nur praktisch, sondern kann in Situationen wie der Coronapandemie besonders relevant werden, wenn beispielsweise schnell über Maßnahmen zur Schulschließung oder die Weiterführung des Unterrichts entschieden werden muss. In Zukunft lässt sich in so einer Situation schneller zusammenfassen: Was kann uns die Wissenschaft zu diesem Thema sagen?

Die Publikation entstand als Teil des Projekts „Artificial Intelligence Assisted Systematic Literature Reviews and Meta-Analyses“ unter der Leitung von Dr. Tim Fütterer, das über das LEAD Graduate School & Research Network gefördert wird. Der GEBF-Nachwuchspublikationspreis 2025 in der Kategorie PhD wird Diego Campos, Universität Oslo, verliehen. An der Publikation beteiligte LEAD-Mitglieder sind Tim Fütterer, Thomas Gfrörer, Rosa Lavelle‐Hill, Steffen Zitzmann und Kou Murayama.

Die GEBF, die Gesellschaft für Empirische Bildungsforschung ist eine Vereinigung von Wissenschaftler:innen, die in Forschung und Lehre auf dem Gebiet der Empirischen Bildungsforschung aktiv sind. Sie schreibt jährlich zwei Nachwuchspublikationspreise in den Kategorien Postdocs und Promovierende aus. Die Preise werden für Publikationen verliehen, die Ergebnisse der Empirischen Bildungsforschung auf besonders überzeugende Weise darstellen und in einer Zeitschrift mit Peer-Review-Verfahren erschienen sind.