Beteiligte Personen/Institutionen

Jun.-Prof. Dr. Samuel Merk, Prof. Dr. Martin J. Tomasik (Institut für Bildungsevaluation, Universität Zürich), Sarah Bez

Zusammenfassung

Unter formativem Assessment versteht man einen zyklischen Prozess, bei dem zunächst der Lernstand von Schüler*innen diagnostiziert wird, um anschließend zukünftige unterrichtliche Prozesse daran adaptiv auszurichten sowie Schüler*innen durch Feedback in ihrem Lernprozess und bei der Erreichung adäquater Lernziele zu unterstützen (Black & Wiliam, 2009). In der Literatur wird formativem Assessment (assessment for learning) ein hohes Potenzial zur Förderung von Schüler*innen zugeschrieben (z.B. Hattie & Timperley, 2007; Schütze et al., 2018; Shute, 2008). Insbesondere (digitale) curriculumbasierte formative Assessmentsysteme gelten als vielversprechend hinsichtlich der Unterstützung von Lehrpersonen (z.B. bei der Lernstanderfassung), da sie mithilfe standardisierter und kalibrierter Aufgabensammlungen adaptives Testen erlauben und zudem durch Visualisierungen der Ergebnisse über die Zeit eine ipsative Bezugsnorm bei der Interpretation der Ergebnisse ermöglichen (Tomasik et al., 2018). Allerdings hängt das Gelingen in der Praxis hochgradig von der adäquaten Rezeption und Interpretation der Ergebnisse ab: Normieren Lehrpersonen etwa die Ergebnisse primär im sozialen Vergleich und übersehen substanzielle intraindividuelle Entwicklungen von Schüler*innen in einzelnen Kompetenzbereichen, werden die daraus resultierenden Zielsetzungen und pädagogischen Maßnahmen im Sinne der consequential validity (Kane, 2013) mit großer Wahrscheinlichkeit inadäquat. Auch einschlägige theoretische Modelle zu data-based decision-making heben durch ihre sequenzielle bzw. zyklische Struktur die Bedeutung der Datenrezeption hervor (z.B. Coburn & Turner, 2011; Marsh, 2012; Schildkamp, 2019). Vor diesem Hintergrund untersucht das vorliegende Drittmittelprojekt in einer Forschungskooperation mit dem Institut für Bildungsevaluation der Universität Zürich erstens, wie Lehrpersonen Ergebnisse formativen Assessments interpretieren (Teilprojekt 1), und zweitens, wie sie dabei durch innovative Visualisierungen unterstützt werden können (Teilprojekt 2).

Im ersten explorativen Teilprojekt wird ökologisch valide untersucht, wie Lehrpersonen Testergebnisse formativer Assessments interpretieren und darauf basierende Maßnahmen für ihr zukünftiges unterrichtliches Handeln konstruieren. Dazu wird ein Eventsampling bei Lehrpersonen durchgeführt, die mindsteps, ein computerbasiertes formatives Assessmentsystem, regelmäßig einsetzen. Mit diesen Lehrpersonen werden dann mithilfe der  Think-Aloud-Methode (Leighton, 2017) Bildschirminterviews (inklusive Screencasts) während der Interpretation der Testergebnisse der eigenen Schüler*innen durchgeführt. In einem ersten Schritt werden zunächst die Think-Aloud-Protokolle mithilfe eines deduktiv-induktiv entwickelten Kategoriensystems hinsichtlich der adressierten statistischen Entitäten sowie Interpretationsprozesse kodiert. Basierend auf diesen Kodierungen sollen durch statistische Analysen, z.B. Markov Chains (Scholz, 2016), (typische) Muster und Verläufe exploriert werden.

Im zweiten konfirmatorischen Teilprojekt wird darauf aufbauend experimentell untersucht, wie Lehrpersonen durch unterschiedliche innovative Visualisierungen die reichhaltige und intuitive Informationsentnahme wie etwa das Erkennen von Leistungsgruppen erleichtert werden kann und inwiefern die Darstellung die Perspektive einer bestimmten Bezugsnorm (Rheinberg, 2011) beeinflusst.

 

Laufzeit

08/2019-02/2021

 

Finanzierung

Stiftung Suzanne und Hans Biäsch zur Förderung der Angewandten Psychologie

 

Literatur

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability, 21(1), 5–31. https://doi.org/10.1007/s11092-008-9068-5

Coburn, C. E., & Turner, E. O. (2011). Research on data use: A framework and analysis. Measurement: Interdisciplinary Research and Perspectives, 9(4), 173–206. https://doi.org/10.1080/15366367.2011.626729

Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), 81–112. https://doi.org/10.3102/003465430298487

Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1–73. https://doi.org/10.1111/jedm.12000

Leighton, J. P. (2017). Using think-aloud interviews and cognitive labs in educational research. Oxford: Oxford University Press.

Marsh, J. (2012). Interventions promoting educators’ use of data: Research insights and gaps. Teachers College Record, 114, 1–48.

Rheinberg, F. (2011). Bezugsnormen und schulische Leistungsbeurteilung. In F. E. Weinert (Ed.), Leistungsmessungen in Schulen (pp. 59–71). Beltz.

Schildkamp, K. (2019). Data-based decision-making for school improvement: Research insights and gaps. Educational Research, 61(3), 257–273. https://doi.org/10.1080/00131881.2019.1625716

Scholz, M. (2016). R package clickstream: Analyzing clickstream data with Markov Chains. Journal of Statistical Software, 74(1), 1–17. https://doi.org/10.18637/jss.v074.i04

Schütze, B., Souvignier, E., & Hasselhorn, M. (2018). Stichwort – Formatives Assessment. Zeitschrift für Erziehungswissenschaft, 21(4), 697–715. https://doi.org/10.1007/s11618-018-0838-7

Shute, V. J. (2008). Focus on formative feedback. Review of Educational Research, 78(1), 153–189.

Tomasik, M. J., Berger, S., & Moser, U. (2018). On the development of a computer-based tool for formative student assessment: Epistemological, methodological, and practical issues. Frontiers in Psychology, 9, 1–17. https://doi.org/10.3389/fpsyg.2018.02245