"Forschungsenvaluation ist von einem Trend zur Quantifizierung wissenschaftlicher Arbeit gekennzeichnet. Wo und warum werden diese Forschungsindikatoren missbräuchlich verwendet? Und welche echte Alternativen haben wir?"

In ihrer Keynote spricht Lisa Matthias über den aktuellen Communitystandard, die Alternativen und die Zukunft der Evaluation wissenschaftlicher Arbeit. Wie können wir den Beitrag wissenschaftlicher Arbeit zu Forschung und Gesellschaft bewerten und vergleichen?

In Ihrer noch jungen Karriere hat Lisa Matthias bereits an einschlägigen Publikationen (jeweils verlinkt) zu den Themen Open Access, Open Peer Review und Forschungsmetriken mitgewirkt. Sie ist in der Open Science Community exzellent vernetzt und kann vielfältige internationale Forschungsaufenthalte vorweisen.

"The peer review system has hidden economics, unexpected inefficiencies, and receives frequent complaints. If it was a business, competitors could be quickly established with a massive competitive advantage. Instead, it is largely unchanged for the last ~50 years. Why?"

In der Keynote (Vortragssprache Englisch) spricht James Heathers über die Ursachen und Konsequenzen der Herausforderungen des wissenschaftlichen Peer-Review Systems. Wie problematisch sind sie wirklich? Und was sind realistische Möglichkeiten, sie zu überwinden?

Auch wenn James Heathers inzwischen außerhalb des akademischen Wissenschaftssystems arbeitet, so ist sein Beitrag zur Wissenschaftscommunity doch ungebrochen und einflussreich. Er ist als Daten-analysierender Whistleblower in zahlreichen Fällen bereits so erfolgreich dabei "schlampige Forschung" ans Tageslicht zu bringen und zu korrigieren, dass Science ein Feature über ihn verfasste. Oftmals aus einer meta-scientifischen Perspektive wirkt er weiterhin an wichtigen Publikationen zur Weiterentwicklung des Wissenschaftssystems mit und betreibt Wissenschaftskommunikation durch Beiträge in Magazinen (z.B. in The Atlantic) und durch seinen Wissenschafts-Podcast "Everything Hertz".

"Ich möchte gerne meine Studie präregistrieren. Wie fange ich an? In diesem Workshop wird Xenia Schmalz die Vorteile und potentielle Hindernisse von Präregistrierungen und Registered Reports vorstellen, und Schritt für Schritt erläutern, wie man eine Präregistrierung zusammenstellt."

In ihrem Workshop befasst sich Xenia Schmalz mit dem inzwischen allgegenwärtigen Thema der Präregistrierung: Warum sollten wir präregistrieren und was bedeutet dies für mich? Außerdem im Hands-on Teil: Wie funktioniert eine Präregistrierung praktisch und welche Optionen habe ich?

Xenia Schmalz ist ist Postdoktorandin am Klinikum der Ludwig-Maximilans-Universität in München, Ambassador des Center for Open Science (Virginia, USA) und war im Programmjahr 2018/19 Fellow für Freies Wissen der Wikimedia. Sie ist außerdem Member des Open Science Center München in dessen erweiteren Zusammenhang sie regelmäßig Vorträge und Workshops zu den Themen Präregistrierung, Registered Report und Open Science gibt.

"Im Workshop leuchten wir die für qualitative Sozialforschung grundlegende Bedeutung intersubjektiver Nachvollziehbarkeit in qualitativ/rekonstruktiven Sekundärdatenanalysen aus. Einen Schwerpunkt bilden Fragen zur Relevanz von Kontextwissen in der Nachnutzung, die wir anhand exemplarischer Analysen betrachten."

Mirja Silkenbeumer, Professorin für Erziehungswissenschaft mit Schwerpunkt Förderung der emotionalen und sozialen Entwicklung und des Lernens an der Goethe-Universität Frankfurt. Leitung des Arbeitsbereichs Professionalisiertes Fallverstehen und Beratung sowie des Archivs für Pädagogische Kasuistik (ApaeK).

Saskia Terstegen, Dipl. Päd., wissenschaftliche Mitarbeiterin im DFG-Projekt "QualiBi"- Aufbau einer Forschungsdatenplattform für die qualitative Bildungsforschung am Fachbereich Erziehungswissenschaften an der Goethe-Universität Frankfurt.

"Schonmal gerätselt, was die Variable "V10b_mcI" nochmal bedeutet? Wissenschaftliche Transparenz heißt auch, das man versteht worum es geht. Wer zum Workshop einen Datensatz mitbringt, geht mit einem praktischen Codebook wieder nach Hause."

Ein gut dokumentiertes Codebook macht den eigenen Datensatz für die Forschenden selbst und die Community nachvollziehbar und trägt somit zu FAIR data bei. Ruben Arslan stellt im Workshop sein R-Paket {Codebook} vor, das Wissenschaftler*innen bei der Generierung eines solchen Codebooks viele Stunden Arbeit erspart.

Ruben Arslan ist Ambassador des Center for Open Science  (Virginia, USA) und war im Programmjahr 2016/17 Fellow für Freies Wissen der Wikimedia. Für sein offenes und flexibles Survey Tool (und R-Paket) 'formr', das übrigens sehr gut mit dem 'Codebook' Paket zusammenarbeitet, erhielt er den Mission Award for 2020 der Society for the Improvement of Psychological Science (SIPS). Außerdem bloggt er über Open und Meta Science auf The 100% CI.

"Allzu oft können publizierte statistische Analysen nicht von anderen Wissenschaftler:innen wiederholt werden, weil Syntax/Daten/Software fehlen/fehlerhaft sind. RMarkdown kann hier Abhilfe schaffen."

Im Workshop gibt Samuel Merk eine niederschwellige Einführung in das reproduzierbare Arbeiten mit RMarkdown und zeigt innovative Möglichkeiten der Ergebniskommunikation auf. Die Teilnehmenden arbeiten im Workshop Hands-on an der Generierung reproduzierbarer Datenanalysen. Vorkenntnisse in R sind hilfreich.

Samuel Merk ist Mitbegründer der Tübingen Open Science Initiative und Organisator der 3-teiligen Veranstaltungsreihe "Open (your) Science!". 2019 gewann er den Autorenwettbewerb für Open Educational Resources der Universität Tübingen. Seit mehreren Jahren optimiert er die Benutzerfreundlichkeit seiner reproduzierbaren Datenanalysen.

„Bei dem Problem der Datenqualität geht es nicht einfach nur um anscheinend gut handhabbare Prinzipien, wie ‚fit for purpose‘ oder die FAIR-Prinzipien (findable, accessible, interoperable, reusable), denn sie sagen, wie der RfII ausführt, noch nichts über eine wissenschaftliche Güte von Daten aus. Datenqualität in einem umfassenden Sinne kann nur fortgesetzt im Methodendiskurs einer wissenschaftlichen Community verhandelt, festgestellt und weiterentwickelt werden.“

Im Workshop von Sabine Reh und Lars Müller wird es um den Zusammenhang von Datenqualität und epistemologischen, methodologischen und methodischen Fragen gehen. Ausgehend von einem Bewusstsein um die Macht und Konstruktivität von „Datafizierung" soll anhand verschiedener Beispiele der bildungshistorischen „Nachnutzung“ von Daten aber gezeigt werden, wie gewinnbringend diese sein kann und wie sie „quellenkritisch“ gelingt. Der Workshop wirbt auf diese Weise für ein Forschungsethos, in dem das Kümmern um Forschungsdaten und die Debatten über deren Qualität zur wissenschaftlichen Arbeit dazu gehören.

Sabine Reh ist als Leiterin einer Forschungsinfrastruktureinrichtung, der Bibliothek für Bildungsgeschichtliche Forschung des DIPF | Leibniz-Instituts für Bildungsforschung und Bildungsinformation wie auch als Professorin für Historische Bildungsforschung an der Humboldt-Universität zu Berlin in unterschiedlichen Hinsichten mit Fragen der Open Humanities befasst. Sie kümmert sich um Forschungsdaten, deren Archivierung und Nachnutzung und schreibt dazu auch, u.a. Sabine Reh/Petra Stanat (2021): Forschungsdaten in den Bildungswissenschaften - Archivierung und Nachnutzung. Eine Einleitung. In ZfPäd 67, H. 6, S. 827-839 doi: 10.3262/ZP2106827  

Lars Müller ist in seiner Funktion als Wissenschaftlicher Bibliothekar ebenfalls an der Bibliothek für Bildungsgeschichtliche Forschung tätig.

"Ist Open Science auch mit qualitativer Forschung möglich? Wie, zeigt Sebastian Karcher in dem Workshop 'Transparente Praktiken in der qualitativen Forschung' "

Wie lässt sich qualitative Forschung - mit ihren methodischen, ethischen, und epistemologischen Besonderheiten - transparent gestalten? In diesem Workshop lernen Teilnehmende verschiedene Ansätze zur Transparenz in der qualitativen Forschung. Teil des Workshops sind praxisnahe Übungen zum de-identifizieren qualitativer Daten, der Planung transparenter Forschungsprojekte mit einer "Transparency Checklist" und die transparente Verknüpfung von Text, Methoden, und Daten anhand des Tools "Annotation for Transparent Inquiry".

Sebastian Karcher ist Research Assistant Professor für Politikwissenschaft und Associate Director Des Qualitative Data Repository (QDR) an der Syracuse University. In seiner Forschung beschäftigt er sich mit technologischen, methodologischen und ethischen Aspekten offener qualitativer Forschung. Er publiziert regelmäßig in Zeitschriften in den Informations- und Sozialwissenschaften, zuletzt u.a. "Transparency in Practice in Qualitative Research" (mit Diana Kapiszewski in PS: Political Science & Politics).