Methodenzentrum

Forschung am Institut

Quantitativ

GLI Project

On a generalization of the local independence assumption in item response theory

Local independence (LI) is a fundamental assumption of Item Response Theory (IRT) and captures the idea that, conditional on the value of some latent variable (e.g., ability), there is no association between a series of manifest variables (e.g., answers to items in psychological or educational tests). In practice, however, several effects (e.g., fatigue, changes in format, dependence between items) can substantially violate LI. This threatens model validity, invalidates the likelihood, and results in problematic estimates of the parameters and false substantial inferences. Research on the topic has been extensive, yet violations of LI remain an open problem with blurred boundaries. In an attempt to disentangle the concepts involved, a generalization of LI based on Knowledge Space Theory (KST) was recently suggested by Noventa, Spoto, Heller, & Kelava (2019). This integrated KST-IRT approach accounts indeed for `invasive' relations between items while retaining the usual characterization of LI. The combinatorial and set-theoretic approach of KST is used to identify the partial order representing the relation between the items and to obtain a generalized class of likelihoods that accounts for both response and trait dependence. Furthermore, the KST-IRT approach allows generalizing and transferring of techniques from polytomous items to collections of dichotomous ones, thus providing a further approach to the modeling of local dependence and an alternative item-based approach to testlets. The present project aims at investigating whether the KST-IRT approach can be used to formally systematize and investigate the different forms of local dependence and the different - and often unlinked - approaches that can be found in literature. Additionally, a new perspective is investigated on the modelling and testing of local dependence, polytomous items, and testlets based on bringing together different definitions and approaches that originated in the fields of Psychometrics and Mathematical Psychology. From an applied perspective, the project aims at implementing estimation procedures for the KST-IRT models in the open source R framework.

Project Team

Stefano Noventa

Andrea Spoto

Jürgen Heller

Florian Wickelmeier

Augustin Kelava

Grant

Funded by The Deutsche Forschungsgemeinschaft (DFG)

http://augustin-kelava.de/wp-content/uploads/2018/04/dfg_logo_schriftzug_blau-300x38.jpg

Status: Not started

Eignung und Auswahl in der Medizin

Aufgrund des Urteils des Bundesverfassungsgerichtes wird die bisherige Regelung zur Vergabe von Studienplätzen, mit der nach Abzug einer Vorabquote nach den besten Abiturnoten (20%), nach Wartezeit (20%) und einer Auswahl durch die Universitäten (60%) eine Platzvergabe erfolgte, verändert werden müssen.  In das Auswahlverfahren der Hochschulen (AdH) sollen neben der Abiturnote weitere eignungsbasierte Kriterien bei der Bewerberauswahl einfließen. Aktuell werden entsprechende Auswahlkriterien u.a. zu beruflicher Eignung und Freiwilligendiensten sowie Wettbewerben konsentiert. Die Frage nach der beruflichen Eignung stellt somit einen weiteren Aspekt für eine Studierendenauswahl dar, und das Bestreben, diejenigen Studieninteressenten, die Medizin studieren möchten, hierauf im Vorfeld des Studiums zu selektieren, besteht auch aufgrund des hohen Bewerberaufkommens seit Jahren. Bislang ist es allerdings noch unklar, inwieweit eine Auswahl nach berufspraktischen Vorerfahrungen tatsächlich eine relevante Zusatzqualifikation für die späteren Studierenden darstellt.  Bisher wird ein berufspraktischer/beruflicher Vorqualifikationsbonus als Erfolgsfaktor für die berufliche Eignung postuliert. Hintergrund hierfür ist vielfach der Gedanke, dass die Bewerber aufgrund ihrer Vorerfahrungen einen besseren Zugang zu den Studieninhalten und auch der späteren konkreten Berufsausübung haben könnten, da sie mit dem Bereich vorab schon in Kontakt gekommen sind. Somit wird erwartet, dass die Bewerber mit Berufsqualifikation im Studium besser abschneiden können, ihre Berufserfahrungen positiv im Studium und späteren Beruf einbringen können und dass sie genauer als Studienbewerber ohne berufspraktische/berufliche Vorqualifikation darüber informiert sind, was sie im medizinischen Berufsalltag erwartet.  Hier soll die beantragte Studie mit folgenden zwei Kernfragen und Unterfragestellungen ansetzen:

1. Lassen sich Hinweise darauf finden, dass Studierende mit berufspraktischer Vorerfahrung aufgrund ihrer Vorerfahrungen besser im Studium abschneiden als Studierende ohne diese Vorerfahrungen

a.​ ​​​​​​Schneiden die Studierenden mit berufspraktischer Vorerfahrung allgemein, in kognitiven, psychosozialen oder praktischen Tätigkeiten besser ab als Studierende ohne berufspraktische Vorerfahrung? Ist der Bonus für den kognitiven Part bei der Studierendenauswahl gerechtfertigt? Oder handelt es sich auch aus Sicht des Individuums lediglich um Effekte eines Self-Enhancements?

b. Bleiben die Vorteile der berufspraktischen Vorerfahrung über das Studium konstant, treten sie nur am Anfang (eher kognitive Herausforderungen) oder nur gegen Ende (eher praktische Herausforderungen) auf?

2. Gibt es Hinweise darauf, dass eine bestimmte berufspraktische Vorerfahrung anhaltende Effekte aufzeigt und diese die spätere ärztliche Spezialisierung (z.B. Chirug/in, Allgemeinmediziner/in) signifikant beeinflusst (e.g. Azizzadeh, McCollum, Miller, Holliday, Shilstone, & Lucci Jr, 2003)?

Dieses Projekt findet in Kooperation mit den Universitäten Heidelberg und Freiburg unter der Leitung von Prof. Dr. Zipfel der Medizinischen Fakultät der Universität Tübingen und Prof. Dr. Kelava des Methodenzentrums der Universität Tübingen statt.

Förderung

Dieses Projekt wird gefördert durch das Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg (MWK) des Landes Baden-Württemberg („Fonds Erfolgreich Studieren in Baden-Württemberg - FESt-BW – 2. Tranche Förderlinie 4 „Eignung und Auswahl").

Status

Das Projekt läuft seit dem 01.01.2019

DLV Project

Dynamic latent variable models: Finite sample properties and sparse estimation

Summary
In recent years, technical developments have led to a substantial increase in the availability of so-called intensive longitudinal data (Trull & Ebner-Priemer, 2013). At the same time, elaborate theories (e.g., college student drop-out theories) call for the empirical integration of different data levels. These are intra-individual differences (e.g. affective changes), inter-individual differences (e.g. vulnerabilities) and time-specific influences (e.g. interventions). Often only unspecific functional forms of relationships are assumed and latent unobserved heterogeneities of trajectories can be found empirically. In order to model (intensive) longitudinal data and the theoretically expected processes, so-called dynamic latent variable models have been developed (e.g., Asparouhov, Hamaker, & Muthén, 2017, 2018). They do not fully meet the theoretically required complexity (e.g., in the case of college student drop-out theories). Thus, Kelava and Brandt (2019) proposed a comprehensive (so-called NDLC-SEM) framework. However, it can be stated that a) dynamic latent variable models were rarely used empirically, also because of their limitations, b) their finite sample properties are unclear with respect to the balance between sample size, number of measurement occasions, and the choice of prior distributions, and c) modern regularization techniques for the sparse estimation of these highly parameterized models (e.g., for the purpose of covariate selection) have not been sufficiently investigated.

This project has three goals: 1.) Using a existing intensive longitudinal data sets analyses will be carried out using the latest technical approaches. Furthermore, these results are compared with the results of traditional methodological approaches (e.g., multilevel analyses). 2.) As a second goal, extensive simulation studies will be conducted to investigate under which circumstances reliable parameter estimates can be expected for selected dynamic (NDLC-SEM) models. This concerns in particular the question of the balance of the following determinants: i) number of cases, ii) number of measurement occasions, iii) model complexity, and iv) specification of the prior distributions. 3.) As a third goal, regularization techniques (e.g., Bayesian adaptive Lasso and horseshoe+ Priors) will be investigated in detail in the context of dynamic latent variable models with regard to their ability to reduce parameters and select variables.

Project team
Augustin Kelava
Holger Brandt (Mercator Fellow)

Grant

Funded by The Deutsche Forschungsgemeinschaft (DFG)

Status: Not started

NON-NORM Project

In the past years, there was a growing insight that using linear latent variable models did not suffice neither to answer detailed research questions nor to account for the challenges of complex empirical data. Typical challenges are multilevel data structures, non-normal data and nonlinear relationships between variables. The modeling of such data specifities has two advantages: First, if these data specificites were neglected, the results and conclusion drawn by the researchers might be spurious. And, second, a more detailed modeling allows for a more in-depth analysis of research questions, for example, by identifying unobserved subgroups or the differentiation of nonlinear relationships on individual and cluster level.

The NON-NORM research project addresses the following extensions of (nonlinear) latent variable models: A general nonlinear multilevel structural equation mixture model (GNM-SEMM) will be extended to allow for an analysis of longitudinal heteroskedastic data. An R-package will be provided for substantial researchers. Semiparametric structural equation models will be generalized to non-Bayesian, nonparametric, distribution-free structural equation models. The finite sample properties of the developed semi- and nonparametric models will be examined in simulation studies. Finally, multidimensional item response models will be extended to allow for nonlinear semiparametric effects.

Project team: Augustin Kelava (PI), Holger Brandt (PI), Stefano Noventa, Tim Schaffland, & Nora Umbach

Grant:

Funded by The Deutsche Forschungsgemeinschaft (DFG): KE 1664/1-1, KE 1664/1-2, BR 5175-1-2

Status: April 1, 2013 - July 31, 2018 (completed)

Software:

nlsem: Fitting Structural Equation Mixture Models – Estimation of structural equation models with nonlinear effects and underlying nonnormal distributions.

r-package: https://cran.r-project.org/web/packages/nlsem/index.html

Matlab: An implementation of the non-parametric structural equation modeling approach (Kelava, Kohler, Krzyzak, & Schaffland, 2017) can be found here: https://github.com/tifasch/nonparametric

SAM – College drop-out in Mathematics (“Studienabbruch in der Mathematik”)

The high drop-out rate in mathematics and natural sciences during the university B.Sc. phase is a well-known phenomenon (Heublein, 2014). The research project “University drop-out in Mathematics” addresses the following questions: a) what is the relative importance of individual predictors of drop-out in the interaction of multiple causes? b) How can drop-out be modelled as a process (taking into account the interdependencies of the predictors)? c) How can the probability of dropping out of university be reduced in term time (given very limited resources)?

The modelling of university drop-out will provide detailed insights into the temporal antecedents of drop-out. In the first step, a preliminary forecast model is developed (based on the reanalysis of extensive data sets). In Tübingen, this result is to be used initially to identify the multiple risk factors in existing cohorts and to make predictions on the probability of dropping out. The risk assessment makes it possible to advise students at risk. In the course of the project, further longitudinal data will be collected, and analytical techniques and the identification of risk constellations will be improved, so that a more targeted approach to those at risk can be implemented.

The sub-project “Determinants and Intervention” at the University of Stuttgart can in turn be divided into two sub-projects. Competence measurement instruments will be developed or existing instruments will be adapted in order to construct time-sensitive prediction models of drop-out (sub-project 1). This will enable us to track the subject-specific achievements of students in the first year of their studies, which is a particularly sensitive period for drop-out. In addition to this, an intervention involving an experimental and control group design is being developed and carried out in order to reduce the performance and motivation-related drop-outs or change of course of study in mathematics (sub-project 2). This intervention follows the Cognitive Apprenticeship Approach (e.g. Collins, Brown & Newman, 1989) Several studies in the vocational school sector have already shown this approach to be effective in improving competence and motivation.

Grant:


This research is funded by a grant of the Federal Ministry of Education and Research (Bundesministerium für Bildung und Forschung; BMBF).

Status: running (since April 1, 2017)

Sparsame Schätzung von (latenten) Modellen

Hochdimensionale Probleme; Regularisierung; Bayessche Modellierung

Brandt, H., Cambria, J., & Kelava, A. (2018). An adaptive Bayesian lasso approach with spike-and-slab priors to identify linear and interaction effects in structural equation models. Structural Equation Modeling, 25, 946-960. https://doi.org/10.1080/10705511.2018.1474114


Verantwortlich: Holger BrandtAugustin Kelava

Entwicklung von Schätzern im Kontext (dynamischer) latenter Variablenmodelle

Schätzer, Separation intra-individueller Veränderungen und inter-individuellen Differenzen; unbeobachtete Heterogenität

Kelava, A. & Brandt, H. (2019). A Nonlinear Dynamic Latent Class Structural Equation Model. Structural Equation Modeling, 26, 509-528. DOI: 10.1080/10705511.2018.1555692

Verantwortlich: Augustin Kelava

Nicht und semi-parametrische Schätzung (inkl. factor score estimation)

Entwicklung von nicht- und semiparametrischen frequentistischen Schätzverfahren (incl. factor score Schätzung).

Kelava, A., Kohler, M., Krzyzak, A., & Schaffland, T. (2017). Nonparametric estimation of a latent variable model. Journal of Multivariate Analysis, 154, 112-134Link

Verantwortliche: Augustin Kelava, Stefano Noventa, Tim Schaffland

Matlab: Eine Implementation des nicht-parametrischen Ansatzes (Kelava, Kohler, Krzyzak, & Schaffland, 2017) ist unter nachfolgender Quelle verfügbar: https://github.com/tifasch/nonparametric

 

Reproducibility, Statistical Misconceptions, Open Science

Reproducible Reporting, Preregistration, Open Educational Resources

Brückenfunktion/Beteiligung: Institut für Erziehungswissenschaft, TüSE
Interdisziplinäre Lehre: Workshops
Verantwortlich: Jun.-Prof. Samuel Merk

Qualitativ

Grounded Theory, Situationsanalyse und pragmatistische Sozialforschung

Grounded Theory; Situationsanalyse; Science, Technology and Medicine Studies; Organization Studies; Gender Studies

Brückenfunktion/Beteiligung: AG Pragmatismus und Sozialforschung; QualiNet; Schools Qualitativ Forschen; Forschungsgruppe Situationsanalyse; Forschungsgruppe Dokumentarische Methode
Interdisziplinäre Lehre: Spring und Summer Schools Qualitativ Forschen; ESIT-Brückenkurse; Methodenberatung für Masterstudierende und Promovierende
Verantwortlich: Jun.-Prof. mit Schwerpunkt Lehre Ursula Offenberger