Der Einsatz psychologischer Persönlichkeitstests zur „Charakterisierung“ großer Sprachmodelle (LLMs) wie GPT-4 oder LLaMA-2 erfreut sich zunehmender Beliebtheit. In der vorliegenden Studie wird jedoch eindrücklich gezeigt, dass solche Verfahren nicht ohne Weiteres auf KI-Systeme übertragbar sind.
Konkret zeigen die Autoren, dass LLMs in Persönlichkeitstests auffällige Antwortmuster aufweisen, die bei menschlichen Probanden als inkonsistent gelten würden – etwa die gleichzeitige Zustimmung zu gegensätzlichen Aussagen (z. B. Extraversion und Introversion). Zudem bilden die Antworten keine stabile Faktorstruktur, wie sie etwa im Big-Five-Modell beim Menschen beobachtet wird.
Die Studie argumentiert, dass psychometrische Konzepte wie Messinvarianz oder Konstruktvalidität bei der Anwendung auf KI bislang kaum berücksichtigt wurden – mit der Folge, dass aus den Testantworten keine belastbaren Aussagen über „Persönlichkeit“ von LLMs abgeleitet werden können. Die Autoren plädieren daher für eine kritische Reflexion und konzeptionelle Neuorientierung psychologischer Testverfahren im Kontext maschineller Systeme.
Literatur
Sühr, T., Dorner, F. E., Samadi, S., & Kelava, A. (2023). Challenging the validity of personality tests for large language models. arXiv preprint, arXiv:2311.18351. https://doi.org/10.48550/arXiv.2311.18351
