Studie zeigt: Sprach­basierte KIs haben verborgene Moral- und Wertevorstellungen

Pressemitteilung vom 8. Januar 2024
Druckversion (PDF)

Beispiele für Stereotypen findet man bei kommerziellen KI-gestützten Anwendungen wie ChatGPT oder deepl, die häufig automatisch annehmen, dass leitende Ärzt*innen männlich und Pflegekräfte weiblich sind. Doch nicht nur bei Geschlechterrollen können große Sprach­modelle (Large Language Models, LLMs) bestimmte Tendenzen zeigen. Gleiches lässt sich auch in Bezug auf andere menschliche Merkmale feststellen und messen. Das haben Forschende der Universität Mannheim und des GESIS – Leibniz-Instituts für Sozial­wissenschaften in einer neuen Studie anhand einer Reihe von offen verfügbaren LLMs aufgezeigt.

Im Rahmen ihrer Studie haben die Forschenden mithilfe von etablierten psychologischen Tests die Profile der unterschiedlichen LLMs untersucht und miteinander verglichen. „In unserer Studie zeigen wir, dass man psychometrische Tests, die seit Jahrzehnten erfolgreich bei Menschen angewendet werden, auch auf KI-Modelle übertragen kann“, betont Studien­autor Max Pellert, Assistenzprofessor am Lehr­stuhl für Data Science in den Wirtschafts- und Sozial­wissenschaften der Universität Mannheim.

„Ähnlich wie wir bei Menschen Persönlichkeits­eigenschaften, Wert­orientierungen oder Moralvorstellungen durch Fragebogen messen, können wir LLMs Fragebogen beantworten lassen und ihre Antworten vergleichen“, so der Psychologe Clemens Lechner vom GESIS – Leibniz-Institut für Sozial­wissenschaften in Mannheim, ebenfalls Autor der Studie. Dies mache es möglich, differenzierte Eigenschafts­profile der Modelle zu erstellen. Die Forschenden konnten beispielsweise bestätigen, dass manche Modelle gender­spezifische Vorurteile reproduzieren: Wenn im ansonsten gleichen Text eines Fragebogens einmal eine männliche und einmal eine weibliche Person im Mittelpunkt steht, werden diese unterschiedlich bewertet. Handelt es sich um einen Mann, so wird der Wert „Achievement“ – also Leistung – im Text stärker betont, wohingegen bei Frauen die Werte Sicherheit und Tradition dominieren.

„Das kann weitreichende Aus­wirkungen auf die Gesellschaft haben“, so der Daten- und Kognitions­wissenschaft­ler Pellert. Sprach­modelle werden beispielsweise zunehmend in Bewerbungs­verfahren eingesetzt. Ist die Maschine voreingenommen, so fließt das auch in die Bewertung der Kandidierenden ein. „Die Modelle bekommen eine gesellschaft­liche Relevanz über die Kontexte, in denen sie eingesetzt werden“, fasst er zusammen. Deshalb sei es wichtig, bereits jetzt mit der Untersuchung anzufangen und auf potenzielle Verzerrungen hinzuweisen. In fünf oder zehn Jahren wäre es möglicherweise zu spät für so ein Monitoring: „Die Vorurteile, welche die KI-Modelle reproduzieren, würden sich verfestigen und der Gesellschaft schaden“, so Pellert.

Die Studie wurde am Lehr­stuhl für Data Science in den Wirtschafts- und Sozial­wissenschaften von Prof. Dr. Markus Strohmaier in Zusammenarbeit der Abteilung Survey Design und Methodology von Prof. Dr. Beatrice Rammstedt und der Abteilung Computational Social Science von Prof. Dr. Claudia Wagner und Prof. Dr. Sebastian Stier durchgeführt.

Die Ergebnisse der Untersuchung sind im renommierten Fach­journal “Perspectives on Psychological Science” erschienen.

Pellert, M., Lechner, C. M., Wagner, C., Rammstedt, B., & Strohmaier, M. (2024). AI Psychometrics: Assessing the Psychological Profiles of Large Language Models Through Psychometric Inventories. Perspectives on Psychological Science. https://doi.org/10.1177/17456916231214460

Weitere Infos: Pellert, M. (2023). KI – nicht ohne Eigenschaften. Inf 04.

Kontakt:

Max Pellert, Ph.D.
Assistenzprofessor
Lehr­stuhl für Data Science in den Wirtschafts- und Sozial­wissenschaften
Universität Mannheim
E-Mail: max.pellert@uni-mannheim.de

Yvonne Kaul
Forschungs­kommunikation
Universität Mannheim
Tel: +49 621 181-1266
E-Mail: kaulmail-uni-mannheim.de