PsychometricLLaMA

Die rasante Entwicklung generativer Sprachmodelle eröffnet neue Möglichkeiten der psychologischen Skalenentwicklung. Diese prä-registrierte Arbeit untersucht den Einsatz von Sprachmodellen zur automatischen Generierung von Likert-Items, aufbauend auf bisherigen Ansätzen. Ein neuer Datensatz wurde durch eine systematische Literaturrecherche erstellt und mit bestehenden Quellen kombiniert, um das LLaMA 2-Sprachmodell mittels Low-Rank Adaption zu trainieren. Das Modell generiert auf Basis einer Definition psychologische Items mit Anpassungsmöglichkeiten für Schwierigkeit und Kreativität. Zur Überprüfung der psychometrischen Güte wurden Items zu sechs Konstrukten generiert und online mit N = 200 Personen erhoben.

Die Ergebnisse zeigten vielversprechende psychometrische Kennwerte: Die meisten Items konnten eine gute interne Konsistenz und hohe Korrelationen mit den Originalskalen aufweisen. Allerdings war die Anpassung der Item-Schwierigkeit nicht erfolgreich. Unterschiede in Antwortverteilung und Interkorrelationen zwischen KI- und Originalskalen wurden festgestellt. Insgesamt leistet diese Arbeit einen bedeutenden Beitrag zur psychologischen Fragebogenkonstruktion durch das Fine-Tuning eines KI-Modells zur Generierung reliabler und valider Items.