Оценка способности крупных языковых моделей имитировать личность для исследования поведения человека

Введение

Недавние достижения в области крупных языковых моделей (LLMs) открывают новые возможности для изучения человеческого поведения в социальных науках. Эти модели могут создавать реалистичные агентов с разнообразными индивидуальными различиями, что позволяет исследователям моделировать сложные социальные явления.

Цель исследования

Исследование направлено на оценку способности GPT-4 имитировать личностные черты реальных людей с различными профилями Большой пятерки личностных черт. Для этого были проведены два симуляционных исследования.

Симуляция 1

Надежность и валидность имитированных личностных черт

В первой симуляции GPT-4 запрашивалось имитировать личностные черты 400 человек на основе их ответов на опросник Большой пятерки личностных черт. Результаты показали высокую внутреннюю согласованность и конвергентную валидность имитированных личностных черт.

Факторная структура имитированных личностных черт

Факторная структура имитированных личностных черт была более четкой и организованной по сравнению с реальными данными, что свидетельствует о высокой чистоте факторов.

Симуляция 2

Робастность имитированных личностных черт

Во второй симуляции исследователи изучали, как дополнительные демографические данные влияют на имитированные личностные черты. Результаты показали, что включение возраста и страны проживания улучшает критериальную валидность имитированных личностных черт для прогнозирования внешних критериев.

Обсуждение

Исследование показывает, что LLMs, такие как GPT-4, могут успешно имитировать личностные черты реальных людей, что открывает новые возможности для исследований в социальных науках. Однако, для достижения максимальной точности имитации необходимо учитывать дополнительные демографические данные.

"Добавление демографических переменных к описанию каждой цели уменьшает способность GPT-4 предсказывать элементы опросника личности, но улучшает точность предсказания внешнего поведения."

Заключение

Исследование подчеркивает потенциал LLMs для создания реалистичных агентов с различными личностными чертами, что может быть полезно для исследований в социальных науках. Однако, для достижения максимальной точности имитации необходимо учитывать дополнительные демографические данные.