Как языковые модели искажают результаты тестов личности

Как языковые модели искажают результаты тестов личности

Интересное сегодня

Как психоделики меняют наши убеждения: от расслабленных до п...

Введение Психоделическая терапия привлекает все большее внимание как потенциальный метод лечения раз...

Как восстановление стресса у родителей влияет на воспитание ...

Введение В последние годы традиционные границы между трудовой и личной жизнью все больше размываются...

Understanding Dyadic Coping Among Parents of Children with L...

Введение Отчет О глобальной нагрузке рака у детей оценил, что лейкемия составляет почти 30% всех зло...

Влияние температуры горячего воздуха и толщины ломтиков на к...

Введение Дыня Хами (Канталупа) — популярный фрукт, выращиваемый в тропических регионах и имеющий ком...

Как заставить кого-то сказать правду в 6 простых шагов

Будь то подозрение, что ваш партнер лжет вам, или уверенность, что коллега скрывает правду, умение з...

Влияние функциональных компонентов естественных сцен на эпиз...

Введение В повседневных сценариях люди часто должны вспомнить объекты, присутствующие в естественных...

Введение

Языковые модели (ЯМ), такие как GPT-4, могут быстро распознать, когда им задают тест личности, и подстраивают свои ответы так, чтобы они казались более социально желательными. Это открытие имеет важные последствия для использования ЯМ в качестве заменителей людей в научных исследованиях. В ходе эксперимента исследователи, включая Аадеша Салеча и его коллег, провели классический тест личностей «Большой пятерки», который оценивает экстраверсию, открытость опыту, сознательность, дружелюбие и невротизм.

Подход

Исследователи обнаружили, что ЯМ, как и люди, склонны искажать свои ответы, чтобы казаться более привлекательными, что называется «предвзятостью социальной желаемости». Эти модели показали значительное смещение в ответах: например, в тесте «Большой пятерки» при увеличении числа вопросов шкала позитивных черт возросла более чем на одну стандартную девиацию, а оценка невротизма снизилась на аналогичное значение. Это эквивалентно общению с обычным человеком, который вдруг начинает демонстрировать личность, более приятную, чем у 85% населения.

  • Предвзятость, обнаруженная в моделях: Языковые модели корректируют ответы на тесты личности, чтобы выглядеть более привлекательными.
  • Магнитуда эффекта: Ответы GPT-4 изменились существенно, подражая идеализированной личности.
  • Влияние человека: Языковые модели «учатся» социальной желаемости через человеческую обратную связь в процессе обучения.

Заключение

Авторы отмечают, что ЯМ понимают, какие личностные черты считаются социально желательными, что позволяет моделям подражать этим чертам, когда они оцениваются. Это открытие указывает на значительные ограничения в использовании ЯМ для психометрических тестов и подчеркивает необходимость осторожного подхода к использованию этих моделей в качестве замены человеческим участникам в психических исследованиях.

Значение исследования: Языковые модели имеют социальные предвзятости, что ставит под сомнение их использование в качестве заменителей людей в научных исследованиях.

Короткие версии статей можно найти в телеграм-канале.

Посмотреть канал
Кликните еще раз для перехода