ChatGPT предсказывает результаты тестов личности: как ИИ создает психологические опросники

Обзор: почему ChatGPT может предсказывать результаты тестов личности

Исследование, опубликованное в журнале iScience (Cell Press), демонстрирует новаторский подход, в котором модель ChatGPT (GPT‑4) используется не только для генерации текста, но и для создания, валидации и прогнозирования результатов психологических опросников. Ученые показали, что языковой модели достаточно обучающих данных, полученных из Интернета, чтобы встроить в свои алгоритмы экспертные знания о структуре личности людей. Этот результат имеет важные последствия для клинической и экспериментальной психологии, а также для всех, кто интересуется возможностями искусственного интеллекта в оценке личности.

Введение: языковые модели уже знают о чертах личности

Согласно лексической гипотезе, пять основных факторов личности (так называемая «Большая пятерка») закодированы в языке. Поскольку большие языковые модели (LLM) обучаются на триллионах слов человеческого текста — веб-страницах, научных статьях, постах в социальных сетях, — они непреднамеренно усваивают связь между языком и психологией. Возможности модели ChatGPT были исследованы группой исследователей под руководством Ротема Монсы из Еврейского университета в Иерусалиме. В данном исследовании был использован GPT‑4 без специальной дообучки на психологических данных, чтобы проверить, может ли он генерировать работоспособные опросники.

Методология: создание опросника с помощью GPT‑4

Исследователи извлекли текст из двух источников, расположенных на противоположных концах спектра научности:

• Раздел о расстройствах личности из клинического руководства DSM‑5 (Диагностическое и статистическое руководство по психическим расстройствам, пятое издание). Этот источник считается золотым стандартом в психиатрии.
• Популярный астрологический справочник, в котором личности описываются через знаки зодиака. Этот источник был намеренно выбран как ненаучный контрагент.

В обоих случаях исследователи представили модель GPT‑4 отрывкам текста и запросили ее сгенерировать набор утверждений опросника, которые бы отражали соответствующие характеристики. Например, из раздела о параноидальном расстройстве личности модель создала такие вопросы:

«Часто подозреваю скрытые мотивы других людей» и «Легко доверяю незнакомым людям» (1 = сильно не согласен, 5 = сильно согласен)

Аналогичные утверждения были созданы на основе астрологических описаний черт, присущих знакам огня, земли, воздуха и воды.

Сравнение: научный и ненаучный источники

Затем исследователи протестировали два созданных опросника на группе из 600 участников. Каждый участник заполнил как новый опросник, так и стандартный опросник Большой пятерки (BFI), служивший контрольным эталоном.

• Внутренняя согласованность DSM‑5‑опросника. Результаты показали высокую внутреннюю согласованность внутри кластеров черт (например, избегание и зависимость), что совпало с данными BFI. Это указывает на то, что вопросы, генерируемые моделью на основе DSM‑5, действительно измеряют реально существующие психологические структуры.
• Внутренняя согласованность астрологического опросника. Статистика показала слабую внутреннюю согласованность: черты, сгруппированные под знаками зодиака (например, «огненные» черты), не коррелировали друг с другом в ответах участников. Это отражает отсутствие эмпирической основы у астрологической типологии.

Несмотря на это несоответствие, оба опросника смогли предсказать реальные жизненные результаты — депрессию, тревогу и благополучие — с точностью, сопоставимой с BFI. Это показывает, что даже ненаучный источник может быть преобразован языковой моделью в язык, содержащий значимую психологическую информацию.

Удивительное открытие: ChatGPT предсказывает ответы участников до их получения

Самой неожиданной находкой стало то, что GPT‑4 смог предсказать средние ответы и межвопросные корреляции участников до проведения опроса. Модель, обученная на обширных текстах, имплицитно усвоила популяционные закономерности в распределении черт личности. По сути, она действовала как автоматический оценщик собственной психометрической выходной продукции.

Этот «нулевой» подход к прогнозированию открывает новые возможности:

• Быстрая валидация. Исследователи могут предварительного проверить новый опросник, не тратя время и ресурсы на его тестирование у больших групп участников.
• Итеративная разработка. LLM может предлагать доработанные формулировки на основе своего собственного прогнозирования согласованности, ускоряя процесс создания инструментов.
• Клинический скрининг. Возможность предсказывать результаты опросника по текстовому источнику может быть использована для быстрого выявления возможных проблем с психическим здоровьем в натуральных контекстах.

Клиническое значение и перспективы

Авторы подчеркивают, что внедрение LLM в психометрию может радикально изменить ход психологических исследований. Трансформация заключается не только в скорости создания опросников, но и в потенциале модели к самостоятельной оценке своих продуктов, что соответствует современным требованиям к эффективному, адаптивному и экономичному научному процессу.

«Способность LLM предсказывать человеческие модели ответов до получения каких-либо данных указывает на то, что эти модели видят что-то фундаментально важное в человеческой психологии, — говорит ведущий автор Ротем Монса. — Это означает, что LLM — не просто генератор контента, но и компетентный оцениватель своего собственного выхода».

Выводы и ограничения

• Генерация опросников работоспособна как на основе научных текстов (DSM‑5), так и на основе ненаучных (астрология). Ненаучные источники могут давать более слабые результаты внутренней согласованности, но все равно содержат значимую психологическую информацию.
• Нулевая точность прогнозирования работает хорошо для английского языка, сильно зависимого от западных культур. Точность, вероятно, снизится для неевропейских языков и культур, поскольку языковая модель обучалась в основном на западных данных.
• В будущем планируется провести многоязычные исследования с использованием региональных языковых моделей, чтобы оценить влияние культурных различий на встроенное психологическое понимание.

Заключение

Исследование доказывает, что ChatGPT может служить как инструментом создания, так и автоматическим оценщиком психологических опросников. Способность модели извлекать и предсказывать реалистичные модели ответов без специальной дообучки открывает новую главу в психологической науке, где ИИ участвует в разработке и валидации инструментов, которые изучают человеческую личность. Этот метод соответствует растущей тенденции интеграции ИИ в клиническую практику, предлагая более быстрые и экономичные пути для будущей психологической оценки.