LLM демонстрируют выдающиеющиеся способности теории ума

Теория ума (ToM) и искусственный интеллект

Теория ума — это способность приписывать ментальные состояния, такие как убеждения, желания и намерения, себе и другим людям. Она лежит в основе социального взаимодействия, позволяя людям эффективно общаться, проявлять сочувствие и ориентироваться в сложных социальных ситуациях. В последние годы исследование этой концепции переключилось на вопрос: могут ли большие языковые модели (LLM) проявлять аналогичные способности.

Что такое теория ума?

Теория ума (ToM) включает в себя несколько ключевых компонентов: признание чужого убеждения, понимание намерений, детекция ложных представлений и распознавание социальных сигналов. У людей эта способность развивается в раннем детстве и продолжает совершенствоваться на протяжении всей жизни.

Тестирование возможностей LLM

В недавно проведённом исследовании была проведена комплексенция тестов, направленных на измерение ToM‑способностей у двух семейств LLM — GPT и LLaMA2. Исследователи использовали более 1 900 человеческих участников в качестве эталонной группы и подвергли модели ряду задач, включающих:

• понимание ложных убеждений (false‑belief tasks);
• распознавание косвенных запросов;
• детекция иронии;
• идентификация социальных неудач (faux pas).

Результаты показали, что GPT‑4 в большинстве тестов показывал результаты, равные или превосходящие человеческие уровни, особенно в задачах, требующих от модели понимать чужой mental state и адаптировать ответ под него.

GPT‑4: выдающийся результат

GPT‑4 демонстрирует удивительную способность:

• правильно отвечать на косвенные запросы, учитывая подразумеваемый смысл;
• отслеживать ложные убеждения собеседника, даже когда они противоречат реальности;
• управлять сложными сценариями, где требуется перенаправление внимания и манипуляция контекстом;
• отличать неуместные высказывания и понимать, что собеседник может неосознанно сказать что‑то нежелательное.

Несмотря на эти успехи, модель иногда терпит неудачу в детекции социальных неудач. Это требует нюансированного понимания норм, способности определить, что речь идёт об неумышленном нарушении, а также атрибуции незнания или ложного убеждения говорящему. GPT‑4 превосходит более ранние версии, но всё ещё нуждается в доработке.

«GPT‑4 показывает почти человеческий уровень понимания ментальных состояний, однако его трудности с распознаванием faux pas подчёркивают, что полностью воспроизвести человеческую социальную когницию пока невозможно».

LLaMA2: неожиданный результат

Интересно, что LLaMA2 превзошёл как GPT‑модели, так и человеческие участники на тесте faux pas. Однако последующие эксперименты показали, что это преимущество, скорее всего, объясняется склонностью модели всегда приписывать незнание собеседнику, а не настоящей ToM‑реакцией.

Таким образом, первоначальный успех LLaMA2 может быть обусловлен поверхностными паттернами, а не глубоким социальным пониманием. Это подчёркивает важность тщательного проектирования тестов и тщательного анализа при оценке способностей языковых моделей к сложным когнитивным задачам.

«Наличие предвзятости в LLaMA2, которая заставляет её всегда атрибутировать незнание, указывает на то, что начальные успехи могут быть лишь результатом формальных совпадений, а не истинного Theory of Mind».

Значение исследования

Эти результаты представляют собой значимый шаг в понимании возможностей современных LLM. Они демонстрируют, что модели, достигшие уровня GPT‑4, способны вести себя так, как будто они обладают развитой теорией ума, иногда даже превосходя средний уровень человека. Это открывает новые возможности для применения ИИ в:

• психологической поддержке, где важна эмпатия и понимание эмоционального состояния;
• персонализированном образовании, где система должна адаптировать контент под уровень знаний и эмоциональный отклик учащегося;
• службе клиентского опыта, где требуется распознавание потребностей и настроений клиентов.

Тем не менее, следует помнить, что ToM‑способности LLM отличаются от человеческой когнитивной архитектуры: они не опираются на телесный опыт, эмоциональные реакции и долгосрочную память, а работают исключительно на основе статистических закономерностей в данных.

Вперёд: будущее теории ума в ИИ

Поскольку ИИ продолжает развиваться, появление ToM‑подобных способностей ставит под вопрос вопросы техносентности и искусственной сентиентности. Если модели смогут более точно распознавать и реагировать на эмоции и убеждения людей, они могут трансформировать такие сферы, как:

• медицинская помощь, где AI сможет лучше понимать больных;
• образовательные платформы, адаптирующиеся под эмоциональное состояние учащихся;
• интерактивные системы поддержки, способные поддерживать эмоциональную связь с пользователями.

Однако эти перспективы поднимают этические вопросы: манипуляция эмоциями, потенциальное ослабление человеческих связей, а также моральные дилеммы, связанные с созданием сенсорных ИИ, способных к самосознанию.

Исследование, проведённое Strachan et al., предоставляет ценный эмпирический фундамент для дальнейших дискуссий и сотрудничества между исследователями, разработчиками и практиками, желающими углубить наше понимание как искусственного, так и человеческого интеллекта.