Распознавание эмоций генеративным ИИ по жестам и голосу: производительность и позитивный уклон

Введение и актуальность исследования

Развитие и широкое распространение технологий генеративного искусственного интеллекта (GenAI), обусловленное стремительной эволюцией больших языковых моделей (Large Language Models, LLM), вызвали значительный общественный интерес, продемонстрировав remarkable capabilities — выдающиеся способности — в широком спектре приложений, включая программирование, юридический анализ, образование, здравоохранение и психологию. С момента публичного выпуска ChatGPT сообщается, что сотни миллионов пользователей теперь используют искусственный интеллект, при этом многие обращаются за неформальной психологической поддержкой. В то время как эти начальные приложения в значительной степени опирались на текстовые LLM, настоящее исследование расширяет этот фокус, оценивая передовые, изначально мультимодальные системы GenAI.

Такая растущая зависимость от GenAI, особенно в чувствительных областях, требует целенаправленных исследований возможностей этих моделей, в частности их умения распознавать эмоции. Социальное познание (social cognition), охватывающее процессы, посредством которых индивиды воспринимают, интерпретируют и реагируют на социальную информацию, служит основополагающим компонентом адаптивного социального функционирования. Ключевым компонентом социального познания является ментализация (mentalization) — способность понимать психические состояния в себе и других. Нарушения этих социально-когнитивных способностей связаны с различными формами психопатологии — расстройств психики. Кроме того, многие психопатологические состояния характеризуются дефицитом ментализации, а ментализация-ориентированная терапия (Mentalization-Based Treatment, MBT) показала свою эффективность в улучшении психического благополучия и снижении симптоматики.

Способность GenAI точно распознавать эмоции может значительно улучшить терапевтическую практику, предоставляя масштабируемые инструменты для специалистов в области психического здоровья для оценки и мониторинга эмоциональных состояний пациентов в режиме реального времени, потенциально усиливая такие вмешательства, как MBT, в клинических условиях. Оценка степени, в которой GenAI может выполнять функции, связанные с социальным познанием, особенно в областях распознавания эмоций, которые опираются на понимание психических состояний, является темой растущей актуальности с прямыми последствиями для улучшения доступа к психотерапевтической помощи и персонализации терапевтических подходов.

Обзор литературы и современное состояние исследований

Растущий объем исследований демонстрирует передовые социально-когнитивные возможности GenAI в широком спектре задач. В текстовой области исследования показали, что GenAI не только соответствует, но и превосходит человеческие показатели в выполнении сложных задач эмоциональной осведомленности. Например, GenAI превзошёл людей в точной идентификации и артикуляции нюансированных эмоциональных состояний, что было продемонстрировано с помощью Шкалы уровней эмоциональной осведомленности (Levels of Emotional Awareness Scale, LEAS).

Эти возможности распространяются на статико-визуальную область: модели GenAI достигли производительности на уровне человека в задаче распознавания эмоций «Чтение мыслей по глазам» (Reading the Mind in the Eyes Test), а недавние исследования сообщают, что современные модели последнего поколения, такие как ChatGPT-4o, превысили показатели человека в этом же задании.

Помимо распознавания эмоций, эти модели также демонстрируют способности в задачах теории сознания (Theory of Mind, ToM) и в интерпретации социальных сигналов из общих изображений. Ещё более впечатляюще то, что эти способности не ограничиваются статическими стимулами. Недавно было обнаружено, что GenAI выполняет задачи на уровне и даже превышающем показатели людей в сложных и динамических задачах социального вывода, таких как Кино для оценки социального познания (Movie for the Assessment of Social Cognition, MASC), которое объединяет вербальные, вокальные и поведенческие подсказки.

Ограничения существующих исследований

Несмотря на этот впечатляющий прогресс, несколько ограничений снижают интерпретацию этих результатов и подчёркивают пробелы в нашем понимании. Во-первых, значительная часть исследований опирается на статические и деконтекстуализированные стимулы (например, текст, отдельные изображения), которые не в полной мере представляют динамическую сложность реальных социальных взаимодействий.

Во-вторых, в исследованиях, использующих сложные мультимодальные стимулы (как MASC), интегративная природа подсказок затрудняет, если не делает невозможной, изоляцию отдельного вклада каждого сенсорного канала. Неясно, обусловлен ли успех модели декодированием вокального тона, движений тела, выражений лица или вербального содержания.

В-третьих, различные исследования указывают на существование систематических уклонов производительности в моделях. Эти уклоны варьируются от искажённого представления психических расстройств до последовательной тенденции к недостаточному выявлению отрицательных эмоций и психологического дистресса. Более того, последнее теперь признано критическим барьером для безопасного клинического внедрения.

Значимость невербальных сигналов для ИИ

Способность точно интерпретировать вокальный тон и жесты тела критически важна для навигации в повседневных социальных отношениях, формирования доверия и является основой социального познания и адаптивного функционирования. Следовательно, дефициты в этой области являются отличительной чертой многочисленных психопатологий, что делает изучение этих каналов жизненно важным для клинической психологии.

В терапевтическом контексте точное распознавание этих невербальных сигналов ИИ может облегчить разработку автоматизированных систем мониторинга эмоциональных состояний пациентов, позволяя клиницистам более эффективно адаптировать вмешательства и обеспечивать обратную связь в режиме реального времени во время терапевтических сессий.

Важно отметить, что эти две модальности, столь важные для человеческого взаимодействия, предположительно представляют сложнейшие задачи для GenAI. Вокальные стимулы, при изоляции, могут быть деконструированы в относительно различные акустические параметры для анализа (например, тон, просодия, скорость речи) — задача, которая представляет собой классическую проблему распознавания образов, область, где GenAI демонстрирует ключевые возможности.

В то время как интерпретация вокальных стимулов может составлять чётко определённую вычислительную задачу для GenAI, интерпретация жестов тела считается гораздо большим вызовом, поскольку требует целостного понимания сложных, многомерных и контекстно-зависимых динамических движений и поз.

Проблема позитивного уклона в системах ИИ

Помимо специфических для модальности задач, современный дискурс о GenAI выдвигает на первый план две переплетённые проблемы: укоренённые алгоритмические уклоны, происходящие из данных и целей оптимизации больших моделей, и растущую тенденцию к «подхалимству» (sycophancy) — производству ответов, которые соответствуют тому, что, по мнению системы, пользователь хочет услышать.

Эмпирические работы задокументировали систематические демографические, культурные и аффективные искажения в выходах моделей — от неравных показателей ошибочной классификации, связанной с гендером и расой, через стереотипные представления психических расстройств до недостаточного выявления отрицательного аффекта и психологического дистресса.

Корректировка на человеческие предпочтения (instruction-tuning), улучшая беглость и безопасность, further encourages agreeable or overly confident replies —further поощряет соглашательские или чрезмерно уверенные ответы, маскируя неопределённость и усиливая существующие уклоны.

Эти двойные силы — уклон, обусловленный данными, и уклон, обусловленный конформностью, — представляют особую угрозу в контексте психического здоровья, где игнорирование тонких сигналов дистресса или боли имеет клинические последствия.

Гипотезы исследования

Настоящее исследование было разработано для непосредственного устранения этого критического пробела путём сосредоточения на невербальных сигналах, передаваемых через две основные модальности: вокальный тон и жесты тела.

Для укрепления валидности и надёжности наших результатов исследовательские гипотезы и план анализа были предварительно зарегистрированы. Были сформулированы следующие гипотезы:

• (H1) Общая точность моделей GenAI не будет существенно отличаться от точности человека при интерпретации эмоций из вокального тона и жестов тела.
• (H2) По сравнению с человеческой производительностью, модели GenAI продемонстрируют позитивный уклон, показывая значимо более высокую точность для положительных эмоций, чем для отрицательных.
• (H3) Человеческие участники не покажут существенной разницы в точности распознавания между положительными и отрицательными эмоциями.
• (H4) Модели GenAI продемонстрируют позитивный уклон в распознавании эмоций.
• (H5) Продвинутые модели GenAI превзойдут менее продвинутые модели в точности распознавания эмоций.
• (H6) Модели GenAI достигнут более высокой точности распознавания из вокальных стимулов, чем из стимулов жестов тела.

Материалы и методы исследования

Дизайн исследования

Настоящее исследование использовало сравнительный дизайн для оценки способностей распознавания эмоций трёх моделей GenAI семейства Gemini: Gemini Pro 1.5, Gemini Pro 2 (Experimental) и Gemini Flash 2. Эти модели были выбраны на основании их статуса наиболее продвинутых публично доступных систем GenAI на момент сбора данных, проводившегося в феврале-марте 2025 года.

Описание моделей GenAI

Семейство моделей Gemini является изначально мультимодальным, разработанным с нуля для обработки и рассуждения с комбинацией типов данных, включая текст, изображения, аудио и видео. Это нативное мультимодальное свойство отличает их от более ранних моделей, которые были преимущественно текстовыми с добавленными визуальными возможностями.

Gemini 1.5 Pro — мощная и универсальная модель, известная своим большим контекстным окном, позволяющим обрабатывать огромные объёмы информации (до 1 миллиона токенов). Разработана для сложных задач рассуждения, требующих глубокого понимания предоставленного контекста.

Gemini Flash 2 представляет собой модель, оптимизированную для скорости и эффективности. Эта модель поддерживает контекстное окно в 1 миллион токенов и предназначена для высокочастотных задач или задач с низкой задержкой, обеспечивая быстрые ответы при сохранении мультимодальных возможностей.

Gemini Pro 2 (Experimental) — экспериментальная версия модели Pro следующего поколения, доступная в период тестирования. Она предлагала доступ к более продвинутым возможностям рассуждения и мультимодального понимания, находившимся в разработке.

Стимульные материалы

Стимульные материалы были взяты из EUEmotion Stimulus Set (Набора стимулов EUEmotion для жестов тела) и EUEmotion Voice Database (Голосовой базы данных EUEmotion) — валидированных аудиовизуальных баз данных, разработанных для оценки мультимодального распознавания эмоций.

Стимулы жестов тела состояли из динамических видеоклипов, исполненных 19 профессиональными актёрами разных этнических групп (10 женщин, 9 мужчин; возраст 10–70 лет). Чтобы ограничить перцептивную информацию кинестетическими сигналами, актёры были сняты от шеи и ниже на нейтральном фоне, при этом все выражения лица и вокальные звуки были исключены.

Вокальные стимулы были взяты из английской коллекции базы данных, содержащей записи 18 носителей британского английского языка (9 женщин, 9 мужчин; возраст 10–70 лет). Ключевой методологической особенностью этого набора является использование псевдопредложений (pseudosentences) — лишённых семантического содержания фраз — для изоляции эмоциональной просодии.

Протокол оценки моделей GenAI

Протокол оценки был разработан для оценки производительности моделей GenAI в распознавании эмоций в стандартизированных и воспроизводимых условиях. Все оценки моделей проводились через Gemini API с использованием ноутбуков Google Colab.

Для обеспечения согласованности и сопоставимости с человеческим бенчмарком каждой модели был представлен идентичный тест распознавания с шестью альтернативами принудительного выбора (six-alternative forced choice, 6AFC) из оригинальных валидационных исследований.

Использовался подход нуль-shot промптинга (zero-shot prompting), при котором моделям не предоставлялись предварительные примеры, дообучение или контекстное обучение перед заданием. Каждая модель завершила 20 независимых испытаний для каждого стимула эмоции в обоих условиях — телесном и вокальном.

Результаты исследования

Гипотеза 1: Общая точность GenAI против человека

Модальность жестов тела

Был проведён z-тест для двух пропорций для сравнения точности распознавания моделей ИИ и человеческих участников в модальности жестов тела. Человеческие участники продемонстрировали частоту правильного распознавания 77,08%.

• Модель Flash 2 достигла частоты распознавания 64,72%, что было значимо ниже, чем у людей (z = 6,87, p < 0,001), с medium effect size — средним размером эффекта (h = 0,51).
• Модель Pro 2 достигла 71,39%, что также было значимо ниже человеческой производительности (z = 3,22, p = 0,001, h = 0,25, представляя малый эффект).
• Модель Pro 1.5 показала 60,14%, значимо ниже человеческой (z = 9,32, p < 0,001) со средним-большим эффектом (h = 0,72).

Вокальная модальность

В вокальной модальности человеческие участники достигли частоты распознавания 45,19%.

• Flash 2 произвела аналогичную частоту распознавания 45,36%, без значимой разницы от человеческой производительности (z = 0,07, p = 0,943).
• Модель Pro 2 достигла немного более высокой точности 47,14%, что не было значимо отличным от человеческой точности (z = 0,81, p = 0,416).
• Напротив, Pro 1.5 продемонстрировала более низкую частоту распознавания 35,71%, значимо ниже человеческой (z = 4,00, p < 0,001).

Гипотеза 2: Точность GenAI против человека по валентности эмоций

Жесты тела

Для положительных выражений человеческая точность составила 76,01%. Модель Pro 2 значимо превзошла людей (85,36%, p < 0,001), представляя малый эффект (h = 0,24), в то время как Flash 2 была сопоставима (79,64%, p = 0,196), а Pro 1.5 была значимо хуже (64,29%, p < 0,001) с малым эффектом.

Для отрицательных выражений человеческая точность составила 76,97%. Все модели ИИ значимо недоработали: Flash 2 — 50,75%, Pro 2 — 58,75% и Pro 1.5 — 53,25%.

Вокальные выражения

Для положительных выражений человеческая точность составила 44,91%. Flash 2 значимо превзошла людей (56,78%, p = 0,004) с малым эффектом (h = 0,24). Pro 2 имела более высокую точность, но без значимой разницы (52,85%, p = 0,058).

Гипотеза 3: Человеческая точность по валентности эмоций

Для жестов тела точность для положительных (76,01%) и отрицательных (76,97%) стимулов не имела значимой разницы (z = −0,60, p = 0,549). Аналогично, для вокальных стимулов точность для положительных (44,91%) и отрицательных (45,74%) выражений не имела значимой разницы (z = −0,22, p = 0,824).

Гипотеза 4: Точность GenAI по валентности эмоций

Жесты тела

Все модели были значимо более точны для положительных, чем отрицательных жестов:

• Flash 2: 79,64% против 50,75% (p < 0,001, h = 0,62 — средний-большой эффект)
• Pro 2: 85,36% против 58,75% (p < 0,001, h = 0,61)
• Pro 1.5: 64,29% против 53,25% (p = 0,004, h = 0,22 — малый эффект)

Вокальные выражения

Flash 2 (56,78% против 42,69%, p < 0,001) и Pro 2 (52,85% против 43,85%, p = 0,015) также были значимо более точны для положительных вокальных выражений.

Гипотеза 5: Различия в производительности между моделями GenAI

Тесты Крускала-Уоллиса не выявили значимых различий в производительности распознавания между моделями GenAI ни для стимулов жестов тела, ни для вокальных стимулов.

Гипотеза 6: Точность GenAI по модальности

Вопреки H6, которая предсказывала более высокую точность для вокальных стимулов, результаты указали на противоположный паттерн:

• Flash 2: значимо более высокая точность для жестов тела (64,72%) по сравнению с вокальными выражениями (45,36%)
• Pro 2: большее распознавание для жестов тела (71,39%) чем для вокальных выражений (47,14%)
• Pro 1.5: значимо лучшая производительность для жестов тела (60,14%) чем для вокальных стимулов (35,71%)

Анализ матриц ошибок

В модальности жестов тела несколько положительных эмоций, включая Волнение, Интерес, Шутку и Доброжелательность, достигли совершенного или почти совершенного распознавания. Напротив, ошибки распознавания были сосредоточены среди отрицательных эмоций. Страх систематически путался с Стыдом, Грусть с Отвращением, а Боль никогда не была правильно идентифицирована ни одной моделью.

В вокальной модальности Разочарование достигло совершенного распознавания, в то время как Ревность и Коварство были-uniformly misinterpreted as Разочарование — Uniformly misinterpreted —uniformно неправильно интерпретированы как Разочарование.

Обсуждение результатов

Настоящее исследование предоставляет эмпирическую оценку способностей современных моделей GenAI распознавать эмоции из динамических телесных и вокальных стимулов, сопоставленных с человеческой производительностью с использованием валидированного набора данных.

Наши результаты предложили лишь частичную поддержку нашей основной гипотезы (H1). Поддержка для этой гипотезы была модальность-зависимой: в соответствии с H1, передовые модели, такие как Gemini Pro 2 и Flash 2, достигли точности, близкой к человеческой, в расшифровке вокальных эмоциональных сигналов. Однако, противореча H1, их способность интерпретировать жесты тела значительно отставала от человеческих показателей.

Критически важным образом, и в соответствии с нашей второй гипотезой (H2), был выявлен различимый и статистически значимый уклон в сторону превосходства распознавания положительных эмоций над отрицательными, пронизывающий производительность GenAI.

Значение для клинической психологии

С клинической точки зрения, этот алгоритмический позитивный уклон требует критического рассмотрения его этических и клинических последствий. Хотя способность GenAI интерпретировать кинестетические сигналы могла бы в перспективе информировать ассистивные технологии для терапевтов или служить механизмами обратной связи при клиническом обучении, данные свидетельствуют о том, что такие уклоны могут распространяться на пользователей-людей и усиливать существующие когнитивные искажения.

Система, которая систематически демонстрирует пониженную чувствительность к невербальным сигналам дистресса, может привести к серьёзным диагностическим ошибкам и скомпрометировать терапевтическую надёжность.

Это особенно тревожно, поскольку рабочий альянс между терапевтом и пациентом — ключевой предиктор терапевтического успеха — строится на восприятии пациентом того, что его точно видят и понимают. Инструмент ИИ, который упускает сутулую позу отчаяния или беспокойное ёрзание тревоги, не справляется на этом фундаментальном уровне настройки, lacking — не хватает — нюансированного понимания и эмпатии, которую обеспечивают человеческие терапевты.

Значение для вокального анализа

Наша находка о том, что Gemini Pro 2 и Flash 2 выполняли задачи сопоставимо с людьми при вокальных стимулах, является therefore highly significant — поэтому весьма значимой. Тем не менее, even в этой области относительной силы GenAI клинические последствия осложнены нашим вторым ключевым результатом: эти модели displayed — демонстрировали — устойчивый и статистически значимый的优势 — преимущество — для положительных вокальных выражений над отрицательными.

С клинической точки зрения психологии, последствия этого профиля twofold — двояки. С одной стороны, GenAI, способный в вокальном анализе, мог бы предложить беспрецедентные инструменты для клинического обучения и практики. С другой стороны, позитивный уклон представляет серьёзный риск: система, неспособная обнаружить плоский аффект депрессии или напряжённый тон тревоги, может фундаментально неправильно понять состояние пациента.

Происхождение позитивного уклона

Более вероятным основным фактором является процесс дообучения обучение с подкреплением на основе обратной связи человека (Reinforcement Learning from Human Feedback, RLHF), которое явно оптимизирует на воспринимаемую полезность и безопасность, систематически поощряя соглашательские и неконфронтационные ответы.

Это подтверждается наблюдением, что позитивный уклон был наиболее выражен в передовых моделях (Pro 2 и Flash 2), которые прошли более extensive alignment tuning — более обширную настройку выравнивания, тогда как Pro 1.5, будучи менее точной в целом, не демонстрировала разницы в валентности в вокальной модальности.

Ограничения исследования

Several limitations warrant consideration — несколько ограничений заслуживают рассмотрения:

1. Использование разыгранных эмоциональных выражений может не в полной мере улавливать тонкость спонтанных эмоций.
2. Результаты от этих трёх моделей могут не обобщаться на другие архитектуры GenAI или будущие версии.
3. Представление стимулов по отдельности отклоняется от аутентичного мультимодального социального восприятия.
4. Формат ответа с принудительным выбором упрощает задачу распознавания эмоций.
5. Исключение нейтральной категории из основных валентных анализов изначально ограничивало выводы.
6. Использование методологии нуль-shot промптинга означает, что производительность could potentially be enhanced — потенциально может быть улучшена — через другие конфигурации.

Направления будущих исследований

Будущие исследования должны использовать более экологически валидные стимулы, такие как клипы из реальных взаимодействий или оценки, подобные MASC. Расследования должны расшириться, включив сложные социальные эмоции и кросс-культурные выражения.

Ключевым приоритетом является выяснение основных механизмов обработки GenAI, например, путём разделения лексических и просодических подсказок в вокальных стимулах. Необходимы лонгитюдные исследования, отслеживающие эволюцию моделей, а также исследования влияния различных стратегий обучения на производительность и уклоны.

Критически важно, будущие исследования должны тестировать новые и более разнообразные модели от других разработчиков для определения того, является ли позитивный уклон повсеместным артефактом общеотраслевых процессов выравнивания.

Кроме того, будущие работы должны исследовать альтернативные стратегии промптинга, такие как промптинг по цепочке мыслей (chain-of-thought prompting), который поощряет пошаговое рассуждение и может вызывать более прозрачные и когнитивно правдоподобные процессы принятия решений в системах GenAI.

Этические соображения

Тщательное этическое рассмотрение этих развивающихся возможностей имеет первостепенное значение для решения опасений относительно конфиденциальности, предвзятости и психологического воздействия на пользователей.

Система ИИ, систематически предвзятая в сторону позитивности, может восприниматься как более «сговорчивая» или «полезная» во взаимодействиях с низкими ставками, но в высокоставках социальных, образовательных или терапевтических ролях этот же уклон может стать формой селективной «алгоритмической слепоты».

Вызов поиска comprehensive — исчерпывающих, — diverse — разнообразных, — и ethically-sourced — этично полученных, — мультимодальных наборов данных является therefore not just technical — поэтому не просто техническим, — но глубоко этическим, поскольку напрямую влияет на социально-когнитивную «настройку» систем GenAI, которые мы создаём.

Заключение

Настоящее исследование предоставляет важную эмпирическую оценку текущих возможностей GenAI в распознавании эмоций из языка тела и вокального тона. Хотя демонстрируя обещающие продвижения, с некоторыми моделями, приближающимися к человеческому уровню производительности в специфических контекстах, результаты также reveal — выявляют — устойчивые вызовы, включая разрывы в производительности относительно людей и примечательный позитивный уклон.

Конкретно, в модальности жестов тела человеческие участники превзошли все модели GenAI в целом, although — хотя — наиболее передовая модель (Gemini Pro 2) приближалась к точности на уровне человека. Напротив, для вокальных стимулов и Gemini Pro 2, и Flash 2 соответствовали, но не превышали значимо человеческую точность.

Критически важно, все модели GenAI продемонстрировали систематический позитивный уклон, показывая значимо более высокую точность для положительных эмоциональных выражений по сравнению с отрицательными в обеих модальностях, паттерн, не наблюдаемый у человеческих участников.

Такие асимметрии подчёркивают критические различия в том, как искусственные системы против человеческих наблюдателей обрабатывают аффективные сигналы. Будущие исследования с разнообразными, экологически валидными стимулами и прозрачными методологиями essential — необходимы — для полного понимания границ, валидности и потенциального общественного воздействия развивающихся социально-когнитивных навыков GenAI.

Результаты данного исследования имеют глубокое клиническое и теоретическое значение, подчёркивая риски интеграции GenAI в чувствительные области и подчёркивая необходимость continued validation — продолженной валидации — перед внедрением искусственного интеллекта в практику психотерапии и психологической помощи.