Общности и вариации в представлении эмоций через модальности и области мозга

Исследование эмоций через различные модальности

Люди выражают эмоции через различные модальности, такие как выражение лица и естественный язык. Однако связи между эмоциями, выраженными через разные модальности, и их корреляции с нейронной активностью остаются неясными. В этом исследовании мы стремились раскрыть некоторые из этих неопределенностей, изучая схожесть представлений эмоций через модальности и области мозга.

Мы представляли различные категории эмоций как многомерные векторы, полученные из визуальных (лицо), лингвистических и визуально-лингвистических данных, и использовали анализ схожести представлений для сравнения этих модальностей. Затем мы исследовали линейную передаваемость представления эмоций от других модальностей к визуальной модальности. Наконец, мы сравнили структуру представлений, полученную на первом этапе, с теми, что были получены из мозговой активности в 360 регионах.

Представление эмоций в различных модальностях

Мы провели три эксперимента для изучения представлений эмоций через различные модальности и области мозга.

Эксперимент 1: Векторы эмоций в различных модальностях

В первом эксперименте мы сравнивали представления эмоций через три различные модальности: выражение лица, лингвистические выражения и мультимодальное представление на основе как изображений, так и текста. Мы использовали набор данных выражений лица, предоставленный hume.ai, для получения матрицы схожести представлений эмоций, выраженных через лицо. Также мы использовали предобученные модели Word2Vec и ConceptNet для анализа лингвистических выражений эмоций.

Для визуально-лингвистических представлений мы использовали предобученную модель CLIP, где изображения и соответствующий текст встроены в одно и то же пространство, что позволяет сравнивать и измерять схожесть между изображениями и текстом.

Эксперимент 2: Линейная передаваемость между различными модальностями

Во втором эксперименте мы исследовали, насколько представления эмоций, выраженных через выражение лица, могут быть линейно проецированы из представлений других модальностей. Мы использовали два метода анализа: ортогональную трансформацию с использованием сингулярного разложения и искусственную нейронную сеть (ИНС), обученную классифицировать категории выражений лица.

Эксперимент 3: Векторы эмоций в отдельных областях мозга

В третьем эксперименте мы оценили нейронные представления различных эмоций в разных областях мозга, используя данные BOLD, видео данные, оценки эмоций человеком и скрипты анализа, предоставленные Horikawa et al.. Мы использовали метод регрессии Риджа для предсказания оценок эмоций на основе BOLD сигналов и определили оптимальный гиперпараметр для L2-нормы регрессора.

Общности и различия в представлении эмоций

Наши результаты показали, что представления эмоций имеют общности через модальности с вариациями, зависящими от типа модальности, и они могут быть линейно отображены от других модальностей к визуальной модальности. Кроме того, представления эмоций в уникальных модальностях показали относительно более высокую схожесть с определенными областями мозга, в то время как мультимодальное представление эмоций было наиболее похожим на представления по всему региону мозга.

Эти результаты подчеркивают, что эмоциональные переживания представлены по-разному в различных областях мозга с разной степенью схожести с различными типами модальностей, и что они могут быть мультимодально передаваемы в визуальных и лингвистических доменах.