Декодирование реального размера предметов с помощью глубокого обучения на данных фМРТ

Декодирование реального размера предметов с помощью глубокого обучения на данных фМРТ

Размер реальных объектов является фундаментальным измерением зрительного восприятия, которое обеспечивает эффективное взаимодействие с окружающей средой и манипуляцию предметами. Однако нейронные механизмы, лежащие в основе представления размера, до сих пор в значительной степени выводились из экстремальных сравнений размеров, что оставляло нейронное представление тонких различий размеров в управляемом «масштабе руки» малоизученным.

Методология исследования

В данном исследовании применялась трехмерная глубокая нейронная сеть (3D DNN — Three-Dimensional Deep Neural Network) для декодирования реального размера объектов по данным функциональной магнитно-резонансной томографии (фМРТ — functional Magnetic Resonance Imaging). В эксперименте приняли участие 50 человек (N = 50), которым демонстрировали объекты, все из которых находились в диапазоне, доступном для захвата рукой.

Функциональная магнитно-резонансная томография — это неинвазивный метод нейровизуализации, который измеряет активность мозга через изменения кровотока. Трехмерная глубокая нейронная сеть представляет собой модель искусственного интеллекта, способную обрабатывать объемные данные и выявлять сложные паттерны в нейронной активности.

Основные результаты

3D DNN успешно декодировала тонкие различия в размерах объектов, достигая точности предсказания, сравнимой с результатами мультивариантного паттерн-анализа (MVPA — Multivariate Pattern Analysis). Это важный показатель, так как MVPA является стандартным методом анализа данных фМРТ, позволяющим декодировать когнитивные состояния на основе паттернов активации мозга.

Особое значение имеет применение метода Guided Gradient-weighted Class Activation Mapping (Guided GradCAM) — техники интерпретации нейронных сетей, которая позволяет визуализировать, какие именно участки входных данных вносят наибольший вклад в решение классификатора. Этот метод сочетает градиентную информацию с картами активации классов, обеспечивая высокое пространственное разрешение.

Нейронные основы восприятия размера

С помощью Guided GradCAM было установлено, что паттерны вокселей (объемных пикселей фМРТ-данных), способствующие предсказаниям классификатора для маленьких и больших объектов, не ограничивались вентральной окципитотемпоральной корой (VOTC — Ventral Occipitotemporal Cortex), а распространялись на распределенные области мозга.

Вентральная окципитотемпоральная кора — это область височной и затылочной долей, традиционно ассоциируемая с визуальным распознаванием объектов. Однако результаты данного исследования показывают, что представление размера объектов задействует более широкую нейронную сеть.

Клиническое значение

Примечательно, что эти области пространственно перекрывались с конкретными зонами мозга, ранее вовлеченными в искажения восприятия размера после мозговых повреждений. Это свидетельствует о том, что обнаруженная нейронная сеть имеет клиническую значимость и может объяснять нарушения размерного восприятия при неврологических заболеваниях.

Теоретические последствия

Полученные данные позволяют предположить, что тонкие вариации размера объектов могут представляться через нелинейную, распределенную сеть, выходящую за пределы традиционной зрительной иерархии. Такая система может поддерживать интеграцию зрительных свойств с семантическим масштабированием и мультимодальным сходом зрения, пространства и памяти.

Это означает, что восприятие размера — это не просто свойство зрительной коры, а сложный когнитивный процесс, вовлекающий множественные мозговые системы и обеспечивающий связь между визуальной информацией, пространственными представлениями и семантическими знаниями о предметах.

Сравнение с предыдущими исследованиями

Традиционно исследования восприятия размера фокусировались на экстремальных сравнениях — очень маленькие versus очень большие объекты. Данное исследование впервые демонстрирует возможность декодирования тонких различий размера в пределах «масштаба руки», что более релевантно для повседневного взаимодействия с предметами.

Использование глубокой нейронной сети для декодирования нейронных данных представляет собой передовой подход, позволяющий моделировать сложные нелинейные зависимости между паттернами мозговой активности и воспринимаемыми свойствами объектов.

Практические применения

Понимание нейронных механизмов представления размера имеет значение для:

• Разработки нейропротезов и интерфейсов «мозг-компьютер»
• Диагностики нарушений визуального восприятия
• Понимания оснований тактильно-зрительной интеграции
• Разработки роботизированных систем захвата объектов

Ограничения и перспективы

Исследование ограничено объектами в масштабе, доступном для захвата рукой, и не затрагивает восприятие размеров объектов, требующих подхода или удаленного взаимодействия. Будущие исследования могут расширить эти выводы на более широкий диапазон размеров и изучить взаимодействие размерового восприятия с другими визуальными свойствами, такими как форма, цвет и текстура.

Также необходимо исследование индивидуальных различий в нейронных механизмах представления размера и их связи с поведенческими показателями точности манипуляции предметами.

Заключение

Данное исследование демонстрирует, что тонкие различия в размере объектов кодируются распределенной нейронной сетью, включающей как традиционные зрительные зоны, так и области, связанные с пространственным и семантическим анализом. Применение трехмерной глубокой нейронной сети и методов интерпретации, таких как Guided GradCAM, открывает новые возможности для изучения нейронных основ зрительного восприятия и его нарушений.

Эти находки вносят вклад в понимание того, как мозг интегрирует различную информацию для создания целостного представления о свойствах объектов окружающего мира, что имеет фундаментальное значение для адаптивного взаимодействия с средой.

«Наши находки предполагают, что тонкие вариации размера объектов могут представляться через нелинейную, распределенную сеть, выходящую за пределы традиционной зрительной иерархии» — Cui Lang, Kosuke Miyoshi, Masaki Takeda