ИИ декодирует жесты рук по снимкам мозга: неинвазивный прорыв в ИМК

Революция в нейротехнологиях: Как искусственный интеллект расшифровывает сигналы мозга

Интерфейсы «мозг — компьютер» (ИМК), также называемые интерфейсами «мозг — машина» (ИММ), представляют собой одну из наиболее перспективных областей современной науки. Они дают надежду миллионам людей по всему миру, которые утратили способность двигаться или говорить в результате тяжелых травм, инсультов или нейродегенеративных заболеваний. Способности искусственного интеллекта (ИИ) к распознаванию сложных паттернов и закономерностей значительно ускоряют инновации в этой сфере.

Новое исследование, проведенное специалистами Калифорнийского университета в Сан-Диего (UC San Diego) и опубликованное в авторитетном научном журнале Cerebral Cortex издательства Oxford Academic, демонстрирует, как алгоритмы машинного обучения ИИ способны декодировать конкретные жесты рук, используя данные магнитоэнцефалографии (МЭГ) — полностью неинвазивного метода визуализации нейронной активности.

Разработка модели MEGRPSnet: Высокая точность без хирургического вмешательства

В ходе работы исследователи создали специализированную нейросетевую модель под названием MEGRPSnet. Результаты ее тестирования превзошли многие существующие аналоги, использовавшиеся ранее в нейроинженерии.

«Наша модель MEGRPSnet превзошла две ультрасовременные архитектуры нейронных сетей, применяемые для ИМК на основе электроэнцефалографии, а также традиционный метод машинного обучения. Более того, она продемонстрировала эквивалентную или даже более высокую производительность по сравнению с методами машинного обучения, использующими инвазивную электрокортикографию при выполнении той же задачи», — отметил старший автор исследования Минсюн Хуан (Mingxiong Huang), содиректор Центра МЭГ при Институте Qualcomm Калифорнийского университета в Сан-Диего.

В состав междисциплинарной исследовательской группы вошли ведущие ученые: Ифэн Бу, Дебора Л. Гаррингтон, Роланд Р. Ли, Цянь Шэнь, Эннмари Анхелес-Кинто, Чжэнвэй Цзи, Хейден Хансен, Жаклин Эрнандес-Лукас, Джаред Баумгартнер, Тао Сун, Шэрон Николс, Дьюлин Бейкер, Рамеш Рао, Имануэль Лерман, То Линь и Синь Мин Ту.

Что такое магнитоэнцефалография (МЭГ) и как она работает?

Магнитоэнцефалография (МЭГ) — это неинвазивный метод нейровизуализации, предназначенный для картирования активности головного мозга путем регистрации чрезвычайно слабых магнитных полей, возникающих в результате электрических токов, протекающих в нейронах.

Ключевые преимущества метода МЭГ включают:

• Высокое временное разрешение: возможность отслеживать последовательности активации различных зон мозга в режиме реального времени с точностью до миллисекунд.
• Неинвазивность: абсолютная безопасность для пациента, отсутствие необходимости во вживлении электродов в ткани головного мозга.
• Высокое пространственное разрешение: способность более точно локализовать источники сигнала по сравнению с классической электроэнцефалографией.

Физический принцип МЭГ заключается в следующем: деятельность головного мозга сопровождается биоэлектрической активностью. Когда тысячи нейронов возбуждаются одновременно, суммарный эффект движения заряженных ионов внутри клеток создает слабое электромагнитное поле, выходящее за пределы черепной коробки.

Поскольку нейромагнитные сигналы головного мозга невероятно малы (они в миллиарды раз слабее магнитного поля Земли), для их регистрации требуются сверхчувствительные датчики. В сканерах МЭГ применяются СКВИД-датчики (сверхпроводящие квантовые интерферометры, или SQUID — Superconducting Quantum Interference Device), работающие при сверхнизких температурах.

Методология эксперимента: Игра «Камень, ножницы, бумага» для нейросети

В исследовании команды из Сан-Диего принимали участие 12 здоровых добровольцев. Для сбора данных использовался специальный шлем, оснащенный встроенным массивом из 306 СКВИД-датчиков, фиксировавших изменения магнитных полей при протекании токов между нейронами.

Ход эксперимента строился по следующей схеме:

• Участники надевали МЭГ-шлем и располагались в защищенной от внешних электромагнитных помех комнате.
• Участникам в случайном порядке давались команды показать один из трех жестов руки, используемых в популярной игре «Камень, ножницы, бумага».
• В момент формирования намерения и выполнения движения шлем МЭГ непрерывно регистрировал картированную активность головного мозга.

Полученный массив данных передавался алгоритму глубокого обучения на базе свёрточной нейронной сети (СНС / CNN — Convolutional Neural Network), специально обученной распознавать и классифицировать соответствующие категории жестов.

Впечатляющие результаты и локализация нейронных сигналов

Анализ данных показал высочайшую эффективность созданного алгоритма искусственного интеллекта при распознавании двигательных команд мозга.

«При оценке одиночных попыток мы зафиксировали среднюю точность классификации жестов на уровне 85,56% для 12 испытуемых», — сообщили исследователи из Калифорнийского университета в Сан-Диего.

Кроме того, в ходе детального анализа нейросетевых карт ученые сделали важное открытие: модель глубокого обучения смогла успешно классифицировать жесты, используя данные не со всех 306 датчиков, а только из определенных узкоспециализированных зон коры головного мозга.

Ключевые зоны мозга, участвующие в декодировании:

• Центрально-теменно-затылочная область: отвечает за интеграцию сенсорной информации и планирование произвольных движений.
• Затылочно-височная область: участвует в обработке зрительно-пространственных паттернов и обратной связи.

Ученые подчеркнули: «Замечательно, что при использовании датчиков только центрально-теменно-затылочной или затылочно-височной областей модель глубокого обучения демонстрировала показатели точности классификации, сопоставимые с моделью, задействовавшей датчики всего мозга». Это открытие в будущем позволит уменьшить количество необходимых датчиков и сделать устройства ИМК более компактными.

Сравнительный анализ: МЭГ против ЭЭГ и инвазивной ЭКоГ

Чтобы понять масштабы достигнутого прорыва, необходимо сравнить МЭГ с другими ключевыми технологиями, используемыми в нейроинженерии:

• Электроэнцефалография (ЭЭГ): регистрирует электрический потенциал с поверхности скальпа. ЭЭГ доступна и портативна, но имеет низкое пространственное разрешение, так как электрический сигнал сильно искажается тканями черепа и кожи. Нейросети на базе ЭЭГ показывают более скромные результаты при распознавании сложных жестов.
• Электрокортикография (ЭКоГ): инвазивный метод, требующий хирургического вскрытия черепа (трепанации) для установки сетки электродов непосредственно на поверхность коры головного мозга. ЭКоГ обеспечивает высокий уровень сигнала, но сопряжена с серьезными рисками для здоровья пациента (инфекции, рубцевание тканей).
• Магнитоэнцефалография (МЭГ): объединяет достоинства обоих методов. Она обеспечивает высочайшую точность, сравнимую с инвазивной ЭКоГ, но при этом остается абсолютно неинвазивной и безопасной, так как магнитные поля проходят через ткани черепа без искажений.

Модель MEGRPSnet доказала, что неинвазивный метод с применением ИИ может конкурировать по точности с хирургически имплантируемыми интерфейсами.

Перспективы применения и значение для медицины

Используя потенциал распознавания образов, присущий алгоритмам глубокого обучения ИИ, обученным на неинвазивных данных нейровизуализации, ученые получили доказательство концепции (proof-of-concept). Это дает основание для создания высокоэффективных неинвазивных интерфейсов мозг-компьютер нового поколения.

В будущем подобные технологии смогут кардинально изменить жизнь людей с тяжелыми нарушениями моторных и речевых функций:

• Парализованные пациенты: смогут управлять бионическими протезами рук, экзоскелетами или креслами-колясками с помощью мысленных команд и представления жестов.
• Пациенты с афазией и после инсульта: получат возможность восстановить коммуникацию с внешним миром путем декодирования воображаемой речи и жестов.
• Нейрореабилитация: неинвазивный мониторинг позволит эффективнее тренировать поврежденные нейронные сети и стимулировать нейропластичность.

«В целом эти результаты показывают, что неинвазивные приложения ИМК на основе МЭГ обладают огромным потенциалом для будущих разработок в области декодирования жестов рук», — подвели итог исследователи.