Воплощение дополнительных роботизированных конечностей в виртуальной реальности

Воплощение дополнительных роботизированных конечностей в виртуальной реальности

Система роботизированных дополнительных конечностей расширяет двигательные функции человека, добавляя искусственно разработанные конечности. Для нас важно воплощать систему так, будто она является частью собственного тела, и поддерживать когнитивную прозрачность, при которой когнитивная нагрузка подавляется. Исследования воплощения проводились с расширением телесных функций через «замещение» и «удлинение». Однако исследований по «добавлению» дополнительных частей тела было немного. В данном исследовании мы разработали систему роботизированных дополнительных конечностей, работающую в виртуальной среде, а затем оценили, можно ли считать дополнительную конечность частью собственного тела, используя опросник, и изменяется ли восприятие периперсонального пространства при выполнении задачи кроссмодальной конгруэнтности (visuotactile crossmodal congruency task). Мы обнаружили, что участники способны воплощать дополнительные конечности после использования системы роботизированных дополнительных конечностей. Мы также обнаружили положительную корреляцию между изменением восприятия в задаче кроссмодальной конгруэнтности и субъективным ощущением увеличения количества рук (ощущение дополнительной конечности). Эти результаты позволяют предположить, что добавление дополнительной части тела может вызвать у участников ощущение приобретения новой части тела, отличной от их собственной, посредством функционального расширения.

Введение

Исследования в области роботизированных дополнительных конечностей (Supernumerary Robotic Limbs - SRL)¹ направлены на добавление новых конечностей как расширение телесной функции. Было предложено несколько методов управления системой², связывая движение определенной врожденной конечности (называемое «картированием конечностей»)^3,4, мимикой⁵ или миоэлектрическими сигналами, т.е. электромиограммой (ЭМГ)⁶. Одним из предварительных условий для системы SRL является кооперативное поведение между человеком и системой, и ожидается, что система сможет двигаться по собственному желанию в соответствии с намерениями оператора, подобно врожденной конечности.

Важно иметь возможность рассматривать SRL как часть собственного тела при конструировании его как новой части тела. В работе «Мы чувствуем себя хорошо, пока действуем. Мы чувствуем себя хорошо, пока не чувствуем своего тела»⁷ утверждается, что если мы не обращаем внимания на свои тела, мы не будем чувствовать сопротивления нашим телесным состояниям и движениям. Другими словами, если мы сможем создать состояние, в котором когнитивная нагрузка во время движения тела подавляется (то есть обеспечивается когнитивная прозрачность), это можно интерпретировать как то, что посторонние части могут рассматриваться как наши собственные тела. Фактически, когда когнитивная нагрузка высока, качество и точность манипуляций ухудшаются⁸. Учитывая дизайн системы SRL, если когнитивная нагрузка может контролироваться, система будет работать бесперебойно для оператора, и система может рассматриваться как часть тела. Насколько нам известно, в традиционных исследованиях роботизированных дополнительных конечностей вопрос о том, можно ли считать систему частью тела, недостаточно изучен. Данное исследование направлено на изучение этого аспекта.

В когнитивной науке известно, что человеческое восприятие может трансформироваться, когда оно достаточно применяется к использованию инструментов, и что инструменты могут рассматриваться как часть нашего тела⁹. Это называется «воплощением инструментов»^10,11, которое изучалось с точки зрения нейронауки и когнитивной науки^12,13,14,15. Мерло-Понти объяснял, что многократное использование трости слепым человеком не только включает трость в образ тела слепого, но и делает трость физическим помощником, являющимся продолжением телесного синтеза¹⁶. Телесная когниция, связанная с воплощением инструментов, интерпретировалась в различных областях. Если снова рассмотреть это с точки зрения когнитивной науки, важно знать, могут ли внешние инструменты быть включены в нашу телесную схему и телесный образ. Телесная схема – это перцептивная модель, генерируемая сенсорными сигналами, такими как движение и поза, и используемая для управления движениями и движениями тела¹⁷. Напротив, телесный образ – это внутренняя модель тела, построенная на основе визуальной информации, и используемая для перцептивных суждений¹⁸. Эти модели пытаются интерпретировать телесное восприятие как с моторной, так и с перцептивной точки зрения и могут модифицироваться не только врожденным телом, но и внешними инструментами и влиянием окружающей среды^7,19.

В обсуждении воплощения основными объяснительными переменными и элементами в области когнитивной науки являются ощущение телесной принадлежности (Sense of Body Ownership - SoO), ощущение агентности (Sense of Agency - SoA) и ощущение самолокации (Sense of Selflocation - SoSL). Галлагер определил минимальное «я» как мельчайшую единицу самосознания и утверждал, что оно состоит из SoO и SoA²⁰. Ощущение телесной принадлежности относится к состоянию, при котором человек воспринимает и эмоционально реагирует на объект так, как будто это его собственное тело²¹. Это один из основных элементов воплощения объектов и инструментов. Иллюзия резиновой руки (Rubber Hand Illusion - RHI) является типичным исследовательским примером ощущения телесной принадлежности^{21,22,23,24,25}. Это явление, при котором ощущение собственной руки, которая визуально скрыта, постепенно замещается или передается резиновой руке, расположенной рядом, когда резиновую руку многократно касаются кистью, в результате чего человек ощущает резиновую руку как свою. Напротив, ощущение агентности – это состояние, при котором человек чувствует, что результат действия принадлежит ему^26,27,28. Кроме того, ощущение самолокации было предложено как воплощение для аватаров, размещенных в иммерсивных пространствах, таких как виртуальная реальность (VR)²⁹. Другие типы восприятия также рассматривались как компоненты для объяснения воплощения.

Периперсональное пространство (Peripersonal Space - PPS) также изучалось как объяснительная переменная или элемент воплощения³⁰. Периперсональное пространство относится к пространству, окружающему тело, где стимулы из внешнего мира могут быть непосредственно восприняты. Человек воспринимает его через интеграцию множества сенсорных модальностей, таких как зрение, осязание и слуховые стимулы. Кроме того, пространственное представление в мозге считается трехмерным и известно как высшее когнитивное восприятие^31,32,33,34. Считается, что периперсональное пространство также возникает в непосредственной близости от воплощенных инструментов^12,35, и исследовалась связь между периперсональным пространством и ощущением телесной принадлежности объекта³⁶. Кроме того, периперсональное пространство и телесная схема тесно связаны³⁷ и, как полагают, влияют на трансформацию движений тела.

Исследование «добавления» частей тела

В контексте воплощения инструментов сообщалось о перцептивных изменениях, связанных с замещением или удлинением, в то время как несколько предыдущих исследований, хотя и немногочисленных, сообщали о перцептивных изменениях, связанных с добавлением. Например, иллюзия дополнительной конечности (supernumerary hand illusion), являющаяся расширением иллюзии резиновой руки, пытается добавить дополнительную конечность путем добавления резиновой руки или виртуальной руки и пальцев^38,39,40. В этом экспериментальном парадигме испытуемому предъявляются как его собственные руки, так и резиновая рука, и одновременно прилагаются визуальные и тактильные стимулы, аналогичные стимулам в иллюзии резиновой руки, для дублирования восприятия. В результате испытуемый может ощущать телесную принадлежность к резиновой руке, не теряя ощущения телесной принадлежности к своей врожденной руке. Кроме того, нейронаука подтвердила случаи, когда пациенты воспринимают дополнительную конечность, хотя таковой не существует, а расстройства центральной нервной системы, как сообщается, вызывают супернумерные фантомные конечности⁴¹. В качестве примера работы с дополнительной частью тела, способной к произвольным движениям, существуют предыдущие исследования, оценивающие изменения в восприятии тела и гибкости человека путем предоставления третьей руки^42,43, шестого пальца^44,45 или хвоста⁴⁶. Насколько нам известно, в традиционных исследованиях робототехники, связанных с дополнительными частями тела, вопрос о том, можно ли считать систему частью тела, недостаточно изучен. Данное исследование направлено на изучение этого аспекта, следуя предыдущим работам Сасаки и др.³ и Дрогемуллера и др.⁴³. В области SRL, целью которой является расширение различных функций за счет добавления частей тела, недостаточно оценено, могут ли люди приобрести телесное представление или периперсональное пространство, включая дополнительные конечности.

В данном исследовании мы разработали систему SRL, работающую в среде VR, и оценили, могут ли искусственные дополнительные конечности рассматриваться как часть собственного тела и какие перцептивные изменения происходят при ношении системы (см. рис. 1). Мы измерили время реакции в задаче кроссмодальной конгруэнтности (Crossmodal Congruency Task - CCT) до и после обучающей задачи, в которой участники учились манипулировать SRL. CCT – это метод, широко используемый для изучения интеграции зрения и осязания в периперсональном пространстве^31,47. С помощью этой задачи участники делают дискриминационные суждения относительно положения предъявления (вверх или вниз) тактильных стимулов, игнорируя визуальный дистрактор, не связанный с задачей. Мы использовали CCT для оценки того, происходит ли сильная интеграция зрительных и тактильных ощущений, которая является типичной чертой телесного восприятия, в непосредственной близости от телесного пространства для дополнительной конечности, в виде оценки эффекта кроссмодальной конгруэнтности (Crossmodal Congruency Effect - CCE). Кроме того, мы собрали субъективные оценки, связанные с воплощением SRL, с помощью опросника.

Результаты показали, что оценки CCE значительно отличались до и после обучения, а субъективная оценка показала, что участники воплотили SRL. Удивительно, но была обнаружена положительная корреляция между изменениями в оценках CCE и изменениями в субъективных оценках ощущения увеличения количества рук по сравнению с двумя врожденными руками до и после обучения.

В данной работе мы представляем возможность воплощения системы SRL и генерации периперсонального пространства, направленную на функциональное расширение путем добавления частей тела, хотя оценка проводилась в среде VR; кроме того, мы сообщаем о возможности того, что участники почувствовали, что они приобрели новые части тела, отличные от их собственных врожденных частей тела. В результате мы предлагаем направление для дизайна и оценки системы SRL, а также важность детального обсуждения воплощения в когнитивной науке благодаря добавлению дополнительной части тела.

Результаты

В эксперименте мы сосредоточились на четырех мерах для анализа: (1) анализ обучающей задачи системы SRL, (2) оценка CCE для времени реакции, собранного в CCT, (3) оценка опросника изменений воплощения для SRL и (4) корреляция между оценкой CCE и оценкой опросника изменений воплощения.

Задача касания мяча как обучение манипулированию роботизированными дополнительными конечностями

Участникам было предложено выполнить задачу касания мяча для адаптации к использованию системы SRL в среде VR. В этой задаче участникам требовалось касаться мяча, отображаемого случайным образом вверху, внизу, слева и справа, рукой на конце роботизированной дополнительной конечности, без ограничения времени. Мы подготовили четыре набора по 100 касаний на набор, с перерывом в конце каждого набора. Для определения тенденции задачи касания мяча анализировалось среднее время, затраченное на набор.

Чтобы исключить случаи, когда мяч появлялся в одном и том же месте непрерывно, а также случаи, когда для выполнения задачи требовалось чрезмерное время, случаи, когда для выполнения задачи требовалось менее 0,5 с или более 10 с, были исключены из анализа. В начале задачи движение роботизированной руки для касания мяча по назначению обычно занимало много времени, но было подтверждено, что участники привыкли к управлению во второй половине задачи. Рисунок 2 показывает ящичковый график времени продолжительности для каждого набора касаний мяча. В результате среднее время, затраченное на выполнение задачи на набор, составило 3,7 мин (± 0,8 мин). Среднее время, затраченное на каждый набор, составило 4,5 мин (± 1,1 мин) для первого набора, 3,6 мин (± 0,5 мин) для второго набора, 3,4 мин (± 0,4 мин) для третьего набора и 3,3 мин (± 0,3 мин) для последнего набора.

Критерий Фридмана был применен к среднему времени для каждого набора, и было обнаружено статистически значимое различие [χ²(3)=28,6, p < 0,05].

Задача кроссмодальной конгруэнтности

CCT использовался для оценки того, происходит ли сильная интеграция зрительных и тактильных ощущений, типичная черта телесного восприятия, в периперсональном пространстве вокруг роботизированных дополнительных конечностей до и после обучающей задачи. Поскольку визуальный дистрактор, не связанный с задачей, предъявлялся в непосредственной близости от роботизированных дополнительных конечностей, время реакции (RT) и точность ответов на тактильные стимулы, предъявляемые пальцам ног, собирались как данные для анализа. Чтобы учесть тот факт, что некоторые ответы могут быть неправильными, для статистического анализа и расчета оценки CCE использовался обратный эффект (Inverse Effect - IE), который представляет собой время реакции (RT), деленное на коэффициент точности правильных ответов для каждого условия^34,48. Испытания с временем реакции более 1500 мс исключались как операционные ошибки на основе предыдущих исследований⁴⁷.

Средние значения времени реакции на основе обратного эффекта (Inverse Effect-based Reaction Time - IERT) анализировались с помощью внутрисубъектного трехфакторного дисперсионного анализа с повторными измерениями (ANOVA), где тремя факторами дизайна ANOVA были вертикальная конгруэнтность положения предъявления стимула (Конгруэнтный vs. Неконгруэнтный), латеральная конгруэнтность положения предъявления (Слева-справа) (Та же vs. Разная) и пред- и пост-обучение системы. Результаты показали основное влияние вертикальной конгруэнтности (Конгруэнтный vs. Неконгруэнтный) [F(1,14) = 46,797, p < 0,001, η²_p = 0,770] и взаимодействие трех факторов [F(1,14) = 4,907, p = 0,044 < 0,05, η²_p = 0,260].

Поскольку было обнаружено трехфакторное взаимодействие в средних значениях IERT, были проведены пост-хок анализы для изучения оценок эффекта кроссмодальной конгруэнтности на основе обратного эффекта (Inverse Effect-based Crossmodal Congruency Effect - IECCE) и эффектов, наблюдаемых между пред- и пост-обучением. Оценка IECCE может быть рассчитана из разницы в IERT между инконгруэнтными и конгруэнтными по вертикали испытаниями. Двухфакторный дисперсионный анализ с повторными измерениями применялся к средним значениям оценок IECCE, а два фактора в дизайне ANOVA были латеральной конгруэнтностью (та же/разная сторона) и пред-/пост-обучением, требуемым для ношения системы. Результаты подтвердили основное влияние пред-/пост-обучения, предоставленного для ношения системы [F(1,14) = 6,237, p = 0,026 < 0,05, η²_p = 0,308] и взаимодействие двух факторов [F(1,14) = 6,823, p = 0,021 < 0,05, η²_p = 0,328] было подтверждено.

Поскольку наблюдалось двухфакторное взаимодействие в средних значениях IECCE, мы провели множественные сравнения между шестью парами, состоящими из четырех комбинаций (пред-та же, пост-та же, пред-разная и пост-разная), путем корректировки p-значения методом Бонферрони⁴⁹. Результаты (рис. 3) показали статистически значимые различия в оценках IECCE в пред-/пост-обучении [adj.p = 0,027 < 0,05] и в случае той же/разной стороны после обучения [adj.p = 0,013 < 0,05]. Никаких статистически значимых различий не было обнаружено для других условий. Это означает, что оценки IECCE значительно увеличились после обучения использованию роботизированных дополнительных конечностей только тогда, когда тактильный стимул предъявлялся ипсилатерально.

7-балльный опросник воплощения (Likert scale embodiment questionnaire)

Опросники, оценивающие изменения в воплощении SRL (см. Таблицу 1), проводились до и после обучающей задачи касания мяча, и статистическая оценка с использованием метода Уилкоксона-Манна-Уитни проводилась путем усреднения среди испытуемых в каждой временной точке. Рисунок 4 показывает ящичковый график результатов опросника воплощения в пред- и пост-обучении. Статистически значимые различия наблюдались в Q1, «Я ощущал, что виртуальные роботизированные конечности/руки были моими конечностями/руками» [p < 0,001]; Q2, «Ощущалось, что виртуальные роботизированные руки/конечности, которые я видел, принадлежали кому-то другому» [p < 0,001]; Q3, «Казалось, что у меня может быть больше двух конечностей/рук» [p < 0,001]; Q4, «Я чувствовал, что могу управлять виртуальными роботизированными руками, как если бы они были моими собственными руками» [p < 0,001]; Q5, «Движения виртуальных роботизированных рук были вызваны моими движениями» [p < 0,001]; Q6, «Я ощущал, что движения виртуальной роботизированной руки влияли на мои собственные движения» [p < 0,001]; Q8, «Я чувствовал, что мои руки находятся там, где я видел виртуальные роботизированные руки» [p < 0,001]; и Q11, «В какой-то момент казалось, что мои настоящие руки начинают принимать позу или форму виртуальных роботизированных рук, которые я видел» [p = 0,020 < 0,05]. В целом, участники после обучения склонялись к ощущению телесной принадлежности (Q1, 2, 3), ощущению агентности (Q4, 5, 6) и ощущению самолокации (Q8).

Корреляция между результатом опросника воплощения и оценкой IECCE

Мы сосредоточились на взаимосвязи между оценками IECCE и субъективными оценками воплощения дополнительных конечностей при каждом латеральном условии до и после обучения, где были обнаружены статистически значимые различия. В данном исследовании мы сосредоточились на объеме изменений и провели корреляционный анализ, взяв разницу в каждом условии до и после обучения. В данном исследовании было всего 15 участников, и размер выборки был недостаточно большим, чтобы удовлетворить требование нормальности для корреляционного анализа; следовательно, анализ проводился с использованием бутстреп-метода для теоретического удовлетворения нормальности.

В результате была обнаружена положительная корреляция между оценкой IECCE и объемом изменений в субъективной оценке Q3, «Казалось, что у меня может быть больше двух конечностей/рук», при ипсилатеральных условиях [скорректированный R² = 0,41, F(1,1998) = 1380, p < 0,001] (см. рис. 5). Также была обнаружена положительная корреляция между Q1, «Я ощущал, что виртуальные роботизированные конечности/руки были моими конечностями/руками», которая относится к ощущению телесной принадлежности к SRL, и Q4, «Я чувствовал, что могу управлять виртуальными роботизированными руками, как если бы они были моими собственными руками», которая относится к ощущению агентности к SRL [скорректированный R² = 0,32, F(1,1998) = 937, p < 0,001] (см. рис. 6).

Обсуждение

В данном исследовании мы провели эксперименты в среде VR, чтобы прояснить воплощение системы SRL и проанализировали следующие четыре аспекта: (1) время, затраченное на обучающую задачу, (2) оценку IECCE до и после обучения манипулированию SRL, (3) оценку опросника воплощения SRL и (4) корреляцию между (2) и (3). Результаты показали, что время, затраченное на задачу касания мяча для каждого набора, сокращалось для каждого набора, и не было значимых различий во времени, затраченном между последними двумя наборами. В начале задачи требовалось время для изучения работы системы SRL; однако во второй половине задачи обучение прогрессировало, и требуемое время насыщалось в третьем наборе. В CCT наблюдались различные тенденции в оценках IECCE для одинаковых и разных латеральных сторон до и после обучения при одинаковых латеральных условиях, что подтверждает когнитивные изменения, связанные с визуально-тактильной интеграцией SRL. Кроме того, оценки опросника воплощения SRL по 7-балльной шкале Ликерта показали, что ощущение телесной принадлежности к SRL, ощущение агентности при манипулировании SRL и ощущение самолокации по отношению к SRL, размещенному в VR-пространстве, значительно увеличились после обучения манипулированию SRL. Кроме того, была исследована корреляция между оценкой IECCE и субъективной оценкой воплощения SRL. Была обнаружена положительная корреляция между изменением оценки IECCE при ипсилатеральных условиях и объемом изменений в ощущении дополнительной конечности. Кроме того, наблюдалась положительная корреляция между объемом изменений в субъективной оценке SRL и объемом изменений в ощущении телесной принадлежности и ощущении агентности к SRL.

Применение достаточного количества задач для привыкания к манипулированию роботизированными дополнительными конечностями в VR

Время, затраченное на задачу касания мяча на набор, статистически не отличалось между последними двумя наборами, что позволяет предположить, что испытуемые смогли привыкнуть к манипулированию SRL благодаря этой задаче. В интервью, проведенных после того, как испытуемые научились манипулировать SRL, были сделаны следующие комментарии: «Само манипулирование было веселым», «Во второй половине второго, третьего и четвертого наборов я мог манипулировать SRL без какого-либо особого сознания или когнитивной нагрузки», «Я чувствовал, что мое тело естественно научилось им управлять», «Во второй половине я смог уловить темп и работать над этим как в ритм-игре», «Сначала я пытался манипулировать SRL руками, но постепенно привык манипулировать им ногами». Эти комментарии подкреплялись тем фактом, что общее время обучения, включая перерывы, составило примерно 17–18 минут. С другой стороны, были некоторые комментарии по дизайну SRL, такие как «Я чувствовал себя сбитым с толку, потому что движения SRL противоречили физическим движениям, необходимым для их манипулирования». Другие комментировали работу в среде VR, говоря: «Это был мой первый опыт VR, и я немного устал». Несмотря на эти комментарии, время, затраченное на набор, насыщалось во второй половине последних двух наборов.

Оценка воплощения роботизированных дополнительных конечностей в среде VR

Оценка воплощения дополнительных конечностей в среде VR проводилась с использованием следующих трех индексов воплощения с точки зрения когнитивной науки: (1) ощущение телесной принадлежности к SRL, (2) ощущение агентности при манипулировании SRL и (3) ощущение самолокации по отношению к SRL, размещенному в VR-пространстве. Во всех этих случаях изменения в субъективных оценках воплощения до и после обучения позволяют предположить, что система SRL была воплощена. Хотя вопросы Q1, «Я ощущал, что виртуальные роботизированные конечности/руки были моими конечностями/руками», и Q2, «Ощущалось, что виртуальные роботизированные руки/конечности, которые я видел, принадлежали кому-то другому», являются оценками телесной принадлежности, они противоречат друг другу. Оба вопроса были обратно пропорциональны и статистически значимы, что позволяет предположить, что испытуемые ощущали телесную принадлежность к SRL. Q4, «Я чувствовал, что могу управлять виртуальными роботизированными руками, как если бы они были моими собственными руками», Q5, «Движения виртуальных роботизированных рук были вызваны моими движениями», и Q6, «Я ощущал, что движения виртуальной роботизированной руки влияли на мои собственные движения», все были статистически значимы. Напротив, не было статистически значимого отличия в Q7, «Я чувствовал, что виртуальные роботизированные руки двигались сами по себе». Следовательно, можно сказать, что испытуемые ощущали агентность при манипулировании SRL после обучения. Наблюдалось статистически значимое увеличение оценки по вопросу Q8, «Я чувствовал, что мои руки находятся там, где я видел виртуальные роботизированные руки». Это позволяет предположить, что испытуемые ощущали самолокацию по отношению к SRL, размещенному в VR-пространстве. Корреляционный анализ изменений в субъективных оценках воплощения SRL также показал положительную корреляцию между ощущением телесной принадлежности к SRL и ощущением агентности при манипулировании SRL. Учитывая эти результаты, можно считать, что испытуемые воплотили SRL после обучения.

Напротив, после обучения манипулированию SRL не было статистически значимых отличий в Q10, «Я чувствовал, что мои настоящие руки превращаются в «виртуальные» роботизированные руки», и Q12, «В какой-то момент я чувствовал, что виртуальные роботизированные руки напоминали мои собственные настоящие руки по форме, тону кожи или другим визуальным характеристикам».

Ощущение дополнительной конечности

В настоящем эксперименте вопрос Q3, «Казалось, что у меня может быть больше двух конечностей/рук», обрабатывался иначе, чем в предыдущих исследованиях. При оценке иллюзий резиновой руки и аватаров с точки зрения ощущения телесной принадлежности этот пункт рассматривался как отрицательный фактор (т.е. отсутствие ощущения телесной принадлежности)⁵⁰. Однако в нашем экспериментальном парадигме интерпретация иная, поскольку SRL предъявляются одновременно с конечностями аватара, которые зеркально отражают движения врожденных рук, и измеряется, генерируется ли ощущение принадлежности к дополнительной конечности (ощущение дополнительной конечности). После обучения манипулированию SRL наблюдалось статистически значимое увеличение оценки, указывающее на то, что испытуемый мог развить ощущение дополнительной конечности.

Возможность возникновения PPS вокруг роботизированных дополнительных конечностей в VR

Результаты CCT показали, что визуально-тактильная интеграция с SRL привела к перцептивным изменениям, что позволяет предположить возможность возникновения PPS вокруг SRL. В CCT общеизвестно, что когда визуальный дистрактор, не связанный с задачей, и тактильные стимулы совпадают (т.е. визуально-тактильные стимулы появляются на одной высоте), время реакции быстрее, а точность ответа выше, чем когда они не совпадают (т.е. визуально-тактильные стимулы появляются на разных высотах). Это визуально-тактильное взаимодействие является характеристикой визуальных дистракторов, когда они присутствуют в непосредственной близости от тела, и эта характеристика уменьшается, когда визуальные дистракторы предъявляются далеко от тела.

В данном исследовании мы оценили, происходит ли сильная интеграция зрительных и тактильных ощущений, типичная черта телесного восприятия, в непосредственной близости от тела для SRL, и обнаружили статистически значимые увеличения оценок IECCE до и после обучения, а также оценок IECCE на той же или разной стороне при тех же латеральных условиях. Этот результат можно интерпретировать как сильное указание на визуально-тактильную интеграцию после обучения вокруг SRL, позволяющее предположить, что PPS может возникнуть. Это основано не только на статистическом анализе, но и на интервью с испытуемыми, проведенных после эксперимента, в которых говорилось: «После обучения было много случаев путаницы, когда визуальные и тактильные ощущения в CCT были разными. В частности, я ощущал более сильный визуальный стимул».

Воплощение роботизированных дополнительных конечностей в VR

В настоящем эксперименте поощрялись произвольные действия, чтобы испытуемые могли научиться манипулировать роботизированными дополнительными руками, что отличается от традиционной задачи иллюзии резиновой руки, основанной на пассивных действиях и стимулах. Кроме того, наша SRL способна к произвольным движениям, независимым от врожденной руки. Следовательно, по сравнению с иллюзией дополнительной конечности^38,39, являющейся расширением иллюзии резиновой руки, используемой в предыдущих исследованиях, возможно оценить ощущение агентности при движении SRL и провести более прямую оценку минимального «я»²⁰. В случае задачи касания мяча время, необходимое для касания мяча во второй половине задачи, было значительно короче, чем в первой половине. Это может указывать на то, что активное манипулирование SRL способствует обновлению телесной схемы и стабилизирует план движения SRL.

В данном исследовании мы рассмотрели корреляцию между оценкой IECCE и субъективной оценкой воплощения SRL. Корреляция между изменением оценки IECCE при ипсилатеральных условиях и изменением субъективной оценки воплощения SRL была положительной. Это позволяет предположить, что существует корреляция между ощущением дополнительной конечности и генерацией PPS. В отличие от «замещения» воплощения для дополнительных конечностей, которое объяснялось иллюзией резиновой руки, генерируемой пассивными стимулами, в данном исследовании «добавление» воплощения генерировалось посредством обучения и манипулирования SRL с произвольно движущейся дополнительной конечностью. Другими словами, существует вероятность того, что ощущение принадлежности к дополнительной конечности может быть объяснено одновременной генерацией ощущения дополнительной конечности и PPS. Кроме того, телесная самосознательность (Bodily Self-Consciousness - BSC)⁵¹ — это когнитивное представление собственного тела, и восприятия воплощения и PPS были названы необходимыми условиями для достижения BSC. Тот факт, что эти корреляции наблюдались в нашем исследовании, позволяет предположить, что система SRL была включена как собственное тело в контексте BSC.

Когнитивная прозрачность для системы роботизированных дополнительных конечностей

Важно подавлять когнитивную нагрузку (т.е. когнитивную прозрачность) во время работы системы SRL, функционирующей как новая часть тела. Система человеко-машинного сопряжения (human–robot coupling system)^52,53 была предложена как стратегия управления для всей роботизированной системы дополнительных конечностей. В этой системе есть компоненты, которые распознают намерения оператора, и механизмы для возврата ожидаемой обратной связи. Однако нет упоминания о том, как когнитивно-научные элементы интерфейса «человек-машина» должны присутствовать в системе. Существует опасение, что при высокой когнитивной нагрузке это может повлиять на точность операции⁸; следовательно, желательно подавлять когнитивную нагрузку. Поэтому также желательно, чтобы интерфейс «человек-машина» был разработан с учетом когнитивной нагрузки.

Индексы и парадигмы оценки, проверенные в данном исследовании, могут быть использованы в будущем при проектировании и оценке систем SRL. Особенно в отношении перцептивных и когнитивных изменений мы исследовали возможность PPS с использованием оценки CCE и оценили субъективную оценку воплощения системы SRL в VR-пространстве. Это можно считать оценкой примера многих систем SRL. Такой подход к оценке может быть использован для сравнения легкости воплощения других систем SRL при изучении и оценке их потенциала для воплощения.

Хотя гендерные эффекты, вызывающие предвзятые результаты в VR-исследованиях, были сообщены⁵⁴, 90% участников данного исследования были мужчинами. Следовательно, для экспериментального дизайна в будущих исследованиях необходимо обеспечить сбалансированное соотношение полов.

Необходимая оценка кооперативной работы с использованием врожденных и роботизированных дополнительных конечностей

В данном исследовании мы не оценивали задачу, используя кооперативную работу врожденных конечностей и SRL, поэтому для дальнейшего обсуждения трансформации телесной схемы необходима дополнительная валидация. В предыдущем исследовании утверждалось, что резиновые руки могут быть включены в образ тела и телесную схему в системе иллюзии резиновой руки; однако только одна из конечностей (резиновая или врожденная рука) может быть включена в телесную схему, и сообщалось об эксклюзивных отношениях, особенно в телесной схеме³⁹. Напротив, в разработанной в данном исследовании роботизированной системе, хотя врожденные конечности представлены как аватары, сама роботизированная рука может выполнять произвольные движения, независимые от врожденных рук, что позволяет предположить возможность воплощения SRL с точки зрения трех элементов: телесной принадлежности, ощущения агентности и ощущения самолокации. Учитывая это, наша система SRL явно отличается от экспериментальных и оценочных систем для иллюзий резиновой руки. Однако, поскольку мы не оценивали систему в сотрудничестве с врожденной конечностью, мы не можем сказать, будет ли телесная схема эксклюзивно трансформирована или будет ли построена телесная схема, включающая как врожденную конечность, так и роботизированную дополнительную конечность.

Необходимая оценка изменений восприятия врожденных ступней, сопоставленных с роботизированными дополнительными конечностями

Чтобы углубленно обсудить генерацию ощущения дополнительной конечности, необходимо оценить перцептивные изменения ступней, сопоставленных с SRL. В данном исследовании мы предполагаем, что ощущение телесной принадлежности и ощущение агентности по отношению к врожденным конечностям сохраняются, поскольку SRL предъявляется одновременно с аватаром, отражающим врожденные конечности. Исходя из этого, субъективная оценка вопроса о воплощении Q3, «Казалось, что у меня может быть больше двух конечностей/рук», интерпретировалась как ощущение дополнительной конечности, поскольку ее обработка отличалась от экспериментального парадигма предыдущих исследований по иллюзии резиновой руки и воплощению аватара. Чтобы более строго ссылаться на это, мы можем описать взаимосвязь между ощущением дополнительной конечности и восприятием в сопоставленной врожденной конечности, оценивая перцептивные изменения во врожденных ступнях.

Будущие работы и заключение

Результаты данного исследования не ограничиваются оценкой воплощения SRL, но также предполагают возможность дальнейшего детализирования обсуждения воплощения инструментов, используемых в когнитивной науке. Традиционно подчеркивались «замещение» и «удлинение» перцептивных изменений при использовании инструментов, таких как ножи, ножницы и трости. Однако мы считаем, что с появлением систем SRL, позволяющих добавлять части тела и функциональные дополнения, мы сможем зафиксировать перцептивные изменения, которые являются «дополнением». Возможность ощущения дополнительной конечности, о которой сообщается в данной работе, является примером фиксации «дополнительных» перцептивных изменений. Помимо «замещения» и «удлинения», в исследование перцептивных изменений при воплощении инструментов может быть включено «добавление», что может привести к дальнейшему детализированию в обсуждениях когнитивной науки. Следовательно, это можно будет обсуждать в таких областях исследований, как нейронаука.

В качестве перспективы мы считаем, что будет необходимо зафиксировать трансформацию восприятия с использованием нейронаучного подхода, помимо упомянутых выше экспериментов по кооперативному поведению между врожденной конечностью и системой роботизированной дополнительной конечности, и проверить перцептивные изменения во врожденной конечности, сопоставленной с системой SRL. Хотя предыдущие исследования оценивали нейронные представления для дополнительных пальцев⁵⁵, неясно, как нейронные представления различаются в зависимости от области, добавленной как дополнительная конечность. Кроме того, существует множество пунктов, которые необходимо учитывать, такие как обучающая задача и время, необходимое для ношения системы SRL. Кроме того, с точки зрения когнитивной нейронауки, будет важно исследовать механизмы и динамику ощущения дополнительной конечности и ощущения владения дополнительной конечностью, о которых сообщается здесь, чтобы изучить пределы человеческой пластичности и спроектировать системы SRL.

В данной работе мы предполагаем, что участники могли почувствовать, что они приобрели новую часть тела, отличную от их собственной, посредством использования SRL, представленного в VR-пространстве. Наблюдалась корреляция между генерацией PPS вокруг SRL и ощущением приобретения новой части тела (ощущение дополнительной конечности), которая использовалась для объяснения возможности воплощения системы SRL. Кроме того, мы предполагаем возможность детализирования перцептивных изменений в воплощении инструментов для облегчения дискуссий в когнитивной науке.

Методы

Набор участников, логистика и процедура эксперимента

Шестнадцать здоровых добровольцев (включая двух женщин, в возрасте от 21 до 27 лет, со средним возрастом 22,9 года) участвовали в этом эксперименте в качестве платных добровольцев, независимо от пола, ведущей руки или ноги. Один участник вынужден был прекратить эксперимент из-за неисправности оборудования и поэтому не был включен в анализ. Для анализа мы использовали данные 15 участников. Ссылаясь на предыдущие исследования, CCT в Исследовании 1 Аспелла и др. [F(1,12)=11,3]⁵⁶. Размер выборки, рассчитанный на основе уровня значимости [α = 0,05], составил 14 участников, что соответствовало требуемому размеру выборки⁵⁷. Было подтверждено, что все участники, использованные в эксперименте, имели нормальное или скорректированное до нормального стереоскопическое зрение. Эксперимент проводился после одобрения Комитетом по этике Научно-исследовательского центра передовой науки и технологий Токийского университета, и перед участием все участники предоставили письменное информированное согласие. Все процедуры эксперимента, описанные ниже, были одобрены тем же комитетом по этике и проводились в соответствии с руководящими принципами Хельсинкской декларации⁵⁸ и одобренной процедурой тем же комитетом по этике.

Экспериментальная установка системы роботизированных дополнительных конечностей на основе VR

Участники эксперимента видели, что они находились в виртуальном пространстве через шлем виртуальной реальности (Head-Mounted Display - HMD, VALVE INDEX, отображающий стереоскопические изображения с разрешением 2880 × 1600). Виртуальное пространство было построено с использованием Unity3D (частота кадров 60 FPS) и работало на ПК с Windows (Razer BLADE15, 2,6 ГГц Intel Core i79750H, 16 ГБ ОЗУ и NVIDIA RTX2080). Участники располагались в VR-среде так, чтобы они могли видеть тело аватара, включая конечности и роботизированные дополнительные руки, с точки зрения от первого лица.

Система SRL, работающая в VR-среде, была разработана на основе системы Сасаки и др. с использованием картирования конечностей³. Роботизированные дополнительные руки состоят из семи степеней свободы: сустав плеча, сустав верхней части руки, локтевой сустав, сустав предплечья, сустав запястья и конечный эффект. Аватар движется в соответствии с шестью точками отслеживания: точки на HMD, контроллере VALVE INDEX и трекерах VIVE, прикрепленных к талии и пальцам ног. В частности, движение трекера VIVE на ногах связано не только с ногами аватара, но и с роботизированными руками. Информация от трекера VIVE, а также расстояние до конечного эффект, устанавливаются как целевая позиция для обратной кинематики в вертикальном и горизонтальном движении и вращении роботизированной руки, и таким образом, роботизированная рука может двигаться в диапазоне, необходимом для адаптационной задачи. Это позволяет роботизированным рукам двигаться по желанию. В зависимости от позиции манипулирования может потребоваться перемещение сопряженной ноги в противоположном направлении и вытягивание кисти роботизированной руки вперед с точки зрения аватара.

Для обеспечения тактильной обратной связи при касании роботизированной рукой мяча, представленного в виртуальном пространстве, мы использовали Arduino для связи Unity3D с осциллятором. Трансдьюсером являлся небольшой вибрационный датчик (Vp210 от Acouve Lab), а частота вибрации была установлена на 200 Гц, что является частотным диапазоном с высокой чувствительностью к обнаружению вибрации человеком⁵⁹. Задняя часть стопы испытуемого вибрирует при касании рукой робота, а подошва стопы испытуемого вибрирует при касании ладонью робота. Четыре трансдьюсера, включая левый и правый, были прикреплены к ногам испытуемого. Во время выполнения задачи непрерывно воспроизводился белый шум для блокировки звуков из внешнего мира, и слуховые стимулы контролировались как постоянные.

Для сбора ответов на стимулы как можно быстрее и точнее во время CCT мы использовали вертикальную эргономичную мышь (Delux M618PLUS, частота опроса = 500 Гц, проводное USB-соединение).

Процедура эксперимента

Сначала проводилась калибровка для размещения испытуемого в виртуальном пространстве по назначению. Затем испытуемый был оснащен оборудованием, упомянутым в описании экспериментальной установки. Как только они были готовы, испытуемые выполняли CCT без практики или обучения использованию роботизированных дополнительных рук. Сразу после этого они отвечали на опросник, связанный с их субъективной оценкой воплощения. Для ответов на опросник HMD снимался один раз. После ответов на опросник участники выполняли задачу касания мяча в качестве адаптационной задачи. Сразу после завершения серии адаптационных задач участники снова проходили задачу кроссмодального сопоставления и отвечали на опросник. Наконец, с ними проводились интервью для сбора их впечатлений относительно всего эксперимента. Детали каждого пункта описаны ниже. Хотя мы не устанавливали ограничений по времени, подготовка и завершение эксперимента заняли примерно 90 минут для всех испытуемых.

7-балльный опросник воплощения (Likert embodiment questionnaire)

Испытуемым было предложено заполнить опросник воплощения, проведенный сразу после CCT. Затем испытуемым было предложено оценить опросник по 7-балльной шкале Ликерта от 3 (категорически не согласен) до +3 (полностью согласен). Было подготовлено шесть типов вопросов: телесная принадлежность, ощущение дополнительной конечности, ощущение агентности, ощущение самолокации, внешний вид и реакция (см. Таблицу 1)⁵⁰. В данной экспериментальной системе, в отличие от обычных экспериментальных парадигмов, таких как иллюзия резиновой руки, мы пытаемся добавить новые части тела, а не заменить их; следовательно, интерпретация Q3, «Казалось, что у меня может быть больше двух конечностей/рук», отличается. В данном исследовании мы собирали субъективные оценки ощущения дополнительной конечности для дополнительных частей тела, которые могут произвольно перемещаться. Были подготовлены некоторые вопросы, чтобы спросить, проводится ли различие между рукой участника и рукой робота.

Задача кроссмодальной конгруэнтности

В CCT участники делают дискриминационные суждения относительно положения предъявления (вверх или вниз) тактильных стимулов, игнорируя визуальный дистрактор, не связанный с задачей. Во время CCT испытуемым было поручено смотреть на точку фиксации через HMD на протяжении всей задачи и отвечать немедленно после предъявления тактильного стимула. Испытуемый должен был ответить верхней кнопкой мыши, когда вибратор, прикрепленный к пальцу ноги, предъявлял стимул к верхней части стопы, и нижней кнопкой, когда стимул предъявлялся к подошве стопы. Задержка между визуальным и тактильным стимулами (синхронность начала стимулов, Stimulus Onset Asynchrony - SOA) была рассчитана как 33,3 мс, и системная задержка составила максимум 16,7 мс согласно журналам, записанным во время эксперимента. Максимальная системная задержка составила 16,7 мс согласно журналам, записанным во время эксперимента (т.е. фактическая SOA составляла 33–55 мс). Известно, что когда SOA меньше 100 мс, мультисенсорная интеграция (Multisensory Integration - MSI) вносит вклад в оценку CCE, а когда SOA находится вне этого диапазона, на оценку CCE в основном влияют внешнее внимание и эффекты прайминга^60,61,62. Тактильные стимулы предъявлялись через 1 с после предъявления подсказки, а время между тактильным стимулом и ответом мыши записывалось как RT. Следующая подсказка предъявлялась через 3 с после ответа испытуемого, и последовательность была настроена так, чтобы следующая подсказка предъявлялась снова.

Комбинация визуальных и тактильных стимулов была определена таким образом, что визуальные стимулы соответствовали условиям (ипсилатеральный/контралатеральный) и (конгруэнтный/инконгруэнтный) для тактильно стимулированной ноги (правой/левой). Всего было восемь шаблонов. Порядок предъявления стимулов был рандомизирован, и шесть наборов комбинаций предъявлялись за сеанс, с перерывом после каждого сеанса и немедленным переходом к следующему сеансу, если это не требовалось. Испытуемые выполнили 192 испытания (8 шаблонов × 6 наборов/сеанс × 4 сеанса) до и после манипулирования SRL.

CCE рассчитывался как разница во времени RT между инконгруэнтными и конгруэнтными испытаниями. Чтобы учесть тот факт, что некоторые ответы могут быть неправильными, IE, который представляет собой процент правильных ответов, деленный на среднее время реакции в определенном условии, также использовался в качестве индекса при расчете CCE^34,48.

Задача касания мяча как обучение манипулированию роботизированными дополнительными конечностями

Мы организовали сеанс для обучения использованию роботизированных дополнительных рук без ограничения времени. Участникам было предложено касаться верхнего мяча тыльной стороной руки робота и нижнего мяча ладонью руки робота. Когда участник касался мяча, он исчезал, и одновременно предъявлялись тактильные стимулы к соответствующей ноге. Затем мяч немедленно предъявлялся в другом месте, и участник выполнял эту серию задач в общей сложности 400 раз. Предоставлялся перерыв каждые 100 испытаний, чтобы избежать усталости участников. Порядок появления мячей определялся случайным образом. Измерялось время до следующего касания мяча, а также записывались позиции трекеров на левой и правой ногах. В отличие от CCT, не было ограничений на точку обзора, и отображался счетчик количества касаний мяча, расположенный отдельно от мяча.