Чувство воплощения с синхронизированным аватаром во время ходьбы в смешанной реальности

Введение

В последние годы технологии смешанной реальности (MR), объединяющие виртуальную реальность (VR) и дополненную реальность (AR), революционизировали способ, которым люди воспринимают и взаимодействуют с цифровым миром, стирая границы между физическими и виртуальными пространствами. Аватары, представляющие персонализированные визуализации пользователей, широко используются в различных задачах MR, включая робототехнику, удаленное сотрудничество и медицинскую реабилитацию. Наша исследовательская группа разработала систему, в которой аватар MR может ходить вместе с пользователем для реабилитации и навигации походки.

Для создания более иммерсивного опыта MR и улучшения результатов применения необходимо учитывать лучшую интеграцию виртуальных объектов с реальным миром и более сильное восприятие виртуального тела. Распознавание своего тела критично для самосознания. Чувство воплощения (SoE) возникает на основе внутренней и внешней информации, включая различные сенсорные стимуляции. SoE имеет три подкомпонента: ощущение собственности (чувство, что это тело мое), ощущение агентства (чувство, что это тело подчиняется мне) и ощущение местоположения (чувство, что это тело находится там, где я нахожусь).

SoE над собственным телом может быть манипулировано и расширено от реального тела человека к внешнему виртуальному телу. Это расширение наших телесных ощущений к аватару третьего лица. Однако, вместо наблюдения за нашим собственным виртуальным аватаром, отображаемым перед нами, мы воспринимаем виртуального аватара как свое собственное реальное тело и ощущаем SoE.

Подход

Влияние внешнего вида и синхронизации аватара на SoE

Исследования показали, что внешний вид виртуального аватара и его уровень синхронизации усиливают SoE по отношению к виртуальному телу. Внешний вид тесно связан с ощущением собственности. Исследования показали, что более высокое ощущение собственности достигается, когда одежда и тон кожи аватара совпадают с пользователем.

Синхронизация аватара также важна для ощущения агентства. Исследования показали, что SoE усиливается, когда движения аватара синхронизируются с движениями пользователя.

SoE и ходьба на месте

Исследования показали связь между SoE и ходьбой на месте. Шаги человека во время ходьбы представляют собой непрерывное, циклическое и не целевое движение всего тела. Исследования показали, что SoE усиливается, когда соматосенсорный ввод на основе ходьбы на месте реального тела и визуальный ввод движения виртуального тела через HMD синхронизируются.

Цель исследования

Целью этого исследования было изучение того, может ли синхронное движение между человеком и виртуальным аватаром вызвать SoE по сравнению с асинхронным движением аватара, когда позиция тела участника изменяется во время ходьбы. Для этого была создана система, в которой аватар MR мог ходить с участником эксперимента. Исследование сосредоточено на синхронизации походки аватара (синхронные и асинхронные условия) и внешнем виде аватара (условия самого аватара и другого аватара).

Задачи и условия эксперимента

Экспериментальная задача состояла из двух отдельных фаз: фазы адаптации и фазы ходьбы. В фазе адаптации участники свободно перемещались, наблюдая за движением аватара, чтобы привыкнуть к аватару и окружению. В фазе ходьбы участники проходили через коридор примерно 55 м с аватаром, проецируемым перед ними. Затем они заполняли опросник, сидя на стуле.

Были установлены четыре условия: (самостоятельный, синхронный), представляющий самостоятельного аватара с синхронным движением, (самостоятельный, асинхронный), представляющий самостоятельного аватара с асинхронным движением, (другой, синхронный), представляющий другого аватара с синхронной ходьбой, и (другой, асинхронный), представляющий другого аватара с асинхронной ходьбой.

Системы для реализации аватара и синхронизации

Реализация внешнего вида аватара

Самостоятельный аватар был создан на основе внешнего вида каждого участника. Для этого использовалась камера глубины RealSense Depth Camera D455 (Intel) для сканирования информации о теле участника и 3D программное обеспечение для моделирования (RecFusion Pro 2.3.0 ImFusion) для создания 3D модели пользователя. Модель была конвертирована в формат fbx и адаптирована по размеру и вращению с помощью 3D CG программного обеспечения Blender. Затем модель была установлена в формате fbx с помощью инструмента моделирования персонажей Mixamo (Adobe).

Реализация синхронизации аватара

Для синхронизации в фазе адаптации использовалась система из шести IMU сенсоров, измеряющих ускорение и угловую скорость каждого сустава. Для синхронизации в фазе ходьбы использовалась система WALK-MATE AVATAR, которая синхронизирует цикл походки участников.

Участники

В эксперименте приняли участие 10 человек (9 мужчин, 1 женщина, средний возраст: 24.2 ± 1.6). Ни у одного из участников не было расстройств ходьбы. Эксперимент был одобрен Комитетом по этике исследований Токийского технологического института, и все эксперименты проводились в соответствии с руководствами и регламентами комитета.

Процедура

Участникам предоставили инструкции по использованию HMD (HoloLens2), включая открытие и закрытие программы с помощью пальцев и проверку сетевых соединений. Сначала проводилась фаза адаптации, затем фаза ходьбы в реальном мире. Коридор для ходьбы представлял собой прямой путь длиной 60 м. Участники ждали сигнала в виде белого шума, выполняли приседание, а затем начинали ходить. Аватар проецировался на расстоянии 3 м перед участником.

Индексы оценки

Опросник

Для субъективной оценки использовался опросник, адаптированный из предыдущих исследований. Опросник включал 10 вопросов, касающихся ощущения собственности, ощущения агентства и ощущения местоположения.

Траектория походки

Для объективной оценки использовалась угловая траектория походки. Если участник хотел избежать виртуального препятствия, угловая траектория относительно направления вперед должна была увеличиться.

Результаты

Результаты опросника

Результаты опросника показали, что синхронные условия значительно усиливают SoE по сравнению с асинхронными условиями. Условия самостоятельного аватара также показали более высокие результаты по сравнению с условиями другого аватара.

Результаты траектории походки

Результаты траектории походки показали, что участники предпринимали действия, чтобы избежать виртуального препятствия, когда аватар, отображаемый перед ними, сталкивался с виртуальным препятствием как угрожающим стимулом.

Заключение

Результаты показали, что синхронное движение между участником и виртуальным аватаром с внешним видом участника может вызвать SoE к виртуальному аватару при изменении абсолютной позиции тела участника во время ходьбы. Эти результаты имеют потенциальное применение в медицинской реабилитации и других областях.