Влияние сложности акустической сцены на поведение движений при восприятии речи в виртуальных аудиовизуальных средах с несколькими говорящими

Влияние сложности акустической сцены на поведение движений при восприятии речи в виртуальных аудиовизуальных средах с несколькими говорящими

Интересное сегодня

Эмоциональный интеллект (EQ): как его измерить и развить

Что такое эмоциональный интеллект (EQ)? Вы наверняка знакомы с концепцией эмоционального интеллекта ...

Как кетамин влияет на мозг: научные открытия о рецепторах Гл...

Введение Кетамин, известный ранее как наркотик для вечеринок и анестетик для кошек, в последние годы...

Эмоциональная поддержка учителей и ее влияние на вовлеченнос...

Введение Вовлеченность студентов в учебный процесс играет ключевую роль в их академической успеваемо...

Анализ сегрегации информации в параллельных потоках многопот...

Введение В зрительной коре приматов визуальная информация обрабатывается в иерархически организованн...

Модель скрининга депрессии для диабетиков среднего и пожилог...

Введение Диабет — это хроническое эндокринно-метаболическое заболевание, распространенное по ...

Как брак влияет на удовлетворённость жизнью: новое исследова...

Как меняется удовлетворённость жизнью до и после брака Более десяти лет назад социологи установили, ...

figure 4
figure 4
figure 5
figure 5
figure 6
figure 6
figure 7
figure 7
figure 1
figure 1
figure 2
figure 2
figure 3
figure 3
Thumbnail 1
Thumbnail 2
Thumbnail 3
Thumbnail 4
Thumbnail 5
Thumbnail 6
Thumbnail 7
Thumbnail 8
Thumbnail 9
Thumbnail 10
Оригинал исследования на сайте автора

Введение в поведение движений при восприятии речи

В реальных условиях слушания люди обычно используют движения головы и глаз для улучшения сенсорной информации при исследовании акустических сцен. Однако конкретные паттерны таких движений до сих пор не были полностью охарактеризованы. В этом исследовании изучалось, как сложность сцены, варьирующаяся по параметрам реверберации и количеству одновременно говорящих, влияет на поведение движений.

Подход к исследованию

Тринадцать участников с нормальным слухом выполняли задание на понимание и локализацию речи, требующее указать пространственное расположение рассказанной истории в присутствии других историй в виртуальных аудиовизуальных сценах. Были замечены задержанные начальные движения головы, когда в сцене присутствовало больше одновременно говорящих. Оба параметра, реверберация и количество говорящих, увеличивали период поиска, количество фиксированных источников звука и количество переходов взгляда.

Результаты исследования

Период, предшествующий ответам участников, удлинялся с увеличением количества одновременно говорящих, и слушатели продолжали двигать глазами вблизи целевого говорящего. В сценах с большей реверберацией конечное положение головы при принятии решения было дальше от цели. Эти результаты демонстрируют, что сложность акустической сцены влияет на поведение слушателей при понимании и локализации речи в аудиовизуальных сценах.

Длительность фаз движений

Траектории движений были разделены на четыре фазы: престимульная фаза, фаза инициализации, фаза поиска и фаза принятия решения. Длительность фазы инициализации не показала значительных эффектов от количества говорящих или реверберации. Фаза поиска значительно увеличивалась с увеличением количества говорящих. Фаза принятия решения также увеличивалась с увеличением количества одновременно говорящих.

Фиксация взгляда

Участники фиксировали взгляд на говорящих вблизи своего окончательного ответа с увеличением стандартного отклонения положения взгляда при увеличении количества говорящих. Это указывает на увеличение когнитивной нагрузки и сложности акустической сцены.

Заключение

Это исследование продемонстрировало, что сложность акустической сцены значительно влияет на поведение движений слушателей при понимании и локализации речи. Результаты могут быть полезны для разработки технологий слуховых аппаратов, которые могут использовать меры поведения движений для настройки алгоритмов в зависимости от воспринимаемой слушателем сложности.

Короткие версии статей можно найти в телеграм-канале.

Посмотреть канал
Кликните еще раз для перехода