Влияние сложности акустической сцены на поведение движений при восприятии речи в виртуальных аудиовизуальных средах с несколькими говорящими

Введение в поведение движений при восприятии речи

В реальных условиях слушания люди обычно используют движения головы и глаз для улучшения сенсорной информации при исследовании акустических сцен. Однако конкретные паттерны таких движений до сих пор не были полностью охарактеризованы. В этом исследовании изучалось, как сложность сцены, варьирующаяся по параметрам реверберации и количеству одновременно говорящих, влияет на поведение движений.

Подход к исследованию

Тринадцать участников с нормальным слухом выполняли задание на понимание и локализацию речи, требующее указать пространственное расположение рассказанной истории в присутствии других историй в виртуальных аудиовизуальных сценах. Были замечены задержанные начальные движения головы, когда в сцене присутствовало больше одновременно говорящих. Оба параметра, реверберация и количество говорящих, увеличивали период поиска, количество фиксированных источников звука и количество переходов взгляда.

Результаты исследования

Период, предшествующий ответам участников, удлинялся с увеличением количества одновременно говорящих, и слушатели продолжали двигать глазами вблизи целевого говорящего. В сценах с большей реверберацией конечное положение головы при принятии решения было дальше от цели. Эти результаты демонстрируют, что сложность акустической сцены влияет на поведение слушателей при понимании и локализации речи в аудиовизуальных сценах.

Длительность фаз движений

Траектории движений были разделены на четыре фазы: престимульная фаза, фаза инициализации, фаза поиска и фаза принятия решения. Длительность фазы инициализации не показала значительных эффектов от количества говорящих или реверберации. Фаза поиска значительно увеличивалась с увеличением количества говорящих. Фаза принятия решения также увеличивалась с увеличением количества одновременно говорящих.

Фиксация взгляда

Участники фиксировали взгляд на говорящих вблизи своего окончательного ответа с увеличением стандартного отклонения положения взгляда при увеличении количества говорящих. Это указывает на увеличение когнитивной нагрузки и сложности акустической сцены.

Заключение

Это исследование продемонстрировало, что сложность акустической сцены значительно влияет на поведение движений слушателей при понимании и локализации речи. Результаты могут быть полезны для разработки технологий слуховых аппаратов, которые могут использовать меры поведения движений для настройки алгоритмов в зависимости от воспринимаемой слушателем сложности.