Как мозг синхронизирует звук и зрение: исследования временного окна связывания

Как мозг объединяет звук и зрение

Наш мозг бесшовно интегрирует визуальную и слуховую информацию, создавая целостное и синхронизированное восприятие окружающего мира. Это происходит несмотря на значительные различия в скорости обработки зрительных и слуховых сигналов.

Разница в скорости обработки

С одной стороны, визуальная информация передается со скоростью света и достигает глаз почти мгновенно. В отличие от этого, звуковые сигналы распространяются гораздо медленнее — примерно 343 метра в секунду. Задержку между зрительным и слуховым восприятием можно заметить на примере молнии и грома: сначала мы видим вспышку, а лишь через несколько секунд слышим гром.

С другой стороны, мозг обрабатывает слуховую информацию быстрее, чем зрительную. Это подтверждается измерениями времени реакции: люди реагируют на звук в среднем на 20 миллисекунд быстрее, чем на визуальный стимул.

Временное окно связывания (TBW)

Для интеграции звука и зрения в условиях временного рассогласования мозг использует своеобразный буфер, называемый аудиовизуальным временным окном связывания (англ. Temporal Binding Window, TBW). В этом временном промежутке звук и зрительные стимулы воспринимаются как синхронные, даже если их реальное время поступления различается на десятки миллисекунд.

Исследования показывают, что для простых стимулов (например, вспышек и звуковых сигналов) TBW составляет от 160 до 250 миллисекунд. Это означает, что даже при задержке в 200 миллисекунд мозг может воспринимать звук и свет как одновременные. Для сложных стимулов, таких как человеческая речь, это окно может быть еще шире.

Тренировка временного окна связывания

Предыдущие исследования (Powers и др., 2009) продемонстрировали, что TBW можно изменить с помощью перцептивного тренинга с обратной связью. В таких экспериментах участники многократно оценивали, происходят ли звук и вспышка одновременно, получая обратную связь о правильности ответов. После достаточного количества попыток их TBW уменьшалось — они становились точнее в определении небольших временных расхождений.

Новое исследование: обобщение тренировки

В недавней работе, опубликованной в журнале Perception, Патрик Бернс и его коллеги исследовали, переносится ли тренировка синхронизации с одной части зрительного поля на другую. Участники проходили два тренировочных сеанса, оценивая синхронность звуков и вспышек, но тренировались только в одном полуполе зрения (правом или левом).

Результаты показали удивительное обобщение навыка: улучшение TBW наблюдалось не только в тренированном, но и в нетренированном полуполе зрения. Это свидетельствует о том, что нейронные механизмы, отвечающие за обучение синхронизации, работают на высоком уровне обработки информации и не привязаны к конкретным участкам сетчатки.

Оставшиеся вопросы

• Переносится ли тренировка с простых стимулов (вспышки и звуки) на сложные (речь и другие аудиовизуальные события)?
• Сохраняются ли эффекты тренировки в долгосрочной перспективе? В текущем исследовании участников тестировали сразу после двухдневного тренинга, но неизвестно, сохранятся ли изменения через месяцы или годы.