Влияние связи высоты звука и визуальной высоты на временную перекалибровку аудиовизуального восприятия

Введение

Человеческий мозг объединяет сигналы из нескольких сенсорных модальностей и формирует целостное восприятие. В этом процессе используются пространственно-временная близость и корреляция между сигналами, а также связи между различными характеристиками стимулов. Ассоциация характеристик стимулов across сенсорных модальностей называется кроссмодальной корреспонденцией.

Кроссмодальные соответствия

Например, при предъявлении двух бессмысленных фигур — одной округлой, другой угловатой — с просьбой определить, какая из них «Буба», а какая «Кики», большинство людей ассоциируют округлую фигуру с «Бубой», а угловатую — с «Кики» (эффект Буба/Кики). Кроссмодальная корреспонденция также наблюдалась между более простыми характеристиками. Многие исследования сообщают об ассоциациях между высотой звука auditory стимулов и такими характеристиками visual стимулов, как вертикальное положение, яркость и размер.

Методология исследования

Мы исследовали, влияет ли соответствие между auditory высотой звука и visual высотой на аудиовизуальную временную перекалибровку. Участники оценивали одновременность пары аудиовизуальных стимулов после фазы адаптации.

Дизайн эксперимента

В фазе адаптации высота auditory звука и visual высота манипулировались для фиксации порядка within каждой пары аудиовизуальных стимулов, соответствующих связи высоты звука и высоты (visual领先 или auditory领先).

Мы обнаружили сдвиг точки субъективной одновременности (PSS) между конгруэнтными аудиовизуальными стимулами в зависимости от условий адаптации

Результаты экспериментов

Эксперимент 1 показал значительную разницу в PSS между условиями visual领先 и auditory领先. Эксперимент 2 подтвердил, что этот эффект наблюдается только для стимулов, соответствующих кроссмодальной связи.

• Избирательная перекалибровка для конгруэнтных стимулов
• Отсутствие эффекта для инконгруэнтных пар
• Временные асинхронности компенсируются selectively

Функциональное значение

Компенсация временного лага между аудиовизуальными сигналами способствует интеграции этих сигналов и восприятию их как одновременно исходящих от одного объекта. Это позволяет accurately воспринимать внешний мир.

Ограничения и будущие исследования

Исследование не манипулировало напрямую prior knowledge участников о статистических свойствах внешнего мира. Будущие исследования должны экспериментально манипулировать вероятностью совпадения аудиовизуальных стимулов.

Связь высоты звука и высоты может отражать не только статистические свойства, но и быть семантически опосредованной через linguistic labels «high» и «low».