Восприятие временной синхронности не является обязательным условием для мультисенсорной интеграции

Введение

Способность мозга интегрировать информацию от различных сенсорных модальностей необходима для осмысления сложной перцептивной среды. Мультисенсорная интеграция, как было показано, улучшает восприятие, уменьшает неоднозначность и даже производит мощные иллюзии. Во всех этих случаях различные типы соответствия across sensory modalities увеличивают вероятность того, что интеграция произойдет. Наиболее часто изучаемыми являются consistencies в пространстве и времени, которые, возможно, являются двумя наиболее очевидными физическими характеристиками, которые мозг мог бы использовать для связывания relevant sensory input, исходящего из общего источника. Соответственно, spatiotemporal alignment, как было обнаружено, увеличивает вероятность мультисенсорной интеграции в многочисленных контекстах. Хотя оба фактора играют важную роль, исследования также показали, что temporal synchrony across modalities alone может быть достаточной для улучшения восприятия и даже вызова striking illusions, такие как эффект Мак-Гурка/Макдональда и иллюзия двойной вспышки. По этим причинам temporal synchrony часто рассматривалась как своего рода клей, который связывает мультисенсорную информацию вместе, и как тип crossmodal consistency, наиболее essential to integration.

Иллюзия Мак-Гурка и временные ограничения

Из упомянутых иллюзий одной из наиболее extensively studied является эффект Мак-Гурка/Макдональда, при котором presentation of a mismatched phoneme (слуховой компонент слога) и viseme (его визуальный аналог) приводит к восприятию слога, отличного от визуального или слухового input, phenomenon, названный "fusion", который считается textbook case мультисенсорной интеграции. Например, в classic study, для которого эффект назван, presentation of a/ba/ phoneme вместе с a/ga/ viseme produced an illusion, в котором participants reported, что они heard/da/ с striking frequency. Иллюзия имеет measurable temporal constraints и occurs more frequently, когда auditory и visual stimuli представлены closer to synchrony или с very slight visual lead. Это имеет perfect sense, так как transduction of auditory signals much quicker, чем visual ones, что означает, что audiovisual integration часто optimized with a slight visual lead.

Гипотеза единства восприятия

Хотя timing явно essential to the McGurk/MacDonald illusion, существует controversy относительно того, является ли conscious perception of synchrony necessary to its elicitation. Perception of temporal synchrony часто считается key to the assumption of unity, или impression, что два стимула исходят из общего источника. Гипотеза единства восприятия (Unity Assumption Hypothesis) утверждает, что это common source judgment имеет considerable influence на multisensory interactions. В ней говорится, что мозг будет more likely обрабатывать информацию от разных чувств с большим similarity в amodal properties (particularly temporal coincidence) как исходящую из общего источника, позволяя integration. В соответствии с этой точкой зрения, можно было бы ожидать, что perception of synchrony будет essential to the McGurk/MacDonald illusion, так как два стимула, которые заметно происходят в разное время, явно не могут принадлежать одному и тому же событию.

Методы исследования

Для изучения этих сложных взаимосвязей было проведено исследование с участием 101 человека в возрасте от 19 до 73 лет. Участники были набраны через платформу Prolific Academic и дали информированное согласие перед экспериментом. Эксперимент был одобрен этическим комитетом Свободного университета Амстердама и проводился в соответствии со всеми руководящими принципами и правилами, указанными в Нидерландском кодексе поведения для научной добросовестности.

Стимулы и процедура

Эксперимент был запрограммирован и запущен с использованием Neurotask. Участники выполняли эксперимент онлайн, используя собственный компьютер и клавиатуру. В качестве стимулов использовалось видео актрисы, произносящей слог /ga/. Видео было отредактировано таким образом, что звуковая информация была либо конгруэнтной (слышно /ga/ и видно /ga/), либо инконгруэнтной (слышно /ba/ и видно /ga/). Кроме того, манипулировали stimulus onset asynchrony (SOA) между движением губ и голосом: -500, -260, 0, 260 или 500 мс. Отрицательные значения указывают на то, что голос опережает движение губ, и наоборот. Все фильмы демонстрировались в течение 2000 мс.

Дизайн эксперимента

Испытание начиналось с presentation of a black fixation cross в центре белого фона в течение 1000 мс, за которым следовало видео в течение 2000 мс. На половине trials голос был конгруэнтен движению губ, а на остальных trials они были инконгруэнтны. После видео participants были проинструктированы сделать два self-paced responses. Во-первых, они сообщали, слышали ли они /ba/, /ga/ или /da/, нажимая клавиши b, g или d соответственно. Во-вторых, они сообщали, было ли движение губ синхронизировано с голосом или нет, нажимая клавишу 1 или 0 соответственно. Следующее испытание инициировалось после того, как participants сделали суждение о синхронности. Всего было 100 trials (2 конгруэнтности × 5 SOA × 10 повторений), и порядок определялся случайным образом.

Результаты

Данные одиннадцати participants были исключены из дальнейших анализов, поскольку их performance соответствовал одному или нескольким критериям исключения. Более конкретно, один participant был исключен за открытие других приложений в браузере (таких как facebook, email и т.д.) более чем на 10% trials во время эксперимента. Два participants были исключены, потому что они не завершили эксперимент. Восемь participants были исключены, потому что их распределения perceived synchrony на конгруэнтных trials были non-Gaussian. Пять participants были исключены, поскольку они responded с /ba/ или /da/ более чем в 25% случаев на конгруэнтных trials.

Суждения о синхронности

Анализ данных показал значительный main effect для SOA и значительный main effect для конгруэнтности. Важно отметить, что interaction между SOA и конгруэнтностью также был значительным. Это означает, что форма кривой, описывающей вероятность восприятия синхронности в зависимости от SOA, differed significantly между конгруэнтными и инконгруэнтными условиями. В частности, инконгруэнтность значительно сузила window of perceived synchrony (WPS) - диапазон SOA, в котором стимулы воспринимались как синхронные.

Восприятие иллюзии Мак-Гурка

Анализ восприятия иллюзии показал, что participants experienced the illusion значительно чаще в инконгруэнтных условиях по сравнению с конгруэнтными. Частота восприятия fusion responses (/da/) значительно варьировала в зависимости от SOA, достигая пика при небольшом визуальном опережении (-260 мс), что согласуется с предыдущими исследованиями. Критически важно, что illusion occurred значительно выше chance level на всех SOA, кроме -500 мс, демонстрируя, что иллюзия может возникать даже при значительной временной асинхронии.

Обсуждение

Наши результаты демонстрируют два ключевых открытия, которые вносят важный вклад в текущие дебаты о взаимосвязи между временной обработкой и мультисенсорной интеграцией. Во-первых, мы обнаружили, что иллюзия Мак-Гурка часто возникает, даже когда участники не воспринимают стимулы как синхронные. Это открытие бросает вызов longstanding assumption, что perception of synchrony является prerequisite to multisensory integration. Во-вторых, мы обнаружили, что та же самая фонетическая инконгруэнтность, которая produces the illusion, также leads to significant interference в simultaneity judgments, значительно сужая window of perceived synchrony.

Теоретические implications

Эти findings поддерживают более flexible view мультисенсорной интеграции, advanced by Soto-Faraco и Alsius, и challenge более traditional interpretations гипотезы единства восприятия. Наши результаты не противоречат main tenet гипотезы о том, что стимулы, которые share more amodal properties, будут more likely быть attributed to the same source и, следовательно, integrated. Однако они предоставляют evidence against interpretations, которые рассматривают perception of temporal synchrony как prerequisite to integration.

Взаимность временной и мультисенсорной обработки

Удивительным образом features, которые produce the illusion, также appear to interfere с temporal integration, но при этом его elicitation все еще depends on some degree of temporal alignment, говорит о intimate reciprocal relationship между temporal processing и multisensory integration. Это предполагает, что временная обработка не является immutable foundation, на котором строятся мультисенсорные взаимодействия, а скорее находится в complex, bidirectional relationship с higher-level multisensory processes.

Ограничения и будущие исследования

Хотя наше исследование прояснило многое о природе взаимосвязи между временной обработкой и мультисенсорной интеграцией, оно также имеет несколько limitations, которые открывают directions for future research. Одним из ограничений является относительно узкий диапазон SOA, который мы использовали. Более широкий диапазон SOA позволил бы более полно охарактеризовать форму кривой воспринимаемой синхронности и лучше понять, как фонетическая инконгруэнтность влияет на temporal processing across a broader spectrum of asynchronies.

Языковые и культурные различия

Интригующее объяснение того, почему мы столкнулись с меньшим количеством fusions, чем в некоторых предыдущих исследованиях, может заключаться в linguistic context стимулов и наших participants. Поскольку наша когорта состояла исключительно из свободно говорящих на голландском языке, тот факт, что голландский язык involves a different /ga/ sound, мог сыграть роль. Действительно, исследования показали, что восприимчивость к эффекту Мак-Гурка различается у speakers of different languages, и что Dutch participants могут быть less subject to the McGurk/MacDonald effect, чем некоторые другие группы.

Направления будущих исследований

Будущие исследования могли бы further examine the relationship между SJ и multisensory integration путем сравнения across languages. Если более flexible view Soto-Faraco и Alsius accurate, и window, в котором возникает иллюзия, и тот, в котором стимулы воспринимаются как синхронные, являются distinct, в то время как первый должен differ across languages, последний should not. Это направление исследований могло бы помочь further disentangle взаимосвязи между low-level temporal processing и higher-level multisensory integration.

Заключение

Наше исследование прояснило многое о природе взаимосвязи между временной обработкой и мультисенсорной интеграцией и высказалось по поводу существующих controversies относительно гипотезы единства восприятия. Наши findings не противоречат its main tenet, что стимулы, которые share more amodal properties, будут more likely быть attributed to the same source и поэтому integrated. Однако они предоставляют evidence against interpretations, которые рассматривают perception of temporal synchrony как prerequisite to integration, и они соответствуют более flexible approach к мультисенсорной интеграции, advanced by Soto-Faraco и Alsius. Удивительный способ, которым features, которые produce the illusion, также appear to interfere с temporal integration, но в котором его elicitation все еще depends on some degree of temporal alignment, говорит о intimate reciprocal relationship между temporal processing и multisensory integration. Хотя это исследование разрешило некоторые из вопросов, которые вдохновили его design, оно также открыло несколько новых. Например, оно поставило под вопрос exact nature возможного influence of visuophonological contrast на temporal integration. Оно также prompted inquiry into уровень, на котором occurs incongruence effect (и его возможное influence на temporal recalibration) и manner, в котором differences в эффекте Мак-Гурка across languages might illuminate more about distinction между temporal и multisensory integration. Таким образом, наше исследование внесло вклад в endeavor better understand взаимосвязь между temporal processing и multisensory integration, область, которая вызывает все больший интерес, поскольку dysfunction была related to various clinical conditions.