Как семантическое соответствие ускоряет мультисенсорное восприятие: исследование

Введение в мультисенсорное восприятие

Мультисенсорные стимулы улучшают восприятие по сравнению с их унисенсорными компонентами. Например, реакции на мультисенсорные стимулы (например, одновременное видение и слушание животного) часто быстрее, чем реакции на отдельные унисенсорные компоненты (только видение или только слушание животного). Это явление обычно называют эффектом избыточных сигналов (redundant signal effect, RSE). Хотя этот эффект надежно воспроизводится, механизмы, лежащие в его основе, остаются центральной темой в мультисенсорных исследованиях.

Ключевые факторы мультисенсорного benefits

Один из ключевых вопросов заключается в том, какая комбинация стимулов приводит к мультисенсорным преимуществам. Предположение о единстве или общем происхождении — идея о том, что две или более сенсорных подсказки «принадлежат» друг другу — использовалось на протяжении десятилетий для изучения взаимосвязи между стимулами и мультисенсорными benefits. Близкое пространственно-временное совпадение стимулов является одним из компонентов установления общего происхождения. Кроме того, изучались когнитивные факторы более высокого порядка, такие как семантическое соответствие и кроссмодальные соответствия.

Роль семантического соответствия

При рассмотрении семантического соответствия стимулы представляют либо один и тот же объект, либо разные объекты (например, изображение собаки в паре либо со звуком «гав» собаки, либо со звуком «мяу» кошки). Что касается мультисенсорных преимуществ, сообщалось, что более быстрые мультисенсорные реакции присутствуют только тогда, когда стимулы семантически congruent. Однако benefits также могут возникать в мультисенсорных условиях с семантически incongruent стимулами, что делает вклад семантического соответствия неясным.

Постановка проблемы исследования

Общим для этих исследований является то, что семантически congruent условия представляют избыточные цели, тогда как incongruent условия — нет. Поскольку участников просят реагировать на определенный признак стимула в той или иной модальности, только одна цель присутствует в семантически incongruent условиях, но две цели присутствуют в семантически congruent условиях. Цели здесь избыточны в том смысле, что обнаружение того или иного сигнала достаточно для правильной реакции.

Контроль эффекта избыточности

Существует два способа контролировать эффект избыточности целей в экспериментах, изучающих влияние семантического соответствия на мультисенсорные реакции. Первый — удалить избыточность из обоих условий, congruent и incongruent, попросив участников реагировать только на одну модальность. Второй — представить избыточные цели в обоих условиях, попросив участников реагировать на семантически различные целевые стимулы одной и той же двигательной реакцией.

Методология исследования

Для систематического изучения эффекта семантического соответствия мы проверили RSE с использованием изображений и вокализаций животных, как это делалось ранее. Мы попросили участников реагировать одной и той же двигательной реакцией на любой стимул собаки или кошки (представленный в зрении, слухе или одновременно в обеих модальностях). Участников просили удерживаться от реакции на любых других животных. Таким образом, всего было четыре унисенсорных целевых условия (изображения кошек и собак, звуки «мяу» и «гав»).

Дизайн эксперимента

Используя дизайн 2×2 с визуальными и слуховыми животными в качестве факторов, мы создали четыре мультисенсорных условия, которые всегда представляют избыточные цели. Два условия были семантически congruent (лающая собака, мяукающая кошка), а два были семантически incongruent (мяукающая собака, лающая кошка). Этот дизайн позволяет нам изучить влияние семантического соответствия на RSE относительно прогнозов, которые учитывают избыточность целей с помощью вероятностного суммирования.

Результаты: модуляция эффекта избыточных сигналов

Чтобы количественно оценить RSE, мы проанализировали кумулятивные распределения времени реакции. Как типичное открытие, реакции на избыточные сигналы в среднем быстрее, чем реакции на унисенсорные компонентные сигналы, причем их распределение расположено левее унисенсорных распределений (доминирование первого порядка). Эмпирический RSE можно рассчитать как площадь между распределением с избыточными сигналами и самыми быстрыми реакциями из двух унисенсорных распределений.

Влияние семантического соответствия

Мы обнаружили значимое трехстороннее взаимодействие, которое можно объяснить значимым двусторонним взаимодействием между слуховыми и визуальными животными в эмпирическом RSE, которое отсутствует в прогнозируемом RSE. Значимое двустороннее взаимодействие в эмпирических данных выявило эффект семантического соответствия, где RSE был наибольшим, когда слуховые стимулы сочетались с congruent по сравнению с incongruent визуальными стимулами. RSE в обоих congruent условиях были больше, чем в обоих incongruent условиях.

Нарушение границы Миллера

Миллер разработал анализ, предоставляющий верхнюю границу времени реакции для избыточных сигналов, согласующуюся с моделью гонки, в которой более быстрое из двух параллельных сенсорных решений вызывает реакцию. Нарушение этой границы, показываемое более быстрыми избыточными временами реакции, показывает, что наличие сигнала в одной модальности влияет на обработку сигнала в другой модальности в архитектуре гонки, или что архитектура гонки нарушена в целом, или и то, и другое.

Результаты анализа

Мы обнаружили значимый intercept, указывающий, что граница Миллера обычно нарушается, что further corroborated тем, что реакции во всех четырех условиях (как congruent, так и incongruent) нарушали границу Миллера. Кроме того, мы обнаружили эффект двустороннего взаимодействия, показывающий, что нарушения границы Миллера больше в семантически congruent, чем в incongruent условиях.

Влияние последовательности проб на время реакции

Было предложено, что эффекты последовательности проб опосредуют RSE больше, чем predicted, и известно, что время реакции в парадигме избыточных сигналов обычно зависит от переключения модальности. Здесь мы исследуем, модулируют ли эффекты последовательности проб эффект семантического соответствия, обнаруженный во времени реакции.

Анализ последовательностей

Мы провели три анализа последовательности проб, принимая во внимание время реакции текущей пробы в зависимости от сигнала(ов), представленных в предыдущей пробе. Первоначальный анализ был сосредоточен на последовательных унисенсорных стимулах в случайной последовательности проб. Мы обнаружили основной эффект последовательности модальности, основной эффект последовательности животного и взаимодействие между двумя факторами.

Вычислительное моделирование

В качестве заключительного шага мы применили подход вычислительного моделирования для анализа эффекта соответствия в RSE. Следует отметить, что приведенные выше прогнозы независимой модели гонки с использованием вероятностного суммирования делают два критических предположения. Первое, инвариантность контекста, утверждает, что обработка сигнала в одной модальности не зависит от наличия или отсутствия сигнала в другой модальности.

Модельные параметры

Второе, статистическая независимость, утверждает, что возникновение реакции в одной модальности не влияет на шансы возникновения реакции в другой модальности. Для выполнения предположения о статистической независимости унисенсорное время реакции не должно отличаться после переключения/повтора животного/модальности (но эффекты последовательности имеют место).

Обсуждение результатов

Чтобы изучить роль семантического содержания в RSE, мы представили четыре комбинации аудиовизуальных целевых животных, которые были либо семантически congruent, либо incongruent. Критически важно, что аудиовизуальные цели во всех четырех мультисенсорных условиях были избыточны в том смысле, что обнаружение либо слухового, либо визуального животного было sufficient для получения правильной реакции.

Ключевые выводы

Все мультисенсорные условия показали ускорение реакций по сравнению с унисенсорными компонентными сигналами, что показывает, что семантическое соответствие не требуется для возникновения RSE. Отсутствие мультисенсорных benefits в incongruent условиях во многих предыдущих исследованиях, таким образом, вероятно, связано с тем, что incongruent сигналы не были избыточны в соответствии с требованиями задачи.

Заключение и будущие направления

В отличие от предыдущих исследований, мы показали, что RSE возникает в условиях с семантически incongruent стимулами. Как важное различие, incongruent стимулы в нашем эксперименте все еще содержали две избыточные цели, что не было в предыдущих исследованиях. Следовательно, избыточность целей является критическим фактором для возникновения ускорения мульти- по сравнению с унисенсорными реакциями.

Перспективы исследований

Тем не менее, RSE модулировался семантическим содержанием, причем семантически congruent условия показывали больший RSE, чем incongruent условия. В целом, наш анализ RSE на уровне распределения и наш крупномасштабный анализ моделирования пролили новый свет на эффекты семантического соответствия на мультисенсорные решения.