Влияние невидимых движений губ на восприятие речи: научное исследование эффекта Мак-Герка

Введение в восприятие речи и эффект Мак-Герка

Восприятие речи играет crucial роль в человеческой социальной жизни. Хотя слуховая модальность предоставляет основную информацию для восприятия речи, визуальная модальность также вносит значительный вклад. Ярким примером является эффект Мак-Герка, при котором участники сообщают о слышании нового звука ('да' или 'га'), когда произносимый слог /ба/ накладывается на визуальную презентацию [га]. Недавние исследования показали, что аудиовизуальная интеграция может происходить без сознательного осознания.

Определение сознательного осознания в исследованиях восприятия

В данном исследовании сознательное осознание или осведомленность (о стимулах) определялась как поддающийся отчету субъективный опыт (стимулов). Несколько исследований изучали аудиовизуальную интеграцию без визуального осознания для восприятия речи. Используя технику непрерывного подавления вспышками (Continuous Flash Suppression - CFS), исследователи обнаружили, что невидимые движения губ влияли на визуальное guidance внимания, когда concurrently представлялись congruent auditory стимулы, но не влияли на auditory восприятие речи (т.е., эффекты Мак-Герка).

Методология исследования

Мы исследовали, может ли 'невидимая' визуальная информация, то есть визуальная информация, которая не воспринимается сознательно, влиять на auditory восприятие речи. Многократное воздействие стимулов Мак-Герка (auditory /ба/ с визуальным [га]) временно изменяет восприятие auditory /ба/ в 'да' или 'га'. Это измененное auditory восприятие сохраняется даже после presentation стимулов Мак-Герка, когда auditory стимул presented alone (aftereffect Мак-Герка).

Дизайн эксперимента

Мы использовали это и presented auditory /ба/ либо с, либо без (Нет лица) замаскированным лицом, articulating визуальный [ба] (Конгруэнтный Невидимый) или визуальный [га] (Инконгруэнтный Невидимый). Таким образом, мы измерили степень, в которой невидимые лица могли отменить или продлить aftereffects Мак-Герка. В дополнительном контрольном условии инконгруэнтные лица оставались незамаскированными и, таким образом, видимыми, что привело к четырем условиям в общей сложности.

Результаты исследования

Видимость определялась субъективными дихотомическими reports участников ('видимый' или 'невидимый'). Результаты показали, что условие Конгруэнтный Невидимый уменьшало aftereffects Мак-Герка по сравнению с другими условиями, в то время как условие Инконгруэнтный Невидимый не показало различия с условием Нет лица. Эти результаты позволяют предположить, что 'невидимая' визуальная информация, которая не воспринимается сознательно, может влиять на фонетическое восприятие, но только когда визуальная информация является конгруэнтной с auditory информацией.

Статистический анализ данных

В эксперименте 1 ANOVA выявил значительный эффект условия (F (2, 56) = 29.20, p < 0.001, η2 = 0.140). Последующие множественные сравнения выявили значительные различия между условием Конгруэнтный Невидимый и другими условиями (p < 0.001), но не между условиями Инконгруэнтный Невидимый и Нет лица (p = 0.264). Это указывает на то, что движения губ, конгруэнтные со auditory слогом, могут уменьшать aftereffects Мак-Герка, даже когда они подавлены от осознания.

Обсуждение результатов

Наше открытие контрастирует с предположениями Palmer и Ramsey о том, что информация influencing модальности должна восприниматься сознательно, чтобы влиять на восприятие другой модальности. Однако несколько предыдущих исследований, использующих эффекты visual capture, уже показали, что невидимая информация может изменять sound восприятие. Эти findings, вместе с результатами данного исследования и Plass et al., позволяют предположить, что аудиовизуальное interaction может происходить независимо от того, воспринимается ли информация influencing модальности сознательно.

Теоретические implications

Наши результаты поддерживают гипотезу Mudrik et al. о том, что сознательное осознание не нужно для интеграции сигналов, которые сильно ассоциированы благодаря их repeated, paired presentation в течение prolonged периода, но необходимо для интеграции сигналов, которые hardly сопровождались. Действительно, сильная ассоциация между auditory /ба/ + визуальный [ба], которая была изучена через повседневную жизнь, ослабила фонетическое восприятие ('га' или 'да'), временно сконструированное short-term воздействием видимых стимулов Мак-Герка (auditory /ба/ + визуальный [га]) (т.е., aftereffect Мак-Герка).

Неврологические механизмы аудиовизуальной интеграции

Несколько исследований сообщили, что различные neural механизмы вовлечены в обработку инконгруэнтных (Мак-Герк) и конгруэнтных аудиовизуальных речевых стимулов. Erickson et al. сообщили, что левая задняя верхняя височная борозда (pSTS), repeatedly reported как key region для восприятия Мак-Герка, была recruited для конгруэнтных аудиовизуальных речевых стимулов, в то время как левая задняя верхняя височная извилина (pSTG) была activated during стимулов Мак-Герка.

Ограничения исследования

Данное исследование имеет некоторые limitations. Во-первых, мы использовали только аудиовизуальные стимулы, которые typically используются для достижения эффекта Мак-Герка. Поэтому неясно, может ли эффект, observed в этом исследовании, быть generalized к другим аудиовизуальным речевым стимулам. Во-вторых, мы определяли осведомленность о стимулах по субъективным, дихотомическим reports участников ('видимый' или 'невидимый'), так что 'краткие glimpses' могли occur.

Выводы и направления для будущих исследований

Наши результаты позволяют предположить, что информация о движении губ может влиять на фонетическое восприятие до того, как участники имеют ясный опыт визуальных стимулов, только когда сильная ассоциация между визуальными и auditory речевыми сигналами уже установлена. Это имеет место, по крайней мере, для аудиовизуальных речевых стимулов, которые typically используются (т.е., auditory /ба/ и визуальный [га]). Это сильно поддерживает гипотезу Mudrik et al.

В то время как neural механизмы, лежащие в основе настоящих эффектов, остаются открытыми, наши findings позволяют предположить, что аудиовизуальные речевые сигналы могут интегрироваться во время relatively ранней визуальной обработки.