Динамика взгляда при восприятии калькирующей жестовой речи (Cued Speech)

Введение в проблему восприятия жестовой речи

Слух является основным каналом доступа к вербальной информации. Однако для глухих людей зрение берет на себя ведущую роль, компенсируя отсутствие слухового восприятия. Для усвоения языка глухие люди часто используют либо жестовые языки, либо вспомогательные системы, такие как Cued Speech (далее - КС), или калькирующая жестовая речь. КС была разработана доктором Р. Орином Корнеттом для устранения двусмысленности чтения по губам путем добавления ручных жестов, которые передают полную фонологическую информацию.

Механизмы восприятия и айтрекинг

Эффективное получение визуальной информации зависит от точного контроля движений глаз. В данном исследовании мы изучали, как участники распределяют взгляд при восприятии КС. Несмотря на то, что КС предоставляет важные данные через жесты рук, остается вопрос: фиксируют ли зрители взгляд на руках или же по-прежнему ориентируются на лицо говорящего?

Методология исследования

В эксперименте приняли участие три группы: глухие пользователи КС, слышащие пользователи КС и слышащие контрольные группы. Участники просматривали беззвучные видео, где демонстрировалась КС, в то время как специальное оборудование (айтрекер) записывало их движения глаз.

• AOI (Areas of Interest - Области интереса): Мы анализировали фиксацию взгляда на руках, лице, глазах и губах.
• Сложность стимулов: Мы сравнивали слова, псевдослова и предложения, варьируя частотность и предсказуемость лексики.

«Все группы фиксировали взгляд почти исключительно на лице, и преимущественно на губах говорящего, несмотря на эффективную обработку жестов пользователями КС».

Результаты: распределение взгляда

Лицо против рук

Наши данные подтверждают, что, подобно чтению по губам, при восприятии КС взгляд остается сосредоточенным на лице. Даже эксперты в области КС, которые отлично считывают жесты, не смотрят напрямую на руки. Периферического зрения оказывается достаточно для обработки ручных жестов, так как они находятся в непосредственной близости от лица.

Асимметрия взгляда: лево и право

Интересное различие было обнаружено между глухими и слышащими участниками:

• Слышащие пользователи: Демонстрировали выраженную предвзятость фиксации на левой стороне лица говорящего. Это типичная модель для восприятия речи, связанная с латерализацией (преобладанием левого полушария мозга) обработки языковых сигналов.
• Глухие пользователи: Демонстрировали более симметричный паттерн распределения взгляда.

Это может свидетельствовать о том, что у глухих людей развивается иная стратегия сканирования пространства, которая позволяет эффективно воспринимать жесты в периферийном поле зрения без необходимости постоянного перевода взгляда.

Влияние сложности стимулов

Мы обнаружили, что при повышении когнитивной нагрузки (например, при использовании псевдослов или менее предсказуемых фраз) взгляд испытуемых чаще направлялся в нижнюю левую часть лица (область рта). Это подтверждает гипотезу о том, что при возникновении трудностей восприятия зрительная система переключается на наиболее информативные зоны - губы, которые несут основную фонологическую нагрузку.

Заключение

Исследование показывает, что Cued Speech (калькирующая жестовая речь) эффективно интегрируется в человеческое восприятие, не меняя фундаментальных стратегий фиксации взгляда, выработанных для обычного общения. Однако глухие пользователи демонстрируют уникальную нейрокогнитивную адаптацию, выражающуюся в более симметричном распределении внимания, что позволяет им охватывать всю полноту визуальных данных - и артикуляцию губ, и жесты рук - одновременно.

Данная работа подчеркивает, что зрение глухих людей не просто компенсирует отсутствие слуха, а проходит через фундаментальную настройку, оптимизирующую извлечение фонологической информации из визуальных образов.