Адаптация слухового восприятия лексического ударения с помощью орфографии и жестов

Речь, произносимая разными говорящими, может значительно различаться в зависимости от того, кто ее произносит. Один и тот же звук может звучать по-разному в зависимости от говорящего. Это разнообразие ставит перед нашей системой восприятия речи задачу точно определить, что было сказано. Слушатели должны адаптироваться к разным говорящим и их особым способам произношения речи. Одним из способов достижения этого является корректировка границ восприятия категорий (например, для отдельных звуков речи) для адаптации к способу произношения говорящего (например, Bertelson et al., 2003; Norris et al., 2003). Этот процесс известен как рекалибрация (e.g., Bertelson et al., 2003; Norris et al., 2003).

Высказывания, однако, обычно сочетают сегментные и сверхсегментные данные, такие как лексические ударения и просодические контуры (например, Cutler, 2008), которые также варьируются в своей реализации (например, Severijnen et al., 2024; Xie et al., 2021), что требует некоторой формы адаптации (например, рекалибрации) к сверхсегментной изменчивости. Важно отметить, что во многих разговорах мы можем видеть говорящего, что позволяет использовать слуховую информацию и визуальную информацию, например, через жесты, сопровождающие речь, чтобы понять, что говорящий хочет донести (Holler & Levinson, 2019; Kita & Özyürek, 2003; McNeill, 2008; Wagner et al., 2014).

Механизмы рекалибрации

Рекалибрация — это домен-генеральный механизм восприятия (например, Noppeney, 2021), который служит для достижения постоянства восприятия у наблюдателя, несмотря на изменчивость входных данных. Он наблюдался в восприятии цвета (Mitterer & de Ruiter, 2008), аудиопространственной локализации (Radeau & Bertelson, 1974), восприятии аудиовизуальной синхронности (Fujisaki et al., 2004; Vroomen, et al., 2004a, 2004b) и распознавании слов (Bertelson et al., 2003; Norris et al., 2003).

В последней области предлагалось, что слушатели используют рекалибрацию для работы с изменчивостью речи. Например, если кто-то слышит неоднозначный фрикатив, находящийся между /f/ и /s/, они могут научиться интерпретировать неоднозначный фрикатив как /f/ или /s/ в зависимости от разъясняющей информации (Norris et al., 2003).

Заключение

Наше исследование показало, что слуховое восприятие лексического ударения может адаптироваться с помощью орфографии и жестов. Эти результаты подчеркивают важность мультимодальной интеграции в речевой обработке и показывают, что жесты играют важную роль в восприятии речи.