Мультимодальная эффективность коммуникации в социальном взаимодействии: речь и жесты

Мультимодальная природа эффективности коммуникации

Как эффективность коммуникации формирует использование языка? Мы подходим к этому вопросу, изучая его на уровне диады и с точки зрения мультимодальных высказываний. Мы исследуем, минимизируют ли люди и как именно они минимизируют свои совместные речевые и жестовые усилия в face-to-face взаимодействиях, используя лингвистические и кинематические анализы.

Фокус на ремонте, инициированном собеседником

Мы сосредотачиваемся на ремонте, инициированном собеседником — микрокосме беседы, где люди координируют свои высказывания для решения проблем восприятия или понимания. Мы обнаруживаем, что усилия в речевой и жестовой модальностях используются параллельно в различных типах ремонтных ходов, и что люди решают коммуникационные проблемы наиболее экономичным способом, минимизируя совместные мультимодальные усилия для диады в целом.

Введение в совместные действия

В совместных действиях люди координируют свое поведение для достижения общих целей. Независимо от того, перемещают ли люди диван или ведут беседу, совместное действие, по-видимому, организовано согласно принципу эффективности или минимизации усилий.

Эмпирические данные и принцип наименьших усилий

Эмпирическая работа по совместным действиям показывает, что эта минимизация усилий направлена на общие совместные усилия, а не на индивидуальные. Работа над разговорной речью также предполагает, что люди работают вместе, чтобы минимизировать затраты для диады как социальной единицы — это известно как принцип наименьших совместных усилий.

Методология исследования

Мы использовали задачу директор/исполнитель, в которой люди описывают и находят 3D-фигуры, которые они ранее не видели. Фигуры, отображаемые в рандомизированном порядке на двух экранах, предназначены для представления участникам проблем координации, которые нужно решать на лету с использованием мультимодальной коммуникации.

Операционализация усилий

Для речевой модальности мы операционализировали усилия как количество орфографических символов на ремонтный ход. Для жестовой модальности мы использовали количество поддвижений ручных речевых жестов.

Результаты исследования

Всего в нашем наборе данных задачного взаимодействия от 20 диад было обнаружено 378 инициаций ремонта. Мы обнаружили в среднем 18,9 инициаций ремонта на диаду, что составляет одну инициацию ремонта в среднем каждые 1,5 минуты.

Распределение речевых и жестовых усилий

Усилия, которые люди вкладывают через речевую модальность для совместного разрешения интеракционных проблем, показывают, что в инициациях ремонта речевые усилия slightly увеличиваются по мере того, как тип инициации становится более специфическим. В решениях ремонта проявляется противоположная картина: при ответе на более специфические инициации речевые ходы tend к сокращению.

Минимизация совместных мультимодальных усилий

Совместное количество мультимодальных усилий, вложенных диадой для разрешения интеракционных проблем, наименьшее, когда инициация ремонта была ограниченным предложением. Мы обнаружили, что ограниченные предложения используются значительно чаще, чем ограниченные запросы, в то время как ограниченные запросы не отличаются по частоте от открытых запросов.

Обсуждение результатов

Настоящее исследование investigated, как использование языка формируется коммуникационной эффективностью с мультимодальной и интеракционной перспективы. Мы focused на коротких временных window в поворотном взаимодействии, где люди работают вместе для достижения particular совместной цели: ремонта проблемы с восприятием или пониманием речи.

Основные выводы

Мы находим, что речевые и жестовые усилия растут и падают вместе across типов ремонта и последовательных позиций. Это corroborates взгляд, что речь и жест являются integral частями единой мультимодальной коммуникационной системы.

Ограничения и будущие исследования

Природа нашей задачи могла пригласить более репрезентативные жесты, чем некоторые другие разговорные settings, поскольку 3D-объекты lack условных имен и хорошо подходят для iconic изображения. Мы также found относительно high количества ограниченных предложений по сравнению с ограниченными запросами и открытыми запросами.

Заключение

В этом исследовании мы investigated коммуникационную эффективность с мультимодальной и интеракционной перспективы, увеличивая масштаб на последовательностях ремонта, инициированного собеседником. Как разговорная среда, в которой есть четкая цель, ограниченный набор ходов для достижения этой цели и ограниченный inventory коммуникационных ресурсов для использования в этих ходах, ремонт, инициированный собеседником, является естественной лабораторией для systematic изучения коэффективности в использовании языка.

Методы

В исследовании приняли участие двадцать диад. Стимулами были 16 изображений novel 3D-объектов. Во время взаимодействия participants стояли лицом к лицу, где каждый имел свою own кнопочную коробку и экран.

Анализ данных

Аудио-видео данные были аннотированы в ELAN; обработка данных и статистические анализы выполнялись с помощью статистической программы R.