Как движение бровей помогает распознавать вопросы: роль аватаров в общении

Введение

Распознавание социальных действий (аналогичных "речевым актам") является crucialной частью успешной беседы, поскольку они указывают на цель высказывания говорящего. Например, высказывание "Они поменяли цвет волос" может быть как вопросом, так и утверждением в зависимости от намерения говорящего в контексте разговора. Беседа состоит из быстрых переходов между говорящими, и быстрое определение намеренного сообщения говорящего может помочь обеспечить быстрый ответ. Такая быстрая timing типична для фундаментальных социальных действий, таких как вопросы, поскольку слишком долгое ожидание перед ответом может указывать на нежелательный ответ (например, отказ от приглашения).

В многомодальном face-to-face взаимодействии лицо является важным источником визуальной сигнализации, и specific facial signals были обнаружены в association с определенными социальными действиями. Ключевым моментом является то, что распространенные facial signals в разговоре, такие как движения бровей, часто ассоциировались с вопросами across различных разговорных и жестовых языков, и было показано, что они возникают рано. Данное исследование направлено на изучение ранних движений бровей в быстрой идентификации вопросов.

Предыдущие исследования

Предыдущие экспериментальные исследования testing понимания языка часто обнаруживали, что движения бровей, такие как нахмуривание и поднятие бровей, делали вопросы узнаваемыми, когда они сопровождали spoken utterance. Недавнее исследование изучило вклад нахмуривания и поднятия бровей в идентификацию вопросов, принимая во внимание detailed features естественного разговора, такие как различные типы вопросов, длины слов, а также различные durations высказываний и facial signals.

Результаты показали более высокую accuracy и более быстрое время реакции для вопросов с нахмуренными бровями, но не с поднятыми бровями, по сравнению с вопросами без движений бровей, демонстрируя facilitative роль движений бровей для идентификации вопросов.

В то время как Nota et al. использовали стимулы, которые closely reflected естественное многомодальное поведение с точки зрения presence и timing facial signals, интенсивности движений были fixed на максимальной интенсивности, что могло enhanced определенные facial signals, когда их интенсивности движений изначально были ниже в корпусе. Если это так, то effect facilitation, observed в Nota et al., может быть артефактом, который исчезает при введении variability интенсивности движений, inherent естественной facial expression.

Цель текущего исследования

В настоящем исследовании мы расширяем предыдущие исследования effect ранних движений бровей (или dynamic shift в движении для создания нахмуривания или поднятия бровей, который включает движение кожи между или над бровями как таковое) в быстрой идентификации вопросов, используя естественные интенсивности движений. Мы addressed следующие research questions:

• Облегчают ли движения бровей с естественной интенсивностью движений accuracy и speed идентификации вопросов?
• Приводят ли specific интенсивности движений бровей к более высокой accuracy и более быстрой speed идентификации вопросов по сравнению с другими интенсивностями движений бровей?

Одна possibility заключается в том, что движения бровей, сопровождающие вопросы, с естественной интенсивностью движений приведут к более сильному effect facilitation. Предыдущий effect facilitation нахмуривания бровей в Nota et al. наблюдался при enhancing движений бровей до fixed и максимальной интенсивности движения. Поэтому another possibility может заключаться в том, что естественные интенсивности движений приводят к меньшему facilitation, поскольку они менее pronounced.

Методология исследования

Как и в Nota et al., для testing и control потенциальных covariables, мы приняли во внимание различия в onsets движений бровей и verbal utterance onsets, duration движений бровей, type вопроса, а также duration высказывания, и ожидали, что эти variables будут иметь similar effects. Кроме того, мы собрали различные psychosocial questionnaires для более comprehensive характеристики sample.

Результаты обеспечат conceptual advance, определяя, contributes ли exact интенсивность signal к идентификации вопросов. Ключевым моментом является то, что эта работа предоставляет важные methodological insights для разработки virtual characters, таких как аватары или social robots, показывая, требуется ли implementation переменных интенсивностей движений для выполнения их natural pragmatic functions. В той же линии, эта work проинформирует о важности tracking интенсивностей движений при проведении исследований с motion tracking, или whether presence и timing достаточно для capture signal.

Участники исследования

Мы recruited 97 native speakers голландского языка в возрасте от 18 до 45 лет через subject database Радбудского университета в Неймегене. У participants не было motoric, hearing или language проблем, а также normal или corrected to normal зрение. Ряд participants (n=14) были manually excluded, поскольку они не соответствовали specific requirements для участия в current study. Один additional participant был excluded для сбалансированного набора individuals. Это привело к final sample из 82 participants (средний возраст: 23±5 лет, 61 женщина, 19 мужчин, 2 nonbinary).

Результаты исследования

Точность распознавания

Мы сначала assessed, приводит ли presence движений бровей (нахмуривание или поднятие) к более высокой accuracy в categorization высказывания как вопроса, в отличие от утверждения. Был significant main effect движения бровей. Затем мы посмотрели, приводят ли specific различия между onsets движений бровей и verbal utterance onsets, или particular durations движений бровей к более высокой accuracy. Не было significant main effect разницы в onsets, ни duration движения бровей.

Post-hoc analysis на effect движений бровей на accuracy revealed significant разницу между нахмуриванием бровей и отсутствием движения бровей. Однако не было significant разницы между поднятием бровей и отсутствием движения бровей.

Эти results показывают, что только presence нахмуривания бровей привело к более высокой accuracy в идентификации вопросов по сравнению с absence движения бровей, но не presence поднятия бровей.

Влияние интенсивности движений

При вычислении, приводят ли specific интенсивности движений бровей к более высокой accuracy в categorization высказывания как вопроса, в отличие от утверждения, мы observed no significant main effect specific интенсивности движения бровей. При looking at Bayes factor, было только anecdotal evidence в пользу null effect интенсивности движения бровей, указывая, что у нас нет sufficiently conclusive evidence для поддержки null effect specific интенсивности движения на accuracy.

Время реакции

Мы сначала assessed, приводит ли presence движений бровей (нахмуривание или поднятие) к более быстрому времени реакции (RT) при categorization высказывания как вопроса, в отличие от утверждения. Был significant main effect движения бровей. Затем мы посмотрели, приводят ли specific различия между onsets движений бровей и verbal utterance onsets к более быстрым RT. Был significant main effect разницы в onsets, показывая, что larger различия в onsets привели к более быстрым RT. При looking at, приводят ли particular durations движений бровей к более быстрым RT, мы observed significant main effect duration движения бровей. Это показывает, что longer durations движений бровей привели к более быстрым RT.

Post-hoc analysis на effect движений бровей на RT revealed significant разницу между нахмуриванием бровей и отсутствием движения бровей, и между поднятием бровей и отсутствием движения бровей.

Эти results показывают, что presence нахмуривания бровей и presence поднятия бровей в вопросах привели к более быстрым RT по сравнению с absence движения бровей.

Обсуждение результатов

В настоящем исследовании мы investigated вклад движений бровей с естественной интенсивностью движений в быструю идентификацию вопросов. Результаты показали более высокую accuracy для нахмуривания бровей по сравнению с отсутствием движений бровей, и более быстрое время реакции для нахмуривания бровей и поднятия бровей по сравнению с отсутствием движений бровей. Не было effect поднятия бровей для accuracy. Не было additional effect specific интенсивности движения бровей для accuracy ни для времени реакции.

Хотя была только anecdotal evidence в поддержку null effect specific интенсивности движения бровей для accuracy, было strong evidence в поддержку null effect specific интенсивности движения бровей для времени реакции.

Находка, что вопросы с нахмуренными бровями привели к более высокой accuracy и более быстрому времени реакции по сравнению с вопросами без движений бровей, соответствует предыдущим исследованиям, показывающим association между этими движениями бровей и вопросами, и прошлым экспериментальным исследованиям, показывающим, что нахмуривание бровей помогает идентифицировать вопросы. Данное исследование, therefore, replicates предыдущие findings, показывающие, что движения бровей facilitate идентификацию вопросов. Более того, оно расширяет предыдущие исследования, показывая facilitative effect нахмуривания бровей с timings и variable интенсивностями движений на основе spontaneous многомодального поведения.

Практическое значение

Более быстрое время реакции, observed для вопросов с поднятыми бровями по сравнению с вопросами без движений бровей, показывает, что когда интенсивности движений более representative визуального поведения, occurring в многомодальном корпусе, поднятие бровей действительно contributes к быстрой идентификации вопросов, в соответствии с предыдущими исследованиями, показывающими association этих движений бровей с вопросами и прошлыми экспериментальными исследованиями.

В Nota et al. не наблюдалось effect facilitation для поднятия бровей. Таким образом, возможно, что естественная variability интенсивности движения бровей сделала поднятие бровей более clear signal для вопросов, будучи closer match к original визуальному поведению в корпусе. Отсутствие facilitative effect поднятия бровей в Nota et al. было suggested быть вызванным common occurrence поднятия бровей в других контекстах (например, prosodic emphasis), и более weak link поднятия бровей с information requests по сравнению с нахмуриванием бровей. Этот argument может все еще apply, как показано отсутствием effect поднятия бровей для accuracy. Таким образом, поднятие бровей, кажется, играет роль, когда мы consider естественные интенсивности движений, но они могут все еще быть более weak signals для information requests, чем нахмуривание бровей.

Выводы

Отсутствие modulating effect specific интенсивности движения бровей для accuracy и времени реакции suggests, что specific интенсивность движения может не иметь значения для recognition вопросов, до тех пор, пока интенсивность representative actual многомодального поведения. Таким образом, интенсивность на maximum setting может не быть более clear signal, чем интенсивность на lower setting (например, уровень интенсивности 5 против 1), в соответствии с отсутствием visual facilitation effect, когда signals были enhanced.

Это отсутствие modulating effect интенсивности было особенно clear для времени реакции, как показано strong evidence в поддержку null effect интенсивности. Однако есть менее conclusive evidence для null effect specific интенсивности движения бровей для accuracy.

Как и ожидалось, был effect type вопроса и duration высказывания для accuracy, и effect разницы в onsets, duration движения бровей, type вопроса и duration высказывания для времени реакции, в соответствии с Nota et al. Это показывает, что есть linguistic ways标记 вопросы в spoken modality, и что longer question durations делают easier идентифицировать высказывание, но slow down время реакции (измеренное от начала видео до нажатия кнопки). Participants responded быстрее к движениям бровей, occurring раньше, и быстрее к longer движениям бровей, further демонстрируя, что long facial signals, которые foreshadow verbal utterance, особенно helpful в signalling социальных действий.

Ограничения и дальнейшие исследования

Ограничением current study является то, что prosodic features были kept intact и не были further manipulated между conditions. Поэтому interesting follow up было бы investigate interaction между prosodic features и visual signals на fast recognition вопросов. Более того, все вопросы изначально occurred с движениями бровей в корпусе. Для нашего experimental manipulation, эти движения бровей были recreated на основе корпуса в одном condition, в то время как они были left out в другом condition. Этот approach allowed нам preserve естественную (т.е., matching the speech) интенсивность и timing facial signals.

Investigating, приведет ли adding движений бровей к вопросам, которые не naturally associated с этими facial signals, также к facilitation идентификации вопросов, показало бы, могут ли движения бровей cue вопросы более generally. В то время как прошлые studies replicated common psycholinguistic effects из human-human interaction с аватарами, делая likely, что настоящие findings, too, являются generalisable beyond восприятия аватаров, задающих вопросы, future research требуется для systematic investigation этого.

Кроме того, investigating effect различных social factors (таких как individual differences между participants) на task performance могло бы дать больше insights в individual variability в perception визуальных signals. Наконец, future studies, looking into temporal processing facial signals и вопросов с использованием neuroimaging measures, могли бы shed more light на specific timecourse многомодального recognition социальных действий.

Заключение

Мы found, что движения бровей с естественной интенсивностью facilitate идентификацию вопросов. Эта finding демонстрирует, что facial signals, даже while varying в их actual интенсивности или visual prominence, critically contribute к коммуникации фундаментальных социальных действий, таких как вопросы, и играют important роль в многомодальной human коммуникации. Помимо предоставления новых insights в то, как лицо contributes к dynamics face-to-face разговора, данное исследование особенно informative для разработки virtual characters, таких как аватары или social robots, и исследований motion tracking.