Как измерить вовлеченность аудитории: связь движения и внимания при просмотре видео

Введение

Реакция на произведения искусства и развлекательный медиаконтент предоставляет ценное окно в человеческое поведение. Многие люди по всему миру проводят подавляющую часть своего свободного времени, потребляя видеоконтент дома. Однако существует мало способов изучения вовлеченности и внимания в этом естественном домашнем контексте просмотра. Мы использовали отслеживание движений головы через веб-камеру для измерения когнитивной вовлеченности в реальном времени у 132 человек, пока они смотрели 30-минутный потоковый театральный контент дома. Движения головы отрицательно ассоциировались с вовлеченностью по целому ряду показателей. Люди, которые меньше двигались, сообщали о более высоком чувстве вовлеченности и погружения, оценивали performance как более увлекательный и с большей вероятностью выражали интерес к дальнейшему просмотру. Наши результаты демонстрируют ценность удаленного отслеживания движений в домашних условиях как недорогой, масштабируемой метрики когнитивной вовлеченности, которую можно использовать для сбора данных о поведении аудитории в естественных условиях.

Методы исследования

Для измерения непрерывной вовлеченности аудитории в удаленных, немодерируемых условиях мы разработали специальное веб-приложение, которое позволило нам получать данные отслеживания лица и выборочного опроса в реальном времени во время потоковой передачи видеоконтента. Основной целью этого исследования была проверка гипотезы о том, что движение предсказывает вовлеченность аудитории. Ключевая гипотеза, вытекающая из литературы, заключается в том, что общий объем движения должен быть отрицательно связан с вовлеченностью.

Участники и процедура

Исследование проводилось онлайн через стандартный веб-браузер в специальном интерфейсе. Участники (N=132) смотрели 30-минутный segment театральной пьесы «The Bullet and The Bass Trombone» от sleepdogs — современного произведения, сочетающего минималистичную визуальную часть и богатый саундтрек. Выборка была сбалансирована по полу (50% женщин; 2 человека указали небинарный гендер) и этнически разнообразна, 67% самоидентифицировались как белые. Средний возраст составил 30 лет (стандартное отклонение = 11).

Сбор данных

С разрешения участников мы получали запись с веб-камеры их головы и плеч вместе с отслеживанием лица в реальном времени. Поскольку движения рук обычно не видны в кадре при естественном положении веб-камеры, мы сосредоточились на движениях головы. Было два экспериментальных условия, в которые участники были случайным образом распределены: одна группа участников просто смотрела performance (контрольное условие, n=58), а другая группа сообщала о вовлеченности во время просмотра (условие с выборочным опросом, n=74).

Результаты

Описательная статистика переменных

Движение головы (Head Movement) было операционализировано как изменение положения середины головы от секунды к секунде на основе маркера отслеживания лица, связанного с кончиком носа. Мы использовали измеренное межглазное расстояние (Inter Ocular Distance, IOD) от маркеров трекера лица, чтобы перемасштабировать движение в сантиметры.

Мгновенная вовлеченность (Momentary Engagement) — это ответ, полученный на каждый из 23 probes (звуковых сигналов) вовлеченности. Эта мера показала хорошую вариативность. Наиболее распространенным типом ответа был «engaged» (вовлеченный) (36%), за которым следовали «immersed» (погруженный) (24%), «reflecting» (размышляющий) (23%) и «distracted» (отвлеченный) (17%).

Ретроспективная оценка вовлеченности включала меры вовлеченности (опросник Narrative Engagement Questionnaire) и удовольствия (items из набора инструментов Immersive Experience Toolkit). Вовлеченность в выборке была умеренно высокой.

Валидность мер

Для движения головы мы рассматривали межиндивидуальные корреляции (Intersubject Correlations, ISCs) только в контрольном условии, поскольку условие с выборочным опросом включало probes, воспроизводимые в фиксированное время, что потенциально могло introduce временно скоординированное движение. Как и было предварительно зарегистрировано, мы рассчитали момент-за-моментом корреляцию для каждой пары участников.

Гипотеза о неподвижности (Stillness Hypothesis)

Мы предварительно зарегистрировали две направленные гипотезы о взаимосвязи между движением и погружением: ответ «immersed» по мере мгновенной вовлеченности будет предшествовать меньшему движению головы, то есть большей неподвижности; ретроспективная вовлеченность: средний балл по опроснику Narrative Engagement Questionnaire будет отрицательно связан с движением головы.

Ранговый коэффициент корреляции Спирмена между движением головы и ретроспективной вовлеченностью был в предсказанном направлении — более высокий балл по Narrative Engagement ассоциировался с более низким движением головы и был статистически значимым.

Обсуждение

Целью этого исследования было измерить когнитивную вовлеченность в видеоконтент в реальном времени в удаленной немодерируемой обстановке. Существующие меры вовлеченности в реальном времени обычно требуют лабораторных задач и оборудования. Новая методология, разработанная и представленная здесь, позволила нам измерить вовлеченность в реальном времени более чем у сотни людей по всему миру. Это было успешно достигнуто с помощью отслеживания лица, встроенного в веб-среду, требующую только веб-камеру и подключение к интернету.

Теоретические и практические implications

Настоящее исследование опирается на гипотезу о неподвижности и теоретическое понимание того, что когнитивное погружение приводит к сужению внимания, и послужило основой для предлагаемой нами метрики. Доказательства связи между неподвижностью и вовлеченностью были найдены в исследованиях, измеряющих движения рук у живой аудитории. То, что мы наблюдали аналогичную взаимосвязь при рассмотрении движений головы во время private просмотра, позволяет предположить наличие внутреннего базового процесса, подтверждая теории, связывающие вовлеченность с релаксацией и сужением внимания.

Чтобы получить более nuanced понимание того, как движение связано с когнитивной вовлеченностью, мы измерили несколько конструктов. Результаты позволяют предположить, что движения головы могут primarily отражать ерзание (fidgeting), соответствующее отвлечению, а не более тонкие процессы, такие как мышление и глубокое перцептивное погружение.

Ограничения и будущие исследования

Настоящее исследование было проведено с использованием единого piece контента — современной театральной постановки. Основываясь на теоретических основаниях гипотезы о неподвижности, мы ожидаем, что наши выводы будут обобщаемы на другой контент с преимущественно визуальными или narrative компонентами. Для музыки, особенно танцевальной, могут потребоваться другие подходы, например, межличностная синхронность.

Важным направлением для будущих исследований было бы создание более тонкой операционализации движения. Текущая операционализация основана на движении головы в двух измерениях. Более комплексная quantification могла бы включать оценку трехмерного движения, отслеживание плеч, рук, лица и temporal dynamics, таких как внезапные и ритмичные движения.

Заключение

Настоящее исследование представляет использование движения головы как экономически эффективную, масштабируемую метрику вовлеченности. Вычислительно отслеживание головы проще и надежнее, чем полная оценка позы, и поэтому применимо в больших, плотных аудиториях, например, на фестивалях, где видны только головы; или в частных домах, где сбор более детальных данных может быть этически проблематичным. Метрика может быть полностью анонимной и, следовательно, подходящей для сбора данных краудсорсингом.

Помимо исследований аудитории, наши результаты вносят вклад в важный corpus работ, демонстрирующих, что состояния внимания можно наблюдать. В то время как ранние исследования полагались на кропотливый покадровый ручной кодинг, emerging технологии отслеживания движения предлагают возможность мгновенной крупномасштабной quantification или сверхточного разрешения. Наше исследование демонстрирует, что эту технологию уже можно incorporate в исследования как ценный инструмент для отслеживания mental states.