База данных RIKEN для анализа динамических выражений лица: методы, результаты и применение

Введение в разработку новой базы данных выражений лица

Разработка баз данных выражений лица с информацией о sensing (сенсорном восприятии) прогрессирует в междисциплинарных областях, таких как психология, аффективные вычисления (affective computing) и когнитивная наука. Предыдущие наборы данных по лицам не одновременно учитывали множественные теоретические взгляды на эмоции, индивидуализированный контекст или информацию с нескольких углов/глубины. Мы разработали новую базу данных выражений лица (база данных выражений лица RIKEN), которая включает множественные теоретические взгляды на эмоции и индивидуализированные события выразителей с информацией с нескольких углов и глубины.

Теоретические основы и проблемы существующих баз данных

В научном изучении эмоций можно выделить три всеобъемствующие традиции: теория базовых эмоций, теория сконструированных эмоций и теория appraisal (оценки). Каждая из этих теорий может отличаться психологическими состояниями, на которые они опираются для эмоционального выражения. Теория базовых эмоций involves (включает) эмоциональные ярлыки, теория сконструированных эмоций encompasses (охватывает) значения валентности и возбуждения, а теория appraisal сосредотачивается на измерениях оценки эмоциональных событий.

Ограничения предыдущих исследований

Многие базы данных полагаются на теорию базовых эмоций (т.е., шесть основных категорий эмоций). Поэтому существует недостаток данных выражений лица, основанных на других теоретических моделях эмоций. Доступные базы данных, которые применяют теорию сконструированных эмоций, ограничены по сравнению с теми, которые применяют теорию базовых эмоций или упрощенные эмоциональные ярлыки.

Методология исследования

В исследовании приняли участие сорок восемь японских взрослых (22 женщины и 26 мужчин) в возрасте от 20 до 30 лет (среднее значение = 23,33; SD = 3,65). Участники были набраны из местного центра человеческих ресурсов в Киото. Все участники дали письменное информированное согласие перед записью facial movements (лицевых движений).

Процедура сбора данных

Все участники получили инструкцию вспомнить и записать 25 событий, которые произошли в их жизни, с пятью уровнями валентности (сильно неприятные, неприятные, нейтральные, приятные и сильно приятные чувства) и пятью уровнями возбуждения за неделю до сессии записи для получения индивидуализированных эмоциональных событий.

Участники также оценили проверки appraisal от 1 (категорически не согласен) до 5 (полностью согласен) для новизны, значимости цели и потенциала совладания для каждого описанного события.

Техническое оснащение и условия записи

Мы создали среду для записи лицевых движений с использованием десяти камер Azure Kinect DK1880 (Microsoft; 2D:1920×1080; глубина:640×576) с разрешением пикселей и 30 кадрами в секунду для записи лицевых движений участников в виде видеоклипов. Интервал между левой и правой горизонтальными камерами составлял 22,5°, и камеры использовались на 22,5°, 45° и 90°.

Анализ данных и обработка

Мы извлекли 17 лицевых движений для оценки паттерна выражений лица с использованием OpenFace: AU 1 (подниматель внутренней брови), AU 2 (подниматель внешней брови), AU 4 (опускатель брови), AU 5 (подниматель верхнего века), AU 6 (подниматель щеки), AU 7 (напрягатель века), AU 9 (морщильщик носа), AU 10 (подниматель верхней губы), AU 12 (тянущий уголки губ), AU 14 (образующий ямочки), AU 15 (опускатель уголков губ), AU 17 (подниматель подбородка), AU 20 (растягиватель губ), AU 23 (напрягатель губ), AU 25 (разделитель губ), AU 26 (опускатель челюсти) и AU 45 (моргание).

Результаты исследования

Результаты показали, что слова для каждого события имели мало совпадений, что подразумевает, что база данных имеет большую вариативность эмоциональных событий. База данных с различными событиями и индивидуальными оценками может быть проверена для академических целей.

Взаимосвязь между выражениями лица и эмоциями

Согласно анализу выражений лица с фронтального вида, наблюдались лицевые движения, связанные с приятной и неприятной валентностью. Например, опускание брови было связано с отрицательной валентностью, тогда как подтягивание уголков губ было связано с положительной валентностью.

Bayesian lasso analysis (Байесовский лассо-анализ) показал, что движения рта, такие как AU12 (подтягивание уголков губ) и AU25 (открывание рта), также были связаны с возбуждением.

Обсуждение и выводы

Это исследование разработало новую базу данных выражений лица с аннотациями выразителей, такими как индивидуализированные эмоциональные события, проверки appraisal и свободные описательные ярлыки с информацией с нескольких углов и глубины. Примечательными особенностями этой базы данных являются: (a) доступность множественных теоретических взглядов на эмоции, (b) разнообразие событий и (c) богатая информация, полученная с 10 камер с нескольких углов и глубины.

Ограничения и будущие исследования

Хотя это исследование предоставляет новую базу данных выражений лица по эмоциям, существуют определенные ограничения. Во-первых, количество участников было небольшим, учитывая разнообразие лицевых движений и эмоциональных событий. В частности, база данных включает только записи японских участников, что может ограничивать ее обобщаемость для других популяций.

Практическое применение и перспективы

Используя эти базы данных, мы предоставляем алгоритм оценки внутреннего состояния через Application Programming Interface (API) в сочетании со смартфонами и другими устройствами. Кроме того, мы хотели бы использовать эту технологию для разработки решений для людей с трудностями в общении.

База данных, включая события выразителей, ярлыки и интенсивность проверки appraisal, доступна как база данных выражений лица RIKEN для академических целей. Это представляет собой значительный вклад в области аффективных вычислений, психологии эмоций и распознавания образов.