Как предсказать запоминаемость лиц с помощью нейросетей: исследование и модели

Введение в проблему запоминаемости лиц

С появлением социальных сетей в нашей повседневной жизни мы ежедневно сталкиваемся с множеством изображений, особенно фотографий лиц. Недавние поведенческие исследования показали, что некоторые из этих фотографий запоминаются лучше, чем другие. Предыдущие исследования показали, что запоминаемость является внутренним свойством изображения, следовательно, запоминаемость изображения можно вычислить на основе самого изображения. Более того, различные работы обнаружили, что запоминаемость изображения高度 согласована между людьми, а также с течением времени.

Ограничения современных моделей запоминаемости

Недавно исследователи начали использовать глубокие нейронные сети для предсказания запоминаемости изображений. Здесь мы показываем, что хотя эти модели хорошо работают с изображениями сцен и объектов, они плохо справляются с фотографиями человеческих лиц. Мы демонстрируем и объясняем, почему универсальные модели запоминаемости не дают приемлемой производительности на фотографиях лиц, и предлагаем семь различных моделей для оценки запоминаемости изображений лиц.

Почему лица — это особый случай

Каждый день мы встречаем новых людей или сталкиваемся с новыми лицами в социальных сетях. Некоторые из этих лиц надолго остаются в нашей памяти, в то время как другие быстро забываются. Запоминаемость изображения — это вероятность того, что наблюдатель обнаружит повторение изображения после однократного воздействия этого изображения при представлении в потоке изображений. Несмотря на индивидуальные различия в запоминании визуальных событий, было показано, что запоминаемость изображения последовательна среди людей и в различные временные промежутки.

Научные основы запоминаемости лиц

По своей сути, люди демонстрируют последовательное поведение в запоминании одних изображений и забывании других. Эти находки привели к идее предсказания запоминаемости изображения исключительно на основе самого изображения, оценивая, какие изображения более или менее запоминающиеся, чем другие.

Роль индивидуальных особенностей

Предыдущие исследования показали, что люди не могут точно предсказать запоминаемость изображений. Исследования обнаружили, что изображения, которые выделяются из своего контекста, с большей вероятностью запоминаются. Дополнительно, узнаваемость играет ключевую роль в распознавании лиц, то есть distinctive лица распознаются лучше, чем типичные. Более того, было показано, что лица, воспринимаемые как необычные по внешности, запоминаются лучше, чем те, которые считаются типичными.

Исследование факторов запоминаемости

Bainbridge и коллеги исследовали, какие факторы способствуют запоминаемости лиц, изучив роль двадцати личностных черт (например, интересный/скучный и спокойный/агрессивный), социальных и связанных с памятью характеристик. После запуска модели множественной линейной регрессии по этим атрибутам лиц и показателям запоминаемости они обнаружили, что комбинация этих атрибутов может объяснить лишь небольшую часть дисперсии показателей запоминаемости. Это suggests, что запоминаемость изображения зависит от самого изображения, а не от ограниченного набора идентифицируемых атрибутов.

Важно отметить: концепция запоминаемости лица относится к запоминаемости фотографии лица, а не реального облика человека (то есть фотография Тома Круза может быть более запоминающейся, чем другая его фотография).

Эволюция моделей предсказания запоминаемости

Различные исследования были направлены на предсказание запоминаемости изображений. Один из самых ранних методов был предложен Khosla и коллегами, который использовал плотные глобальные features, такие как HOG (Histogram of Oriented Gradients — гистограмма ориентированных градиентов) и SIFT (Scale-Invariant Feature Transform — масштабно-инвариантная трансформация признаков) для предсказания запоминаемости лиц. Однако эти методы не были полностью автоматическими и требовали ручной настройки.

Революция сверточных нейронных сетей

Сверточные нейронные сети (Convolutional Neural Networks — CNN) показали great производительность в задаче классификации изображений и с тех пор использовались в различных задачах компьютерного зрения и машинного обучения. Khosla и коллеги представили первую модель, которая использовала сверточную нейронную сеть под названием MemNet для предсказания запоминаемости изображений. Она была обучена путем тонкой настройки HybridCNN и показала near человеческую согласованность в ранговой корреляции.

Современные подходы к предсказанию запоминаемости

Большинство недавних исследований было сосредоточено на улучшении производительности этих моделей путем использования механизмов внимания и остаточных блоков. Lu и коллеги попытались выяснить, какие элементы делают запоминающимися уличные природные сцены. Они discovered, что комбинирование features высокого уровня категории сцены и глубоких features может привести к улучшению производительности модели в предсказании запоминаемости.

В то время как запоминаемость является внутренней особенностью изображения, некоторые работы изучали внешние эффекты, такие как движения глаз, в предсказании запоминаемости. Мы видим лица людей в разных условиях, например, когда они счастливы, злы или нейтральны. Bainbridge и коллеги пролили свет на то, как запоминаемость меняется с различными transformations человеческого лица (нейтральное, счастливое, злое, вид на 3/4 и вид в профиль). Они обнаружили, что запоминаемость также highly согласована within каждого transformation изображения.

Методология исследования

В этой работе мы сосредоточились на предсказании запоминаемости фотографий лиц. Как продемонстрировали Squalli-Houssaini и коллеги, модели глубоких нейронных сетей (включая MemNet и другие сети запоминаемости, обученные на наборе данных LaMem) succeed в предсказании запоминаемости изображений сцен и объектов. Здесь мы оценили несколько моделей запоминаемости (включая оригинальный MemNet), которые обучены на наборе данных LaMem, в предсказании запоминаемости изображений лиц.

Экспериментальные результаты

В соответствии с Squalli-Houssaini и коллегами, наши результаты демонстрируют, что эти модели запоминаемости fail в предсказании запоминаемости фотографий лиц. Затем, используя 10k US Adult Faces Database, мы тонко настроили VGG16, ResNet50 и SENet50, которые предварительно обучены на наборе данных VGGFace для задачи идентификации лиц, чтобы предсказывать показатели запоминаемости лиц. Мы также тонко настроили MemNet, который обучен и хорошо работает на наборе данных LaMem, для предсказания запоминаемости лиц.

Предлагаемые архитектуры моделей

Мы выдвигаем гипотезу, что модели, которые предварительно обучены на задаче распознавания лиц, а затем тонко настроены на задачу предсказания запоминаемости лиц, превосходят те, которые предварительно обучены на LaMem, а затем тонко настроены для предсказания запоминаемости лиц. Основная причина заключается в том, что модели, предварительно обученные на изображениях лиц для задачи распознавания лиц, будут более эффективны в извлечении features лиц, которые впоследствии могут быть использованы для предсказания показателей запоминаемости лиц.

Наши предложенные модели превзошли предыдущую модель и приблизились к человеческой согласованности корреляции в предсказании запоминаемости лиц. Это открытие имеет значительные последствия для различных приложений, от маркетинга и рекламы до психологии и безопасности.

Практическое применение и значение

Способность точно предсказывать запоминаемость лиц имеет многочисленные практические применения. В сфере маркетинга и рекламы это может помочь создавать более запоминающиеся рекламные кампании. В области безопасности это может улучшить системы распознавания и идентификации. В психологии и нейробиологии это открывает новые возможности для понимания того, как человеческий мозг обрабатывает и запоминает информацию о лицах.

Будущие направления исследований

Будущие исследования могут быть направлены на дальнейшее улучшение точности моделей, изучение культурных различий в восприятии запоминаемости лиц, а также интеграцию этих моделей в реальные приложения. Кроме того, представляет интерес изучение того, как различные факторы, такие как эмоции, возраст и пол, влияют на запоминаемость лиц.

Заключение

Наше исследование демонстрирует, что хотя современные модели запоминаемости изображений эффективны для сцен и объектов, они недостаточно хороши для лиц. Мы предложили и протестировали новые модели, специально разработанные для предсказания запоминаемости лиц, которые показывают значительно лучшие результаты. Эти достижения открывают новые возможности для исследований и приложений в различных областях, где понимание и предсказание запоминаемости человеческих лиц имеет crucial значение.