Как нейросети предсказывают политические взгляды по фото: роль эмоций и внешности

Введение: что можно узнать по лицу человека?

Что мы можем узнать по лицу человека и какая именно информация позволяет нам делать выводы? Повседневные суждения обычных людей без специальной подготовки демонстрируют определенную точность в предсказании различных психологических характеристик, включая личность, интеллект, политическую идеологию и сексуальную ориентацию. Однако в этих и других областях подходы глубокого обучения обеспечили значительное улучшение предсказательной способности по сравнению с оценками непрофессионалов.

Успех подходов глубокого обучения для предсказания психологических характеристик важен не только с точки зрения проблем защиты конфиденциальности, но и представляет научный интерес. Однако для получения более глубоких психологических insights и помощи общественности в выявлении способов защиты конфиденциальной информации использование подходов глубокого обучения не должно ограничиваться успешной классификацией. Мы также должны исследовать, что именно в лице передает конфиденциальную информацию. Подтверждают ли подходы глубокого обучения ранее выдвинутые facial indicators определенной характеристики или они выявляют значимые различия в лицах, которые ранее не распознавались?

Лица и идеология: исторический контекст

Изучение лиц в политике имеет долгую историю. Ранние работы обнаружили, что избиратели воспринимают своих предпочитаемых кандидатов как более привлекательных, чем кандидатов от opposing parties. Восприятие избирателей само по себе имеет политические последствия: например, лица, оцениваемые как более компетентные, были значительно более успешными на выборах, а привлекательность также обеспечивает электоральные бонусы.

Эта литература обычно предполагала, что relevance of faces к политике ограничивается субъективными впечатлениями от этих лиц. Недавнее исследование сильно переориентировало argument, продемонстрировав, что алгоритмическая классификация лиц приводит к существенной точности при предсказании идеологии. Однако focus этого исследования состоял в том, чтобы продемонстрировать значительную угрозу конфиденциальности, создаваемую пересечением методов глубокого обучения и readily available фотографий. Эта seminal work подчеркнула необходимость дальнейшего изучения темы, особенно в отношении идентификации того, какие features фотографии способствуют успешной алгоритмической классификации лиц.

Необходимость исследования facial features

Такие исследования частично необходимы просто для подтверждения relevance of faces как таковых. Ни одно исследование еще не применяло heatmapping для идентификации того, какие сегменты фотографий лиц информируют классификации, предоставляемые алгоритмами глубокого обучения, когда речь идет о классификации лиц как правых или левых. Поскольку стандартные процедуры кадрирования для фотографий лиц (включая те, которые используются в предыдущих исследованиях лиц с глубоким обучением) оставляют non-facial information в изображении, heatmapping важен для определения, информирует ли информация beyond the face классификацию лиц.

Использование heatmapping выходит за рамки демонстрации потенциальных потребностей в methodological refinements, однако, также highlighting, какие черты лица являются наиболее информативными. Это способствует второй области, которая нуждается в исследовании: почему лица информативны для идеологии? То есть, какую информацию обнаруживает нейронная сеть, когда она учится правильно идентифицировать, какие лица принадлежат тем, кто поддерживает данную идеологию? Социальная важность вопроса ясна с точки зрения защиты конфиденциальности: фотографии лиц обычно доступны потенциальным работодателям, и те, кто участвует в принятии решений о найме, self-declare готовность дискриминировать на основе идеологии. Члены общества thus могут быть aided признанием того, какие элементы их фотографий могут повлиять на их шансы на трудоустройство. Но понимание элементов лица, ответственных за успешные predictions ассоциаций между лицами и идеологией, также важно для изучения идеологии. Знание того, что лица detectably differ в зависимости от идеологии, несомненно важно, но идентификация specific features of interest может помочь проиллюстрировать origins идеологических различий.

Методология исследования

Выборка и подготовка данных

Наш primary dataset состоит из 5230 фотографий лиц политических кандидатов с муниципальных выборов в Дании в 2017 году. Эти фотографии являются publicly available ресурсом, предоставленным для использования в public sphere самими кандидатами Датской вещательной корпорации. Муниципальные выборы в Дании проходят в non-polarized setting. Кандидаты, баллотирующиеся на этих выборах, не были highly selected через competitive elections в партийных организациях или путем участия в high-stakes выборах, и они thus описываются как "последние любители в политике" датскими political scientists.

Идеология каждого кандидата (дихотомически оцениваемая как левая или правая) назначалась на основе party label, под которым баллотировались кандидаты. Члены местных партий с менее определенными идеологиями не могли быть readily assigned идеологическим score и поэтому были исключены до любых анализов, оставив 4647 кандидатов, из которых 1442 были женщинами. Эти изображения затем вручную inspected автором, слепым к имени или партии кандидата. Дополнительные критерии исключения, примененные в это время, включали: (1) лицо кандидата либо не было located during preprocessing, не показано на фото, либо не предоставлено в sufficient resolution; (2) фото не было в цвете (что предотвратило бы preprocessing всех изображений via grayscaling одинаковым образом); (3) кандидат не appeared нашему оценщику быть европейского ethnic origin, поскольку это небольшое subset (118 individuals) очень сильно skewed towards левым партиям, с 2.5× большим representation там, чем среди правых партий.

Анализ выражений лица и морфологии

Мы использовали Face API из Microsoft Azure's Cognitive Services для идентификации facial expressions. Фотографиям лиц присваивается score за то, насколько лицо в question напоминает каждое из списка эмоциональных состояний — например, счастье, грусть, удивление. Descriptive statistics для нашей full primary sample указали, что лица overwhelmingly scored как указывающие на счастье (80%), с neutrality указанной как вторая по частоте (19%). Оставшиеся выражения указывались как нечастые (диапазон от 0.00 до 0.01%).

Для измерения masculinity у кандидатов-мужчин мы используем facial width-height ratio (fWHR). Лица с высоким fWHR обычно воспринимаются как агрессивные и доминирующие и как имеющие более высокий rank и status. Высокий fWHR был found to predict достижения как в business, так и в athletic domains.

Для предсказания facial attractiveness scores для нашей sample мы используем publicly available набор данных SCUT-FBP5500. Этот набор данных состоит из 5500 лиц, оцененных 60 оценщиками с использованием beauty score в диапазоне от 0 до 4. Оценка привлекательности как average value от multiple raters обычно employed в political science исследованиях по facial attractiveness.

Результаты: точность предсказания и ключевые факторы

Точность нейронных сетей

Результаты на full primary sample provided точность 61% как для мужчин, так и для женщин. Эти числа normed таким образом, что использование coin flip для предсказания идеологии человека на изображении ожидалось бы успешным в 50% случаев. Наши модели thus лучше предсказывают идеологию, чем случайное guess. Результаты точности для мужчин были затронуты нашим exclusion non-facial information. Когда наш CNN было разрешено использовать версии фотографий мужчин (для training, validation и test), которые не исключали non-facial elements, точность была выше (65%).

Влияние привлекательности и эмоций

Согласованно с impression от facial composites, scores masculinity не были connected к model-predicted conservatism. Привлекательность не significantly correlated с model-predicted conservatism у мужчин. Напротив — и также matching impression, переданный facial composites — scores привлекательности женщин positively correlated с model-predicted conservative ideology.

Согласованно с informal impressions от facial averages, happy facial expressions были associated с model-predicted ideology. Предсказанная вероятность того, что мужское лицо является правым, correlated 0.17 со счастьем и -0.17 с нейтральностью. Соответствующие результаты для женщин были 0.15 и -0.15.

Обсуждение: последствия для конфиденциальности

Наши результаты confirmed угрозу конфиденциальности, создаваемую подходами глубокого обучения. Используя pre-developed и readily available сеть, которая была trained и validated исключительно на publicly available данных, мы смогли предсказать идеологию изображенного человека примерно в 60% случаев в двух samples. Мы также found, что существующие практики, в которых non-facial information обычно included в маленьких boxes, окружающих лицо, могут производить inflated точности: результаты heat mapping показали, что наш CNN изначально использовал информацию, отличную от лица, для классификации мужчин. Если бы мы не deleted эту информацию, наша точность была бы выше.

Мы также предоставляем первую демонстрацию того, что model-predicted ideology connects к independently classifiable features лица. Для женщин (хотя не для мужчин) высокие scores привлекательности были found среди тех, кого модель идентифицировала как likely conservative. Эти результаты credible, учитывая, что предыдущие исследования с использованием human raters также highlighted связь между привлекательностью и консерватизмом.

Использование выборки политиков представляет potential constraint на общность, но использование кандидатов на местные должности в Дании attenuates это ограничение.

Привлекательность была не единственным correlate model-predicted ideology. Мы также found, что выражение счастья associated с консерватизмом для обоих полов. Предыдущая работа found улыбку на фотографиях valid indicator экстраверсии, и хотя экстраверсия не broadly associated с идеологией, некоторые исследования found, что правые политики более экстравертны. Также следует учитывать self-presentation. У политиков слева и справа могут быть разные incentives для улыбки — например, улыбающиеся лица были found выглядеть более привлекательными, что comparatively важно для консервативных политиков. Будущая работа needed для exploration extent, до которого счастливые лица indicative консерватизма outside samples политиков.