ИИ и обман: насколько надежна детекция лжи машинами?

Искусственный интеллект и детекция человеческой лжи: новые исследования

Современный мир стремительно осваивает возможности искусственного интеллекта (ИИ), и эта технология продолжает развиваться, расширяя свои горизонты и повышая эффективность. Новое исследование, проведенное под руководством Мичиганского государственного университета (Michigan State University), углубляется в способность ИИ понимать человеческое поведение, в частности, в области распознавания обмана.

Ключевые факты исследования:

• Предвзятость ИИ: ИИ демонстрирует склонность к определению лжи, успешно выявляя ее в 85.8% случаев, но лишь в 19.5% случаев распознавая правду.
• Человеческие ограничения: В неформальных контекстах (вне допросов) ИИ имитирует человеческую склонность верить в правду (truth bias), но его общая точность остается ниже.
• Этический аспект: Исследователи предостерегают от использования генеративного ИИ для реального детектирования лжи до тех пор, пока не будут достигнуты существенные улучшения.

Может ли ИИ распознавать ложь человека и стоит ли ему доверять?

В последние годы искусственный интеллект (AI) достиг значительных успехов и продолжает развиваться по своим возможностям. Новое исследование, проведенное под руководством Мичиганского государственного университета, глубже изучает, насколько хорошо ИИ может понимать людей, используя его для обнаружения человеческого обмана.

Общие результаты показали, что ИИ более склонен к обману и гораздо менее точен, чем люди.

В исследовании, опубликованном в журнале Journal of Communication, ученые из Мичиганского государственного университета (MSU) и Университета Оклахомы (University of Oklahoma) провели 12 экспериментов с участием более 19 000 ИИ-участников, чтобы оценить, насколько хорошо ИИ-персоны могли распознавать обман и правду от людей.

«Цель этого исследования — понять, насколько ИИ может помочь в обнаружении обмана, симулировать человеческие данные в социально-научных исследованиях, а также предупредить профессионалов при использовании больших языковых моделей для детектирования лжи», — говорит Дэвид Марковиц, доцент кафедры коммуникаций в Колледже искусств и наук коммуникаций MSU и ведущий автор исследования.

ТеорияdefaultValue (Truth Default Theory) и предвзятость ИИ

Для оценки ИИ в сравнении с человеческим детектированием обмана исследователи опирались на ТеориюdefaultValue (Truth Default Theory, TDT). Эта теория предполагает, что люди в большинстве случаев честны, и мы склонны верить, что другие говорят правду. Эта теория помогла исследователям сравнить поведение ИИ с поведением людей в аналогичных ситуациях.

«Люди обладают естественной правдивой предвзятостью (truth bias) — мы, как правило, предполагаем, что другие честны, независимо от того, так ли это на самом деле», — отмечает Марковиц. «Эта тенденция считается эволюционно полезной, поскольку постоянное подозрение всех отнимало бы много сил, затрудняло бы повседневную жизнь и создавало бы напряжение в отношениях».

Методология исследования и результаты

Для анализа суждений ИИ-персон исследователи использовали платформу для исследований Viewpoints AI, предоставляя ИИ аудиовизуальные или только аудиозаписи людей для оценки. ИИ-судьям было предложено определить, лжет ли человек или говорит правду, и предоставить обоснование.

Были оценены различные переменные, такие как тип медиа (аудиовизуальное или только аудио), контекст (информация или обстоятельства, помогающие объяснить, почему что-то происходит), базовые уровни правды/лжи (доли честного и обманчивого общения) и личность ИИ (созданные для того, чтобы действовать и говорить как реальные люди), чтобы увидеть, как это влияет на точность обнаружения ИИ.

Например, одно из исследований показало, что ИИ был склонен к обману (liebiased): ИИ был гораздо точнее в распознавании лжи (85.8%), чем правды (19.5%). В коротких допросах точность обнаружения обмана ИИ была сопоставима с человеческой.

Однако в неформальных сценариях (например, при оценке высказываний о друзьях) ИИ проявлял правдивую предвзятость (truthbias), демонстрируя большую точность, аналогичную человеческой. В целом, результаты показали, что ИИ более склонен к обману и гораздо менее точен, чем люди.

«Наша главная цель заключалась в том, чтобы выяснить, что мы можем узнать об ИИ, включая его как участника экспериментов по детектированию обмана. В этом исследовании, с использованием использованной нами модели, ИИ оказался чувствительным к контексту — но это не сделало его лучше в распознавании лжи», — говорит Марковиц.

Ограничения и выводы для будущих исследований

Окончательные выводы предполагают, что результаты ИИ не соответствуют человеческим результатам или точности, и что «человечность» может быть важным ограничением, или граничным условием, для применения теорий детектирования обмана.

Исследование подчеркивает, что использование ИИ для детектирования может показаться беспристрастным, но индустрии необходимо добиться значительного прогресса, прежде чем генеративный ИИ можно будет использовать для обнаружения обмана.

«Легко понять, почему люди хотят использовать ИИ для выявления лжи — это кажется высокотехнологичным, потенциально справедливым и, возможно, непредвзятым решением. Но наше исследование показывает, что мы еще не там», — говорит Марковиц. «Как исследователям, так и профессионалам необходимо внести существенные улучшения, прежде чем ИИ сможет по-настоящему заниматься детектированием обмана».

Ответы на ключевые вопросы:

В: Что исследователи тестировали в этом исследовании?

О: Они изучали, насколько точно ИИ-персоны могли распознавать ложь и правду человека в 12 экспериментах с участием более 19 000 ИИ-участников.

В: Как ИИ показал себя по сравнению с людьми?

О: ИИ имел тенденцию к «предвзятости в отношении лжи» (liebiased), лучше распознавая ложь (около 85.8% точности), чем правду (всего 19.5%), что делало его менее надежным в целом, чем человеческие судьи.

В: Что это означает для использования ИИ для детектирования обмана?

О: Исследование показывает, что текущие системы ИИ весьма чувствительны к контексту, но им не хватает человеческой тонкости, необходимой для надежного детектирования обмана, что означает, что им пока не следует доверять в критически важных реальных приложениях.

Об этом исследовании:

Автор: Алекс Текип (Alex Tekip)

Источник: Мичиганский государственный университет (Michigan State University)

Контакт: Алекс Текип – Мичиганский государственный университет

Оригинальное исследование: В открытом доступе.

Название: «(Не)эффективность ИИ-персон в экспериментах по детекции обмана» (The (in)efficacy of AI personas in deception detection experiments)

Авторы: Дэвид Марковиц и др. (David Markowitz et al.)

Журнал: Journal of Communication

Аннотация оригинального исследования:

Искусственный интеллект (ИИ) в последнее время используется для помощи в детектировании обмана и для моделирования человеческих данных в социально-научных исследованиях. Поэтому важно учитывать, насколько хорошо эти инструменты могут информировать оба предприятия. Мы представляем 12 исследований, проведенных через исследовательскую платформу Viewpoints.ai, где ИИ (gemini1.5flash) выносил вердикты о правдивости людей. Мы систематически варьировали природу и продолжительность общения, модальность, базовую частоту правды/лжи и личность ИИ. ИИ показал наилучшие результаты (57.7%) при обнаружении правды и лжи, связанной с чувствами к друзьям, хотя и проявлял заметную правдивую предвзятость (71.7%). Однако при оценке расследований мошенничества ИИ был предвзят в отношении лжи, признавая более трех четвертей интервьюируемых виновными лжецами. При оценке интервью, где люди показывают результаты выше 70%, точность упала до 15.9% с экологической базовой частотой. ИИ дал результаты, отличающиеся от предыдущих человеческих исследований, поэтому мы предостерегаем от использования определенных больших языковых моделей для детектирования лжи.