Обнаружение обманщиков в социальном контексте с помощью больших языковых моделей: случай игры Мафия

Введение

Ложь является обычным явлением в социальных взаимодействиях, однако социальные обманы трудно исследовать, так как люди редко сообщают о своих намеренных обманных поведениях, особенно злонамеренных. Социальные игры с элементами дедукции, такие как Мафия, могут быть хорошей альтернативой для изучения социальных обманов. В этом исследовании использовались большие языковые модели (LLMs) для обнаружения обманщиков в игре Мафия на основе частичной информации. Исследование показало, что LLMs превосходят предыдущие методы на основе BERT в анализе человеческих данных и даже превосходят человеческую точность.

Фон и связанные работы

Социальные игры с элементами дедукции, такие как Мафия, были предметом исследований в различных академических областях. Ранние работы включали исследования предвзятого голосования в социальных сетях, культурные аспекты обмана и математические модели для таких игр. Более поздние исследования сосредоточились на разработке ИИ-моделей для участия в этих играх, однако им не хватало лингвистической информации, что делало их среду далекой от реальных социальных взаимодействий.

Методы

Игра Мафия

Игра Мафия — это популярная социальная игра с элементами дедукции, в которой две команды (мафия и мирные жители) пытаются обмануть друг друга. Цель мирных жителей — выявить всех мафиози, в то время как мафия стремится устранить мирных жителей. Игра проходит в два этапа: дневной и ночной. В дневное время все участники голосуют за одного человека на выбывание, а в ночное время мафия выбирает жертву.

Датасет

Для экспериментов использовался датасет из 460 участников, играющих в Мафию. Данные были собраны через Amazon Mechanical Turk и включали 23 игры для обучения и 15 для тестирования. Данные были анонимизированы, чтобы исключить влияние имен участников.

Базовые модели и метрики

В качестве базовых моделей использовались GPT-4, GPT-3.5-turbo (ChatGPT), BERT-Multilabel, BERT-Utterance и Random. Для GPT-4 и GPT-3.5-turbo использовался промпт-инжиниринг и zero-shot CoT. Были использованы две метрики: точность одиночного совпадения и точность точного совпадения.

Результаты

GPT-4 показала наивысшую точность как в одиночном, так и в точном совпадении. В одиночном совпадении GPT-4 показала точность 80.65%, что на 24% выше, чем у BERT-Utterance. В точном совпадении GPT-4 показала точность 19.35%, что значительно выше, чем у других моделей.

Сравнение с участниками сбора данных

GPT-4 показала более высокую точность в предсказании мафии по сравнению с человеческими участниками. Точность GPT-4 увеличивалась с увеличением количества данных, в то время как точность человеческих участников снижалась.

Причины решений LLM

LLMs могут генерировать анализы причин своих решений, что позволяет человеку понять логику их рассуждений. Однако не все причины были логически корректными, и LLMs иногда делали ошибочные интерпретации правил игры.

Абляционные исследования

Информация о голосовании

Исключение информации о голосовании или использование только информации о голосовании значительно снижало точность. Это показывает, что хотя голосование является ключевым фактором, неглосовательные разговоры также играют важную роль.

Изменение температур LLMs

Изменение температур не значительно влияло на точность GPT-4, что свидетельствует о стабильности модели.

Ограничения

Исследование столкнулось с проблемами нехватки данных и ограниченной интерпретируемости GPT-4. Также было использовано ограниченное количество моделей, что может ограничивать выводы.

Обсуждение

Исследование показало, что GPT-4 может эффективно обнаруживать обманщиков в социальных контекстах и предоставлять ограниченную интерпретируемость своих решений. В будущем планируется развивать систему для более сложных сценариев и использовать открытые модели LLMs.