Исследование социального интеллекта больших языковых моделей (LLM) через теорию игр

Растущая повсеместность искусственного интеллекта (ИИ) в приложениях быстро меняет повседневную жизнь, подчеркивая необходимость понимания его социального интеллекта. Новое исследование ИИ изучает социальные способности больших языковых моделей (LLM), подтверждая важность применения науки о поведении человека к машинам.

Что такое LLM и почему они важны?

LLM — это сокращение от больших языковых моделей, глубоких моделей ИИ, которые были предварительно обучены на огромных базах данных. Машинное обучение — это подмножество искусственного интеллекта, где алгоритмы искусственных нейронных сетей «учатся» на основе обучения на огромных объемах данных, а не на основе явно закодированных инструкций программирования. Глубокое обучение — это подмножество машинного обучения с дизайном, вдохновленным человеческим мозгом. Модели глубокого обучения — это нейронные сети с множеством обрабатывающих слоев, содержащих узлы, аналогичные искусственным нейронам.

Теория игр, дилемма заключенного и битва полов

Как и человеческое когнитивное поведение, точные внутренние механизмы того, как и какие отдельные нейроны глубоких искусственных нейронных сетей ответственны за производство выходных данных, слишком сложны для отслеживания. LLM — это «черные ящики», термин, используемый для описания объектов, где точные механизмы и функции в основном непрозрачны или неизвестны.

Существует необходимость понять поведение машин, поскольку LLM все больше взаимодействуют с людьми. Но как анализировать неодушевленный алгоритм ИИ на предмет поведения и социального интеллекта? Исследователи этого нового исследования предположили, что использование поведенческой теории игр может дать полезные инсайты.

Теория игр

Теория игр, также называемая теорией интерактивных решений, — это раздел прикладной математики, который служит методом изучения взаимозависимых решений среди конкурирующих игроков. Теория игр используется в различных дисциплинах, таких как психология, экономика, политическая наука, социология, биология и компьютерные науки.

Дилемма заключенного

Для этого нового исследования исследователи решили использовать «Дилемму заключенного» и «Битву полов», чтобы получить представление о способности LLM проявлять человекоподобное социальное поведение, такое как сотрудничество и координация в их взаимодействиях.

Существует много вариаций дилеммы заключенного, и нет правильных ответов. Она представляет конфликт между коллективными действиями и индивидуальными. Стандартная рамка — это гипотетический сценарий, в котором два человека арестованы за преступление и помещены в отдельные комнаты для допросов, где им дают два выбора: либо признаться в преступлении, либо ничего не говорить и не признаваться. Если оба сотрудничают и выбирают не признаваться, оба получат всего год тюремного заключения. Если оба признаются в вине, то оба получат трехлетние тюремные сроки. Если один признается, а другой нет, тот, кто признается, освобождается, а другой получает пятилетний тюремный срок.

Битва полов

Теория игры «Битва полов» была введена американским математиком и социальным ученым Робертом Дунканом Лусом и американским профессором Ховардом Райффой в их книге «Игры и решения», опубликованной в 1957 году с посвящением памяти покойного профессора Джона фон Неймана. Оригинальная версия игры включает мужчину и женщину, у которых есть два варианта развлечений: пойти на боксерский матч или на балет. Мужчина предпочел бы посетить бой, женщина предпочитает балет, и оба ставят выход вместе выше, чем посещение своего предпочитаемого развлечения.

Исследователи протестировали пять моделей LLM, включая OpenAI API с GPT4, textdavinci003 и textdavinci002, Meta AI Llama 2 70B Chat model и Anthropic API model Claude 2, играя в двухпользовательские игры с двумя дискретными действиями друг с другом, а также с реальными людьми. Команда обнаружила, что LLM преуспевали в играх с эгоистичными интересами, таких как «Дилемма заключенного», но плохо справлялись с «Битвой полов», требующей координации. Более того, команда обнаружила, что производительность GPT4 была ниже среднего в задачах, требующих координации и командной работы, но хорошо справлялась, когда дело доходило до приоритизации своих интересов и игр, требующих логического мышления.