Как глубокие нейронные сети помогают моделировать человеческое планирование: исследование на примере игры

Введение в методологию когнитивного моделирования

Стандартный подход к вычислительному моделированию в когнитивной науке предполагает создание модели вручную с указанием свободных параметров, которые корректируются для получения поведенческих результатов, согласующихся с эмпирическими данными. Прогнозы модели затем оцениваются с использованием значений параметров, которые обеспечивают наилучшее соответствие данным. На основе этих оценок модель итеративно дорабатывается для уменьшения оставшихся ошибок. Решение о принятии конкретного изменения обычно основывается на методах сравнения моделей, балансируя компромисс между сложностью и точностью соответствия. Эта методология дает интерпретируемые модели, поскольку все нововведения реализуются исследователем, но она не дает указаний, когда следует прекратить поиск candidate-моделей или какие изменения стоит пробовать.

Ограничения традиционного подхода

В этом pipeline нет возможности различить, представляет ли необъясненная дисперсия естественную изменчивость человеческого поведения или может быть объяснена crucial изменением модели. Даже если можно определить, что модель требует улучшения, корректировки обычно основываются на интуиции и ручном инжиниринге. Один из методов решения этих ограничений — подгонка глубоких нейронных сетей к поведенческим данным. Глубокие нейронные сети делают минимальные предположения о лежащих в основе когнитивных механизмах и обладают достаточной capacity для представления virtually любого вычислительного процесса.

Нейросетевой подход к улучшению моделей

Обучение сети прогнозированию человеческого поведения в конкретной задаче позволяет сети обнаруживать patterns в данных без необходимости человеческого понимания этих patterns. Важным шагом является последующая validation того, что сеть действительно точно capture человеческие решения. После validation прогнозы сети можно сравнить с прогнозами когнитивной модели. А именно, deviations между моделью и сетью направляют процесс улучшения модели, highlighting ситуации, в которых модель требует novel механизмов для объяснения человеческого поведения.

Когда нет четкого способа обобщения или объединения данных по многим trials, этот метод более эффективен, чем простое исследование ошибок модели, которые часто вызваны шумом, который никакая модель не может объяснить.

Проблема переобучения и методы регуляризации

Одна потенциальная проблема этого подхода заключается в том, что нейронные сети настолько гибки, что рискуют переобучиться. Методы regularization являются стандартным решением проблемы переобучения в scenarios с ограниченными данными, в то время как доступ к большому набору данных для обучения может ameliorate эту проблему. Следовательно, нейросетевые методы для направленного улучшения моделей утвердились как emerging поле в когнитивной науке.

Применение к области планирования

Подход, который мы описали в предыдущем paragraph, особенно полезен в settings, где задача достаточно complex, чтобы извлечь дополнительную meaningful информацию, и когда существуют крупномасштабные данные для обучения относительно простых, feedforward сетевых архитектур. Этот метод был pioneered для discovery алгоритмов, лежащих в основе человеческого принятия решений и categorization. Связанная линия работы начала developing рекуррентные нейронные сети для automated discovery моделей, до сих пор primarily в средах обучения с подкреплением.

Сложности обучения рекуррентных сетей

Рекуррентные нейронные сети notoriously более сложны для обучения и анализа, но в свою очередь могут provide результаты для более простых задач и smaller наборов данных, которые более ubiquitous throughout поля. Вместе эти подходы разделяют common цель улучшения процесса development когнитивных моделей across различных domains.

Игра «4 в ряд» как модель для исследования

Недавно растущий body литературы начал examining алгоритмы, лежащие в основе человеческого sequential принятия решений. Planning involves мысленное simulation будущих действий и их последствий для принятия решения, но оценка каждого возможного курса действий в realworld environments просто неосуществима. Поэтому fruitful подходом стало использование задач с larger пространствами состояний, чем обычно используются в когнитивной науке, в сочетании с process-level моделями для исследования того, как люди планируют.

Преимущества использования игры «4 в ряд»

Это combination сложных задач и моделей в addition к тому факту, что планирование является ненаблюдаемым internal процессом, ограничивает traditional frameworks развития моделей и делает его ideal domain для testing более мощных методов. Одним из таких примеров является «4 в ряд», combinatorial игра, в которой игрокам нужно думать на несколько шагов вперед, чтобы выиграть. Additionally, человеческие решения были well-описаны computational когнитивной моделью в laboratory и online экспериментах. Эти условия делают «4 в ряд» particularly подходящим для подхода к улучшению моделей, driven нейронными сетями.

• Задача с множеством различных states, где key лежащие features трудно идентифицировать
• Детальная модель, которая уже informative о человеческом планировании, но может быть refined further
• Очень большой набор данных для обучения нейронных сетей

Методология исследования

Наша основная contribution заключается в использовании глубоких нейронных сетей для оценки noise ceiling, или наилучшего соответствия, которое может быть достигнуто на данных, relative к когнитивной модели и subsequent улучшению этой модели. Мы начинаем с описания задачи планирования и крупномасштабного набора данных, а также модели эвристического поиска и архитектуры нейронной сети. Specifically, мы подчеркиваем методы, используемые для fitting модели и обучения нейронной сети, чтобы их можно было сравнить, используя весь набор данных.

Задача и набор данных

Наша задача представляет собой вариант крестиков-ноликов, в котором два игрока по очереди размещают фишки на доске 4 на 9. Цель — выстроить четыре фишки в ряд по горизонтали, вертикали или диагонали. Эту задачу, которую мы называем «4 в ряд», можно использовать для изучения взаимодействия между различными системами обучения с подкреплением, природы expertise или сравнений между человеком и машинным обучением. Importantly, для этой задачи существует когнитивная модель, которая provides starting point для дальнейшего development моделей.

Когнитивная модель человеческого планирования

Одна из основных целей этой работы — итеративно улучшать интерпретируемую когнитивную модель человеческого планирования, сравнивая ее прогнозы с нашей лучшей нейронной сетью и subsequently testing различные механизмы, inspired этим анализом. Модель интереса combines эвристическую функцию оценки, которая представляет собой взвешенную linear combination features доски, с construction дерева решений via best-first поиск.

Результаты и обсуждение

В этой статье мы обучили глубокие нейронные сети предсказывать человеческие ходы в «4 в ряд» с использованием крупномасштабного набора данных. Мы ensured, что эти сети оценивают reasonable верхнюю границу того, насколько хорошо любая модель может объяснить человеческое поведение, путем incremental масштабирования сетей и validation, что любое дальнейшее масштабирование приведет к marginal увеличениям производительности. Мы затем проанализировали лучшую сеть, finding, что сеть capture общие trends в человеческой игре.

Ключевые выводы исследования

Это provided нам с моделью, которая могла предсказывать человеческие решения более accurately, чем интерпретируемая когнитивная модель человеческого планирования, без requiring manual инжиниринга. Мы затем explored позиции, в которых нейронная сеть была более accurate, чем baseline модель, leading к нескольким candidate механизмам для улучшения модели. Наконец, мы исследовали результаты трех новых моделей, которые added смещение в начале игры, defensive weighting и phantom features, анализируя как overall точность соответствия, так и relative предсказуемость по сравнению с нейронной сетью.

В совокупности эти результаты highlight преимущества использования глубоких нейронных сетей в качестве guide для моделирования человеческого планирования.

Ограничения и будущие направления

Хотя наш метод provides framework для направленного улучшения моделей с помощью нейронных сетей, он имеет несколько limitations. Первое заключается в том, что усилия по реализации, тестированию и анализу таких сетей могут не стоить того, если задача достаточно проста. Многие задачи, используемые в психологических исследованиях, имеют достаточно малое пространство состояний, чтобы все substantially различные ситуации можно было исследовать вручную и/или достаточно данных available для отдельных ситуаций, чтобы deviations между raw данными и predictions моделей были meaningful.

Перспективы развития метода

В таких задачах utility нашего подхода greatly reduced. Другое limitation заключается в том, что обучение нейронных сетей требует large amounts данных. Если доступно меньше данных, переобучение становится major проблемой для гибких архитектур, и alternative использования менее гибких сетевых архитектур implies biases в predictions сетей, которые need быть justified. Additionally, такие сети inherently более сложны для обучения. Стандартизированные tools для streamlining процесса подгонки нейронных сетей могут alleviate эти проблемы, reducing burden на researchers по construction и анализу сетей.