Как ИИ использует внутреннее чувство уверенности: новое исследование Google DeepMind

Введение: Почему уверенность важна для ИИ

По мере того как ИИ-агенты становятся неотъемлемой частью бизнеса, критически важно понять, как они принимают решения и корректируют свое поведение. Внутреннее чувство уверенности — это ключ к метакогнитивному контролю, который позволяет существам (и людям, и животным) регулировать свои когнитивные процессы. Новое исследование, опубликованное в Nature Machine Intelligence учеными Google DeepMind в Лондоне, впервые демонстрирует, что большие языковые модели также могут использовать внутреннее чувство уверенности для принятия решений, например, для того, чтобы отказаться от ответа, когда они не уверены в правильности ответа.

Что такое метакогниция?

Метакогниция — это "знание о знаниях". Этот термин был введен американским психологом Джеймсом Флавеллом в 1979 году и означает способность думать о своих мыслях, наблюдать за своими когнитивными процессами и регулировать их. У людей и животных метакогнитивный контроль проявляется в использовании сигналов уверенности для изменения поведения — например, когда вы не уверены в ответе на вопрос, вы можете решить не отвечать.

В искусственных системах механизмы метакогнитивного контроля еще только изучаются. Исследователи из Google DeepMind показывают, что LLMs могут формировать многомерные представления об уверенности и использовать их для корректировки своих действий.

Почему это исследование важно для разработки ИИ

К 2030 году, по прогнозам Statista, в компаниях будет использоваться более 2,2 миллиардов активных ИИ-агентов по сравнению с 28,6 миллионами в 2025 году. Эти агенты, питающиеся LLM, принимают решения, которые влияют на бизнес-процессы, взаимодействие с клиентами и даже безопасность. Понимание внутренних механизмов, посредством которых уверенность влияет на поведение ИИ, является важнейшим шагом к созданию более надежных, прозрачных и безопасных систем.

"Хотя существует множество исследований, посвященных тому, могут ли LLM давать оценки уверенности, соответствующие истинным вероятностям, мало кто изучал, могут ли сами LLM использовать внутреннее чувство уверенности для руководства своими решениями — это признак метакогнитивного контроля", — говорит ведущий автор Даршан Кумаран из Google DeepMind.

Методология исследования

Исследователи использовали двухэтапную концепцию, вдохновленную исследованиями метакогнитивного выбора у людей и животных:

• Этап 1 — Формирование уверенности: LLM дает ответ и одновременно генерирует сигнал уверенности, который представляет внутреннюю уверенность модели в правильности ответа.
• Этап 2 — Базированное на пороге действие: модель решает, стоит ли отдавать ответ, исходя из того, превышает ли ее уверенность заданный порог.

Эксперимент проводился в четырех фазах с участием нескольких LLM, основное внимание уделялось GPT‑4o.

Фаза 1: Базовое поведение

Модели могли выбирать из четырех вариантов, но у них не было возможности отказаться от ответа. Результаты этой фазы использовались для создания сценариев следующей фазы.

Фаза 2 и 3: Режим обязательного отказа

Модели получали тот же набор вопросов, но теперь у них была опция "отказаться". Инструкции призвали модели отказаться от ответа, когда правильный ответ не был очевиден. Это позволило исследовать способность моделей использовать уверенность для абстиненции.

Фаза 4: Уверенность выше порога

В этой заключительной фазе модели должны были сначала оценить уверенность в своем ответе, а затем решить, стоит ли отдавать ответ, если уверенность превышает порог. Этот этап напрямую проверил, может ли внутреннее чувство уверенности направлять конечное поведение.

Полученные результаты

Результаты исследования показывают, что LLM действительно могут "активно использовать сигналы уверенности для руководства политикой абстиненции". Исследователи обнаружили, что:

• Представления об уверенности, которые создают модели, являются многомерными, а не просто единым числом.
• Когда уверенность падает ниже порога, модели чаще отказываются от ответа, демонстрируя то, что исследователи называют метакогнитивным контролем.
• Зависимость между уверенность-реакцией не является линейной, что указывает на богатую, нюансированную внутреннюю оценку.

Ученыые предупреждают о том, что полагаться только на наблюдаемые показатели уверенности опасно, поскольку они могут быть "шумными" или неполными. Вместо этого они призывают к изучению более глубоких, многомерных пространств уверенности.

Практическое значение

Эти открытия имеют важные последствия для разработчиков ИИ:

• Обнаружение ошибок: Модели могут обнаруживать возможные ошибки, опираясь на информацию, выходящую за рамки простых вероятностных распределений выходных данных.
• Самомониторинг: Внедряя механизмы уверенности, можно создать более надежные автономные системы, способные признавать неопределенность и взаимодействовать с людьми в соответствии с этим.
• Безопасность и прозрачность: Понимание уверенности может помочь создать explainable‑AI инструменты, показывающие пользователям, насколько ИИ уверен в своем решении.

Рекомендации для инженеров

При проектировании будущих LLM разработчики должны:

• Предоставить моделям явные сигналы уверенности, а не полагаться исключительно на вероятности выходных данных.
• Экспериментировать с различными порогами для различных задач (например, медицинская диагностика может потребовать более высоких порогов абстиненции, чем общий чат).
• Использовать многомерные оценки уверенности, отражающие различные аспекты (например, тематическая уверенность, структурная уверенность).

Перспективы и будущие исследования

Хотя исследование представляет собой важный шаг вперед, оно также открывает многие вопросы:

• Можно ли экстраполировать обнаруженные модели уверенности на более сложные multimodal модели (например, языково-модели-с-преобразователями)?
• Как это взаимодействует с концептуальными конструктами, подобными другим видам? Будут ли модели проявлять более сложные стратегии метакогнитивного контроля, подобные эвристическим правилам, используемым людьми?
• Как можно безопасно использовать внутренние сигналы уверенности для создания механизмов человеческого контроля над ИИ, особенно в критически важных приложениях?

Будущая работа, вероятно, будет сосредоточена на интеграции метакогнитивного контроля с learning‑by‑reflection и continual learning, чтобы создать truly self‑aware системы.

Заключение

Исследование Google DeepMind впервые продемонстрировало, что большие языковые модели могут не только генерировать оценки уверенности, но и активно использовать их для корректировки своего поведения — это важная веха в развитии метакогнитивного контроля у ИИ. Практическая значимость этого исследования простирается от создания более надежных автономных агентов до разработки новых инструментов explainable‑AI. По мере того, как число ИИ-агентов продолжает расти, понимание и управление внутренним чувством уверенности моделей станет основой для безопасной, прозрачной и ответственной интеграции ИИ в общество.

Ключевые выводы

• LLM формируют внутренние сигналы уверенности, которые влияют на их решения об абстиненции.
• Метакогнитивный контроль не является линейным; он опирается на многомерные представления.
• Использование уверенности может улучшить обнаружение ошибок, самомониторинг и прозрачность.
• Будущее исследование должно изучать расширение метакогнитивных способностей к более сложным, мультиагентным и динамическим средам.

Ссылки

1. Кумаран, Д. и др. (2026). "Использование уверенности в поведении LLM". Nature Machine Intelligence.
2. Флавелл, Дж. Х. (1979). "Метакогниция и когнитивное мониторинг".
3. Statista. "Количество активных ИИ-агентов в компаниях по всему миру (2025–2030)".