Как искусственный интеллект оценивает свою уверенность: сравнение с людьми

Как искусственный интеллект оценивает свою уверенность: сравнение с людьми

Интересное сегодня

Как глубокие нейронные сети помогают моделировать человеческ...

Введение в методологию когнитивного моделирования Стандартный подход к вычислительному моделированию...

Как социальный контекст влияет на агрессию у мышей: новые ис...

Агрессия у мышей: роль социального контекста Смещённая агрессия — перенаправление раздражения на нев...

Снижение смертности от передозировок: причины и риски

Прогресс в борьбе с передозировками: данные CDC В начале этого месяца Центры по контролю и профилакт...

Как приключенческая терапия помогает при тревожных расстройс...

Почему активность помогает при подавленном состоянии? Когда вам грустно или тревожно, последнее, что...

Правда о личностных тестах: научная достоверность, вред ярлы...

Что такое личностные тесты? Личностный тест — это инструмент, предназначенный для получения ответов,...

Как материнство включает агрессию у мышей: открытие нейронно...

Активация материнской агрессии через гормонально-чувствительные нейроны Учёные из Стокгольмского уни...

Рисунок 1
Рисунок 1
Рисунок 2
Рисунок 2
Рисунок 3
Рисунок 3
Рисунок 4
Рисунок 4
Рисунок 5
Рисунок 5
Рисунок 6
Рисунок 6
Рисунок 7
Рисунок 7
Рисунок 8
Рисунок 8
Рисунок 9
Рисунок 9
Рисунок 10
Рисунок 10
Рисунок 11
Рисунок 11
Thumbnail 1
Thumbnail 2
Thumbnail 3
Thumbnail 4
Thumbnail 5
Thumbnail 6
Thumbnail 7
Thumbnail 8
Thumbnail 9
Thumbnail 10
Thumbnail 11
Оригинал исследования на сайте автора

Введение

В повседневном общении люди часто просят других оценить свою уверенность в точности утверждений. Эти суждения помогают слушателям решить, насколько следует корректировать свои представления с учетом мнения собеседника. Учитывая важность уверенности в поведении и коммуникации, психологи давно изучают, как люди оценивают свою уверенность и насколько эти оценки точны.

Large Language Model (LLM) чат-боты

Исследователи давно интересуются системами, способными понимать и генерировать человеческую речь — это направление называется обработкой естественного языка (NLP). Современные NLP-модели, такие как ChatGPT или Gemini, обучаются на огромных массивах текстовых данных и используют сложные алгоритмы машинного обучения, включая нейронные сети. Их называют Large Language Models (LLM), потому что они содержат миллиарды параметров, позволяющих имитировать человеческую речь.

Как работают LLM?

Генеративные ИИ-чаты предсказывают наиболее вероятный ответ на запрос пользователя, но не обладают сознанием или интроспекцией. Они просто вычисляют статистические закономерности в данных.

Метакогнитивные способности LLM

Метакогниция — это способность оценивать собственные когнитивные процессы. Люди используют три типа сигналов для таких оценок:

  • Внутренние сигналы (например, сложность задачи)
  • Внешние сигналы (например, контекст выполнения)
  • Мнемонические сигналы (например, легкость вспоминания)

LLM могут использовать только внутренние и частично внешние сигналы, так как у них нет субъективного опыта.

Точность уверенности у LLM и людей

Исследования показывают, что LLM, как и люди, склонны к переоценке своей точности. Однако некоторые модели (например, Claude) демонстрируют лучшую калибровку. В отличие от людей, LLM хуже учатся на собственном опыте и не всегда корректируют уверенность после выполнения задачи.

Абсолютная и относительная точность

Абсолютная точность (калибровка) показывает, насколько уверенность совпадает с реальной точностью. Относительная точность (разрешение) отражает способность различать более и менее надежные ответы. В некоторых задачах LLM превосходят людей, в других — уступают.

Выводы

LLM демонстрируют схожую с людьми точность оценки уверенности, но используют иные механизмы. Их суждения зависят от статистических закономерностей, а не интроспекции. Будущие исследования помогут лучше понять, как ИИ формирует уверенность и можно ли ему доверять в критически важных областях.

Короткие версии статей можно найти в телеграм-канале.

Посмотреть канал
Кликните еще раз для перехода

Цитросепт Капли 100 мл — экстракт грейпфрута для иммунитета

Цитросепт Капли для приема внутрь во флаконе 100 мл — натуральный экстракт семян грейпфрута, поддерж...

...

Отривин Бэби аспиратор для носа с 3 насадками

Отривин Бэби назальный аспиратор с 3 сменными насадками – безопасное и эффективное средство для мягк...

Орал-Би Конический Ершик №6 - Сменная головка | Аптека

Сменная коническая головка Орал-Би №6 для зубных щеток обеспечивает эффективную очистку межзубных пр...

Лесной Бальзам для десен Дуб-Пихта – ополаскиватель 400 мл

Ополаскиватель «Лесной Бальзам» с экстрактами дуба и пихты помогает укрепить и защитить десны, снижа...

Белосалик Лосьон 100 мл: лечение кожи, псориаз, экзема

Белосалик Лосьон 100 мл — комбинированное средство для лечения кожных заболеваний. Оказывает противо...