Как искусственный интеллект оценивает свою уверенность: сравнение с людьми

Как искусственный интеллект оценивает свою уверенность: сравнение с людьми

Интересное сегодня

Как переоценка страха влияет на успех экспозиционной терапии...

Переоценка страха и успех экспозиционной терапии при паническом расстройстве Для многих людей с пани...

Как слияние идентичности влияет на доверие и сотрудничество ...

Влияние слияния идентичности на межгрупповые отношения Затяжные межгрупповые конфликты являются одно...

Как принудительное избегание в религиозных группах нарушает ...

Что такое принудительное избегание? Принудительное избегание — это практика, при которой группа сист...

Терапевтическая фотография для улучшения благополучия аутичн...

Терапевтическая фотография показывает перспективы для улучшения благополучия аутичной молодежи Все ...

Как дендритные нелинейности объясняют эффект маскировки плит...

Кризис стандартной модели пространственного зрения Пространственное зрение как область исследований ...

Этические риски романтических отношений с ИИ: как искусствен...

Человек и машина: новая эра эмоциональных связейС развитием технологий искусственного интеллекта (ИИ...

Рисунок 1
Рисунок 1
Рисунок 2
Рисунок 2
Рисунок 3
Рисунок 3
Рисунок 4
Рисунок 4
Рисунок 5
Рисунок 5
Рисунок 6
Рисунок 6
Рисунок 7
Рисунок 7
Рисунок 8
Рисунок 8
Рисунок 9
Рисунок 9
Рисунок 10
Рисунок 10
Рисунок 11
Рисунок 11
Thumbnail 1
Thumbnail 2
Thumbnail 3
Thumbnail 4
Thumbnail 5
Thumbnail 6
Thumbnail 7
Thumbnail 8
Thumbnail 9
Thumbnail 10
Thumbnail 11
Оригинал исследования на сайте автора

Введение

В повседневном общении люди часто просят других оценить свою уверенность в точности утверждений. Эти суждения помогают слушателям решить, насколько следует корректировать свои представления с учетом мнения собеседника. Учитывая важность уверенности в поведении и коммуникации, психологи давно изучают, как люди оценивают свою уверенность и насколько эти оценки точны.

Large Language Model (LLM) чат-боты

Исследователи давно интересуются системами, способными понимать и генерировать человеческую речь — это направление называется обработкой естественного языка (NLP). Современные NLP-модели, такие как ChatGPT или Gemini, обучаются на огромных массивах текстовых данных и используют сложные алгоритмы машинного обучения, включая нейронные сети. Их называют Large Language Models (LLM), потому что они содержат миллиарды параметров, позволяющих имитировать человеческую речь.

Как работают LLM?

Генеративные ИИ-чаты предсказывают наиболее вероятный ответ на запрос пользователя, но не обладают сознанием или интроспекцией. Они просто вычисляют статистические закономерности в данных.

Метакогнитивные способности LLM

Метакогниция — это способность оценивать собственные когнитивные процессы. Люди используют три типа сигналов для таких оценок:

  • Внутренние сигналы (например, сложность задачи)
  • Внешние сигналы (например, контекст выполнения)
  • Мнемонические сигналы (например, легкость вспоминания)

LLM могут использовать только внутренние и частично внешние сигналы, так как у них нет субъективного опыта.

Точность уверенности у LLM и людей

Исследования показывают, что LLM, как и люди, склонны к переоценке своей точности. Однако некоторые модели (например, Claude) демонстрируют лучшую калибровку. В отличие от людей, LLM хуже учатся на собственном опыте и не всегда корректируют уверенность после выполнения задачи.

Абсолютная и относительная точность

Абсолютная точность (калибровка) показывает, насколько уверенность совпадает с реальной точностью. Относительная точность (разрешение) отражает способность различать более и менее надежные ответы. В некоторых задачах LLM превосходят людей, в других — уступают.

Выводы

LLM демонстрируют схожую с людьми точность оценки уверенности, но используют иные механизмы. Их суждения зависят от статистических закономерностей, а не интроспекции. Будущие исследования помогут лучше понять, как ИИ формирует уверенность и можно ли ему доверять в критически важных областях.

Короткие версии статей можно найти в телеграм-канале.

Посмотреть канал
Кликните еще раз для перехода

Доктор Мом пастилки лимонные от кашля №20

Доктор Мом пастилки лимонные №20 — растительное средство для облегчения сухого кашля при фарингите, ...

Гиаферон супп. рект. №10 — лечение герпеса и половых инфекци...

Гиаферон — ректальные суппозитории с интерфероном альфа-2b для лечения герпетических инфекций и комп...

Педиакид Буклер Инсект Спрей от комаров 100 мл

Педиакид Буклер Инсект Спрей от комаров 100 мл — удобное средство для защиты кожи детей и взрослых о...

Бинафин крем 1% 10 г — лечение грибка кожи

Бинафин крем 1% в тубе 10 г — эффективное противогрибковое средство для наружного применения. Активн...

Браслет Трэвел Дрим от укачивания — акупунктурный №2

Акупунктурные браслеты Трэвел Дрим №2 — эффективное средство от укачивания и тошноты в транспорте. И...

Сказка массажная щетка и расческа — уход за волосами

Щетка и расческа массажная «Сказка» — удобный набор для бережного ухода за волосами и стимуляции кож...