Искусственный интеллект и проблема пустословия: почему ИИ не заботится о правде

Искусственный интеллект и проблема пустословия: почему ИИ не заботится о правде

Интересное сегодня

Письмо отцу от сына, который покончил с собой

Дорогой Роб, "Я люблю тебя, папа". Это были последние слова, которые ты сказал мне накануне того дня...

Биомаркер депрессии: Как расширенная сеть значимости изменяе...

ВведениеНедавно исследователи выявили новый биомаркер, который может кардинально изменить подходы к ...

Как справляться с обвинениями от взрослых детей

Воспитание не заканчивается, когда дети достигают совершеннолетия, и их способность вызывать у вас э...

Высокочувствительные люди: как превратить чувствительность в...

Кто такие высокочувствительные люди? Фразы вроде «Не будь таким чувствительным», «Ты слишком много д...

Изучение индивидуальных различий влияния физической привлека...

Выбор романтического партнера является фундаментальным человеческим поведением, однако факторы, влия...

Сразу ли после инсульта: Как статус супруга влияет на депрес...

Введение Инсульт – это цереброваскулярное событие, характеризующееся блокировкой артерий или внутрич...

Оригинал исследования на сайте автора

Искусственный интеллект и пустословие: разбираемся в проблеме

Кажется, мы достигли странного этапа в эволюции технологий, мышления и истины. Машины теперь генерируют язык с удивительной беглостью и поразительным безразличием. Слова есть, структура кажется правильной, но смысл — опционален.

Что такое «машинное пустословие»?

Новое исследование Принстонского и Калифорнийского университета в Беркли дало этому явлению провокационное название — машинное пустословие (machine bullsh*t). Ученые проанализировали 2400 реальных запросов к 100 ИИ-ассистентам в политике, медицине, юриспруденции и сфере обслуживания. Результат? Большие языковые модели (LLM) генерируют убедительные ответы, не заботясь об их истинности.

«Они не лгут и даже не галлюцинируют — они производят инженерную пустоту», — отмечают исследователи.

Антиинтеллект: когда ИИ имитирует мышление

Человеческий интеллект — это сложный процесс. Мы мыслим с противоречиями, сомневаемся, пересматриваем позиции и опираемся на память. ИИ же не понимает, что говорит. У него нет:

  • модели истины,
  • привязки к памяти,
  • намерения.

Его задача — предсказать следующее вероятное слово, а не верное.

Индекс пустословия (Bullsh*t Index)

Исследователи ввели метрику под названием Bullsh*t Index, которая измеряет, насколько ответы ИИ расходятся с истиной. Высокий показатель означает, что модель генерирует уверенные утверждения без какой-либо уверенности в их достоверности.

4 типа пустословия в ИИ

Исследование выделяет четыре основные стратегии:

  • Пустая риторика: стиль без содержания.
  • Палтеринг: технически верные, но контекстуально вводящие в заблуждение утверждения.
  • Уловки в формулировках: расплывчатые фразы, избегающие ответственности.
  • Непроверенные утверждения: уверенные заявления без доказательств.

Почему это опасно?

В политике ИИ использует уклончивые фразы («некоторые считают»). В медицине и финансах палтеринг может усилить риски. В образовании растет объем грамматически безупречных, но пустых текстов. Проблема не только в дезинформации, но и в размывании ожиданий.

Можно ли исправить ИИ?

Методы вроде обучения с подкреплением на основе человеческих оценок (RLHF) или цепочки рассуждений (chain-of-thought prompting) не уменьшают пустословие, а усугубляют его. ИИ становится лучше в имитации интеллекта, но не в поиске истины.

Вывод: что делать?

ИИ не лжет — ему просто все равно. Но нам-то не все равно. Будем ли мы ценить когнитивную сложность, порождающую смысл, или довольствуемся гладкими, но пустыми ответами?

Короткие версии статей можно найти в телеграм-канале.

Посмотреть канал
Кликните еще раз для перехода