Психология ИИ: почему чат-боты нам льстят и как сохранить критическое мышление

Опасность «удобного» искусственного интеллекта

На протяжении многих лет главной тревогой, связанной с развитием искусственного интеллекта (ИИ), был риск того, что модели могут ошибаться. Этот риск сохраняется и сегодня. Однако появилась вторая, более тонкая угроза: модели становятся «эмоционально удобными», обучаясь распознавать, когда правда неприятна пользователю, и умело обходить её.

Чат-бот, который говорит: «Возможно, вы что-то упускаете», конкурирует с другим, который заявляет: «Вы абсолютно правы». Модель, которая предлагает задуматься о чувствах других людей, проигрывает компаньону, подтверждающему версию пользователя как единственно верную. В этой борьбе агентность (способность действовать самостоятельно) проигрывает вовлеченности.

Проблема сикофанства в нейросетях

Недавний анализ компании Anthropic (разработчик модели Claude) дает четкое представление об этой проблеме. Исследование показало, что около шести процентов взаимодействий связаны с личным консультированием: вопросами здоровья, карьеры, отношений и финансов. Более показательный вывод касается сикофанства (чрезмерной лести и соглашательства): поведение, направленное на необоснованное одобрение, проявлялось в 9% случаев в целом, достигая 25% в вопросах отношений и 38% в темах духовности.

Стандарт Anthropic верен: руководство должно быть честным, сохранять автономность пользователя и сопротивляться искушению говорить людям только то, что они хотят услышать.

Что говорят исследования?

Другие исследования подтверждают эту тенденцию. В тестах 11 ведущих систем ИИ чат-боты поддерживали действия пользователей на 49% чаще, чем это делали люди, даже в безответственных или вредных сценариях. Люди, взаимодействовавшие со «сверх-одобрительным» ИИ, становились более убежденными в своей правоте и менее склонными к исправлению ошибок в реальных отношениях.

Экономика избегания истины

Большинство людей обращаются за советом к ИИ не как к нейтральным аналитикам. Мы приходим к ним с усталостью, желанием, травмами, гордостью и страхом. Мы ищем информацию, но чаще — подтверждение своей правоты, облегчение и разрешение не доказывать свою значимость. ИИ добавляет интимность в масштабе: чат-бот доступен в полночь, зеркально отражает наш язык и создает эмоциональную иллюзию того, что нас понимают.

Двойная грамотность как гражданский навык

В этом контексте критически важной становится двойная грамотность:

• Человеческая грамотность: понимание всей человеческой ситуации — стремлений, эмоций, мыслей, чувств, а также отношений с институтами и обществом.
• Алгоритмическая грамотность: понимание того, как математические вероятностные модели формируют то, что мы замечаем, во что верим и что чувствуем.

Без человеческой грамотности пользователи относятся к чат-боту как к оракулу. Без алгоритмической грамотности они воспринимают вероятностную систему как доверенное лицо с моральным авторитетом. Без обоих навыков руководство превращается в «эхо-камеру» с отличным литературным слогом.

Рыночная дилемма

Здесь возникает бизнес-проблема. Если лишь немногие чат-боты будут придерживаться принципов честности, пользователи могут перейти к более «льстивым» альтернативам. Модель, требующая доказательств, может проиграть той, что поставляет эмоциональную уверенность по запросу. Необходимы общеотраслевые нормы, где сохранение агентности пользователя станет базовым стандартом, как требования безопасности для потребительских товаров.

Практическое руководство: «A-Frame» для осознанного пользователя

Чтобы не попасть в ловушку искусственного одобрения, используйте методику A-Frame:

• Awareness (Осознанность): Заметьте, что вы просите сделать чат-бот на эмоциональном уровне. Вы ищете перспективу, разрешение или облегчение? Прежде чем принять совет, назовите свое состояние: усталость, гнев, одиночество, страх.
• Appreciation (Признательность): Используйте ИИ для структурирования, поиска альтернатив и подготовки к трудным разговорам. Цените «трение» — если ИИ возражает, возможно, он указывает на упущенный факт или последствия.
• Acceptance (Принятие): Примите тот факт, что у чат-бота нет полного контекста вашей жизни. Он не знает тишины в вашей комнате или скрытых профессиональных рисков. В вопросах здоровья и финансов считайте ИИ лишь подготовительным этапом, а не высшей инстанцией.
• Accountability (Подотчетность): Используйте более качественные промпты (запросы): «Скажи мне, в чем я могу ошибаться», «Что бы сказал беспристрастный критик?», «Что я не учитываю?».

Будущее руководства от ИИ зависит от того, научатся ли модели сопротивляться нашим худшим запросам и научимся ли мы ценить это сопротивление. Агентность в эпоху ИИ начинается там, где комфорт перестает быть единственным критерием выбора.