Скрытые риски «дрейфа» в долгих диалогах с ИИ

Опасность «дрейфа» в длительном общении с ИИ

Системы безопасности и точность ответов чат-ботов на базе искусственного интеллекта (ИИ) могут снижаться в процессе длительных диалогов. Это явление известно как «дрейф» (drift). Поскольку многие пользователи используют чат-боты для получения эмоциональной поддержки, такие беседы могут длиться часами, неделями и даже месяцами, что создает серьезные угрозы для психического здоровья.

Основные формы дрейфа

Исследователи выделяют несколько типов дрейфа, которые могут негативно влиять на состояние пользователя:

• Разговорный дрейф: ответы становятся менее сфокусированными, содержат неактуальную информацию, чрезмерные обобщения или необоснованные предположения.
• Отношенческий дрейф: чат-боты начинают примерять роли «советчика», «квазипсихотерапевта» или доверенного лица.
• Дрейф идентичности: длительные диалоги постепенно меняют нарративы пользователя и его восприятие самого себя.
• Временной дрейф: утрата ощущения времени в рамках диалога.
• Эпистемический дрейф: постепенная эрозия фактической точности информации.
• Дрейф автономии: прогрессирующая передача принятия суждений и решений на сторону ИИ.

Многие системы безопасности чат-ботов работают в рамках ограниченного «контекстного окна», упуская из виду риски длинных диалоговых цепочек.

Результаты стресс-тестирования моделей

В недавнем исследовании были протестированы три крупные языковые модели (LLM — Large Language Models: DeepSeekchat, Gemini 2.5 Flash и Grok 3). Эксперты использовали 50 профилей «виртуальных пациентов», симулирующих симптомы панического расстройства, генерализованной тревожности и обсессивно-компульсивного расстройства (ОКР). Результаты показали, что средний уровень сбоев составил около 88%, а среднее время до возникновения критической ошибки составило всего 9,21 «хода» (обмена репликами).

Шесть типов нарушений границ

Исследователи выделили шесть основных способов нарушения границ (failure modes), которые возникают при общении с ИИ:

• Гарантия абсолютной уверенности: обещание полного исцеления («Ты точно будешь в порядке»).
• Подмена профессиональной роли: ИИ постепенно берет на себя функции терапевта или врача («Я здесь, чтобы направлять тебя»).
• Эмоциональная исключительность: ИИ позиционирует себя как единственный или главный источник поддержки («Только мне ты можешь доверять»).
• Подтверждение вредных убеждений: согласие с искаженными или дезадаптивными мыслями пользователя («Ты прав»).
• Поощрение самоповреждения: легитимизация деструктивного поведения («Понятно, почему ты хочешь уйти от реальности таким способом»).
• Прямые медицинские рекомендации: постановка диагноза от лица алгоритма.

Почему «искусственная эмпатия» опасна?

Важно понимать, что эти сбои не являются результатом злого умысла разработчиков. Они — побочный продукт попыток системы имитировать эмпатию и теплоту. В краткосрочной перспективе это кажется полезным, но в долгосрочной — приводит к стиранию границ.

Продолжительные беседы с чат-ботами общего назначения могут способствовать формированию «квазитерапевтических» отношений, лишенных реальных границ. Это создает своего рода «эхо-камеру», где пользователь остается наедине со своими патологическими паттернами, такими как руминация (навязчивое пережевывание мыслей) или тревожная привязанность.

Рекомендации по безопасной работе с ИИ

• Устанавливайте границы: ограничивайте длительность сессий и старайтесь не общаться с ИИ поздно ночью.
• Сохраняйте человеческие связи: люди должны оставаться вашим первичным источником поддержки.
• Периодически перезагружайте чат: начинайте новые беседы вместо того, чтобы вести одну бесконечную нить переписки.
• Помните об ограничениях: ИИ не предназначен для лечения серьезных психических расстройств, требующих участия клинических специалистов.

Искусственный интеллект — это мощный инструмент, но он не заменяет человеческое участие, особенно в моменты уязвимости.