Как ИИ-деформация памяти очевидцев угрожает правосудию: исследование Георджтауна и Вашингтонского университета

Искусственный интеллект как вектор когнитивной дезинформации: новые доказательства уязвимости человеческой памяти

Объединенная исследовательская группа Georgetown University (Университет Джорджтаун) и University of Washington (Университет Вашингтона) представила на Девятой конференции AAAI/ACM по ИИ, этике и обществу (AIES) шокирующие данные: генеративные языковые модели (LLM, Large Language Models) способны системно перезаписывать эпизодическую память очевидцев, встраивая ложные детали даже при осознанном скептицизме читателя по отношению к ИИ-источнику. Работа под названием "AI-Enabled Human Memory Manipulation: Misleading AI-Generated Summaries Distort Human Memory" ("ИИ-управляемая манипуляция человеческой памятью: вводящие в заблуждение ИИ-резюме искажают человеческую память") опубликована в открытом доступе на arXiv (DOI: 10.48550/arXiv.2609.28820) и сталкивает общество с этическим вызовом беспрецедентного масштаба.

Методология: двухконтурный экспериментальный дизайн

Ученые применили комбинированный подход, объединяющий аудит алгоритмической достоверности и контролируемое психологическое экспериментирование:

• Этап 1 — Тестирование коммерческих LLM: OpenAI ChatGPT и Google Gemini получали на вход анимированные видеоролики дорожно-транспортных происшествий, адаптированные из классических парадигм психологии очевидцев (методика Луфтуса и Палмера). Модели должны были генерировать текстовые суммаризации.
• Этап 2 — Влияние на человеческую память: 331 участник смотрел видео с наездом автомобиля на пешехода (вариации: знак "Стоп" или "Уступи дорогу"). Через 24–48 часов им предоставляли текстовые отчеты: точные или содержащие намеренные ошибки. Половина группы сообщалась, что автор — ИИ, половина — что человек. Затем проводился тест на распознавание деталей исходного события.

Катастрофическая неполнота машинных суммаризаций: количественные маркеры

Анализ выходов ChatGPT и Gemini выявил системные провалы, делающие их непригодными для высокорисковых сценариев без жесткого человеческого надзора:

• Средний уровень пропуска центральных событий — 51,6%. Половина существенно значимых деталей просто отсутствовала в резюме.
• В 95% итераций модели полностью игнорировали ключевое событие — столкновение автомобиля с пешеходом. Это не просто упущение детали, а стирание семантического ядра происшествия.
• Наблюдались галлюцинации (генерация несуществовавших объектов/действий) и конфабуляции (искажение временных последовательностей и причинно-следственных связей).

Яэль Эйгер (Yael Eiger), соавтор, PhD Кандидат UW: "Меня поразило, насколько плохи были суммаризации даже на текущем этапе развития ИИ. Беспокоит, что полицейские департаменты могут использовать технологии суммаризации видео без строгого тестирования и понимания того, насколько некорректны ИИ-отчеты."

Когнитивные последствия: эффект дезинформации в действии

Результаты тестирования памяти через 24–48 часов демонстрируют мощнейший эффект постсобытийной дезинформации (post-event misinformation effect), открытого Элизабет Луфтус:

• Группа «Точное резюме»: точность воспроизведения ключевых деталей — 83,6%.
• Группа «Неточное резюме»: точность упала до 44,8% — снижение на 46,4 процентных пункта (почти в 2 раза).

Участники не просто ошибались — они интернализировали (присвоили как свои) ошибки ИИ, формируя устойчивые ложные воспоминания (false memories).

Крах мифа «Человек в цикле» (Human-in-the-Loop / HITL)

Наиболее тревожный вывод: атрибуция авторства ИИ не дала никакого когнитивного иммунитета.

• Уровень принятия ложной информации был идентичен, будь то приписан ИИ или человеку-транскрибатору.
• Индивидуальные diferenциалы — уровень доверия к ИИ, техническая грамотность, опыт взаимодействия с LLM — не коррелировали с устойчивостью к манипуляции.

Авторы работы: "Хотя от 'человека в цикле' ожидают коррекции ошибок ИИ, наша работа показывает, что человеческая память может быть искажена именно этими ошибками. ИИ способен генерировать дезинформацию даже без враждебного намерения, что существенно влияет на человеческую память."

Механизмы когнитивной уязвимости: почему защита не сработала

Психология памяти объясняет феномен через несколько конвергирующих механизмов:

• Реконструктивная природа эпизодической памяти: воспоминание — не воспроизведение записи, а динамическое восстановление на каждом акте извлечения. Внешний нарратив (суммаризация) становится «скаффолдом» (опорой) для перестроения.
• Эффект источника (source monitoring error): мозг не в полной мере помечает тег «источник: ИИ, низкая надежность» при интеграции семантического содержания. Смысловая глотьность текста перевешивает метаданные происхождения.
• Иллюзия правдоподобия (truthiness): когерентный, грамматически безупречный текст LLM создает флюентность обработки, которую система 1 (по Канеману) интерпретирует как маркер достоверности.
• Эффект продолженного влияния (continued influence effect): даже после опровержения ложная информация продолжает влиять на суждения и выводы.

Прикладные риски: полиция, суды, медицина, корпоративная безопасность

Правоохранительные органы и Body-Worn Cameras (BWCs)

Внедрение автосуммаризации записей с нагрудных камер (body-worn cameras) для составления протоколов, допросов и судебных материалов создает прямую линию передачи ошибок ИИ в официальную документацию. Офицер, прочитавший неточный отчет до написания показаний, может непроизвольно подменить подлинное воспоминание алгоритмической галлюцинацией.

Судебная система: оскудение доказательной базы

Если очевидец или потерпевший контактировал с ИИ-резюме (через СМИ, страховую компанию, полицию) до дачи показаний в суде, его свидетельство может отражать не событие, а его алгоритмическую проекцию. Это подрывает институт прямого допроса и принцип илитичного доказательства.

Медицина и клинические заметки

Суммаризация консультаций, операций, анестезиологических протоколов — зона риска для пациентской безопасности. Пропуск критического события (аллергическая реакция, ошибка дозировки) в 51% случаев недопустим.

Корпоративное управление знаниями и compliance

Автоматизация протоколов совещаний, аудитов, расследований инцидентов может создавать институционализированные ложные нарративы, формирующие организационную память.

Планы исследований: от синтетики к реальным данным полиции

Команда под руководством Йоси Кохно (Yoshi Kohno), профессора компьютерных наук, этики и общества (McDevitt Chair), планирует переход к анализу реальных записей с нагрудных камер полиции. Цели:

• Картирование типов ошибок коммерческих инструментов на натуралистичных, шумных, многоучастниковых видео.
• Оценка влияния на официальные отчеты офицеров и гражданские показания в реальных уголовных делах.
• Разработка протоколов валидации и метрик «безопасной суммаризации» для высокорисковых доменов.

Этико-правовые и регуляторные импликации

• Прозрачность ≠ Защита: лейблинг «сгенерировано ИИ» не снимает ответственность за развертывание ненадежных систем в критических инфраструктурах.
• Необходимость стандартов валидации: аналогично сертификации медицинских приборов или авиационного ПО, инструменты суммаризации для правосудия/медицины должны проходить стресс-тесты на когнитивную безопасность.
• Право на «неалгоритмизированное» воспоминание: процедурные гарантии изоляции очевидцев от машинных нарративов до фиксации первичных показаний.
• Ответственность разработчиков: продуктовая ответственность за когнитивный вред от галлюцинаций LLM в контексте суммаризации доказательств.

Научный контекст: продолжение традиции исследований памяти

Работа стоит в одном ряду с классическими исследованиями Элизабет Луфтус (Elizabeth Loftus) по эффекту дезинформации и манипуляции памятью, но вводит новый, технологический актер — автономную генеративную систему, способную массово производить персонализированную дезинформацию без человеческого злого умысла. Это качественный скачок: от «ведущего вопроса» следователя к «независимому экспертному отчету» от авторитетного (воспринимаемого как такового) ИИ.

Технические детали эксперимента (для репликации и мета-анализов)

• Стимулы: анимированные сцены (Unity/Blender), контролируемые визуальные параметры, исключающие неоднозначность интерпретации.
• Промптинг: стандартные инструкции «Суммаризируй видео» без few-shot примеров, имитирующие реальное использование «из коробки».
• Кодирование ошибок: иерархическая таксономия (пропуск центрального события / периферийной детали / галлюцинация / инверсия причинно-следственной связи / временная перестановка).
• Тест памяти: двухальтернативный форсированный выбор (2AFC) + шкала уверенности, позволяющий разделить угадывание и ложное узнавание.
• Сэмпл: 331 участник (Prolific/MTurk), рандомизация по 4 условиям (Точность × Источник), контроль внимания, исключение по манипуляционным чекам.

Заключение: когнитивная безопасность как новая граница ИИ-этики

Исследование Сима, Эйгер и Кохно демонстрирует, что проблема «галлюцинаций LLM» выходит далеко за рамки фактической неточности. В контексте человеческой когниции ошибка генеративной модели становится меметическим вирусом, перепрограммирующим биографическую память. Для областей, где точность воспоминания — вопрос свободы, здоровья или жизни (правосудие, медицина, авиация, ядерная отрасль), внедрение невалидированных инструментов суммаризации является этически недопустимым и потенциально криминально неосторожным. Будущие регуляторные рамки (EU AI Act, US AI Executive Order, изо-стандарты) должны включать когнитивную оценку влияния (Cognitive Impact Assessment) как обязательный этап сертификации ИИ-систем, взаимодействующих с человеческой памятью в высокорисковых сценариях.

Дополнительные материалы и ссылки

• Полный текст препринта: arXiv:2609.28820 (доступен в открытом доступе).
• Презентация на AIES 2026: видеозапись доклада в проceedings конференции.
• Датасет и код: репозиторий авторов на GitHub (ссылка в препринте) для воспроизводимости аудита LLM и психологического эксперимента.
• Контакт для медиа: Джейсон Шеврин (Jason Shevrin), пресс-служба Georgetown University.