Оценка рисков использования ИИ в психотерапии: новый подход

Оценка безопасности ИИ в руках пациента

Пациент сообщает вам, что поздними вечерами, когда его одолевает тревога, он обращается к чат-боту с искусственным интеллектом (ИИ). Как психотерапевт, вы уже слышали заголовки в СМИ и знаете о трагических случаях, когда алгоритмы давали опасные советы. Но когда вы сидите перед конкретным человеком, вопрос становится гораздо более сложным и узким: насколько вероятно, что именно этот инструмент, используемый именно этим человеком в данной ситуации, причинит вред?

Недавнее исследование, опубликованное нашей группой в BMJ Mental Health (Британский медицинский журнал: Психическое здоровье), предлагает сделать шаг к реальному ответу, используя возможности самих нейросетей для оценки рисков для конкретного пациента с определенным заболеванием.

Почему вопрос «Безопасен ли ИИ?» — неверен

Медицинские устройства (например, кардиостимуляторы) десятилетиями регулировались с помощью простой логической цепочки: опасность — это все, что может причинить вред; опасная ситуация — это момент взаимодействия пациента с этой угрозой; а вред — это негативный результат. Регуляторы, такие как FDA (Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США), требуют от производителей оценивать вероятность трансформации опасностей в реальный вред, а также анализировать тяжесть последствий.

Эта модель используется во всем мире, но она была создана для устройств с предсказуемым поведением. Большая языковая модель (LLM — от англ. Large Language Model, система искусственного интеллекта, обученная на огромных массивах данных для генерации текста) по определению работает иначе. Она вероятностна по своей природе: ее реакция меняется при каждом обновлении алгоритма. Более того, один и тот же ответ может быть безвредным для одного человека и опасным для другого, или даже для того же самого пользователя в разное время. Именно поэтому невозможно однозначно сказать, что они «всегда опасны» или «всегда безопасны».

Превращение сбоев в статистические данные

Основная идея исследования заключается в использовании моделирования для заполнения пробелов, где у нас нет реальных данных. Поскольку мы не можем подвергать живых пациентов тысячам рискованных диалогов, мы заставляем чат-боты генерировать эти беседы самостоятельно. Наша команда использовала одну систему ИИ для создания синтетических заявлений пользователей, а затем два психиатра проверяли каждый диалог, чтобы подтвердить его достоверность (например, суицидальные мысли или запрос на терапию).

Мы протестировали 14 различных моделей ИИ с открытым исходным кодом по трем критическим задачам безопасности:

• Распознавание суицидальных намерений.
• Определение запроса пользователя на получение профессиональной психологической помощи.
• Фиксация момента, когда диалог переходит в область психотерапии.

Частота, с которой модели ошибались, позволила нам вычислить два параметра: вероятность возникновения опасной ситуации и вероятность того, что эта ситуация приведет к реальному вреду.

Результаты исследования

Главный вывод заключается не в едином «балле безопасности», а в огромном разбросе показателей. Даже в узко заданном сценарии расчетный риск варьировался почти на четыре порядка (в 10 000 раз!) в зависимости от модели и предположений о состоянии пациента.

Как выглядят ошибки ИИ: Некоторые паттерны (закономерности) напрямую связаны с клинической интуицией. Модели чаще всего пропускали тонкие выражения суицидальных мыслей, включая двусмысленные фразы, условные предложения или планирование без четкого выражения намерений. Проще говоря, инструменты оказались наиболее слабыми там, где требуется самый высокий уровень клинических навыков врача.

Что это значит для терапевта?

«Безопасность ИИ — это не свойство технологии, это свойство конкретного инструмента в контексте конкретной уязвимости пациента».

Вот несколько практических выводов для работы в кабинете:

• Контекст важнее бренда. Когда пациент упоминает ИИ, полезные вопросы звучат так: какой инструмент, как он используется, для чего и в каком состоянии ума находится человек? Риск — это функция взаимодействия технологии и уязвимости пользователя.
• Новое или большее обычно безопаснее, но не гарантированно. В целом, более крупные и современные модели лучше распознают угрозы, в то время как самые маленькие и старые модели оказались наиболее слабыми. Существует опасность: приложение для психического здоровья может продаваться как «специализированное», работая при этом на устаревшем и слабом алгоритме.
• Глубинные недостатки требуют большего, чем просто «патчи» (программные исправления). Большинство инструментов ИИ имеют автоматические фильтры для поиска триггерных слов. Однако часто одна фундаментальная слабость заставляет бот пропускать сразу несколько типов рисков. Исправление фильтра для суицидальных мыслей не спасет пациента от некомпетентных советов по поводу расстройств пищевого поведения или ПТСР (посттравматического стрессового расстройства). Наше исследование показывает: наиболее эффективный способ защиты — исправление глубинных логических ошибок в сочетании с контролем со стороны человека.

Почему это важно за пределами медицины?

Три года дискуссии об ИИ в психологии колебались между крайностями: «огромный риск» или «невероятный потенциал». Ни одна из этих позиций не помогает клиницисту, перед которым сидит живой человек прямо сейчас.

Моделирование рисков позволяет нам заменить пугающую фразу «ИИ опасен» чем-то более полезным. Мы можем понять, где конкретный инструмент склонен ошибаться, как часто это происходит и что можно предпринять для минимизации ущерба. Это конкретный диалог, основанный на данных, который позволяет клиницистам работать увереннее, компаниям — улучшать свои модели, а регуляторам — создавать более безопасные стандарты для цифровой среды.