Методология перекрёстноязычного обнаружения депрессии с помощью больших языковых моделей

Депрессия является глобальным психическим заболеванием, затрагивающим более 280 миллионов человек по всему миру. Согласно последним данным, это состояние существенно влияет на качество жизни, социальную функциональность и общую продуктивность населения. В современном цифровом обществе тексты из социальных сетей представляют собой масштабный ресурс для автоматизированного психометрического анализа, позволяя выявлять признаки психических расстройств на ранних стадиях.

Текущие подходы к выявлению депрессии

В последние годы значительный прогресс был достигнут в области автоматизированного скрининга психического здоровья с использованием больших языковых моделей (LLM). Модели LLM демонстрируют высокую способность к пониманию контекста и генерации ответов, что делает их привлекательными инструментами для анализа текстовых данных. Однако существующие исследования часто фокусируются на одномязычных задачах, игнорируя проблему кросслинговой робастности — способности моделей работать корректно в различных языках.

Большие языковые модели в психическом здоровье

Большие языковые модели (LLM) — это нейронные сети, обученные на огромных массивах текстовых данных, которые способны выполнять широкий спектр задач, включая синтез, перевод, резюмирование и, как показано в данном исследовании, диагностику психического здоровья. Ключевой особенностью современных LLM является их способность к параметрически эффективному дообучению (parameter-efficient fine-tuning, PEFT), которое позволяет адаптировать модели к специфическим задачам с минимальными изменениями архитектуры.

Методика исследования: протокол «один раз обучить, дважды проверить»

Для оценки кросслинговой устойчивости было предложено протокол «train once, evaluate twice». Это методическое решение предполагает два этапа: первый — базовое дообучение моделей на исходных данных; второй — тщательная оценка их способностей при трансляции между языками. В рамках исследования были протестированы восемь LLM — шесть открытых источников и две закрытые модели GPT.

Подготовка моделей

• QLoRA: Параметрически эффективное дообучение с использованием низкой точности (4-bit квантования) для адаптации открытых моделей без значительного увеличения вычислительных затрат.
• Supervised Fine-Tuning (SFT): Процесс обучения моделей с использованием размеченных данных для улучшения качества ответа. Для двух закрытых GPT-моделей применялся API OpenAI supervised finetuning (SFT) API.

Переводная цепочка и билингвальное дообучение

Для получения дополнительного контекста в процесс включались альтернативные пайплайны: машинный перевод (MarianMT + XLMR) и абляционный эксперимент с смешиванием данных (data mixing). Эксперимент по билингвальному дообучению проводился с использованием Qwen27B-Instruct, чтобы оценить влияние смешивания данных на сохранение производительности.

Результаты эксперимента

Модели показали почти максимальный результат в монolingвальной оценке (английский язык). Наилучший MacroF1-рейтинг был достигнут в GPT4.1 Mini (0.990), тогда как в арабском языке лучший результат составил 0.800 в Qwen2. Это указывает на значительную асимметрию при направлении трансляции.

Кросслинговая оценка

Анализ кросслинговых результатов выявил выраженную направленную асимметрию. Наиболее сильная трансферная производительность наблюдалась при направлении арабского → английский (MacroF1 = 0.793 для GPT4.1 mini), тогда как направление английский → арабский оставалось значительно более сложным (лучший MacroF1 = 0.638 для GPT3.5 Turbo).

Сравнение базовых методов

Базовая модель классификации, основанная на машинном переводе (MarianMT + XLMR), показала последовательно более низкую кросслинговую производительность по сравнению с дообученными генеративными LLM. Это подтверждает, что прямой перевод текстов не обеспечивает достаточной точности для диагностики психических состояний.

Анализ ошибок

Ошибки моделей можно разделить на несколько типов. При трансляции из английского в арабский наблюдается преимущественно увеличение количества ложноположительных результатов (false positives), тогда как при переводе из арабского в английский профиль деградации точности и полноты (precision-recall) более сбалансирован.

Особенности ошибок

«EN→AR трансфер преимущественно увеличивает количество ложноположительных срабатываний, тогда как AR→EN демонстрирует более сбалансированный деградационный профиль точности и полноты»

Это означает, что модели чаще ошибаются при определении депрессии в арабском контексте, чем при определении её в английском.

Результаты билингвального дообучения

Эксперимент с смешиванием бинагловых данных показал, что для сохранения близких к максимуму уровней производительности на английском языке достаточно использовать только арабские данные. Однако смешивание арабских данных не улучшило результаты на арабском языке по сравнению с монolingвальным дообучением. Таким образом, простое воздействие на модель через бинагловое воздействие оказалось недостаточным для устранения разрыва в кросслинговой производительности.

Технические аспекты

PEFT-подходы позволяют создавать компактные адаптеры с низкой локальной задержкой инференса (end-to-end latency). В то же время инференс моделей GPT, использующих API, характеризуется значительно более высокой задержкой, что может быть критично для реальных приложений в области мониторинга психического здоровья.

Значение результатов

Представленные результаты подтверждают, что стандартное одноязыковое дообучение не обеспечивает достаточной робастности при развертывании моделей на нескольких языках, особенно в направлении английский → арабский. Это создаёт импульс для дальнейших исследований в области разработки новых методов адаптации LLM для работы в многолингвальном контексте.

Заключение

Протокол «один раз обучить, дважды проверить» представляет собой системный подход к оценке кросслинговой надежности больших языковых моделей для задачи детекции депрессии. Выводы исследования указывают на необходимость разработки специализированных стратегий адаптации, учитывающих специфику каждого языка, а также на создание более эффективных механизмов смешивания данных для обеспечения высокой точности в мультилингвальных сценариях.