Машинное обучение для валидации психометрических шкал: новые подходы

Введение в проблему валидации психометрических шкал

Валидация шкал для различения клинических популяций является стандартной процедурой в психологии и медицине. Современная концепция валидности предполагает, что валидность соответствует уровню доказательств и теоретического обоснования, поддерживающих интерпретацию и использование оценок, полученных с помощью шкалы. Таким образом, валидируется не сама шкала, а интерпретация генерируемых ею оценок.

Основные аспекты валидности

Концепция валидности обычно включает три основных аспекта:

• Конструктная валидность - позволяет определить, в какой степени предложенный тест позволяет идентифицировать измеряемый конструкт
• Содержательная валидность - проверяет репрезентативность пунктов инструмента относительно изучаемого конструкта
• Критериальная валидность - измеряет прогнозируемую производительность измерительного инструмента

Методы машинного обучения в психометрии

Использование вычислительных подходов, таких как обучение с учителем, показало впечатляющие результаты в решении различных численных задач. Такие стратегии становятся все более популярными для анализа данных в многочисленных областях исследований, включая нейронауки, где методы классификации с учителем применялись для дифференциации клинических популяций.

Предлагаемый框架 вычислительной психометрии

В данной работе мы постулируем, что стратегии обучения с учителем могут представлять перспективное направление для решения психометрических проблем. Мы представляем аналитический framework вычислительной психометрии, основанный на сравнительном анализе алгоритмических предсказаний для контроля перекрывающейся информации между группами переменных.

Эксперимент 1: Оценка конструктной валидности

Первый эксперимент был направлен на достижение конструктной валидности с использованием регрессии с учителем. Были использованы алгоритмы XGBoost, Random Forest и Support Vector Machines для реконструкции матрицы ответов участников.

Методология исследования

В исследовании приняли участие 475 взрослых из общей французской популяции. Все участники предоставили информированное согласие и прошли онлайн-тестирование.

Психометрические инструменты

• MMPI-2-RF (Миннесотский многоаспектный личностный опросник-2-Реструктурированная форма)
• Шкала паранойи Фенигстейна и Ванейбла (1992)

Алгоритмы машинного обучения

Были использованы три различных модели для оценки дифференциальной predictive validity ответов участников:

• XGBoost - масштабируемая система градиентного бустинга
• Random Forest - мета-оценщик из ансамблевых методов
• Support Vector Machines - алгоритм, производящий предсказания на основе подмножества обучающих данных

Эксперимент 2: Оценка критериальной валидности

Второй эксперимент был направлен на оценку критериальной валидности с использованием классификации с учителем. Целью было автоматическое присвоение класса принадлежности участников на основе их ответов на различные шкалы.

Процедура классификации

Были использованы те же алгоритмы машинного обучения для предсказания клинических labels на основе ответов участников. Проведен кросс-валидационный анализ с оценкой accuracy, specificity и sensitivity.

Результаты и обсуждение

Результаты показывают, что методы машинного обучения могут успешно применяться для решения психометрических задач. Алгоритмы продемонстрировали способность реконструировать ответы участников и предсказывать клинические диагнозы с высокой точностью.

Ограничения исследования

Исследование имеет определенные ограничения, включая отсутствие контроля за corrupted данными и неполную информацию о клинических категориях пациентов. Также были изучены только два аспекта валидности из трех возможных.

Перспективы применения

Представленные подходы имеют интересные перспективы в исследовательских domain. Pretrained модели могли бы выполнять автоматические предсказания на новых massive наборах данных, позволяя проводить крупномасштабные multidimensional психометрические исследования.