Машинное обучение для обнаружения когнитивных событий по зрачковому отклику

Автоматическое обнаружение когнитивных событий с использованием машинного обучения и интерпретация моделей человеческого познания

Зрачковый ответ является ценным индикатором когнитивной нагрузки,捕捉 колебания внимания и возбуждения, управляемые вегетативной нервной системой. Когнитивные события, определяемые как инициация ментальных процессов, тесно связаны с когнитивной нагрузкой, поскольку они запускают когнитивные реакции. В данном исследовании мы обнаруживаем когнитивные события для вызванного заданием зрачкового ответа (task-evoked pupillary response, TEPR) в четырех областях: бдительность, обработка эмоций, числовые рассуждения и кратковременная память. Проблема формулируется как бинарная классификация.

Введение в исследование когнитивной нагрузки

Когнитивная нагрузка, умственное усилие или когнитивное требование, связанное с конкретной задачей, представляет собой фундаментальное понятие в когнитивной нейронауке человека. Междисциплинарные усилия по количественной оценке когнитивной нагрузки в реальном времени представляют широкий интерес с разнообразными приложениями. Понимание индивидуальной когнитивной нагрузки дает представление о mental состоянии и когнитивном статусе человека, улучшая персонализированное обучение и оценки когнитивного состояния в реальном времени.

Инновационные аналитические инструменты и подходы, такие как машинное обучение, появились для анализа и оценки уровней когнитивной нагрузки по физиологическим сигналам, получаемым с помощью электрофизиологии, электрокардиографии, электродермальной активности и отслеживания взгляда.

Методология исследования

Мы обучаем одну обобщенную модель и четыре специализированные модели на сегментах диаметра зрачка и положения взгляда длительностью 1 секунда. Пять моделей достигают коэффициента корреляции Мэттьюса (Matthews Correlation Coefficient, MCC) между 0.43 и 0.75. Мы сообщаем о трех ключевых результатах:

• Обобщенная модель снижает специфичность для повышения чувствительности, иллюстрируя компромисс между специализацией и обобщением
• Анализ важности признаков перестановкой показывает, что как расширение зрачка, так и положение взгляда вносят вклад в предсказания модели
• В онлайн-симулированной среде производительность моделей снижается примерно на 0.05 по MCC

Результаты исследования

Результаты подчеркивают потенциал машинного обучения, примененного к зрачковым сигналам, для быстрого индивидуального обнаружения когнитивных событий.

Анализ данных и исследовательские результаты

В этом первом разделе представлен разведочный анализ данных. Этот раздел был необходим, поскольку некоторая информация потребуется для процесса выборки в разделах "Методология" и "Обсуждение". Более подробно в разделе "Материалы" набор данных включал четыре задачи TEPR: задача точечного зонда (Dot Probe Task, DPT), ментальная арифметика (Mental Arithmetic, MA), задача психомоторной бдительности (Psychomotor Vigilance Task, PVT) и зрительная рабочая память (Visual Working Memory, VWM).

Время появления стимула (Stimulus Time, ST) было началом каждого испытания. Основное внимание уделялось диаметру зрачка: у большинства участников медианный диаметр зрачка колебался от 3.5 до 4.5 мм с выбросами, превышающими 5.5 мм или ниже 3 мм.

Сравнение архитектур машинного обучения

Таблица 1 показывает сравнение 4 архитектур: сверточная нейронная сеть (Convolutional Neural Network, CNN), двунаправленная долгая краткосрочная память (Bidirectional Long Short-Term Memory, BiLSTM), простая рекуррентная нейронная сеть (Recurrent Neural Network, RNN) и многослойный перцептрон (Multilayer Perceptron, MLP). Мы использовали три метрики оценки: точность (Accuracy, ACC), F1-мера (F1 score) и коэффициент корреляции Мэттьюса (MCC), причем MCC была основной метрикой.

Производительность CNN-моделей

Когда производительность пяти CNN-моделей в Таблице 1 измерялась в MCC, рейтинг моделей от худшей к лучшей был: "VWM", "Alltask", "PVT", "MA" и "DPT" с MCC 0.43, 0.55, 0.59, 0.65 и 0.75 соответственно. В целом, ожидалось падение производительности обобщенной модели "Alltask" по сравнению со специализированными моделями.

Важность признаков для прогнозирования

Мы проанализировали факторы, влияющие на прогнозы модели, путем изучения важности признаков. Важность признаков дала представление о том, на какие функции полагалась модель машинного обучения при принятии прогнозов. Если диаметр зрачка был основным предиктором, это предполагало, что модель использовала человеческую когнитивную реакцию для прогнозирования.

Анализ перестановочной важности признаков

Рисунок 3 отображает результаты перестановочной важности признаков для пяти моделей с использованием метода расчета, упомянутого в разделе "Метрики оценки и алгоритмы важности признаков". Мы выполнили T-критерий между каждым признаком и базовым уровнем. Все p-значения были меньше 1E-3. Это указывало на то, что все признаки внесли вклад в прогноз.

Симуляция онлайн-среды

Предыдущие результаты оценивались в экспериментальной среде, где у нас был доступ к полному набору данных, что позволяло нам сегментировать и оценивать данные временных рядов. Однако в сценариях реального времени данные не были доступны в начале экспериментов и были менее контролируемыми.

Обсуждение результатов исследования

Подводя итог результатам, производительность пяти моделей ("Alltask", "DPT", "MA", "PVT" и "VWM") составила 0.55, 0.75, 0.65, 0.59 и 0.43, измеренная по MCC соответственно. Переход от специализации к обобщению привел к снижению специфичности при одновременном увеличении чувствительности.

Факторы, влияющие на прогнозирование модели

Уникальная структура задачи относилась к тому, что участники направляли свой взгляд в определенное место, когда представлялся ST. Эффект зрачкового светового рефлекса (Pupillary Light Reflex, PLR) в DPT также рассматривался как структура задачи, поскольку он появлялся только в задаче DPT.

Различия в активации областей мозга

Во всех результатах модель "VWN" имела самую низкую производительность с нетривиальным разрывом. В Таблице 2 по сравнению с другими моделями модель "VMN" находилась на том же уровне специфичности, но ее чувствительность была значительно ниже. Самые большие различия между "VWM" и тремя другими задачами были attributed к fundamentally различным involved регионам активации мозга.

Ограничения исследования

Эксперименты проводились в лабораторно-контролируемой среде. Имитация онлайн-среды была попыткой воспроизвести сценарии реального времени, но имела ограничения, поскольку все четыре задачи выполнялись в лабораторно-контролируемых условиях. Шумы и данные реальной жизни не могли быть стимулированы.

Заключение и перспективы

В этом исследовании мы разработали и оценили пять CNN-моделей с использованием данных о зрачке для прогнозирования времени появления стимулов для четырех различных когнитивных задач. Мы построили одну обобщенную модель "Alltask" и четыре специализированные модели. Исследование выделило несколько ключевых выводов.

Для будущей работы наше внимание сосредоточено на улучшении моделей за счет включения более широкого спектра данных, специфичных для участника. Мы планируем интегрировать большее разнообразие задач в обучение для улучшения обобщения.

Методологический подход

Набор данных был частью исследовательского проекта "Когнитивная устойчивость и история сна". Пятьдесят семь участников добровольно участвовали в исследовательском эксперименте в Калифорнийском университете в Санта-Барбаре. Демографические данные не предоставлялись.

Материалы и методы сбора данных

Каждый участник следовал стандартизированному протоколу, начиная с периода релаксации продолжительностью 6 минут (называемого "REST"), за которым следовало выполнение четырех различных когнитивных задач. Участники могли возвращаться до 10 сессий в разные дни (медиана = 6, SD = 3.33).

Метод выборки данных

Цель состояла в том, чтобы автоматически обнаруживать когнитивные события. ST означало начало каждого испытания, отмечая новую информацию для обработки участниками. Поэтому каждый ST был когнитивным событием, и мы хотели предсказать местоположение ST.

Архитектуры моделей машинного обучения

Все четыре архитектуры моделей имели общую общую структуру и использовали одну и ту же функцию потерь. Различия заключались в их specific слое. Слой для каждой архитектуры был подробно описан ниже, где x обозначал вход, b - смещение, а y - выход, φ - функция активации ReLU, а M - матрица исключения с rate исключения 0.3.

Метрики оценки и алгоритмы

Мы выбрали коэффициент корреляции Мэттьюса (MCC) в качестве основной метрики. Этот выбор был сделан потому, что набор данных был несбалансированным. MCC известен своей надежностью при работе с несбалансированными наборами данных. Наряду с MCC мы включили несколько вторичных метрик, таких как точность, F1-мера, чувствительность и специфичность.