Почему начальные навыки не предсказывают способность к обучению: исследование моторного обучения

Введение в проблему прогнозирования моторного обучения

Люди демонстрируют огромную вариативность в выполнении навыков и способности к обучению. Что определяет индивидуальные показатели человека и его способность к обучению? В данном исследовании мы изучили возможность прогнозирования будущей производительности и обучения участников на основе их поведения во время начального приобретения навыка. Мы привлекли большую онлайн-выборку участников, выполняющих задачу последовательного нажатия клавиш для обучения моторным навыкам в течение нескольких сессий.

Методология исследования

Мы использовали машинное обучение для прогнозирования будущей производительности и обучения на основе необработанных данных, полученных во время начального приобретения навыка, а также на основе специально разработанных признаков, рассчитанных из raw data (сырых данных). Наблюдались сильные корреляции между начальной и конечной производительностью, при этом индивидуальное обучение не прогнозировалось.

Участники эксперимента

Участники были набраны онлайн с платформы Amazon Mechanical Turk. Квалификационные требования для зарегистрированных работников MTurk для участия в первом сеансе эксперимента включали: уровень одобрения выше 95% в предыдущих заданиях MTurk, текущее местонахождение в США, праворукость и отсутствие предыдущего участия в задаче последовательного нажатия клавиш из нашей лаборатории.

Процедура эксперимента

Участники выполняли процедурную моторную задачу — задачу последовательного нажатия клавиш, каноническую задачу, используемую в многочисленных исследованиях моторного обучения. Участникам было дано указание (с помощью иллюстративных слайдов) разместить свою недоминантную левую руку на клавиатуре в соответствии один к одному между пальцами и цифрами: мизинец — №1, безымянный палец — №2, средний палец — №3, указательный палец — №4.

Анализ данных и машинное обучение

Все анализы выполнялись с использованием пользовательского кода, написанного на Python. Предварительная обработка и обработка данных выполнялись с помощью пакетов Numpy и Pandas. Конвейер машинного обучения был определен с использованием Scikit-learn и Pytorch. Для визуализации данных использовались библиотеки Matplotlib и Seaborn. Статистический анализ проводился с использованием Pingouin.

Инженерные признаки для прогнозирования

На основе предыдущих исследований в этой области, и особенно задачи последовательного нажатия клавиш, были рассчитаны инженерные признаки из поведенческих данных, направленные на выявление более сложных закономерностей в данных. Среди извлеченных признаков — распространенные количественные оценки производительности задачи, такие как количество правильных последовательностей и время реакции, а также пользовательские признаки, предназначенные для захвата переменной динамики обучения и подобранных параметров кривой обучения (параметры скорости обучения и скорости утомления).

Результаты исследования

Мы сначала подтвердили, что производительность соответствует предыдущим исследованиям, использующим ту же задачу в лабораторных условиях. Действительно, участники демонстрировали типичные кривые обучения с значительным обучением, выраженным как внутри сессии, так и между сессиями как офлайн-улучшения (offline gains).

Прогнозирование обучения

Машинное обучение было использовано для прогнозирования обучения на основе производительности в первой сессии. С этой целью нашей задачей было предсказать улучшения между производительностью в сессии 1 и производительностью в каждой из последующих сессий 2–4. Чтобы минимизировать внутрисессионные эффекты разогрева и утомления, межсессионное обучение количественно оценивалось на основе максимальной производительности в каждой сессии.

Ключевые выводы

Модели не предсказывали обучения в тестовом наборе данных. Эти результаты не были обусловлены конкретным семейством моделей и были consistent (последовательными) при проверке с помощью различных подходов к моделированию. Таким образом, дальнейшие попытки интерпретации не предпринимались.

Обсуждение результатов

Целью этого исследования было определить, что определяет производительность навыков и способность к обучению человека, на основе его начального поведения во время приобретения навыка. Обучение измерялось в разные промежутки времени с использованием данных крупномасштабного краудсорсинга. Результаты показали улучшение производительности в течение первых 3 сессий и сессии удержания, следующей через одну неделю.

Ограничения традиционных задач

Улучшение между сессиями без дополнительной практики в течение интервалов удержания в несколько дней может отражать усиленные механизмы офлайн-консолидации и согласуется с эффектами интервалов между днями. Интересно, что производительность на ранних сессиях не предсказывала последующее обучение, хотя вариативность в производительности объяснялась производительностью на предыдущих сессиях.

Перспективы будущих исследований

Разработка новых модельных задач моторных навыков с высокой вариабельностью в межсессионном обучении и в которых будущая производительность не определяется начальной производительностью, может преодолеть указанные выше ограничения. Кроме того, задача разработки таких новых задач будет состоять в том, чтобы сделать их обобщаемыми across different motor domains (через различные моторные domains), включая модели reaching (достижения) и бимануальные задачи, и across different contexts (через различные контексты), которые, как известно, влияют на производительность.

Заключение и практическое значение

В соответствии с другими эмпирическими областями, тестирующими человеческое поведение, канонические экспериментальные задачи, разработанные и отобранные для обнаружения средних эффектов, могут ограничивать понимание индивидуальной вариативности, relevant for real-life scenarios (актуальной для реальных жизненных сценариев). Соответственно, разработка новых задач с высокой надежностью тест-ретест, которые моделируют обучение в реальной жизни, может пролить свет на основные механизмы индивидуальных различий в обучении навыкам и способствовать разработке персонализированных режимов обучения, направленных на повышение человеческой производительности.

Результаты показывают, что начальная производительность является стабильным предиктором конечной производительности, но не количества обучения, которое человек сможет достичь.