Как слишком подробная обратная связь от роботов перегружает человеческий мозг: исследование

Введение в исследование взаимодействия человека и робота

Исследователи проследили за 90 взрослыми участниками, которые пытались расшифровать инструкции по размещению объектов на языке сусуахили, выдаваемые гуманоидным роботом. Полученные результаты демонстрируют четкий временной компромисс: детальная, персонализированная обратная связь об ошибках замедляла немедленное восстановление при последующих попытках из-за высокой когнитивной нагрузки, однако со временем обеспечивала превосходную общую производительность при выполнении задачи.

Результаты подчеркивают, что эффективные роботизированные тьюторы должны динамически балансировать между персонализацией и оценкой когнитивного и эмоционального состояния в реальном времени, понимая, когда краткое руководство превосходит подробную инструкцию.

Основные факты об эксперименте со пространственной головоломкой

• Задача с пространственной головоломкой на суахили: Для проверки обработки обратной связи в реальном времени 90 взрослых участников должны были разместить бытовые предметы (бутылку, чашку, книгу) в правильных комнатах на основе инструкций, выдаваемых гуманоидным роботом на суахили — языке, незнакомом для испытуемых.
• Протестированные парадигмы обратной связи: Исследователи оценивали неадаптивную фиксированную обратную связь, обратную связь с адаптацией к производительности и уровню удовольствия, а также полностью персонализированную обратную связь, учитывающую историю ошибок конкретного учащегося и его прошлые шаги.
• Компромисс между немедленной и общей производительностью: Хотя персонализированная обратная связь обеспечивала наивысшее общее усвоение задачи с течением времени, она временно снижала эффективность подсказок, сфокусированных на задаче, при самом следующем ответе пользователя из-за острой когнитивной перегрузки.
• Модерация когнитивных способностей: Учащиеся с высоким уровнем когнитивных способностей извлекали меньше пользы из немедленных подсказок, поскольку они самостоятельно обрабатывали исправление ошибок; дополнительная обратная связь иногда служила отвлекающим фактором.
• Борьба со скукой и перенаправление внимания: Участники, сообщавшие о более высоких уровнях ситуативной скуки, демонстрировали больший прирост производительности от целевых подсказок, которые помогали вновь привлечь их внимание.

Как роботы помогают людям учиться

Учащийся стоит в комнате с бутылкой, чашкой и книгой. Задача состоит в том, чтобы шаг за шагом выяснить, куда принадлежит каждый предмет. Под столом? Или, возможно, на стул? Гуманоидный робот дает инструкции, но на суахили, языке, которого учащийся не знает. Чтобы решить головоломку, учащийся должен постепенно расшифровать то, что говорит робот.

После каждой попытки размещения робот отвечает. Когда учащийся совершает ошибку, робот иногда просто говорит, что размещение было неверным. Иногда он дает дополнительную подсказку: ту, которая помогает учащемуся продумать задачу, или ту, которая просит его подумать о своей стратегии.

Такова была установка нового исследования «Динамика когнитивных и аффективных процессов в реальном времени при обратной связи об ошибках в задаче на основе технологий», проведенного Кластером передового опыта «Наука об интеллекте» (Science of Intelligence) в Берлине и опубликованного в журнале Communications Psychology. Первый автор Хелен Акерманн (Helene Ackermann) вместе с Анной Л. Ланге (Anna L. Lange), Ханной Дюмон (Hanna Dumont), Вереной В. Хафнер (Verena V. Hafner) и Ребеккой Лазаридес (Rebecca Lazarides) исследовали, как 90 взрослых учащихся реагировали на автоматическую обратную связь в учебной задаче при поддержке роботов.

Исследование появляется в то время, когда гуманоидные роботы и искусственный интеллект-тьюторы все чаще обсуждаются как будущие помощники в классах, на рабочих местах и в повседневной жизни. Но в то время как общественные дебаты часто сосредоточены на том, что роботы вскоре смогут делать, новые выводы указывают на более широкий вопрос: когда роботизированная поддержка действительно помогает человеку?

«Наше исследование показывает, что автоматическая обратная связь может поддерживать обучение после ошибок. Но оно также показывает, что помощь должна соответствовать моменту. Сразу после ошибки больше информации не всегда означает лучше», — отмечает Хелен Акерманн.

Тайминг помощи: почему больше не всегда лучше

Исследователи сравнили три настройки обратной связи. В первой робот давал дополнительную обратную связь после каждой ошибки, не учитывая текущие потребности учащегося. Во второй объем обратной связи адаптировался к последним результатам учащегося и его самооценке удовольствия. В третьей обратная связь также была персонализирована под конкретные ошибки учащегося и его предыдущие шаги в выполнении задачи.

Сначала это звучит как самая умная версия: робот, который помнит, что делал учащийся раньше, и отвечает более конкретно, например, напоминая учащемуся, что он уже пробовал именно эту позицию для предмета. Но результаты, по сути, оказались более сложными.

Персонализированная обратная связь делала подсказки, ориентированные на задачу, менее эффективными для самого следующего ответа учащегося. Одной из возможных причин является когнитивная нагрузка. Персонализированные сообщения содержали более конкретную информацию и поэтому были длиннее и труднее для обработки. Сразу после ошибки эта дополнительная детализация могла оказаться слишком сложной для усвоения до следующей попытки.

В то же время персонализированная обратная связь была связана с лучшей общей производительностью при выполнении всей задачи. Это предполагает наличие компромисса: подробная обратная связь может замедлить учащихся в моменте, но при этом помогать им выстраивать понимание с течением времени.

Роботам необходимо читать ситуацию, а не только ошибку

Исследование также показало, что одна и та же обратная связь помогала далеко не всем одинаково. Учащиеся с более высокими когнитивными способностями извлекали меньше пользы из целевой обратной связи, возможно потому, что они уже были способны самостоятельно проработать соответствующие шаги. Для них дополнительные подсказки могли добавить мало пользы или даже отвлечь.

Другой вывод оказался более удивительным: учащиеся, которые сообщали о том, что чувствуют большую скуку, извлекали больше пользы из обратной связи, сфокусированной на задаче. В этом случае подсказка робота могла помочь перенаправить их внимание и вернуть к выполнению задания.

В совокупности результаты показывают, насколько сильно эффективная роботизированная поддержка зависит от объема и качества предоставляемой информации, а также от когнитивного и эмоционального состояния учащегося в данный момент.

Заключение: чему еще нужно научиться роботам-тьюторам

Поскольку гуманоидные роботы становятся все более заметными в публичных дебатах о будущем образования и помощи, исследование напоминает нам: интеллектуальная поддержка не равна большей поддержке. Выводы не предполагают, что роботы должны заменять учителей или что следует избегать персонализированной обратной связи. Задача состоит в том, чтобы сбалансировать преимущества персонализации с риском перегрузки учащихся и проектировать взаимодействие человека с роботом с учетом ситуативных когнитивных и эмоциональных состояний.

Самый умный тьютор — это не тот, кто всегда знает, что сказать, а тот, кто знает, когда сказать меньше.