Eyettention II: Моделирование движения глаз при чтении с помощью искусственного интеллекта

Введение в технологию моделирования движения глаз

То, как наши глаза движутся во время чтения, открывает важную информацию как о когнитивных процессах читателя, так и о свойствах самого текста. На протяжении десятилетий исследования в области когнитивной психологии и психолингвистики были сосредоточены на анализе движений глаз и разработке вычислительных моделей для имитации поведения человека при чтении. Эти модели служат программной реализацией теорий о том, как функционирует человеческий разум при восприятии языка.

Современные исследования в области машинного обучения все чаще используют данные айтрекинга (отслеживания движений глаз) для решения прикладных задач. Сюда входит улучшение моделей обработки естественного языка (NLP), обогащение текстовых признаков данными о фиксациях и оценка когнитивной правдоподобности нейросетевых языковых моделей.

Проблема нехватки данных

Одной из ключевых преград является дефицит данных айтрекинга. Коллекционирование таких данных — ресурсоемкий процесс, что ограничивает возможности обучения моделей. Eyettention II решает эту задачу, выступая в качестве генеративной модели, способной создавать реалистичные «сканпаты» (траектории взгляда) без необходимости привлечения огромных массивов реальных записей.

Основные преимущества модели:

• Генерация полных атрибутов фиксации: Модель предсказывает положение взгляда внутри слова, длительность фиксации и последовательность переходов.
• Легковесность: Модель эффективно обучается на ограниченных графических процессорах (GPU).
• Когнитивное соответствие: Модель зеркально отражает ключевые психолингвистические феномены, такие как эффекты частотности слов и их длины.

Архитектура модели Eyettention II

Eyettention II использует двухпоследовательную архитектуру (dual-sequence architecture). В чтении существует два типа последовательностей: лингвистическая (порядок слов в тексте) и временная (хронологический порядок, в котором глаза фиксируются на этих словах). Поскольку человек читает нелинейно (пропуская слова или возвращаясь назад), согласование этих двух осей является сложной задачей.

Eyettention II обрабатывает обе последовательности одновременно, используя механизм перекрестного внимания (cross-sequence attention), что позволяет точно моделировать, как именно читатель перемещает взгляд по строкам.

Ключевые компоненты:

• Кодировщик последовательности слов: Использует предобученные языковые модели (например, BERT или RoBERTa) для извлечения семантических признаков текста.
• Кодировщик последовательности фиксаций: Использует глубокую стековую сеть долговременной-краткосрочной памяти (BiLSTM) для анализа истории предыдущих фиксаций.
• Модули предсказания: Специализированные блоки для определения индекса слова, позиции посадки взгляда и длительности задержки.

Результаты экспериментов и валидация

Модель была протестирована на различных языковых корпусах, включая английский (CELER) и китайский (BSC). Результаты показали, что Eyettention II превосходит традиционные когнитивные модели, такие как EZ Reader и SWIFT, в предсказательной способности и воспроизведении паттернов человеческого чтения.

Анализ психолингвистических эффектов

Исследователи проверили, насколько модель «понимает» структуру языка:

• Эффект длины слова: Модель верно предсказывает, что более длинные слова требуют более длительных фиксаций.
• Частотность: Модель чаще «пропускает» частотные слова, имитируя поведение опытных читателей.
• Сюрприз (surprisal): Неожиданные слова в контексте приводят к увеличению времени фиксации, что также точно моделируется системой.

Применение и перспективы

Eyettention II обладает потенциалом для преобразования исследований в области психолингвистики:

1. Планирование экспериментов: С помощью генерации данных ученые могут проводить предварительный анализ статистической мощности исследований (power analysis) до начала сбора реальных данных.
2. NLP и ИИ: Использование синтетических данных айтрекинга позволяет обучать языковые модели лучше понимать контекстную важность слов.
3. Индивидуализация: Версия Eyettention II_reader позволяет создавать модели, имитирующие стиль чтения конкретного человека, что полезно для адаптивных интерфейсов.

Расшифровка аббревиатур:

• NLP (Natural Language Processing): Обработка естественного языка — область ИИ, изучающая взаимодействие компьютеров и человеческих языков.
• GPU (Graphics Processing Unit): Графический процессор, обеспечивающий параллельные вычисления, необходимые для глубокого обучения.
• BiLSTM (Bidirectional Long Short-Term Memory): Двунаправленная долговременная-краткосрочная память — тип рекуррентной нейронной сети, способной учитывать контекст слева и справа от текущего элемента.
• NLL (Negative Log-Likelihood): Отрицательное логарифмическое правдоподобие — метрика функции потерь в статистическом моделировании.
• MSE (Mean Squared Error): Среднеквадратичная ошибка — показатель точности прогноза регрессионной модели.

Работа доступна в открытом доступе для академического использования, что способствует дальнейшему развитию области моделирования когнитивных процессов с помощью технологий глубокого обучения.