Анализ сигналов глазных трекеров: сравнение ретинальных, зрачковых и роговичных данных

Связь вращения глазного яблока и сигналов айтрекера

Вопрос о взаимосвязи физического вращения глазного яблока и сигналов, которые выдает айтрекер, является ключевым для понимания динамики саккад (быстрых движений глаз) и классификации фиксаций и саккад. Ответ на этот вопрос тесно связан с используемым принципом айтрекинга.

Принцип работы большинства айтрекеров

Многие айтрекеры оценивают ориентацию глазного яблока или направление взгляда, сопоставляя особенности изображения глаза с точками в реальном мире. Эти особенности изображения (например, формы, углы, области с определенными свойствами) обнаруживаются и описываются алгоритмами компьютерного зрения. В контексте айтрекинга под особенностями могут подразумеваться локальные области изображения, соответствующие физическим частям глаза: зрачку (отверстие в радужке), радужке, а также отражениям от различных структур глаза, вызванным внешним освещением. К таким отражениям относятся отражение от передней поверхности роговицы (роговичный рефлекс, CR, или первый блик Пуркинье, P1) или отражение от задней поверхности хрусталика (четвертый блик Пуркинье, P4).

Таким образом, вид сигнала айтрекера зависит не только от самого движения глаза, но и от качества изображения глаза, алгоритмов извлечения признаков, движения этих признаков относительно глазного яблока и качества функции, сопоставляющей признаки изображения с направлением взгляда.

Ограничения методов, основанных на одиночных признаках

Использование таких признаков, как зрачок или CR, для прямой оценки ориентации глаза обычно требует стабилизации головы. Любое смещение головы относительно камеры затрудняет различение между трансляцией глаза относительно камеры и вращением глаза относительно головы. Даже небольшое смещение головы на 0,1 мм может привести к видимому сдвигу взгляда на 1 градус в сигнале айтрекера.

Эта проблема может быть значительно уменьшена путем использования двух различных признаков в изображении глаза. Эти признаки смещаются одинаково при трансляции головы, но по-разному при вращении глаза, что позволяет разделить трансляцию глаза от его вращения. Примерами таких методов являются техника «зрачок и роговичный рефлекс» (P–CR), использующая вектор между центрами зрачка и роговичного рефлекса, и техника двойных бликов Пуркинье (DPI), использующая вектор между первым (CR) и четвертым (P4) бликами Пуркинье.

Нарушение предположения о жесткости глаза

Для точного отражения направления взгляда и вращения глазного яблока во время саккад вышеупомянутые подходы полагаются на предположение о жесткости глаза. Согласно этому предположению, глазное яблоко рассматривается как жесткое тело, и все его части вращаются одинаково во время саккады. Однако ряд исследований опроверг это предположение.

Исследование с одновременной записью данных с помощью склеральных поисковых катушек (scleral search coils) и айтрекера P–CR (EyeLink 1000) у обезьян показало, что пиковая скорость саккад и амплитуда постсаккадных осцилляций (PSOs) были выше в данных, полученных с помощью EyeLink, по сравнению с данными, записанными с помощью катушек. Предполагается, что высокое угловое ускорение, действующее на глаз в начале саккады, заставляет зрачок отставать от всего глазного яблока, что приводит к пружинному механизму, ответственному за более высокую пиковую скорость саккад, регистрируемых EyeLink. Аналогично, в конце саккады, когда глазное яблоко резко останавливается, зрачок продолжает двигаться взад и вперед, прежде чем полностью остановиться, генерируя PSO большей амплитуды в данных EyeLink по сравнению с сигналом катушек.

Исследование путем прямого сравнения положения зрачка и радужки на изображениях глаз у людей подтвердило, что зрачок действительно смещается относительно центра радужки, причем последнее используется как прокси для вращения глазного яблока.

Различия сигналов CR, зрачка и P4 во время саккад

Сравнивая положения центров зрачка, CR и P4 на изображениях глаз во время саккады, исследователи обнаружили различия в сигналах:

• В начале саккады первым начинает двигаться CR, затем зрачок, и последним — P4.
• Пиковая скорость и ускорение саккады, оцененные по сигналу P4, были самыми высокими, за ними следовали сигналы зрачка и CR.
• Сигнал P4 имел более длительную длительность PSO и большую амплитуду PSO по сравнению с PSO в сигнале зрачка и, в особенности, CR.

Различия между сигналами CR и P4 объясняются нежестким креплением хрусталика к глазному яблоку. Важно отметить, что, поскольку вычисление сигнала взгляда с использованием принципа P–CR или DPI включает вычитание двух сигналов, различающихся как по пространству, так и по времени, сигналы от этих айтрекеров неточно отражают физическое движение глазного яблока, а приводят к значительному переоцениванию параметров саккад, таких как пиковая скорость и амплитуда. Следовательно, оба принципа айтрекинга (P–CR и DPI) были признаны непригодными для изучения динамики саккад.

Ретинальные айтрекеры: альтернативный подход

Помимо айтрекеров, которые снимают переднюю часть глаза, существуют айтрекеры, которые снимают фундус глаза (заднюю часть глаза), включающий сетчатку, макулу, зрительный диск, фовеа и кровеносные сосуды. Одним из распространенных реализаций ретинального айтрекинга является сканирующий лазерный офтальмоскоп (SLO). Этот метод оценивает вращение глаза на основе смещения ретинального изображения между последовательно записанными изображениями SLO.

Хотя эта технология обычно имеет низкую частоту дискретизации, существуют реализации SLO с более высокой частотой дискретизации, позволяющие детально записывать саккады. Например, использование SLO с частотой дискретизации 1000 Гц позволило получить данные о саккадах, сопоставимые по амплитуде и пиковой скорости с данными, записанными другими исследователями с помощью системы склеральных поисковых катушек.

Цель исследования: одновременная запись сигналов с передней и задней части глаза

В данном исследовании впервые проводится одновременная запись сигналов с передней (роговица, зрачок, хрусталик) и задней (сетчатка) частей глазного яблока для изучения взаимосвязи сигналов, обычно используемых для айтрекинга, во время саккад. В отличие от последовательных записей разными устройствами, одновременная корегистрация позволяет напрямую сравнивать на уровне отдельных саккад, как различные структуры глаза движутся относительно друг друга.

Основные цели исследования:

• Систематическое описание свойств ретинального сигнала во время саккад в сравнении с сигналами от CR, P4 и зрачка.
• Визуализация сигналов при повторяющихся саккадах.
• Представление общепринятых метрик саккад, таких как амплитуда и пиковая скорость.
• Определение времени возникновения пиковой скорости саккад в различных сигналах.
• Количественная оценка динамики сигналов в конце саккад.
• Обсуждение возможных объяснений взаимосвязи ретинального сигнала с другими сигналами.

Методы исследования

Участники, стимулы и оборудование

В эксперименте приняли участие три автора, двое из которых имели большой (20+ лет) опыт работы с айтрекингом, а один — менее опытный. Записи движений глаз левого глаза проводились с частотой 610 Гц с использованием FreezEye tracker (FET) — высокоскоростного ретинального айтрекера, не требующего калибровки участника. Выходные данные FET представляют собой вращение глаза в градусах, и мы будем называть их ретинальным сигналом.

Одновременно с записью FreezEye, глаз снимался на CMOS-камеру (1220 Гц при 300x288 пикселей) через объектив ретинального айтрекера. Структуры передней части глаза освещались инфракрасным диодом (λ = 810 нм), расположенным рядом с объективом. Этот диод служил двум целям: 1) рассеянный свет от структур глаза обеспечивал достаточный контраст для визуализации радужки и зрачка; 2) зеркальные отражения от роговицы и хрусталика генерировали блики Пуркинье. Собранный объективом рассеянный и отраженный свет направлялся на камеру через два дихроичных зеркала. На первом дихроичном зеркале ретинальный сигнал передавался в систему сканеров и детекторов, а свет от зрачка отражался ко второму зеркалу. На втором зеркале свет от зрачка проходил через дополнительную линзу, формируя на детекторе камеры четкое изображение передних структур глаза, включая блики Пуркинье. Фокус камеры индивидуально настраивался для каждого испытуемого для обеспечения четкого изображения края зрачка.

На рис. 1 показан кадр записанного видео. Для каждого кадра вычислялись центры зрачка, CR и P4. Камера была синхронизирована с ретинальным трекером с использованием одного и того же электронного сигнала для управления вертикальной осью сканеров MEMS FET и запуска захвата кадров камерой.

Стимулы

Стимулы состояли из двух маркеров фиксации, разделенных 2 градусами, так что их центр тяжести был горизонтально и вертикально выровнен с центром экрана дисплея. Выбор горизонтальных саккад величиной 2 градуса обусловлен следующими причинами:

• В данных видео-айтрекеров P–CR небольшие саккады были связаны с пропорционально большими постсаккадными осцилляциями (PSOs) по сравнению с большими саккадами.
• PSO больше при горизонтальных, чем при вертикальных саккадах. Следовательно, потенциальные различия в форме волны между ретинальным и другими сигналами, скорее всего, будут легче наблюдаться для небольших горизонтальных саккад.
• Мы хотели представить стимулы в пределах расчетного диапазона отслеживания FreezEye tracker, который составляет около ±4 градусов в горизонтальном и вертикальном направлениях.

Дисплей состоял из ЖК-экрана (Sharp LS029B3SX02, 1440×1440 пикселей, 2,9 дюйма, 90 Гц), обеспечивающего поле зрения 16°×16°. Маркер фиксации представлял собой красный крест с угловым размером 0,75°, отображаемый на темно-зеленом фоне.

Процедура эксперимента

Перед началом записи оператор калибровал ретинальный айтрекер (синхронизировал сканеры MEMS с гальванометрическими сканерами и получал функции преобразования от управляющего сигнала к оптическим углам). Калибровка проводилась один раз после включения айтрекера.

Участники помещали голову на упор для подбородка и лба перед айтрекером. Оператор настраивал положение айтрекера по осям X, Y и Z так, чтобы точка вращения сканирующего луча находилась в центре зрачка. Каждое измерение проводилось при выключенном свете, чтобы максимизировать диаметр зрачка участника.

Во время записи участникам предлагалось выполнять саккады между маркерами фиксации в своем темпе в течение 60 секунд, три раза с небольшим перерывом между сериями. Таким образом, для каждого участника было записано 180 секунд данных.

Обработка данных

Извлечение центров CR, зрачка и P4

Центры CR, зрачка и P4 вычислялись для каждого участника и каждого кадра видео внешней камерой, что давало три сигнала в единицах пикселей камеры.

Обнаружение зрачка

Обнаружение зрачка проходило в два этапа. Сначала создавалась маска зрачка путем определения самой темной точки в центральной области изображения, применения сегментации с заполнением (flood fill) с заданной толерантностью, удаления мелких областей и использования выпуклой оболочки (convex hull) для сглаживания наибольшего контура. Затем из маски извлекались контуры, наибольший контур аппроксимировался как многоугольник, и к точкам этого многоугольника применялась робастная подгонка эллипса с помощью алгоритма RANSAC. Для последующих кадров эллипс уточнялся путем выборки точек на его периметре, вычисления градиентов интенсивности вдоль линий, перпендикулярных эллипсу, и использования параболической интерполяции для достижения субпиксельной точности перед подгонкой обновленного эллипса.

Обнаружение CR (роговичного рефлекса)

Для обнаружения CR алгоритм маскировал изображение за пределами увеличенной области зрачка, определял пиксель с наибольшей интенсивностью и вычислял центр радиальной симметрии в небольшой области вокруг этого пикселя с субпиксельной точностью локализации.

Обнаружение P4 (четвертого блика Пуркинье)

В зависимости от того, был ли CR успешно обнаружен, использовались разные подходы для обнаружения P4. Если CR не был обнаружен, алгоритм локализовал самый яркий пиксель во всей области зрачка. Если CR был обнаружен, определялся самый яркий пиксель в трапециевидной зоне под углом 20 градусов напротив CR от центра зрачка. Как и при локализации CR, затем вычислялась радиальная симметрия для определения окончательного положения P4. Процесс сглаживания группировал положения P4 по времени, выбирая кластер с наименьшим изменением скорости для лучшей согласованности.

Постобработка и обнаружение саккад

После локализации центров зрачка, CR и P4 алгоритм применял шаги постобработки для удаления выбросов путем выявления больших изменений градиента и отбрасывания коротких, нестабильных участков. Во всех кадрах отражения от сканирующего луча FET маскировались, используя тот факт, что его интенсивность варьировалась между четными и нечетными кадрами камеры.

Начало и конец саккад вычислялись из ретинального сигнала с использованием алгоритма EK с параметрами ambda =20 и минимальной длительностью саккады 4,92 мс (3 выборки при 610 Гц). Для предотвращения обнаружения PSO как отдельных саккад использовалась минимальная длительность между саккадами 19,7 мс (12 выборок). Рассматривались только саккады в ретинальном сигнале с евклидовым расстоянием между началом и концом от [1,4, 2,6]°, выполненные влево или вправо (± 20°), и начинающиеся в пределах <0,3° от целевого местоположения. Наконец, саккада отклонялась, если любой из сигналов содержал более одного однократного всплеска (spike), что означает, что расстояние между двумя последовательными выборками взгляда было больше 2 градусов. После применения этих критериев для участника S1 осталось 200 (из 231) саккад, для S2 — 264 (из 276), и для S3 — 162 (из 186).

Чтобы уменьшить вариативность в определении начала саккады, начала, сгенерированные алгоритмом EK, были уточнены путем рассмотрения начала саккад в ретинальном сигнале, когда горизонтальная скорость взгляда превышала 25°/с. Скорости взгляда вычислялись путем дифференцирования положений взгляда с помощью фильтра Савицкого–Голея третьего порядка с длиной окна 18,0 мс (11 выборок). Этот же фильтр использовался для всех сигналов.

Масштабирование сигналов CR, P4 и зрачка

Поскольку рассматриваются только небольшие вращения глаз, можно предположить, что существует линейная зависимость между вращениями глаз в ретинальном сигнале и смещением CR, зрачка и P4 в изображении глаза. Поэтому сигналы CR, P4 и зрачка были преобразованы из пикселей в градусы для отдельных саккад путем применения масштабирующего коэффициента, полученного из ретинального сигнала. Сигналы масштабировались таким образом, чтобы смещение (евклидово расстояние от начала саккады до ее конца) между t0 и t1 было одинаковым для каждой саккады во всех четырех сигналах, где t0=16,4 мс и t1=80 мс, а t=0 мс обозначает начало саккады. На рис. 2 показаны саккады в ретинальном, CR, P4 и сигнале зрачка, масштабированные в градусах и отобранные для дальнейшего анализа в соответствии с описанными выше критериями.

Наконец, были рассчитаны амплитуда, пиковая скорость и время пиковой скорости для выбранных и масштабированных саккад на рис. 2 для всех участников. Здесь учитывалась только горизонтальная компонента сигналов. Амплитуда вычислялась как разница между минимальным и максимальным значениями смещения взгляда для саккады, пиковая скорость — как максимальное значение скорости во время саккады, а время пиковой скорости — как время достижения пиковой скорости. Следует отметить, что согласно этой операционализации амплитуды, две саккады могут иметь схожие смещения, но разную амплитуду, например, если одна из саккад имеет больший PSO.

Обработка изображений выполнялась с помощью Python 3.11 и OpenCV (v. 4.11.0.86). Остальная обработка данных выполнялась с помощью Python 3.12.3.

Результаты

Сравнение волновых форм саккад

На рис. 3 показаны средние волновые формы саккад всех участников в правом направлении для положения взгляда (левая колонка) и скорости взгляда (правая колонка), а также для ретинального, CR, P4 и сигналов зрачка. Как видно из увеличенных частей графиков, саккады в ретинальном и CR сигналах, по-видимому, начинаются раньше, а саккады в сигналах P4 — позже.

Из графиков скорости взгляда ясно, что саккады в сигналах P4 имеют самую высокую пиковую скорость, а саккады в CR-сигнале — самую низкую. В конце саккад ретинальные сигналы, по-видимому, достигают стабильного значения раньше, чем другие сигналы.

Количественные показатели саккад

Для количественной оценки и расширения этих наблюдений на рис. 4 представлены сводные статистики для саккад в различных сигналах, включая начало, амплитуду, пиковую скорость и время достижения пиковой скорости саккады. Здесь были объединены данные обоих направлений саккад.

• Амплитуда: Саккады в ретинальном сигнале имели наименьшие амплитуды, а саккады в сигналах зрачка и P4 — наибольшие.
• Пиковая скорость: Пик скорости саккад в сигнале P4 достигался позже, чем в других сигналах, причем самое раннее пиковое значение наблюдалось для саккад в ретинальном сигнале.

Межсубъектные различия и постсаккадные осцилляции (PSO)

Существуют также межсубъектные различия. Например, у S2 формы сигналов зрачка и P4 хорошо совпадают (рис. 3 (c)). Однако у S1 это не так. В целом, однако, относительные различия между сигналами и внутри участников оказались довольно систематическими (что видно по одинаковой форме гистограмм у участников на рис. 4).

Для количественной оценки частоты и затухания последней части волновой формы саккады — постсаккадных осцилляций (PSOs) — была извлечена часть каждого сигнала от пиковой скорости саккады и далее, для каждого типа саккады и сигнала, и предпринята попытка смоделировать ее как затухающий гармонический осциллятор. Однако некоторые сигналы саккад оказались плохо подходящими для этой модели, что привело к отказу от данного подхода.

В качестве альтернативного метода для аппроксимации коэффициента затухания вычислялось время от пиковой скорости саккады до последней выборки с абсолютным значением скорости, превышающим 10°/с, т.е. когда PSO считалось завершенным и следовал более стабильный период. Для предотвращения превышения этого значения отдельными ложными выборками использовались средние сигналы. Саккады в ретинальном сигнале в среднем заканчивались раньше по сравнению с саккадами в других сигналах (CR: 6,7 мс, P4: 5,6 мс, зрачок: 8,1 мс, где положительные значения означают позже, чем ретинальный сигнал).

Обсуждение

Сравнение ретинальных сигналов с сигналами передней части глаза

В данном исследовании мы задались вопросом, как сигналы, полученные с помощью ретинального айтрекера, связаны с сигналами, одновременно записанными с роговицы (CR), зрачка и хрусталика (P4) во время саккад. Использовался недавно разработанный ретинальный айтрекер вместе с высокоскоростной камерой, снимающей переднюю часть глаза.

Важно отметить, что мы смогли воспроизвести результаты предыдущих исследований относительно взаимосвязи сигналов CR, зрачка и P4 во время саккад. Это предполагает, что внешняя камера и конвейер обработки изображений, разработанные нами, дают результаты, соответствующие предыдущим работам, и что наша установка в будущем может быть использована как традиционный айтрекер, использующий принципы P–CR и DPI (CR–P4). Следует отметить, что айтрекеры, использующие такие дифференциальные сигналы, будут иметь профили саккад, более отличающиеся от вращения глазного яблока по сравнению с представленными здесь сигналами; поскольку существуют временные задержки между сигналами CR, P4 и зрачка (например, сигнал P4 начинает двигаться позже сигнала CR при начале саккад), такой дифференциальный сигнал будет значительно переоценивать амплитуды и пиковые скорости.

В целом, саккады в ретинальном сигнале начинались раньше и достигали пиковой скорости быстрее по сравнению с саккадами в других сигналах. Кроме того, саккады в ретинальном сигнале имели большую пиковую скорость саккады, чем в CR-сигнале, но меньшую, чем в сигналах зрачка и P4. Осцилляции после саккады (PSOs) в ретинальных сигналах заканчивались раньше по сравнению с другими сигналами.

Возможные объяснения расхождений

Объяснение 1: Ретинальный сигнал как индикатор вращения глазного яблока

Согласно первому объяснению, смещение ретинального изображения, наблюдаемое айтрекером, является хорошей оценкой физического смещения фундуса. Поскольку сетчатка тесно прилегает к склере и вместе образует более крупную структуру глаза, можно предположить, что смещение сетчатки пропорционально вращению глазного яблока. Таким образом, можно было бы ожидать высокого совпадения между ретинальным сигналом и CR-сигналом, который оказался наименее «дрожащим» среди сигналов CR, зрачка и P4 во время саккад и, следовательно, может более точно аппроксимировать вращение глазного яблока.

Наши данные слабо подтверждают это объяснение, поскольку наблюдались заметные отклонения между волновыми формами саккад в ретинальном и CR-сигналах у всех участников, как пространственно, так и временно (см. рис. 3). Это противоречит эмпирическим данным, где сообщалось о сопоставимости амплитуды и пиковой скорости саккад ретинального айтрекера с данными, записанными склеральными поисковыми катушками. Однако следует отметить, что, в отличие от одновременных записей, проведенных в этой работе, в тех исследованиях сравнивался ретинальный сигнал с данными катушек, записанными другими исследователями с использованием других участников. Таким образом, можно предположить, что сходства, о которых сообщается, могут быть специфичны для обстоятельств записи участников. Кроме того, можно обсуждать, насколько сигналы от CR и склеральных поисковых катушек являются одинаково хорошими представлениями вращения глазного яблока, поскольку катушки размещаются непосредственно на склере, в то время как CR отражается от роговицы, которая сама по себе обладает эластичностью.

Объяснение 2: Влияние движения хрусталика

Второе объяснение учитывает, что сетчатка проецируется через хрусталик, который смещается и наклоняется во время саккад. Согласно этому объяснению, ретинальное изображение, наблюдаемое айтрекером, подвержено влиянию движения хрусталика в дополнение к общему вращению глазного яблока. Следовательно, можно было бы предположить, что форма волны ретинального сигнала будет наиболее совпадать с P4-сигналом, который представляет собой отражение от задней поверхности хрусталика.

Это объяснение получает некоторую поддержку от симуляций, которые предсказывают значительное движение ретинального изображения как оптическое следствие колебаний хрусталика. Однако наши результаты показали, что саккады в ретинальном сигнале начинались и заканчивались раньше, и имели более низкую пиковую скорость саккады по сравнению с P4-сигналом.

Недавние работы предполагают, что P4 формируется сложным сочетанием трансляции и наклона хрусталика, и взаимосвязь между этими явлениями и видом ретинального изображения во время саккад полностью не изучена. Учитывая относительно более высокую пиковую скорость саккад в ретинальных сигналах по сравнению с CR-сигналами в нашей работе, можно предположить, что часть трансляции и наклона хрусталика, которая способствует формированию P4, также влияет на вид ретинального сигнала. Это поднимает вопрос о том, насколько точно ретинальные айтрекеры отражают динамику саккад.

Дополнительные факторы и будущие направления

Существуют и другие объяснения, помимо двух вышеупомянутых, которые могут объяснить полученные нами результаты. Одно из таких объяснений состоит в том, что движения хрусталика не влияют на вид ретинального сигнала, но сама сетчатка деформируется во время саккад. Действительно, существуют свидетельства того, что сетчатка эластична и деформируется под воздействием силы, по крайней мере, при отсоединении от остальной части глаза.

Следует отметить, что FET айтрекер, используемый для записи ретинальных сигналов, разработан для устойчивости к небольшим вращениям головы. Однако CR, P4 и сигналы зрачка, полученные с помощью внешней камеры, не обладают этим свойством, поскольку они отражают комбинацию вращений головы и глаз. Это видно на рис. 2, особенно в первые 20 мс сигналов, где разброс сигналов CR, P4 и зрачка выше по сравнению с ретинальным сигналом. Этот разброс, вероятно, вызван небольшими вращениями головы, несмотря на стабилизацию голов участников с помощью упора для подбородка и лба. Важно отметить, что эти вращения головы малы и медленны по сравнению с саккадами и, вероятно, оказывают минимальное влияние на общую форму сигнала.

В этой статье мы просили участников выполнять горизонтальные саккады с короткими амплитудами (2 градуса). Будущие исследования могли бы изучить взаимосвязь между сигналами при различных амплитудах и направлениях саккад. Такие данные могли бы прояснить, будет ли наблюдаемая в этой статье относительная разница стабильной или более выраженной для определенных амплитуд/направлений саккад. Следует также отметить, что, возможно, стоит рассмотреть другие сигналы, помимо ретинального, зрачка, CR и P4; возможно, наиболее примечательным является сигнал центра радужки. Поскольку внешний край радужки (между радужкой и склерой), вероятно, более жестко связан с глазным яблоком, чем внутренний край радужки (зрачок), выпуклость роговицы и хрусталик, было бы интересно включить сигнал центра радужки в будущие исследования.

Заключение

Сигналы, записанные с сетчатки, роговицы (CR), хрусталика (P4) и зрачка, различаются по метрикам, обычно используемым для описания саккад. Следовательно, исследователи должны проявлять осторожность при интерпретации и сравнении саккад, записанных айтрекерами, использующими разные признаки для оценки движений глаз.