База данных изображений PiCS: Моделирование и валидация сходства изображений с помощью многомерного шкалирования

Сходство играет важную роль во многих аспектах визуального восприятия, влияя на то, как мы находим и узнаем лица и объекты (Biederman, 1987; Edelman, 1998; Hebart et al., 2023), как мы учимся и формируем категории (Goldstone, 1994; Nosofsky, 1986), как мы ищем и запоминаем объекты (Hout & Goldinger, 2015; Guevara Pinto, Papesh, & Hout, 2020) и многое другое. Способность количественно оценивать и манипулировать сходством необходима для решения исследовательских вопросов в области визуального восприятия. Например, в визуальном поиске исследователи могут захотеть изучить влияние сходства цели и отвлекающих факторов на время реакции, и могут сделать это, изменяя значения признаков по одному или нескольким измерениям цели, чтобы разработать набор сходных или несходных отвлекающих факторов (Duncan & Humphreys, 1989). В экспериментах по обучению категориям сходство можно манипулировать, изменяя пространство признаков стимулов, таких как цвет или текстура объектов, чтобы оценить, как эти изменения влияют на обучение и категоризацию (Bohil et al., 2023; Ercolino et al., 2020; Nosofsky, 1986). Кроме того, исследователи могут контролировать (а не манипулировать) сходство в своих стимулах. Например, в исследованиях узнавания лиц исследователи часто используют техники морфинга, чтобы систематически варьировать черты лица, сохраняя при этом степень сходства, что позволяет точно контролировать уровень сходства между лицами (Jenkins & Burton, 2011). В задачах на узнавание объектов исследователи могут использовать стандартизированный набор объектов, которые сходны по размеру и цвету, но различаются по форме, обеспечивая контроль за сходством в нецелевых измерениях (Brady et al., 2008).

Моделирование сходства с помощью многомерного шкалирования

Одним из популярных методов моделирования сходства изображений является многомерное шкалирование (MDS) (Hout, Papesh, & Goldinger, 2013), которое имеет ряд преимуществ перед альтернативными методами, используемыми для измерения перцептивных отношений между изображениями. Хотя различные техники, такие как оценки, полученные от человека (например, оценки сходства по шкале Ликерта без MDS) и алгоритмы компьютерного зрения, были использованы, MDS особенно ценен благодаря своей способности извлекать латентную структуру пространств сходства. Как и любой другой моделирующий метод, MDS работает на основе определенных математических предположений, таких как трактовка психологических данных о сходстве как удовлетворяющих свойствам метрики расстояния (например, симметрии) и моделирование этих расстояний в евклидовом пространстве. Однако ключевое преимущество MDS, особенно по сравнению с алгоритмическими подходами, ориентированными на признаки, заключается в том, что он не требует априорных предположений о психологической структуре пространства сходства. Конкретно, MDS не навязывает предопределенные признаки (например, "цвет" или "форма") или измерения данным. Вместо этого он позволяет психологической организации объектов возникать из суждений о сходстве участников. Принимая эту перспективу, MDS преобразует собранные данные о сходстве в пространство с меньшим числом измерений, сохраняя относительные расстояния между изображениями так, как их воспринимают участники. Акцентируя внимание на субъективных суждениях участников, MDS способствует возникновению пространств сходства, которые отражают нюансы человеческого восприятия, не ограничиваясь предубеждениями относительно измерений, по которым оценивается или воспринимается сходство. Это свойство особенно полезно при работе со сложными визуальными стимулами, которые могут ускользать от прямого математического представления.

База данных изображений PiCS

В ответ на потребность в легко доступном и всеобъемлющем ресурсе сходства изображений мы разработали новую базу данных изображений, которая использовала MDS для моделирования сходства внутри и между всеми экземплярами категорий для коллекции из 1200 объектов в 20 различных категориях. Мы расширили связанную базу данных MMMDS, добавив больше объектов в каждую категорию. Мы также предоставляем пользователям возможность получать как оценки сходства внутри категорий, так и между категориями для каждого элемента, что позволяет проводить сравнения между категориями (например, "бабочка" против "птицы"), а также внутри категорий (например, сходство между различными экземплярами "птиц"). Разработка базы данных состояла из двух экспериментов, которые включали сбор оценок сходства и последующую их валидацию. В Эксперименте 1 мы собрали оценки сходства через задачи SpAM, получая данные от участников на нескольких сайтах. Наш вычислительный подход использовал MDS для дистилляции этих оценок в многомерное пространство сходства. Чтобы проверить надежность полученного пространства MDS, мы провели Эксперимент 2, чтобы соотнести исходные оценки сходства для подмножества пар с расстояниями в пространстве MDS из Эксперимента 1.

Обсуждение результатов

Основной целью этого проекта было создание всеобъемлющей базы данных изображений, которая также включает модель перцептивного сходства между разнообразным набором визуальных стимулов, включая 1200 изображений объектов, охватывающих 20 различных категорий. Наша база данных служит ресурсом, доступным для исследователей, которые хотят изучать сходство изображений в контексте психологических и визуальных наук. Объединяя данные о сходстве, полученные от человека, применяя многомерное шкалирование (MDS) и валидируя расстояния MDS, сравнивая их с прямыми паровыми оценками сходства, собранными в независимой выборке, мы предоставляем прочную основу, которую исследователи могут использовать для изучения, исследования или контроля сходства в исследованиях визуального восприятия и когниции. Каждый элемент в базе данных имеет координаты своего положения в многомерном пространстве, что позволяет измерять расстояния MDS до каждого другого элемента. Расстояния MDS позволяют исследователям манипулировать сходством как внутри, так и между различными категориями, что позволяет проводить детализированные исследования перцептивных измерений, которые управляют отношениями между изображениями.

Ограничения и будущие направления

Хотя база данных PiCS предоставляет всеобъемлющий ресурс для изучения визуального сходства, важно признать ограничения, особенно в отношении точности расстояний MDS внутри категорий. Во-первых, хотя наше исследование валидации (Эксперимент 2) показало положительную связь между расстояниями, полученными с помощью MDS, и независимыми оценками сходства, сила корреляций, особенно внутри отдельных категорий, была умеренной (медиана r ≈ 0,20). Мы признаем, что этот уровень соответствия ниже, чем желательно для исследователей, стремящихся к высоко точным прогнозам психологического сходства внутри категории. Существует несколько возможных причин этой умеренной точности. Во-первых, хотя задача SpAM и задачи прямой оценки оба включают суждения о сходстве, они различаются по структуре (одновременное пространственное расположение против последовательной парной оценки), что может вносить шум при сравнении методов. Во-вторых, контекстуальные различия между двумя методами сбора данных могут влиять на точность. В Эксперименте 1 участники оценивали сходство как внутри, так и между категориями одновременно. Возможно, что более широкий контекст повлиял на то, как участники воспринимали и располагали элементы, снижая точность измерений сходства внутри категорий. Другое объяснение заключается в самих категориях. Некоторые категории могут естественно демонстрировать низкую перцептивную изменчивость, что затрудняет любую модель, включающую человеческие суждения, надежно различать мелкомасштабные сходства внутри категорий.