Как большие языковые модели воспринимают цвета: сравнение с человеческим восприятием

Введение

Большие языковые модели (LLM), такие как General Pretrained Transformer (GPT), демонстрируют впечатляющие результаты в различных когнитивных задачах. Однако остается неясным, способны ли эти модели точно воспроизводить человеческое восприятие. Предыдущие исследования пытались ответить на этот вопрос, измеряя корреляции между паттернами сходства у людей и LLM. Корреляция дает меру сходства, но она зависит от предопределенных меток и не различает сходство на уровне категорий и отдельных элементов, что не позволяет детально охарактеризовать структурное соответствие между людьми и LLM.

Методология

Gromov–Wasserstein оптимальный транспорт

Для более детальной оценки структурного соответствия мы предлагаем использовать метод неконтролируемого выравнивания на основе Gromov–Wasserstein оптимального транспорта (GWOT). GWOT позволяет сравнивать структуры сходства без опоры на предопределенные метки и выявляет тонкие структурные сходства и различия, которые могут быть незаметны при простом корреляционном анализе.

Участники и данные

В исследовании использовались данные 426 нейротипичных участников и 257 участников с атипичным цветовосприятием (например, с красно-зеленой цветовой слепотой). Участники оценивали сходство 93 цветов по шкале от 0 до 7. Для сравнения также использовались модели GPT-3.5 и GPT-4, а также цветовые пространства RGB и LAB.

Результаты

Корреляционный анализ

Корреляционный анализ показал, что матрица сходства нейротипичных участников наиболее близка к GPT-4 (ρ = 0.77). GPT-3.5 (ρ = 0.62), RGB (ρ = 0.60) и LAB (ρ = 0.71) также демонстрировали разумную корреляцию, но ниже, чем GPT-4.

Неконтролируемое выравнивание

Метод GWOT выявил, что структура сходства GPT-4 и нейротипичных участников совпадает на 91.4%, что значительно выше, чем у GPT-3.5 (11.8%) и цветовых пространств (4.30–5.38%). Это указывает на сильное структурное соответствие между GPT-4 и человеческим восприятием.

Обсуждение

Результаты показывают, что GPT-4 лучше воспроизводит человеческое восприятие цвета, чем GPT-3.5 и простые цветовые модели. Это говорит о том, что LLM могут обучаться сложным паттернам восприятия из текстовых данных. Однако остается открытым вопрос, насколько внутренние представления цветов в GPT-4 совпадают с человеческими.

Заключение

Исследование демонстрирует потенциал методов неконтролируемого выравнивания, таких как GWOT, для сравнения LLM и человеческого восприятия. GPT-4 показывает удивительно высокое структурное соответствие с нейротипичными людьми, что открывает новые возможности для изучения искусственного интеллекта.