Эффективное квантование изображений картин по релевантным цветам: как человеческое восприятие оптимизирует информацию

Введение в проблему квантования цветов

Изображения реального мира и объектов в нем раскрывают пространственную и спектральную сложность естественных поверхностей и их освещения. Однако впечатление хроматической детализации, вероятно, основано на частичной информации, ограниченной нашим периферическим цветовым восприятием, паттерном взгляда, вниманием, памятью, эмоциональным и семантическим содержанием сцены и, что более фундаментально, относительной распространенностью или частотой различных присутствующих цветов. Конечно, не все цвета в сцене необходимы для ее описания или запоминания, и для оценки того, какие цвета являются релевантными, использовались различные методы.

Экспериментальный подход с участием наблюдателей

Наиболее прямой подход - попросить человеческих наблюдателей сделать требуемые оценки. В психофизическом эксперименте наблюдатели выбирали те пиксели в изображении картины, которые они считали принадлежащими к "релевантной хроматической области". Изображения представляли собой 20 картин из музея Прадо в Мадриде и 20 произведений искусства из базы данных Khan и др. Наблюдатели могли выбрать столько цветов, сколько пожелают. Эта процедура дала в среднем 21 релевантный цвет для каждого изображения, причем количество и идентичность цветов варьировались как в зависимости от изображения, так и от наблюдателя.

Колориметрический метод анализа

Альтернативный теоретический подход заключается в использовании колориметрических методов. В таком анализе приблизительно равномерное цветовое пространство CIELAB (Международная комиссия по освещению, система L*a*b*) делилось на кубические ячейки, длина стороны которых была кратна наименьшему различимому шагу, а затем с помощью колориметрических аргументов цвета сцены присваивались этим ячейкам. Изображения представляли собой 4266 произведений искусства из базы данных Khan и др. Анализ показал в среднем 18 релевантных цветов на изображение, причем количество и идентичность снова варьировались в зависимости от изображения.

Методы квантования изображений

Независимо от метода, использование релевантных цветов предлагает способ упрощения изображения путем его квантования, то есть сокращения большого, по существу непрерывного диапазона цветов до гораздо меньшего дискретного набора. Однако неясно, является ли этот процесс эффективным. Захватывает ли он наибольший объем информации об изображении для заданного количества релевантных цветов?

Настоящий анализ решает этот вопрос. Информация количественно определялась взаимной информацией Шеннона, хотя возможны и другие формулировки. Были сделаны оценки взаимной информации между изображениями и квантованными представлениями, подразумеваемыми из релевантных цветов наблюдателей и из колориметрического метода, а затем сравнены с оценками максимальной взаимной информации с помощью общих методов оптимизации.

Алгоритмы кластеризации

Эти методы использовали кластеризацию для разделения набора цветов в каждом изображении на n подмножеств в соответствии с некоторой функцией стоимости или целевой функцией. Хотя значения n соответствовали количеству релевантных цветов для каждого изображения, полученных каждым наблюдателем и колориметрическим методом, также рассматривались методы объективного определения n. Всего было рассмотрено пять алгоритмов кластеризации, основанных на:

• k-means++ (метод k-средних с улучшенной инициализацией)
• MEC (кластеризация с максимальной энтропией)
• GMM (ожидание-максимизация с гауссовской смесевой моделью)
• minCEntropy (метод минимальной условной энтропии)
• GraphCut (метод разреза графов)

Каждый из них объясняется в разделе методов, но minCEntropy имеет нотационное преимущество, поскольку он предназначен для максимизации взаимной информации между данными и кластеризацией.

Результаты исследования

Эффективность представлений релевантными цветами

Было обнаружено, что оцененная взаимная информация в суждениях наблюдателей о релевантных цветах была близка к оценкам всех пяти методов кластеризации, включая minCEntropy, и колориметрического метода. Наблюдатели, по-видимому, эффективны в эффективном квантовании цветных изображений картин.

Пять методов кластеризации дали очень похожие средние уровни оцененной взаимной информации около 2,4 бит, а у наблюдателей - несколько более низкие уровни, около 2,2 бит. Однако дисперсия в нанесенных данных потенциально вводит в заблуждение, поскольку оцененная взаимная информация для изображения и количество релевантных цветов n ковариируют между методами и наблюдателями.

Эффективность методов

Этот confounding factor (фактор смешения) был устранен путем расчета эффективности одного метода относительно другого для каждого изображения и для того же количества релевантных цветов n. Значения n были взяты из выбора наблюдателей, за исключением колориметрического метода, который определял n автоматически для каждого изображения.

Оценки наблюдателей близки к оптимальному методу, но немного ниже, со средней эффективностью 89%. В свете 95% доверительных пределов эта разница надежна. Оценки с другими методами кластеризации достоверно не отличались от оценки minCEntropy.

Вариация количества релевантных цветов

Наблюдатели были свободны в выборе количества релевантных цветов, и, как указывалось ранее, они выбирали разные числа n для каждой сцены. Это очевидно и было подтверждено статистически (тест Крускала-Уоллиса, p < 0,001). Что важно, эффективность наблюдателей в выборе этих цветов не различалась значимо (тест Крускала-Уоллиса, p = 0,8).

Сравнение с JPEG сжатием

Квантованное представление изображения релевантными цветами можно рассматривать как сжатие с потерями. В качестве демонстрации оценки взаимной информации методами minCEntropy и колориметрическим методом и от наблюдателей сравнивались с таковыми из популярного алгоритма сжатия JPEG, хотя точное цветовое квантование не является его основной целью.

Даже с настройкой качества JPEG, равной нулю, среднее количество уникальных цветов JPEG составляло 3,9 × 10³, что более чем на два порядка больше, чем с другими тремя методами. Тем не менее, метод minCEntropy, колориметрический метод и отдельные наблюдатели смогли сохранить в среднем 2,6 бита информации по всем 20 изображениям, что больше, чем 2,1 бита, сохраненные в среднем с JPEG.

Визуальные эффекты квантования

Эффекты потери информации на внешний вид очевидны. Для всех трех изображений JPEG отображал светло-коричневый цвет как светло-зеленый, что наиболее заметно на рубашке фигуры в верхнем ряду слева, предположительно, побочный эффект уменьшения цвета в JPEG. Колориметрический метод показал аналогичное, но меньшее смещение. Как метод minCEntropy, так и отдельные наблюдатели хорошо передавали все цвета.

Воспроизведение цвета

Чтобы расширить сравнения воспроизведения цвета по всем изображениям, были оценены средние цветовые различия между каждым изображением картины и его квантованным представлением. Значения RGB в каждом пикселе преобразовывались в значения тристимулов CIE 1931 XYZ (наблюдатель 2°), и цветовые различия оценивались в приблизительно равномерном цветовом пространстве CIECAM02UCS относительно illuminant (источника освещения) 6500 K. Эти различия затем усреднялись по всему изображению.

Для сравнения цветовые различия также оценивались в несколько менее равномерном цветовом пространстве SCIELAB, которое учитывает пространственно-частотную фильтрацию всего изображения глазом. Предполагался тот же источник освещения.

Обнаруживаемые цветовые различия

В принципе, просто заметное цветовое различие около 0,5 в CIECAM02UCS примерно вдвое меньше этого значения в пространстве CIELAB, но большие значения около 1,5 в CIECAM02UCS и 2,2 в пространстве CIELAB также использовались с целыми изображениями естественных сцен. При любом из этих порогов цветовые различия явно представляют обнаруживаемые эффекты в CIECAM02UCS и пространстве CIELAB.

То, что должны быть обнаруживаемые различия, не является необоснованным. Квантование по релевантным цветам влечет за собой сокращение количества уникальных цветов изображения примерно с 5000 до 1 в среднем. Хотя многие из исходных цветов совпадали с их квантованными значениями, неизбежно было много других цветов, которые не совпадали.

Обсуждение результатов

Представление изображений в терминах ограниченного числа релевантных цветов уменьшает их пространственную и спектральную сложность, но с неизбежной потерей информации. Настоящий анализ показал, что для репрезентативных живописных изображений оцененная информация, захваченная человеческими наблюдателями в их выборе релевантных цветов, достигла около 90% от возможной с помощью алгоритмических методов кластеризации, все из которых максимизировали оцененную взаимную информацию между изображением и кластеризацией. Наблюдатели, по-видимому, эффективны в эффективном квантовании этих изображений.

Вариативность выбора наблюдателей

При выборе наблюдатели не ограничивались каким-либо конкретным количеством релевантных цветов. Обнадеживает то, что независимо от того, останавливались ли наблюдатели на нескольких или многих релевантных цветах (числа варьировались от 5 до 68 по сценам), выбранные ими цвета приближались к оптимуму в каждом случае. Как показывает Рис. 3, оценки взаимной информации увеличивались приблизительно линейно с логарифмом количества цветов, хотя и не так быстро, как с алгоритмическими методами кластеризации.

С этой вариацией кажется вероятным, что установление объективной оценки оптимального количества релевантных цветов для данного изображения потребует явного моделирования наблюдателя вместе с дополнительными ограничениями.

Ограничения исследования

Существует несколько предостережений для этого анализа. Во-первых, на практике релевантные цвета, характеризующие изображение, не обязательно должны совпадать с набором цветов, значимых для конкретной задачи. Некоторые цвета могут дополнительно иметь субъективную значимость, влияя на такие меры, как направление взгляда и производительность поиска.

Во-вторых, хотя пять методов кластеризации использовали разные критерии для достижения решения, остается возможность того, что другие методы могут дать более высокие оценки. В-третьих, сравнение с квантованием JPEG было информативным, но предназначено только для иллюстрации, поскольку JPEG предназначен для общего сжатия изображений, а не для эффективного цветового квантования.

Методология исследования

Данные изображений

20 тестовых изображений репрезентативных картин от Треченто до эпохи Романтизма были такими же, как и те, которые использовались в психофизическом исследовании для получения оценок наблюдателями релевантных цветов. Они представляют сельские пейзажи, интерьеры, натюрморты, портреты и исторические события. Изображения, предоставленные музеем Прадо, были закодированы как 24-битные RGB с 6 520 320 до 9 682 560 пикселей на изображение. Среднее количество уникальных цветов в каждом изображении составляло 1,3 × 10⁵ в пределах битового разрешения набора данных.

Данные наблюдателей

Данные о релевантных цветах, выбранных человеческими наблюдателями, были взяты из ранее сообщенного психофизического эксперимента с шестью участниками, тремя мужчинами и тремя женщинами. Количество наблюдателей было того же порядка, что и в аналогичных работах, и однородность их ответов рассматривается в разделе результатов.

Алгоритмические методы кластеризации

Колориметрический метод, использованный здесь, отображал значения пикселей RGB исходного изображения в цветовое пространство CIELAB, которое затем делилось на маленькие кубические ячейки с фиксированными сторонами. На основе количества пикселей в каждом кубе и того, находятся ли их значения яркости и цветности в определенном диапазоне, каждый куб обозначался как релевантный или нет.

Заключение и перспективы

Учитывая уровни производительности, оцененные здесь, если наблюдатели одинаково эффективны в оценке релевантных цветов в реальном мире, результирующие квантованные представления могут найти применение в различных задачах, включая описание и запоминание сцен и их последующее вспоминание.

Исследование демонстрирует удивительную эффективность человеческого восприятия в обработке цветовой информации и открывает перспективы для разработки улучшенных алгоритмов сжатия изображений, основанных на принципах человеческого зрения.