Как ИИ понимает графики: Тесты нейросетей на грамотность данных и сравнение с человеком

Введение в проблему понимания визуализации данных нейросетями

В современную цифровую эпоху способность интерпретировать визуальную информацию — графики, диаграммы, схемы — стала критически важным навыком. Этот процесс, известный как грамотность в области визуализации данных, требует сложной интеграции визуальных, числовых и лингвистических входных данных. Мы, люди, делаем это почти интуитивно, объединяя увиденное с нашими фоновыми знаниями и логикой. Однако для искусственного интеллекта (ИИ) эта задача остается одной из самых сложных в области мультимодального рассуждения.

Недавно разработанные Vision-Language Models (VLM) — визуально-языковые модели — стали многообещающими кандидатами для моделирования вычислений, лежащих в основе человеческого понимания данных. Эти модели обучаются на колоссальных объемах текста и изображений, что теоретически должно позволять им «видеть» график и «рассуждать» о нем так же, как это делает человек. Но насколько они близки к нашему биологическому интеллекту на самом деле?

Что такое Vision-Language Models (VLM) и почему они важны?

Прежде чем углубляться в детали исследования, необходимо расшифровать, что стоит за аббревиатурой VLM. Vision-Language Models — это класс систем искусственного интеллекта, которые способны одновременно обрабатывать и соотносить информацию из двух разных модальностей: визуальной (изображения) и текстовой (язык). В отличие от простых классификаторов изображений, которые могут только сказать «на фото собака», VLM могут отвечать на сложные вопросы о содержании картинки, описывать взаимосвязи между объектами и даже решать математические задачи, представленные визуально.

Использование VLM в качестве научных моделей человеческого познания зависит не только от того, дают ли они правильные ответы. Важнейшим фактором является то, насколько их процесс «мышления» и паттерны ошибок соответствуют человеческим. Если модель дает верный ответ, используя совершенно иную, «нечеловеческую» логику, она может быть полезна как инструмент, но бесполезна как модель для изучения человеческой психологии и нейронауки.

Человекоцентричный подход к оценке ИИ

Исследователи из Стэнфордского университета и Массачусетского технологического института (MIT) представили новый протокол оценки, ориентированный на человека. Основная идея заключается в прямом сравнении поведения ИИ и людей на одних и тех же наборах задач. До сих пор большинство оценок нейросетей ограничивались отчетами об общей производительности (точности), игнорируя качественный анализ ответов.

«Понимание того, как ИИ ошибается, дает нам больше информации о его внутреннем устройстве, чем знание того, как часто он бывает прав», — отмечают авторы исследования.

Этот подход позволяет выявить, аппроксимируют (приближают) ли модели те паттерны реакций, которые характерны для людей. В исследовании приняли участие восемь современных моделей VLM, которые прошли через шесть различных оценочных тестов.

Методология исследования: Шесть тестов на грамотность

Для проверки способностей ИИ ученые использовали пять установленных тестов на грамотность в области визуализации, которые обычно применяются для оценки навыков людей, и один тест, разработанный специально для VLM. Эти испытания охватывают широкий спектр навыков:

• Чтение значений: способность точно определить число на оси графика.
• Сравнение данных: умение соотнести две разные части диаграммы и сделать вывод о том, какая величина больше или меньше.
• Интерпретация трендов: понимание того, растет ли показатель, падает или остается стабильным на протяжении времени.
• Синтез информации: объединение нескольких визуальных элементов для ответа на сложный концептуальный вопрос.
• Критическое мышление: выявление потенциально вводящих в заблуждение графиков.

Использование таких стандартизированных инструментов, как Visualization Literacy Assessment Test (VLAT) — тест оценки грамотности в области визуализации, позволяет сопоставить результаты нейросетей с обширной базой данных человеческих результатов, накопленной за годы психологических исследований.

Результаты: ИИ против Человека

Результаты исследования оказались отрезвляющими для сторонников скорого появления «сильного ИИ». В среднем модели работали значительно хуже людей. Даже при использовании самых мягких критериев оценки (например, если модель была близка к истине, но немного ошиблась в цифрах), разрыв между человеком и машиной оставался существенным.

Основные выводы исследования:

• Низкая точность: Большинство VLM испытывали трудности с простыми для человека задачами, такими как точное считывание значений с логарифмических шкал или понимание сложных круговых диаграмм.
• Различие в логике ошибок: Хотя между моделями и людьми наблюдалась слабая корреляция в том, какие задания считались «трудными», качественный характер ошибок был принципиально иным. Там, где человек мог ошибиться из-за невнимательности к мелким деталям, ИИ совершал фундаментальные ошибки в логике пространства или числовых соотношений.
• Проблема мультимодальности: Модели часто успешно «видели» текст на графике или саму линию, но не могли корректно объединить эти знания для вывода.

Почему ИИ ошибается иначе?

Одной из самых интересных частей исследования стал анализ паттернов ошибок. В когнитивной психологии ошибки часто являются структурированными. Например, люди склонны переоценивать углы в диаграммах или ошибаться при чтении трехмерных графиков определенным предсказуемым образом. Это связано с особенностями нашей зрительной системы и мозга.

Нейросети же демонстрируют то, что ученые называют нестабильными ошибками. Модель может правильно ответить на сложнейший вопрос о тенденциях мирового ВВП, но в следующем задании не заметить, что одна колонка на гистограмме в два раза выше другой. Это указывает на отсутствие фундаментального понимания физических и математических принципов, лежащих в основе графического представления данных.

Роль институтов и финансирования в развитии ИИ

Данное исследование стало возможным благодаря поддержке крупных научных организаций, таких как National Science Foundation (NSF) — Национальный научный фонд США (награды CAREER #2436199 и DRL #2400471), а также Office of Naval Research (ONR) — Управление военно-морских исследований. Участие Stanford Human-Centered AI Institute (HAI) — Стэнфордского института ИИ, ориентированного на человека — подчеркивает важность этического и антропоцентрического подхода к технологиям.

Работа объединила специалистов из ведущих мировых центров: Стэнфордского университета, Массачусетского технологического института (MIT) и Калифорнийского университета в Лос-Анджелесе (UCLA). Такое междисциплинарное сотрудничество между компьютерными учеными и когнитивными психологами необходимо для создания систем ИИ, которые будут не просто «умными», но и понятными для людей.

Будущее визуально-языковых моделей

Несмотря на текущие ограничения, авторы исследования смотрят в будущее с оптимизмом. Предложенный протокол оценки может служить дорожной картой для разработчиков ИИ. Вместо того чтобы просто стремиться к 100% точности на синтетических тестах, разработчикам следует ориентироваться на человеческие показатели как на эталон когнитивной адекватности.

Создание ИИ, который понимает графики так же, как человек, откроет огромные возможности:

• Автоматизированная аналитика: ИИ сможет помогать ученым и бизнесменам находить скрытые закономерности в данных.
• Образовательные инструменты: Умные тьюторы смогут объяснять студентам сложные концепции, анализируя их графические работы в реальном времени.
• Доступность: Системы смогут описывать визуальные данные для людей с нарушениями зрения, передавая не просто цифры, а суть и контекст визуализации.

Заключение и выводы для пользователей

Исследование подтверждает, что мы всё еще находимся на ранних этапах пути к созданию ИИ, обладающего человекоподобным пониманием мира. Визуализация данных остается мощным инструментом человеческого разума, который нейросетям пока не удалось полностью освоить. Для пользователей и разработчиков это важный сигнал: доверяйте аналитическим способностям ИИ, но всегда проверяйте результаты своим «человеческим» взглядом.

В конечном итоге, целью науки является не замена человеческого интеллекта искусственным, а создание симбиоза, где сильные стороны машин (скорость обработки данных) дополняются сильными сторонами людей (глубокое понимание контекста и критическое мышление).

Статья подготовлена на основе материалов публикации в журнале Scientific Reports (2026). Авторы: Арнав Верма, Кушин Мукерджи, Кристофер Поттс, Элиза Крейсс и Джудит Э. Фан.