ИИ и парадокс самооценки: почему мы переоцениваем свои способности

Современные исследования неизменно демонстрируют, что люди склонны оценивать свои способности выше среднего. Эта тенденция особенно выражена у тех, кто показывает низкие результаты в когнитивных тестах. Данное явление известно как Эффект Даннинга-Крюгера (DKE) – чем хуже человек справляется с задачей, тем выше он склонен переоценивать свои возможности, и наоборот, чем умнее человек, тем меньше он осознает свои истинные способности.

ИИ и неожиданный эффект самооценки

Однако, недавнее исследование, проведенное Университетом Аалто (Aalto University), выявило, что в контексте работы с искусственным интеллектом (ИИ), в частности с большими языковыми моделями (Large Language Models, LLM), эффект Даннинга-Крюгера перестает действовать. Исследователи обнаружили, что все пользователи демонстрируют значительную неспособность точно оценить свои результаты при использовании ChatGPT. Более того, повсеместно наблюдалось переоценка собственной производительности.

В дополнение к этому, исследователи выделили обратный эффект Даннинга-Крюгера – четко выраженную тенденцию среди пользователей, считающих себя более грамотными в области ИИ, предполагать, что их способности превосходят реальные.

«Мы обнаружили, что когда дело доходит до ИИ, эффект Даннинга-Крюгера исчезает. На самом деле, по-настоящему удивительно то, что более высокий уровень ИИ-грамотности приводит к большей самоуверенности», – говорит профессор Робин Вельш (Robin Welsch). «Мы ожидали, что люди, обладающие ИИ-грамотностью, будут не только немного лучше взаимодействовать с системами ИИ, но и точнее оценивать свою производительность в работе с ними – но это оказалось не так».

Этот вывод дополняет быстро растущий объем исследований, указывающих на риски слепого доверия к выводам ИИ. К таким рискам относятся «обесценивание» способности людей находить надежную информацию и даже деградация навыков рабочей силы. Хотя люди действительно показывали лучшие результаты при использовании ChatGPT, вызывает беспокойство тот факт, что все они переоценивали эти результаты.

«ИИ-грамотность действительно важна в наши дни, и поэтому этот эффект очень поразителен. ИИ-грамотность может быть очень технической, и она на самом деле не помогает людям продуктивно взаимодействовать с системами ИИ», – говорит Вельш.

«Современные ИИ-инструменты недостаточны. Они не способствуют метапознанию [осознанию собственных мыслительных процессов], и мы не учимся на своих ошибках», – добавляет докторант Даниэла да Силва Фернандес (Daniela da Silva Fernandes). «Нам необходимо создавать платформы, которые стимулируют наш процесс рефлексии».

Статья была опубликована 27 октября в журнале Computers in Human Behavior.

Почему одного запроса недостаточно?

Исследователи разработали два эксперимента, в ходе которых около 500 участников использовали ИИ для выполнения задач на логическое рассуждение из известного американского экзамена на поступление в юридическую школу (Law School Admission Test, LSAT). Половина группы использовала ИИ, а половина – нет. После каждой задачи испытуемым предлагалось оценить, насколько хорошо они справились – за точную оценку обещали дополнительную компенсацию.

«Эти задачи требуют больших когнитивных усилий. Поскольку люди теперь ежедневно используют ИИ, вполне естественно, что они поручают решение подобных задач ИИ, так как это очень сложно», – говорит Вельш.

Данные показали, что большинство пользователей редко задавали ChatGPT более одного запроса на вопрос. Зачастую они просто копировали вопрос, вставляли его в систему ИИ и были довольны решением ИИ, не проверяя его и не подвергая сомнению.

«Мы анализировали, насколько глубоко они действительно размышляли при взаимодействии с системой ИИ, и обнаружили, что люди просто полагали, что ИИ решит все за них. Обычно было только одно взаимодействие для получения результатов, что означает, что пользователи слепо доверяли системе. Это то, что мы называем когнитивной разгрузкой, когда вся обработка выполняется ИИ», – объясняет Вельш.

Этот поверхностный уровень вовлеченности, вероятно, ограничил сигналы, необходимые для калибровки уверенности и обеспечения точного самоконтроля. Следовательно, вполне вероятно, что поощрение или экспериментальное требование множественных запросов могло бы обеспечить лучшие петли обратной связи, улучшая метапознание пользователей, говорит он.

Так в чем же практическое решение для обычных пользователей ИИ?

«ИИ мог бы спрашивать у пользователей, могут ли они объяснить свои рассуждения более подробно. Это заставило бы пользователя больше взаимодействовать с ИИ, столкнуться с иллюзией своего знания и способствовало бы развитию критического мышления», – предлагает Фернандес.

«ИИ делает нас умнее, но не мудрее: разрыв между производительностью и метапознанием».

Ключевые вопросы и ответы:

Q: Что обнаружили исследователи относительно уверенности при использовании ИИ?

A: Вместо того чтобы менее квалифицированные пользователи проявляли большую самоуверенность, именно пользователи с высокой ИИ-грамотностью оказались наиболее самоуверенными, что является обратным эффектом.

Q: Чем это отличается от классического эффекта Даннинга-Крюгера?

A: Это подчеркивает, как слепое доверие к ИИ может подорвать критическое мышление, и указывает на необходимость создания инструментов, которые побуждают пользователей к более глубокому размышлению и анализу.

Q: Почему это важно для использования ИИ?

A: Каждый, независимо от уровня знаний об ИИ, переоценивал свои результаты, что показывает: даже опытные пользователи не могут точно оценить свой успех.

Об этом исследовании в области ИИ

Автор: Сара Хадсон (Sarah Hudson)
Источник: Университет Аалто (Aalto University)
Контакт: Сара Хадсон – Университет Аалто

Оригинальное исследование: Open access. “AI makes you smarter but none the wiser: The disconnect between performance and metacognition” by Robin Welsch et al. Computers in Human Behavior.

Абстракт оригинального исследования:

Оптимизация взаимодействия человека и ИИ требует от пользователей критического осмысления своей производительности, однако мало что известно о влиянии генеративных систем ИИ на метакогнитивные суждения пользователей.

В двух масштабных исследованиях мы изучаем, как использование ИИ связано с метакогнитивным мониторингом пользователей и их производительностью в задачах логического рассуждения. В частности, наша статья исследует, могут ли люди, использующие ИИ для выполнения задач, точно отслеживать, насколько хорошо они справляются.

В Исследовании 1 участники (N = 246) использовали ИИ для решения 20 задач на логическое рассуждение из экзамена Law School Admission Test. В то время как их производительность в задачах улучшилась на три балла по сравнению с нормативной популяцией, участники переоценили свою производительность на четыре балла. Интересно, что более высокий уровень ИИ-грамотности коррелировал с более низкой точностью метапознания, предполагая, что люди с большими техническими знаниями об ИИ были более уверены, но менее точны в оценке своей собственной производительности.

Используя вычислительную модель, мы исследовали индивидуальные различия в точности метапознания и обнаружили, что эффект Даннинга-Крюгера, обычно наблюдаемый в этой задаче, прекратил свое существование при использовании ИИ. Исследование 2 (N = 452) подтверждает эти выводы.

Мы обсуждаем, как ИИ влияет на когнитивную и метакогнитивную производительность во взаимодействии человека и ИИ, и рассматриваем последствия переоценки производительности для разработки интерактивных ИИ-систем, которые способствуют точному самоконтролю, избегают чрезмерной зависимости и повышают когнитивную производительность.