Влияние ИИ на решения рентгенологов: объяснимость и установки в маммографии

Введение

Внедрение алгоритмов, основанных на данных, в область медицинской визуализации является одним из ведущих направлений технологического развития. Отличительной характеристикой новых алгоритмов является их характер "черного ящика": сложность понимания взаимосвязей между входными и выходными данными. Особенно в медицинском контексте это имеет серьезные последствия для разработки и внедрения этих алгоритмов, поскольку медицинские решения сопряжены с высокими ставками и несут строгую юридическую ответственность.

Несколько исследований показали, что (медицинские) специалисты склонны подвергаться влиянию предложений и входных данных, предоставляемых различными формами алгоритмических инструментов, таких как компьютерная диагностика (CAD - Computer-Aided Detection) и различные формы искусственного интеллекта (ИИ). CAD, предшественник более продвинутых систем на основе ИИ, широко изучался на предмет его влияния на диагностическую точность и потенциал неправильного использования.

Проблема взаимодействия с алгоритмическими предложениями

Несмотря на значительные исследования по проектированию алгоритмов, основанных на данных, существует относительно ограниченное количество исследований о взаимодействиях, которые возникают, когда медицинские специалисты взаимодействуют с результатами, предлагаемыми этими алгоритмами. Эта проблема усугубляется на практике, когда медицинским специалистам представляются "предложения результатов", сделанные алгоритмами (например, оценка злокачественности тканей), с ограниченными информационными входными данными для interrogating и интерпретации того, как такие предложения выводятся из конкретных входных данных.

Методология исследования

Дизайн исследования

Настоящее исследование разделено на два квази-экспериментальных исследования. Этот подход был выбран потому, что лабораторный эксперимент может проводиться в highly controlled условиях, где точные измерения причинно-следственных связей возможны в искусственной среде. Мы развернули специально разработанную онлайн-среду, которая позволила нам разработать эксперименты и собрать необходимые данные.

Участники и процедура

Мы набрали в общей сложности 92 рентгенологов, которые были обучены и имели опыт выполнения классификации BIRADS. Все участники были представлены с одной и той же последовательностью из 15 маммограмм. Участвующие рентгенологи должны были классифицировать маммограммы на основе системы классификации BIRADS, используемой в качестве стандарта при оценке и отчетности по маммограммам.

Результаты

Влияние предложений ИИ на человеческие решения

На самом детальном уровне каждая задача включала принятие двух решений: оценку левой и правой сторон груди. Из 2760 решений рентгенологи приняли 64% правильных решений, что ниже общей точности предложений ИИ (73%). Рентгенологи имеют тенденцию к overdiagnosis (20%), чем к underdiagnosis (16%).

Как показывает рисунок 4, средняя точность человеческих решений падает с 78%, когда ИИ предлагает правильные предложения, до 28%, когда ИИ предлагает неправильные предложения. Тип решения, принятого рентгенологами, имеет согласие 73%, 79% и 58% с типом предложений ИИ для "underdiagnosis", "правильно" и "overdiagnosis".

Эффект входных данных объяснимости

Не существует значительной разницы между группами "explainability-control", "explainability-partial" и "explainability-full" с точки зрения ошибок диагностики рентгенологов. Это указывает на то, что предоставление дополнительной объясняющей информации не significantly moderate влияние предложений ИИ на окончательные решения.

Модерирующий эффект установочного прайминга

Также не существует значительной разницы между четырьмя группами в исследовании 2, где они получали различные типы установочного прайминга. Кроме того, не существует значительной разницы между средней человеческой ошибкой across различных уровней опыта работы с ИИ/CAD и опытом проведения маммографического исследования.

Обсуждение

В целом, наши findings показывают, что решения рентгенологов следуют предложениям ИИ с точки зрения размера ошибки (количество баллов по шкале BIRADS) и типа (правильный, over- и underdiagnosis). Вероятность постановки правильного диагноза составляет 78% при консультировании с правильными предложениями, и вероятность принятия неправильных решений составляет 72% при консультировании с неправильными решениями.

Практические последствия

Этот паттерн виден across всех 15 задач и особенно specific сторон груди, на которых предлагаются (неправильные) предложения. Это подтверждает предыдущие исследования, показывающие, что наличие алгоритмических предложений может снизить точность диагностических решений, особенно когда такие предложения являются неправильными и ограничивают фокус и аналитическую вовлеченность human actors.

Ограничения и будущие исследования

Несколько условий ограничивают обобщаемость наших findings и, следовательно, требуют future studies. Участники, как правило, experienced, но limitedly experienced с точки зрения использования инструментов CAD/ИИ, representative большинства нынешних рентгенологов. Эти участники имеют ограниченный опыт в том, как реагировать на предложения ИИ и interrogate их.

Заключение

В целом, диагностическая ошибка не significantly differ across экспериментальных групп, участников с различным уровнем опыта выполнения задачи (как frequency, так и recency) и опыта работы с инструментами CAD/ИИ. Различные пути, ведущие к правильным, over- и underdiagnosis, показывают, что не существует единого паттерна, который можно было бы generalized ко всем ситуациям.

Наши findings подчеркивают необходимость разработки более sophisticated подходов к проектированию human-AI взаимодействий в медицинской диагностике, которые выходят за рамки простого предоставления объясняющей информации или manipulation установок. Будущие исследования должны изучить, как опыт работы с этими алгоритмами влияет на то, как рентгенологи принимают решения, и как различные роли ИИ в процессе принятия медицинских решений могут potentially trigger различные способы взаимодействия с ними и их использования.