Автоматическая оценка теста копирования пентагона с помощью глубоких сверточных нейронных сетей

Глубокие сверточные нейронные сети для автоматической оценки результатов теста копирования пентагона

Данное исследование посвящено изучению точности дообученной глубокой сверточной нейронной сети (CNN) для оценки результатов теста копирования пентагона (PCT). Для разработки CNN, способной классифицировать изображения PCT, были дообучены и сравнены предварительно обученные CNN: GoogLeNet, VGG16, ResNet50, Inceptionv3. Для формирования обучающего набора данных было собрано 1006 правильных изображений PCT и 758 неправильных изображений PCT, нарисованных пациентами с подозрением на деменцию в госпитале Osaka City Kosaiin в период с апреля 2009 по декабрь 2012 года. Валидационный набор данных был сформирован из изображений PCT пациентов, проходивших лечение в этом же учреждении в апреле 2020 года. Была исследована способность CNN определять правильные изображения PCT на основе валидационного набора данных, включающего 41 правильное и 16 неправильных изображений от 57 пациентов. В ходе валидационного тестирования дообученная CNN GoogLeNet продемонстрировала площадь под характеристической кривой рабочих приемопередатчиков (AUROC) 0.931 (95% доверительный интервал 0.853–1.000). Эти результаты свидетельствуют о том, что разработанная дообученная CNN является полезным методом для автоматической оценки изображений PCT. Использование автоматической оценки PCT на основе CNN потенциально может снизить нагрузку на специалистов при скрининге на деменцию.

Введение

В клинической психологии тесты, в которых пациенты копируют геометрические или изобразительные фигуры, широко используются для выявления и оценки апраксии конструирования. Мини-опросник психического состояния (MMSE), инструмент скрининга на деменцию, широко применяемый в Японии, включает тест копирования пентагона (PCT) как метод оценки апраксии конструирования ¹. В контексте MMSE изображения PCT могут быть оценены дихотомически как правильные или неправильные.

Тесты копирования фигур могут приводить к предвзятой оценке разными специалистами; предпринимаются попытки стандартизировать методы оценки различными способами ^2,3,4. Существует также проблема человеческих затрат на оценку. Компьютеризированная оценка тестов копирования фигур может считаться надежной, поскольку опыт специалиста не влияет на оценку. Недавнее исследование сообщило о надежности автоматизированной количественной оценки PCT, основанной на информации, такой как количество или координаты пентагонов, полученной из обнаружения объектов (или признаков) ^5,6. Однако, поскольку пациенты с деменцией часто многократно перерисовывают фигуры или иногда копируют в непосредственной близости от эталонной фигуры ⁷, существует вероятность того, что обнаружение может быть неуспешным из-за многочисленных артефактов. Хотя критерий Фольштейна кажется ясным на первый взгляд, в некоторых случаях он может быть недостаточным. Примеры сложных суждений включают: (1) степень, в которой слегка скругленный угол пентагона допустим как угол, и (2) степень, в которой искаженный край пентагона допустим как отрезок линии. Изображения PCT, созданные пациентами с подозрением на деменцию, значительно варьируются, и эти проблемы часто возникают в процессе оценки. Следовательно, необходимо создать автоматизированную систему искусственного интеллекта (ИИ) для оценки, которая обучена результатам оценки, сделанной клиническими психологами, в качестве обучающих данных.

Последние достижения в области технологий ИИ могут способствовать автоматической оценке тестов копирования фигур. В последние годы было показано, что результаты задач, связанных с компьютерным зрением, могут быть легко оценены с помощью технологий глубокого обучения ^8,9, особенно тех, которые включают сверточные нейронные сети (CNN) ¹⁰. Заметным преимуществом CNN является то, что они могут быть обобщены для распознавания задач, отличных от тех, для которых они были первоначально разработаны ^11,12. Однако CNN также имеют некоторые серьезные недостатки. Например, CNN должны быть обучены с использованием большого набора размеченных изображений, чтобы избежать переобучения; кроме того, обучение CNN с нуля требует значительного времени и вычислительной мощности. Один из способов преодолеть эти трудности при создании CNN — использовать дообучение (finetuning) для создания CNN, классифицирующей конкретные объекты или фигуры, на основе CNN, обученной классифицировать естественные изображения ¹³.

Однако Li et al. сообщили, что им не удалось достичь достаточной точности в определении правильности PCT с использованием дообученной CNN Inceptionv3 ⁶. Они использовали 658 изображений PCT (327 правильных, 331 неправильное) в качестве своего обучающего набора. Включение большего числа изображений PCT от пациентов с подозрением на деменцию может еще больше повысить точность решений CNN для PCT. В этом исследовании мы использовали стратегию дообучения для создания CNN для автоматической оценки изображений PCT с большим объемом обучающих данных от пациентов с подозрением на деменцию, а затем исследовали точность нашей CNN.

Материалы и методы

Заявление об этике

Протокол исследования был одобрен комитетами по этике госпиталя Osaka City Kosaiin и Высшей школы медицины Университета Осаки в соответствии с Хельсинкской декларацией (2013) и Этическими руководящими принципами медицинских и биологических исследований с участием человека в Японии. Поскольку это исследование было обсервационным и использовало информацию, полученную в ходе обычной медицинской практики, дополнительные тесты или анкеты для этого исследования не проводились. Этические комитеты госпиталя Osaka City Kosaiin и Высшей школы медицины Университета Осаки освободили от необходимости получения информированного согласия. Пациентам, чьи изображения PCT были использованы, была предоставлена возможность отказаться от участия в исследовании через онлайн или офлайн-приложение. Неполучение отказа считалось согласием на использование их изображений PCT, демографических данных и данных психологических тестов.

Наборы данных

Для формирования обучающего набора данных мы ретроспективно собрали 1006 правильных изображений PCT и 758 неправильных изображений PCT от пациентов с подозрением на деменцию, проходивших лечение в госпитале Osaka City Kosaiin (Осака, Япония) в период с апреля 2009 по декабрь 2012 года.

В качестве участников валидационного исследования были включены пациенты, посетившие госпиталь Osaka City Kosaiin в апреле 2020 года и прошедшие PCT в рамках обычной медицинской практики. Валидационный набор данных состоял из изображений PCT, созданных участниками.

Приглашение к участию в исследовании было размещено на доске объявлений госпиталя и на веб-сайте Высшей школы медицины Университета Осаки, нашего сотрудничающего учреждения. Никто из участников не выразил желания отказаться.

Процедуры PCT

PCT проводился пациентам клиническими психологами во время регулярного приема. В ходе процедуры пациентов просили нарисовать карандашами на чистых листах бумаги изображение двух пересекающихся пентагонов. Затем рисунки были отсканированы с помощью сканера SCANSNAP iX500 (Fujitsu, Токио, Япония), и отсканированные изображения были обрезаны, чтобы сфокусироваться на рисунках пентагонов. Если ничего не было нарисовано, обрезалась пустая область.

Психологи классифицировали каждый рисунок PCT как правильный или неправильный на основе критериев MMSE Фольштейна, которые определяют правильный рисунок PCT как «состоящий из двух пересекающихся пентагонов, при этом перекрывающаяся форма является ромбом» ^1,14. При наличии каких-либо сомнений в оценке, несколько психологов консультировались друг с другом для стандартизации критериев оценки.

Дообучение (Finetuning)

Для создания CNN, способной классифицировать изображения PCT, мы дообучили CNN (GoogLeNet, VGG16, ResNet50, Inceptionv3) на основе обучающего набора данных изображений PCT. Мы использовали Deep Learning Toolbox в MATLAB 2021b (MathWorks, Natick, MA, США) для всех процедур аугментации данных и дообучения.

В каждой CNN последний полностью связанный слой был заменен новым полностью связанным слоем с двумя классами (правильный, неправильный). Для первоначальной аугментации данных изображения PCT из обучающего набора данных случайным образом смещались (от −10 до 10 пикселей), масштабировались (от 0.7 до 1.0) и вращались (от −90° до 90°). Алгоритм оптимизации, называемый стохастическим градиентным спуском с моментумом, использовался как решатель для обучения CNN. Параметры решателя были следующими: размер мини-пакета — 32; максимальное количество эпох — 200; начальная скорость обучения — 0.0003. Для каждого изображения PCT последний слой был настроен для вывода значения для переменной, называемой «вероятность правильности PCT», далее сокращенно «P(PCTcorrect)». P(PCTcorrect) выражал оценку CNN вероятности того, что данное изображение PCT было классифицировано как правильное. Значения переменной P(PCTcorrect) варьировались от 0 до 1, причем более высокие значения указывали на большую рассчитанную CNN вероятность того, что данное изображение PCT было классифицировано как правильное.

Валидационное тестирование

Дообученные CNN использовались для расчета значения P(PCTcorrect) для каждого изображения PCT в валидационном наборе данных. Производительность значения P(PCTcorrect) для каждой CNN оценивалась с точки зрения следующих метрик производительности: (1) точность (accuracy), (2) прецизионность (precision), (3) полнота (recall, чувствительность), (4) специфичность (specificity), (5) площадь под характеристической кривой рабочих приемопередатчиков (AUROC).

AUROC использовалась в качестве индикатора для сравнения между дообученными CNN. Здесь истинно положительный результат (TP) означает правильно скопированные изображения PCT, классифицированные как правильно скопированные, когда P(PCTcorrect) превышал оптимальный порог. Истинно отрицательный результат (TN) означает неправильно скопированные изображения PCT, классифицированные как неправильно скопированные, когда P(PCTcorrect) не превышал оптимальный порог. Ложно положительный результат (FP) означает неправильно скопированные изображения PCT, классифицированные как правильно скопированные. Ложно отрицательный результат (FN) означает правильно скопированные изображения PCT, классифицированные как неправильно скопированные.

$$accuracy = rac{TP + TN}{{TP + FP + TN + FN}} uad (1)$$

$$precision = rac{TP}{{TP + FP}} uad (2)$$

$$recall = rac{TP}{{TP + FN}} uad (3)$$

$$specificity = rac{TN}{{TP + FP + TN + FPN}} uad (4)$$

Статистический анализ

Все статистические анализы проводились с использованием Easy R (Saitama Medical Center, Jichi Medical University, Saitama, Japan) ¹⁵, который представляет собой графический пользовательский интерфейс, реализованный в R версии 2.13.0 (R Foundation for Statistical Computing, Вена, Австрия). Мы установили порог статистической значимости на уровне p < 0.05. Доверительный интервал для каждого значения площади под кривой (AUC) рассчитывался с помощью теста ДеЛонга. Оптимальный пороговый отсечки определялся как ближайшая точка к верхнему левому углу.

Результаты

Изображения PCT, нарисованные 57 пациентами, были собраны в качестве валидационного набора данных. Демографические данные пациентов были следующими: 37 женщин, 20 мужчин, средний возраст 78.16 ± 10.76 лет, 39 пациентов с болезнью Альцгеймера, 4 пациента с психическими расстройствами, 4 с фронтотемпоральной деменцией, 3 пациента с цереброваскулярной деменцией и 7 с другими заболеваниями. Из 57 изображений PCT для валидации 41 было правильно скопировано по критериям MMSE Фольштейна.

Таблица 1 показывает метрики производительности дообученных CNN в валидационном тестировании. Дообученная CNN GoogLeNet достигла наивысшего AUROC.

Рисунок 1 показывает изображения PCT в валидационном наборе данных и значения P(PCTcorrect), рассчитанные дообученной CNN GoogLeNet. Чем ниже значение P(PCTcorrect), тем больше тенденция к искажению рисунка. Дообученная CNN GoogLeNet, встроенная в приложение для iPhone, доступна для загрузки (Доступно в Testflight: https://testflight.apple.com/join/xXmo7rRi).

Рисунок 2 показывает ROC-кривую в валидационном наборе данных для прогнозирования категоризации изображений PCT как правильных на основе значений P(PCTcorrect), рассчитанных дообученной CNN GoogLeNet. Площадь под характеристической кривой рабочих приемопередатчиков (AUROC) составила 0.931 (95% доверительный интервал 0.853–1.000).

Обсуждение

В этом исследовании мы дообучили предварительно обученные CNN, используя большее количество изображений PCT пациентов, чем в предыдущем исследовании, и результаты оценки клинических психологов в качестве обучающих данных. Кроме того, мы также собрали валидационные данные, разделенные по времени, чтобы оценить точность CNN. Значение P(PCTcorrect), рассчитанное дообученной CNN GoogLeNet, хорошо согласовывалось с результатами оценки клиническими психологами. Несмотря на то, что протестированные наборы данных отличаются и не могут быть просто сравнены, AUROC значения P(PCTcorrect) дообученной CNN GoogLeNet (0.931) превзошел AUROC CNN, использующей обучение с переносом с учителем, сообщенное Li et al. ⁶ (0.72), и был самым высоким среди автоматических оценок PCT, использующих стратегию дообучения.

Наши результаты указывают на то, что наша дообученная CNN GoogLeNet может быть полезна для автоматической оценки изображений PCT. Значение P(PCTcorrect) с высокой точностью согласуется с правильными PCT, что может быть полезно для оценки изображений PCT. P(PCTcorrect) полезен в качестве ориентира для оценки апраксии конструирования. Результаты этого исследования предполагают использование ИИ для оценки апраксии конструирования.

Дообученная CNN также может быть полезна при оценке тестов копирования фигур, отличных от PCT. В этом исследовании мы смогли дообучить предварительно обученную CNN для оценки PCT без каких-либо специальных настроек, просто подготовив учительские данные. Напротив, в исследовании, оценивающем PCT с использованием обнаружения объектов или признаков, необходимо было создать систему для обнаружения признаков PCT, которые будут оценены как правильные ответы ^5,6. Полезность дообученной CNN для оценки теста рисования часов и теста копирования сложной фигуры Рея-Остеррица также была сообщена ^16,17.

Среди множества сравненных CNN, дообученная CNN GoogLeNet достигла наивысшего AUROC. CNN GoogLeNet имела относительно низкую точность валидации ImageNet среди сравненных CNN ¹⁸. Это может быть связано с тем, что изображения PCT сильно отличаются от естественных изображений (собак, лодок и т. д.), на которых обучалась ImageNet.

Далее, наша CNN привела к неправильной оценке некоторых изображений. Причина ошибок была неизвестна, поскольку признаки, уловленные CNN для принятия решений, были неизвестны. Это является распространенной проблемой в ИИ, реализованном с помощью глубокого обучения ¹⁹.

Это исследование имеет несколько ограничений. Во-первых, валидационные участники не включали пациентов с тремором рук. Согласно руководству Фольштейна для MMSE, тремор следует игнорировать при оценке различных результатов тестов, но часто бывает трудно оценить изображения PCT у пациентов с тремором рук. Основываясь на результатах этого исследования, будущие исследования должны изучить надежность нашей CNN при оценке изображений PCT от пациентов с тремором рук.

Это исследование также имеет определенные сильные стороны. В настоящем исследовании дообученная CNN на основе предварительно обученной CNN GoogLeNet автоматически оценивала изображения PCT; результаты в высокой степени согласовывались с результатами, полученными клиническими психологами с использованием критериев MMSE Фольштейна (AUROC, 0.931). Автоматическая оценка PCT с использованием представленной здесь CNN не требует ввода с мобильных устройств и устраняет артефакты. Следовательно, существует меньше ограничений для проведения теста. Автоматическая оценка PCT с использованием CNN может снизить нагрузку и предвзятость оценки специалистов при скрининге на деменцию.

Доступность данных

Наборы данных, сгенерированные и/или проанализированные в ходе текущего исследования, доступны у соответствующего автора по обоснованному запросу.

Ссылки

Скачать ссылки

Финансирование

Это исследование было профинансировано Wellness Open Living Lab (https://woll.co.jp/corporate/).

Информация об авторах

Авторы и учреждения

• Медицинский центр по лечению деменции, Госпиталь Osaka City Kosaiin, 621, Фуруэдай, Суйтаси, префектура Осака, 5650874, Япония
• Дж. Марута & А. Наканиши
• Отделение нейропсихиатрии, Высшая школа медицины Университета Осаки, Осака, Япония
• Дж. Марута, К. Учида, Х. Курозуми, С. Ноги, С. Акада & К. Иноуэ
• Высшая школа человеческой жизни и экологии Университета Осаки, Осака, Япония
• М. Шинода
• Центр науки о мозге, Высшая школа медицины и Медицинский факультет Университета Осаки, Осака, Япония
• М. Шиба & К. Иноуэ

Авторы

• Дж. Марута Публикации автора Поиск автора на: PubMed Google Scholar
• К. Учида Публикации автора Поиск автора на: PubMed Google Scholar
• Х. Курозуми Публикации автора Поиск автора на: PubMed Google Scholar
• С. Ноги Публикации автора Поиск автора на: PubMed Google Scholar
• С. Акада Публикации автора Поиск автора на: PubMed Google Scholar
• А. Наканиши Публикации автора Поиск автора на: PubMed Google Scholar
• М. Шинода Публикации автора Поиск автора на: PubMed Google Scholar
• М. Шиба Публикации автора Поиск автора на: PubMed Google Scholar
• К. Иноуэ Публикации автора Поиск автора на: PubMed Google Scholar

Вклад

J.M. и K.U. выдвинули представленную идею. J.M., A.N., Miki S., Masatsugu S. и K.I. спланировали и провели эксперименты. Все авторы предоставили критические отзывы и помогли сформировать исследование, анализ и рукопись.

Корреспондирующий автор

Переписка с
Дж. Марута.

Заявления об этике

Конфликтующие интересы

Авторы заявляют об отсутствии конфликтующих интересов.

Дополнительная информация

Примечание издателя

Springer Nature остается нейтральной в отношении территориальных претензий, заявленных в опубликованных картах и институциональной принадлежности.

Права и разрешения

Открытый доступ Распространяется в соответствии с лицензией Creative Commons Attribution 4.0 International License, которая разрешает использование, обмен, адаптацию, распространение и воспроизведение на любом носителе или в любом формате, при условии, что вы укажете надлежащим образом автора (авторов) и источник, предоставите ссылку на лицензию Creative Commons и укажете, были ли внесены изменения. Изображения или другие материалы третьих лиц, включенные в эту статью, подпадают под действие лицензии Creative Commons данной статьи, если иное не указано в строке источника. Если материал не включен в лицензию Creative Commons данной статьи, и ваше предполагаемое использование не разрешено законодательством или превышает разрешенное использование, вам необходимо получить разрешение напрямую от владельца авторских прав. Чтобы просмотреть копию этой лицензии, посетите http://creativecommons.org/licenses/by/4.0/.

Репринты и разрешения

Об этой статье

Maruta, J., Uchida, K., Kurozumi, H. et al. Deep convolutional neural networks for automated scoring of pentagon copying test results. Sci Rep 12, 9881 (2022). https://doi.org/10.1038/s41598022139847

Скачать цитату

Получено: 29 ноября 2021 г. Принято: 31 мая 2022 г. Опубликовано: 14 июня 2022 г. Версия записи: 14 июня 2022 г.

DOI: https://doi.org/10.1038/s41598022139847

Поделиться этой статьей

Любой, с кем вы поделитесь следующей ссылкой, сможет прочитать этот контент:

Получить ссылку для совместного использования

К сожалению, ссылка для совместного использования в настоящее время недоступна. Скопируйте ссылку для совместного использования в буфер обмена.

Предоставлено инициативой Springer Nature SharedIt по обмену контентом.

Эта статья цитируется

• Автоматизация оценки теста сложной фигуры Рея с использованием подхода на основе глубокого обучения: потенциальный инструмент для крупномасштабного скрининга когнитивных нарушений
• Парк, Чун Ён; Со, Ын Хён; Ли, Кун Хо
• Alzheimer's Research & Therapy (2023)
• Подход объяснимого глубокого обучения для извлечения когнитивных признаков из нарисованных от руки изображений пересекающихся пентагонов
• Тасаки, Синья; Ким, Намхи; Беннетт, Дэвид А.
• npj Digital Medicine (2023)
• Сверточная нейронная сеть с двойным пулингом макс. для обнаружения трещин в солнечных элементах
• Хассан, Шармарке; Дхимиш, Махмуд
• Scientific Reports (2023)