Анализ паттернов взгляда при инспекции фасадов: как эксперты оценивают повреждения

Введение в анализ движений глаз при инспекции конструкций

Структурные инспекции имеют критическое значение для планового технического обслуживания и поэтому регламентированы законами и нормативными актами. В настоящее время существуют три основные модальности инспекции: (1) визуальный осмотр, выполняемый человеком, (2) визуальный осмотр с использованием беспилотных летательных аппаратов (БПЛА) по заранее запрограммированным траекториям полета, и (3) удаленная инспекция с БПЛА под управлением человека. При визуальном осмотре, выполняемом человеком, инспекторы обходят конструкции и делают заметки; хотя этот метод требует минимальных технологий, он может вносить субъективность и создавать проблемы безопасности. Нахождение вблизи поврежденных конструкций во время инспекций, особенно после катастроф, может представлять серьезный риск безопасности из-за неизвестной структурной целостности. Кроме того, качество и последовательность визуального осмотра сильно зависят от обучения инспектора, опыта, оборудования и предубеждений.

При визуальном осмотре с использованием БПЛА беспилотникам задаются траектории полета, не зависящие от состояния, для съемки изображений конструкции. Хотя этот метод требует невысокого уровня технологий и может быть безопаснее для инспекций, ему не хватает навыков принятия решений для динамической съемки, такой как увеличение. Удаленный инспектор полагается на видеопоток с камеры и полетное задание для выполнения инспекции. Как только БПЛА начинает свою миссию, нет реактивного управления, кроме прерывания миссии до завершения траектории полета. При удаленной инспекции с БПЛА под управлением человека удаленный инспектор может пилотировать дрон. Хотя это безопаснее для инспектора, это требует большего опыта пилотирования дрона, и нет совместного критического мышления или осмысления между инспектором и БПЛА.

Сравнение методов инспекции

Для сравнения, как первая, так и третья модальности могут быть реактивными, то есть принятие решений может основываться на обнаруженных повреждениях; однако знания инспектора зависят от его опыта в визуальном осмотре. Вторая модальность запрещает реактивное принятие решений и ограничивает следование заранее определенной траектории полета после начала миссии. Хотя визуальный осмотр в настоящее время является преобладающей процедурой инспекции и используется многими практиками, этот подход имеет несколько ограничений. Во многих исследованиях было обнаружено, что визуальный осмотр сам по себе ненадежен и не consistently эффективен для определения приоритетов ремонта. В настоящее время девять городов США ввели обязательные постановления о периодических инспекциях фасадов зданий, и многие другие города принимают эти правила. Хотя стандарты и руководящие принципы для инспекции фасадов хорошо разработаны, эти инспекции проводятся не так часто, как следовало бы, и средняя частота инспекции фасадов составляет пять лет.

Методология исследования

Участники эксперимента

Одиннадцать участников (семь мужчин и четыре женщины) были приглашены из факультета архитектурного инжиниринга в Университете Пенсильвании для участия в этом исследовании. У всех участников было нормальное или скорректированное до нормального зрение, и их возраст варьировался от 26 до 34 лет (средний возраст = 28, стандартное отклонение = 2,7). Один участник был исключен из окончательной выборки из-за проблем со зрением. Кроме того, участники имели некоторые предварительные знания о структурной инспекции и инжиниринге. Исследование следует этическим принципам исследований с участием людей и было одобрено Институциональным наблюдательным советом по программе защиты людей в исследованиях Университета Пенсильвании. Информированное согласие было получено от участников до начала эксперимента.

Оборудование и процедура

Данные о движениях глаз записывались с использованием носимого оборудования для отслеживания взгляда Tobii Pro Glasses 3 с частотой дискретизации 100 Гц; разрешение 1920 × 1080 @ 25 кадров в секунду; и 4 камеры для отслеживания движений глаз. Движение глаз субъекта отслеживается с помощью технологии отражения от роговицы зрачка и бинокусного захвата темного зрачка, которая имеет функцию беспроводного наблюдения в реальном времени и поддерживает компенсацию проскальзывания. Pro Glasses 3 имеет проприетарный SDK, который позволяет проводить однточечную калибровку паттернов взгляда.

Целью этого исследования был анализ паттернов взгляда человека и определение метрик отслеживания взгляда, которые важны для принятия решений при проведении инспекции фасада. Для этого мы провели экспериментальные исследования на участниках, чтобы собрать предварительные данные об интуитивном взаимодействии человека в среде поврежденной инфраструктуры. Эксперимент проводился в условиях открытого пространства на двух трехэтажных стальных каркасных зданиях с каменным заполнением и облицовкой в центральной Пенсильвании. Здания, подвергавшиеся инспекции, имели незначительные трещины, поверхностные пятна, выветренный камень, отсутствующий раствор, биозагрязнения и отслаивающуюся краску и т.д.

Анализ данных и результаты

Качественный анализ тепловых карт и траекторий взгляда

Для качественного анализа тепловые карты и графики взгляда обеспечивают быструю и точную визуализацию данных, которые важны для понимания аспектов визуального поведения. Тепловая карта описывает общее распределение зрения участника по определенному стимулу. Области с красным цветом указывают на высокую интенсивность фиксаций участника по сравнению с областями низкой интенсивности, обозначенными светло-зеленым цветом. Тепловые карты могут эффективно документировать визуальное внимание в сцене и учитывать все фиксации участника; это можно использовать для понимания процессов принятия решений. Аналогично, индивидуальные графики взгляда варьируются в зависимости от конкретных фиксаций человека и стратегий сканирования, которые соответствуют их траектории взгляда и непроизвольным саккадическим движениям глаз. Чем дольше продолжительность фиксации, тем больше диаметр круга; число внутри круга указывает порядок, в котором участники смотрели.

Статистический анализ областей интереса

Для более строгого анализа метрики фиксации и посещения анализировались для отдельных участников на основе типологии повреждений. Фасад здания был размечен в соответствии с различными типологиями повреждений, такими как трещины, отсутствие раствора в каменных швах, поверхностные пятна, отслаивающаяся краска, выветренный камень в фундаменте, биозагрязнения и т.д. Эти области интереса были сегментированы как потенциальные области повреждений для инспекции фасада. На основе собранных данных все участники идентифицировали повреждения трещин, отсутствия раствора и отслаивания краски со сравнительной продолжительностью фиксации и посещения с меньшим количеством посещений от P2 и P3. Выветренный камень и повреждение поверхностного пятна 1 не анализировались слишком долго большинством участников, и у них были незначительные посещения. Биозагрязнения и повреждение поверхностного пятна 2 не анализировались половиной участников, и это могло быть связано с тем, что повреждения поверхностными пятнами выглядят похоже, и они не тратили больше времени на фиксацию на этих повреждениях.

Обсуждение результатов

Это исследование исследует осмысление человеком во время взаимодействия с конструкцией и то, как они оценивали повреждения фасада здания. На основе качественного и статистического анализа для Зданий 1 и 2 очевидно, что каждый участник по-разному смотрит на конструкцию и обнаруживает повреждения на фасаде здания. Общая стратегия участников заключалась в том, чтобы сначала посмотреть на конструкцию целостно, а затем просканировать определенные части конструкции по элементам. Участники с фоновыми знаниями в оценке повреждений и диагностике зданий проводили поэлементный осмотр, в то время как участники с меньшим опытом сканировали конструкцию сверху вниз или справа налево. В конце они отходили от конструкции и снова оглядывались, чтобы увидеть, не пропустили ли они какие-либо структурные повреждения.

Влияние опыта и предварительных знаний

Более того, мы также обнаружили, как интерес участника или предварительные знания могут влиять на их принятие решений. Это исследование включает десять участников, изучающих архитектурный инжиниринг с хорошими знаниями о конструкциях и потоке сил и т.д. На основе времени, затраченного на отдельные повреждения, мы замечаем, что повреждения трещинами были highly приоритизированными повреждениями с наибольшим временем фиксации, за которыми следовали поверхностные пятна. Это верно, потому что области с этими двумя повреждениями могут влиять на конструкцию больше, чем другие повреждения, такие как отслаивание краски на окне или биозагрязнения. Следует иметь в виду, что все участники выполняли эксперименты отдельно, поэтому исследование не было скомпрометировано или подвержено влиянию поведения или действий других участников.

Выводы и перспективы будущих исследований

Способность автономной системы понимать намерения человека и неявное внимание необходима для многих задач принятия решений и рассуждений. В этой работе отслеживание взгляда использовалось для захвата экспертных знаний инспекторов о конструкции и того, как они выполняют общую оценку фасадной конструкции. Это исследование проанализировало метрики отслеживания взгляда на основе фиксаций и посещений, чтобы понять различные паттерны взгляда инспекторов и то, как они смотрят на конструкцию во время инспекции. Мы экспериментировали на двух разных фасадах, чтобы оценить любые различия или сходства в паттерне общего наблюдения для обнаружения повреждений. Исследование проводилось с 10 участниками со справедливым распределением по полу и опыту. Два фасада зданий имели разные типологии повреждений и располагались в кампусе University Park.

Перспективы применения в автономных системах

Наиболее важными метриками для анализа движений глаз являются фиксации и посещения и то, как они коррелируют с их саккадическими действиями. Метрики, основанные на фиксации, такие как продолжительность фиксации и количество фиксаций, и посещении, такие как продолжительность посещения и количество посещений, обсуждались и подробно анализировались для обоих примеров. Интересно отметить, что более длительная продолжительность фиксации может как относиться к тщательному и детальному осмотру, так и в то же время может подразумевать, что участники страдали от недостатка внимания. Последствия этого для обучения БПЛА и наземных беспилотных аппаратов необходимо further изучать в будущих исследовательских работах.

Будущие исследования расширят эту работу, включив полевых инспекторов и практиков, чтобы зафиксировать их экспертные знания для оценки зданий и диагностики повреждений. Кроме того, мы будем использовать предварительные данные из этого исследования для разработки метода планирования траектории для быстрой и эффективной локализации повреждений для беспилотных систем. Чтобы интегрировать эту работу с современной инспекцией на основе дронов, мы создадим метрику salientности и метрику качества, которые будут использоваться для понимания того, какой тип повреждения важен и критичен с структурной точки зрения, и собранные данные достаточно хороши, чтобы на них можно было положиться при будущих оценках. Кроме того, механизм внимания также поможет информировать о лучшем принятии решений в сочетании с данными о движениях глаз.