MCDINet: новый фреймворк для обнаружения взаимодействия человек-объект с учётом контекста, оклюзий и открытой генерализации

Аннотация

Понимание того, как люди взаимодействуют с объектами в сложных визуальных сценах, лежит в основе антропоцентрического искусственного интеллекта. Тем не менее современные фреймворки обнаружения взаимодействия человек — объект (Human-Object Interaction, HOI Detection) часто дают сбои при визуальных оклюзиях, нечёткой семантике взаимодействий и сценариях, выходящих за пределы предопределённых категорий. Мы представляем MultiView ContextAware Disentangled Interaction Network (MCDInet) — унифицированный фреймворк для надёжного обнаружения HOI в сложных условиях открытого мира (open-world). Наш подход интегрирует новый механизм MultiView Context Fusion (MVCF), который синтезирует детальные пространственные подсказки и общую семантическую информацию на уровнях экземпляра, взаимодействия и глобального изображения. Чтобы разделить обучение локализации объектов и семантики взаимодействий, мы вводим Disentangled Interaction Decoder (DID), обеспечивающий более чёткие специфичные для задачи представления. В дополнение к этому модуль Bilateral Knowledge Adaptation (BKA) соединяет высокорезолюционные пространственные признаки от визуального бэкбона с абстрактной семантикой от предобученной модели зрения и языка (Vision-Language Model, VLM). Для преодоления сложности оклюзийных взаимодействий мы проектируем модуль Occlusion-Robust Enhancement (ORE), который экстраполирует отсутствующие области и извлекает контекстуальные подсказки для восстановления доказательств взаимодействий. Наконец, MCDINet использует мультимодальные подсказки, включающие текстовые шаблоны и визуальные примеры, чтобы расширить возможности обнаружения на невидимые тройки HOI. Обширные оценки на наборах HICO-DET, VCOCO и HICOAmbiguous подтверждают превосходство нашего подхода, достигая нового современного результата mAP (mean Average Precision, средняя средняя точность) 40,7 % и демонстрируя значительную устойчивость в сценариях с оклюзиями и при нулевой генерализации (zero-shot). MCDINet представляет собой мощный шаг к обобщаемому, учитывающему контекст обнаружению взаимодействий человек — объект в реальных визуальных средах.

Введение

Обнаружение взаимодействия человек — объект (HOI detection) является краеугольным камнем понимания антропоцентрических сцен и направлено на предсказание троек в формате «человек — действие — объект». Эта задача требует от моделей не только локализовать людей и объекты на изображении, но и понимать и идентифицировать взаимодействия между ними. Применения обнаружения HOI охватывают широкий спектр областей, включая робототехнику, автономные системы, распознавание активности и интеллектуальное видеонаблюдение. Дополнительное потенциальное применение заключается в судебной и расследовательской анализе видео, где обнаружение HOI может помочь идентифицировать фрагменты, содержащие взаимодействия, такие как перенос, удержание, скрытие или использование определённых объектов. Такие прогнозы могут помочь приоритезировать соответствующие кадры для проверки человеком; однако автоматически обнаруженное отношение человек — объект следует понимать как техническое наблюдение, а не как определение уголовной ответственности или вины.

Однако несмотря на выдающиеся достижения последних лет, обнаружение HOIcontinues to face significant challenges in real-world settings. Одним из наиболее стойких вызовов является визуальная оклюзия (occlusion). В реальных сценариях люди и объекты часто частично или полностью заclosed, особенно в загруженных средах. Например, человек, сидящий внутри автомобиля, может быть скрыт тонированными окнами, или пара человек — объект может быть закрыта другими людьми или элементами окружения. В таких случаях существующие модели испытывают трудности с выводом взаимодействий из-за отсутствия критических визуальных подсказок, что приводит к неточным предсказаниям. Более того, двусмысленность взаимодействий на изображениях ещё больше усложняет задачу. Например, взаимодействие «сидеть» может происходить на стуле, кровати или даже скамейке, и различение этих случаев требует контекстуального понимания окружающей сцены. Традиционные методы часто слишком сильно полагаются на изолированные признаки на уровне экземпляра, не используя более широкую контекстуальную информацию, что делает их не готовыми к разрешению таких двусмысленностей.

Другой ограничение заключается в запутывании задач (task entanglement) в процессе обнаружения HOI. Многие существующие фреймворки объединяют обнаружение человек — объект и классификацию взаимодействия в один процесс, что приводит к перекрывающемуся и неэффективному обучению признаков. Обнаружение объектов обычно подчёркивает точную локализацию и оценку границ, тогда как классификация взаимодействия требует более высокого уровня семантического понимания и отношений. Это запутывание задач вносит шум в процесс обучения, не позволяя моделям эффективно различать признаки уровня обнаружения и признаки уровня взаимодействия. В результате общая производительность существующих моделей ограничивается неоптимальными представлениями признаков.

В дополнение к этим вызовам современные методы обнаружения HOI сталкиваются с существенными трудностями при генерализации на сценарии открытого мира (open-world scenarios). Большинство моделей обучаются на закрытых наборах данных (closed-set benchmarks) с фиксированным набором категорий объектов и взаимодействий. В consequence, когда они подвергаются воздействию невидимых объектов или новых типов взаимодействий, эти модели не могут эффективно адаптироваться. Недавние прорывы в моделях зрения и языка (VLMs), таких как CLIP, продемонстрировали сильные возможности генерализации при нулевом количестве примеров (zero-shot) за счёт обучения на огромных объёмах визуальных и текстовых данных. Однако эти модели часто не имеют возможности захватывать детальную пространственную информацию, которая необходима для распознавания сложных взаимодействий в задачах HOI. Без комбинации высокоуровневой семантики с детальными визуальными признаками обнаружение невидимых взаимодействий остаётся неполным.

Чтобы устранить эти критические ограничения, мы предлагаем новый фреймворк под названием MCDINet. В его основе MCDINet переопределяет то, как модели обнаружения HOI воспринимают и обрабатывают контекстную информацию, разделяют ответственность задач и generalize к сценариям открытого мира. Конкретно, мы вводим механизм MultiView Context Fusion (MVCF), который интегрирует признаки с трёх уровней: уровень экземпляра, уровень взаимодействия и уровень изображения. Это всестороннее слияние позволяет модели разрешать двусмысленности взаимодействий, захватывая пространственные отношения и контекстуальные подсказки в нескольких масштабах. Кроме того, мы решаем проблему запутывания задач, явно разделяя процессы обнаружения и классификации взаимодействия. Наш Disentangled Interaction Decoder (DID)employs отдельные запросы для обнаружения людей, обнаружения объектов и предсказания взаимодействий, обеспечивая ясность задачи, сохраняя при этом семантическое выравнивание через новый механизм коммуникации. Чтобы повысить устойчивость к оклюзиям, мы проектируем модуль Occlusion-Robust Enhancement (ORE), который восстанавливает отсутствующие пространственные детали с помощью стратегии экстраполяции закрытых частей (Occluded Part Extrapolation), позволяя модели выводить взаимодействия даже тогда, когда критическая визуальная информация блокирована. Кроме того, MCDINet использует возможности генерализации мультимодальных подсказок, комбинируя текстовые шаблоны с визуальными примерами для обнаружения невидимых взаимодействий в сценариях открытого мира. Текстовые подсказки предоставляют семантические описания троек HOI, а визуальные подсказки действуют как примеры конкретных взаимодействий, enabling модель выравнивать визуальные признаки с более широким семантическим пространством. Этот двойной подход значительно повышает способность модели адаптироваться к новым сценариям.

Связанные работы

Обнаружение HOI — это сложная задача, направленная на идентификацию людей и объектов на изображениях и предсказание взаимодействий между ними, обычно представляемых в виде троек. Ранние подходы к обнаружению HOI шире всего делятся на двухэтапные и односторонние методы. Двухэтапные методы разделяют процесс обнаружения на два последовательных шага: обнаружение объектов, за которым следует классификация взаимодействия. Модели, такие как InteractNet и iCAN, полагаются на готовые детекторы объектов для локализации экземпляров человек — объект до рассуждений о взаимодействиях. Хотя эта стратегия позволяет использовать мощные детекторы объектов, она вводит несколько неэффективностей, таких как распространение ошибок между этапами, избыточные вычисления и ограниченное контекстуальное рассуждение.

Недавние достижения, такие как PMFNet и CHGNet, включают дополнительные признаки, такие как информация о позе, внимание взгляда и моделирование намерений человека, чтобы улучшить классификацию взаимодействий. Однако эти методы остаются сильно зависимыми от производительности обнаружения и struggles в сценариях с оклюзиями или двусмысленными взаимодействиями. В отличие от них, односторонние методы стремятся выполнять обнаружение объектов и классификацию взаимодействия совместно в сквозном режиме. Трансформерные подходы, такие как HOTR и QPIC, используют архитектуру DETR (DEtection TRansformer) для унификации конвейера обнаружения HOI, устраняя необходимость в этапах постобработки, таких как подавление немаксимумов (Non-Maximum Suppression, NMS). Хотя односторонние методы улучшают эффективность и достигают соревновательной производительности, они часто страдают от запутывания задач: один запрос используется как для обнаружения, так и для классификации взаимодействия, что приводит к низкому качеству обучения представлений для каждой задачи.

Недавно методы, такие как CDN, пытались частично разделить обнаружение и взаимодействие, вводя каскадные декодеры. Однако эти стратегии остаются неоптимальными, поскольку они не полностью разделяют две задачи. В отличие от существующих методов, наша работа предлагает Disentangled Interaction Decoder (DID), который явно отделяет запросы человека, объекта и взаимодействия. Это разделение улучшает ясность представлений для каждой задачи, сохраняя при этом семантическую последовательность через слой семантической коммуникации.

Моделирование контекстуальной информации играет ключевую роль в обнаружении HOI, особенно для разрешения двусмысленностей и повышения устойчивости при оклюзиях. Традиционные методы фокусируются на признаках на уровне экземпляра, где регионы человека и объекта рассматриваются как изолированные сущности. Например, методы, такие как VSGNet и DRG, моделируют взаимодействие через рассуждения на основе графов, где люди и объекты представляются узлами, а их отношения выводятся с помощью рёбер. Однако эти подходы не удаётся захватить более широкий контекст сцены, который часто критически важен для понимания двусмысленных взаимодействий. Недавние методы, такие как ContextHOI и BCOM, начали включать пространственную и семантическую информацию для улучшения производительности. ContextHOI вводит двухветвевую архитектуру для извлечения глобальных пространственных признаков, смягчая при этом нерелевантный шум фона. Аналогично, BCOM использует Оcluded Part Extrapolation (OPE) для вывода недостающей информации в сценариях с оклюзиями. Хотя эти модели демонстрируют улучшения в конкретных случаях, они часто не удаётся агрегировать контекст нескольких представлений (multiview context), комбинируя признаки на уровне экземпляра, уровня взаимодействия и глобального уровня изображения для всестороннего понимания сцены. Наша работа устраняет этот пробел через модуль MultiView Context Fusion (MVCF), который захватывает контекст на нескольких уровнях. Интегрируя экземпляры, регионы взаимодействия и глобальные признаки, наш фреймворк достигает более богатого и более целостного понимания взаимодействий человек — объект.

Предлагаемый метод MCDINet

Предлагаемый MCDINet устраняет ограничения текущих фреймворков обнаружения HOI, такие как недостаточное контекстуальное рассуждение, запутывание задач и плохая генерализация при оклюзиях или невидимых взаимодействиях. MCDINet представляет собой унифицированный подход, который интегрирует слияние контекста нескольких представлений, разделение задач и надёжную генерализацию в одной архитектуре. MCDINet捕ляет рассуждения о взаимодействии,融合ная признаки на уровне экземпляра, регионы взаимодействия и глобальный контекст изображения. Этот контекст нескольких представлений обеспечивает более богатое понимание пространственной и семантической информации, разрешая двусмысленности, такие как различие «сидеть на стуле» от «сидеть на скамейке». В отличие от традиционных моделей, MCDINet явно разделяет обнаружение и классификацию взаимодействия с помощью Disentangled Interaction Decoder. Модель улучшает ясность признаков и снижает шум, обрабатывая запросы человека, объекта и взаимодействия независимо, сохраняя при этом консистентность через слой семантической коммуникации. Чтобы выровнять пространственную точность с семантическим пониманием, MCDINet включает Bilateral Knowledge Adaptation, комбинируя детальные признаки от детекционного бэкбона с высокоуровневыми семантическими вложениями от моделей зрения и языка. Это выравнивание устраняет разрыв между пространственными и семантическими представлениями, улучшая способность модели рассуждать о взаимодействиях. Для устойчивости к оклюзиям MCDINet вводит модуль Occlusion-Robust Enhancement, который симулирует оклюзии во время обучения и применяет экстраполяцию закрытых частей и контекстный поиск для восстановления отсутствующих пространственных деталей. Эта двойная стратегия позволяет модели выводить взаимодействия эффективно несмотря на визуальные препятствия. Наконец, MCDINet обеспечивает генерализацию в сценариях открытого мира с помощью мультимодальных подсказок. Модель поддерживает распознавание при нулевом количестве примеров невидимых взаимодействий, используя текстовые шаблоны и визуальные примеры._FRAMEWORK класса контрастивного обучения выравнивает эти подсказки с изученными признаками HOI, enabling обнаружение новых взаимодействий за пределами предопределённых категорий. MCDINet достигает надёжного, учитывающего контекст и обобщаемого обнаружения HOI, устраняя критические вызовы текущих фреймворков.

Мультипредставляющее слияние контекста (MVCF)

Обнаружение HOI зависит от понимания отношений между людьми и объектами, где контекст играет жизненно важную роль в разрешении визуальных двусмысленностей. Хотя признаки на уровне экземпляра, такие как ограничивающие рамки, захватывают локализованные детали, такие как поза и текстура, они часто не могут различать визуально схожие взаимодействия. Например, действие «сидеть» на стуле может выглядеть идентично «сидеть» на скамейке, но контекстуальные подсказки, такие как окружающая среда, помогают различать, происходит ли сцена в офисе или в парке.

Для устранения этих ограничений мы вводим модуль MVCF, который агрегирует информацию в трёх дополнительных представлениях: контекст экземпляра, взаимодействия и глобального изображения. Уровень экземпляра фокусируется на детальных признаках, извлечённых из регионов интереса (Regions of Interest, RoI), захватывая детали, специфичные для регионов человека и объектов. Однако reliance solely на этих изолированных признаках может привести к двусмысленности, когда визуальные различия минимальны, а пространственные отношения остаются неясными.

Чтобы преодолеть это, уровень взаимодействия вводит парное рассуждение, анализируя пространственное объединение ограничивающих рамок человек — объект. Захватывая относительные позиции, перекрытия и визуальные отношения, модель может выводить конкретные взаимодействия, такие как идентификация «удерживания телефона» на основе близости руки к телефону. Хотя локализованные отношения критичны, более широкий контекст сцены так же важен для разрешения визуально схожих взаимодействий. Глобальный уровень адресует эту потребность, обрабатывая всё изображение для извлечения высокоуровневых признаков, таких как элементы фона и подсказки окружающей среды. Например, различение «сидеть на стуле» от «сидеть на скамейке» часто зависит от глобальных индикаторов, таких как наличие столов, деревьев, других объектов, специфичных для сцены. Эти три контекстных представления — экземпляр, взаимодействие и глобальный — объединяются через механизм многоуровневого внимания, который динамически регулирует фокус на основе конкретного взаимодействия.

Признаки уровня экземпляра, региона объединения и глобального контекста каждый исследовались в предыдущих работах по обнаружению HOI, и вклад MVCF заключается не в введении этих источников контекста, а в их адаптивной интеграции в соответствии с характеристиками конкретного взаимодействия. Вместо простого конкатенирования трёх представлений или взвешивания их по фиксированному графику, MVCF изучает веса внимания, зависящие от взаимодействия, над представлениями экземпляра, региона объединения и глобального контекста, так что вклад каждого варьируется от одной пары человек — объект к следующей. Где взаимодействие имеет distinctive локальный вид, слияние может опираться на информацию на уровне экземпляра. Где оно визуально двусмысленно или частично перекрыто, вес смещается в сторону региона объединения или более широкой сцены. MVCFthus balances детальный внешний вид, парные пространственные отношения и семантику уровня сцены динамически, а не рассматривает все источники контекста как одинаково информативные на протяжении всего времени. Второй аспект касается связанности MVCF с Disentangled Interaction Decoder. Объединённое представление не служит просто вспомогательным признаком для классификации взаимодействия, оно suministрует контекст каждой из ветвей запросов человека, объекта и взаимодействия DID. Два модуля работают вместе, MVCF устанавливает, какие контекстуальные доказательства наиболее информативны, а DID рассуждает над ними в специфичном для задачи порядке. Именно эта связь, а не использование нескольких контекстных представлений само по себе, отделяет MCDINet от методов, которые опираются на признаки экземпляра, региона объединения и глобальные признаки независимо или сливают их статически. Вместо того чтобы рассматривать все представления одинаково, механизм подчёркивает наиболее важные подсказки. Когда визуальные признаки чёткие, например «езда на лошади», механизм внимания может приоритизировать детали на уровне экземпляра. Однако в случаях двусмысленности модель смещает свой фокус в сторону признаков уровня взаимодействия или глобальных признаков для разрешения неопределённости. Динамически взвешивая эти уровни, модуль MVCF позволяет всестороннему пониманию взаимодействий, повышая надёжность и точность обнаружения HOI.

Признаки F_i, F_u и F_g представляют признаки, извлечённые с уровня экземпляра, уровня взаимодействия и глобального уровня изображения соответственно. Механизм многоуровневого внимания вычисляет взвешенную комбинацию этих признаков следующим образом: $$ F_{mvcf} = lpha_{i} F_{i} + lpha_{u} F_{u} + lpha_{g} F_{g} $$ где lpha_i, lpha_u и lpha_g — это веса внимания для признаков уровня экземпляра, взаимодействия и глобального уровня соответственно. Эти веса изучаются через механизм мягкого внимания, который учитывает визуальные и реляционные свойства входных признаков. Полученный объединённый признак F_{mvcf} затем передаётся в Disentangled Interaction Decoder для дальнейшей обработки. Интегрируя признаки в нескольких представлениях, модуль MVCF устраняет ограничения существующих моделей, которые полагаются на изолированные или слишком локализованные подсказки. Он предоставляет модели более богатое и более целостное понимание сцены, позволяя ей рассуждать о взаимодействиях таким образом, чтобы балансировать детальные подробности с более широкой контекстуальной информацией. Эта способность особенно полезна в сценариях, где отношения человек — объект двусмысленны, тонки, визуально перекрыты.

Разделённый декодировщик взаимодействия (DID)

Точное обнаружение HOI требует локализации сущностей человек и объект и классификации их семантических отношений. Существующие методы часто запутывают обнаружение и классификацию взаимодействия в одном представлении, что вводит помехи в обучение признаков. Визуальные признаки для обнаружения фокусируются на точной локализации и пространственных деталях, в то время как классификация взаимодействия полагается на высокоуровневое семантическое рассуждение и контекст. Это отсутствие специфичного для задачи разделения приводит к шумным представлениям и неоптимальной производительности. Чтобы преодолеть это, мы предлагаем DID, который явно разделяет обнаружение человек — объект и классификацию взаимодействия. DID вводит три независимых набора специфичных для задачи запросов: запросы человека, объекта и взаимодействия. Каждый запрос оптимизирован для фокуса на своей respective подзадаче, обеспечивая чёткое и distinto обучение признаков. Запросы человека локализуют и идентифицируют регионы людей, фокусируясь на детальных пространственных признаках регионов интереса (RoI) человека, исключая нерелевантную информацию фона. Одновременно запросы объектов обнаруживают и идентифицируют объекты, изолируя признаки, центрированные на объекте, устраняя интерференцию от представлений, центрированных на человеке. Хотя запросы человека и объекта обрабатывают обнаружение независимо, запросы взаимодействия фокусируются на классификации отношений между обнаруженными парами человек — объект. Используя признаки от предыдущих шагов декодирования и многоуровневые контекстные входы, запросы взаимодействия анализируют реляционную информацию, такую как относительное позиционирование, для предсказания действий, таких как «удерживание», «сидение» или «стояние на». Чтобы поддерживать семантическую консистентность между задачами, DID включает слой семантической коммуникации, который облегчает обмен информацией между запросами человека, объекта и взаимодействия. Разделяя обнаружение и рассуждения о взаимодействии, сохраняя при этом кросс-задачное выравнивание, DID значительно улучшает ясность признаков и общее качество предсказаний HOI.

Вызовы обеспечения консистентности между предсказаниями человека, объекта и взаимодействия решаются через слой семантической коммуникации. Этот слой облегчает обмен информацией между тремя типами запросов, обеспечивая, чтобы предсказания оставались семантически выровненными. Например, если запрос человека предсказывает наличие человека в определённом регионе, слой семантической коммуникации позволяет запросам объекта и взаимодействия скорректировать свой фокус соответственно. Эта координация гарантирует, что предсказанные взаимодействия консистентны с обнаруженными людьми и объектами, тем самым снижая ошибки, возникающие из-за невыровненных предсказаний. Запросы человека, объекта и взаимодействия Q_h, Q_o и Q_r соответственно. Декодер вычисляет обновлённые признаки запросов как: $$ Q_{h}{rime} = Attentioneft( {Q_{h} ,F_{mvcf} } ight) $$ $$ Q_{o}{rime} = Attentioneft( {Q_{o} ,F_{mvcf} } ight) $$ $$ Q_{r}{rime} = Attentioneft( {Q_{r} ,F_{mvcf} } ight) $$ здесь механизм внимания позволяет каждому типу запроса посещать релевантные признаки из объединённого многоуровневого представления F_{mvcf}. Обновлённые признаки человека и объекта Q_{h}{rime} и Q_{o}{rime} затем подаются в слой семантической коммуникации для руководства запросами взаимодействия Q_{r}{rime}. Итоговые предсказания HOI получаются следующим образом: $$ P_{h} = Decodeeft( {Q_{h}{rime} } ight) $$ $$ P_{o} = Decodeeft( {Q_{o}{rime} } ight) $$ $$ P_{i} = Decodeeft( {Q_{r}{rime} } ight) $$ где P_{h}, P_{o} и P_{i} обозначают предсказания для ограничивающих рамок людей, ограничивающих рамок объектов и классов взаимодействия соответственно. Разделение этих запросов гарантирует, что каждая задача оптимизируется независимо, сохраняя при этом выравнивание через слой коммуникации. Предлагаемый DID вводит несколько преимуществ по сравнению с существующими методами. Во-первых, разделяя обучение задач обнаружения и классификации взаимодействия, DID снижает интерференцию признаков и обеспечивает более чистые, специфичные для задачи представления. Во-вторых, слой семантической коммуникации позволяет модели поддерживать выравнивание между предсказаниями человека, объекта и взаимодействия, устраняя общую проблему существующих методов, где возникают несоответствия. В-третьих, включая многоуровневые признаки из модуля MVCF, DID использует как локализованную, так и глобальную контекстуальную информацию для улучшения надёжности и точности классификации взаимодействий.

Двусторонняя адаптация знаний (BKA)

Обнаружение HOI требует сочетания точных пространственных деталей для локализации с высокоуровневой семантикой для классификации сложных взаимодействий. Существующие методы часто полагаются исключительно на детальные пространственные признаки, извлечённые из визуального бэкбона, которые эффективны для локализации, но не улавливают более широкие семантические отношения, необходимые для понимания взаимодействий в сценариях открытого мира. С другой стороны, VLMs, такие как CLIP, превосходят в генерализации за счёт выравнивания визуальных и текстовых знаний, но в первую очередь фокусируются на глобальной семантике, пренебрегая более детальными пространственными деталями, которые критически важны для рассуждений о HOI. Чтобы устранить этот разрыв, мы вводим модуль BKA, который интегрирует детальные пространственные признаки от сетевого бэкбона с высокоуровневыми семантическими признаками от предобученной модели зрения и языка. Комбинируя эти два дополнительных источника знаний, BKA обогащает представление взаимодействий человек — объект, повышая и пространственную точность, и семантическое рассуждение. BKA достигает этого через два ключевых компонента: адаптер пространства, который обрабатывает локализованные визуальные подсказки, и семантический адаптер, который выравнивает глобальную семантику. Эти параллельные пути гарантируют, что итоговые признаки взаимодействия включают пространственную и семантическую информацию, что ведёт к более надёжному и учитывающему контекст обнаружению HOI.

Адаптер пространства разработан для извлечения детальных пространственных признаков из бэкбона, который предоставляет мультимасштабные карты признаков, полученные из входного изображения. Эти признаки содержат точную информацию о пространственном расположении, границах и текстурах регионов людей и объектов. Адаптер пространства обрабатывает эти карты признаков через легкий энкодер на основе трансформера, который улучшает их репрезентативную мощность. Конкретно, энкодер уточняет пространственные признаки, чтобы фокусироваться на регионах, релевантных для обнаружения HOI, отфильтровывая нерелевантный шум фона. Признаки F_s представляют детальные признаки, извлечённые из бэкбона. Адаптер пространства применяет механизм самоо внимания для уточнения этих признаков: $$ F_{s}{rime} = SelfAttentioneft( {F_{s} } ight) $$ здесь механизм самоо внимания позволяет модели захватывать долгосрочные зависимости и подчёркивать пространственные отношения между регионами людей и объектов. Полученный F_{s}{rime} служит обогащённым представлением пространственных признаков, захватывая детальные визуальные подробности, критические для точной локализации и рассуждений о взаимодействии. В параллель, семантический адаптер использует высокоуровневые семантические представления от предобученной модели зрения и языка. VLMs обучаются на огромных наборах данных пар визуальной и текстовой информации, позволяя им кодировать обобщаемую семантику по разнообразным категориям. Однако эти глобальные признаки часто не имеют пространственной гранулярности, необходимой для обнаружения HOI. Семантический адаптер устраняет это ограничение, выравнивая признаки, полученные от VLM, с пространственными представлениями, извлечёнными из бэкбона. Процесс начинается с извлечения семантических вложений F_{sem} от VLM. Эти вложения捕ливают информацию на уровне категории и уровня взаимодействия о отношениях между людьми и объектами в глобальном контексте. Чтобы выровнять семантику с визуальными признаками, семантический адаптер применяет механизм кросс-внимания, который проецирует семантические вложения на пространственное пространство признаков. Операция кросс-внимания определена как: $$ F_{sem}{rime} = CrossAttentioneft( {F_{sem} ,F_{s}{rime} } ight) $$ здесь механизм кросс-внимания использует уточнённые пространственные признаки F_{s}{rime} как ключи и значения, в то время как семантические вложения F_{sem} действуют как запросы. Эта операция позволяет семантическому адаптеру подсвечивать семантическую информацию, которая пространственно выровнена с парами человек — объект, гарантируя, что глобальная семантика дополняет пространственные детали. Выход F_{sem}{rime} представляет выровненные семантические признаки, обогащённые детальным пространственным контекстом. Пространственные и семантические признаки, полученные из двух адаптеров, затем сливаются для形成 единого представления взаимодействия. Процесс слияния комбинирует детальные пространственные подсказки из бэкбона с высокоуровневой семантикой из VLM, гарантируя, что оба источника знаний вносят вклад в итоговые предсказания HOI. Операция слияния выполняется как взвешенная сумма двух наборов признаков: $$ F_{BKA} = eta F_{s}{rime} + eft( {1 eta } ight)F_{sem}{rime} $$ где eta — это обучаемый параметр, который динамически регулирует вклад пространственных и семантических признаков на основе их релевантности для текущего взаимодействия. Полученный F_{BKA} служит обогащённым двусторонним представлением, комбинирующим пространственную точность с глобальной семантикой для надёжного обнаружения HOI.

Повышение устойчивости к оклюзиям (ORE)

Для восстановления отсутствующей пространственной информации, вызванной оклюзиями, мы вводим механизм Occluded Part Extrapolation (OPE). OPE восстанавливает замаскированные или неполные признаки, используя окружающую контекстуальную информацию в карте признаков. Вдохновлённые методами инкарпинга (inpainting), OPE учится предсказывать закрытые регионы на основе видимых подсказок, гарантируя, что модель сохраняет полное и связное представление пары человек — объект. Процесс экстраполяции реализуется с помощью лёгкого модуля на основе трансформера, который посещает окружающие видимые признаки и предсказывает недостающие части. F_m обозначает замаскированную карту признаков, а F_c представляет видимые окружающие признаки. Модуль OPE восстанавливает закрытые регионы F_R следующим образом: $$ F_{R} = Attentioneft( {F_{m} ,F_{c} } ight) $$ здесь механизм внимания динамически фокусируется на наиболее информативных регионах в видимом контексте для предсказания недостающих деталей. Это позволяет модели восстанавливать закрытые признаки, сохраняя пространственную связность и структурную целостность исходной карты признаков. Восстановленные признаки F_R затем комбинируются с исходными замаскированными признаками для производства最終го представления, устойчивого к оклюзиям: $$ F_{final} = F_{m} + F_{c} $$ Интегрируя восстановленные признаки, OPE смягчает неблагоприятные последствия оклюзий и гарантирует, что модель сохраняет достаточно визуальной информации для последующего рассуждения о взаимодействии.

Хотя OPE фокусируется на восстановлении отсутствующих пространственных деталей, оклюзии часто требуют от модели полагаться на дополнительные контекстуальные подсказки для точного вывода взаимодействий. Для этой цели мы вводим механизм Conditional Contextual Mining (CCM), который идентифицирует и извлекает наиболее информативные контекстуальные признаки из более широкой сцены. CCM работает, анализируя отношения между закрытыми регионами и их surrounds, динамически извлекая подсказки, которые наиболее релевантны для взаимодействия. Например, если человек, держащий телефон, частично перекрыт, CCM может идентифицировать пространственную позицию телефона или другие видимые части тела как ключевые контекстуальные подсказки. Модуль CCM реализуется с помощью механизма условного кросс-внимания, которое кондиционирует процесс контекстного поиска на восстановленных признаках F_R. Когда F_c обозначают глобальный контекст, признаки, извлечённые из изображения. Условная операция кросс-внимания формулируется как: $$ F_{ccm} = CrossAttentioneft( {F_{R} ,F_{c} } ight) $$ здесь механизм кросс-внимания гарантирует, что контекстуальные признаки F_{ccm} выборочно извлекаются на основе их релевантности для закрытых регионов. Фокусируясь на наиболее информативных подсказках, CCM позволяет модели выводить взаимодействия даже тогда, когда критическая визуальная информация отсутствует. Выходы механизмов Occluded Part Extrapolation и Conditional Contextual Mining комбинируются для形成最終го представления, устойчивого к оклюзиям. Эта интеграция гарантирует, что модель выигрывает от как пространственного восстановления, так и контекстного рассуждения. Итоговое представление F_{ore} выражается как: $$ F_{ore} = F_{final} + F_{ccm} $$ Это обогащённое представление передаётся в DID, где оно используется для предсказаний человека, объекта и взаимодействия. Восстанавливая закрытые пространственные детали и используя контекстуальные подсказки, модуль ORE значительно улучшает способность модели обнаруживать взаимодействия в сложных сценариях с оклюзиями.

Открытая генерализация с помощью мультимодальных подсказок

Традиционные модели обнаружения HOI ограничены своей зависимостью от закрытых наборов данных (closed-set benchmarks), где предопределённые категории взаимодействий и объектов ограничивают генерализацию на невидимые сценарии. Эти модели, обученные на фиксированных наборах данных, не могут адаптироваться к новым взаимодействиям или объектам из-за своей зависимости от обучения с учителем. Например, хотя «удержание телефона» может существовать в обучающих данных, модель struggles с выводом подобных невидимых взаимодействий, таких как «удержание планшета», несмотря на их концептуальное сходство. Чтобы устранить это ограничение, мы предлагаем стратегию Open-World Generalization в MCDINet с использованием MultiModal Prompts. Интегрируя текстовую и визуальную информацию, наш подход позволяет модели обнаруживать невидимые тройки HOI с минимальным надзором. Текстовые подсказки предоставляют естественные языковые описания взаимодействий, кодируя семантические отношения, в то время как визуальные примеры закрепляют представления новых объектов и взаимодействий. Например, понимание «удержание телефона» позволяет модели обобщить на «удержание планшета» путём признания семантической связи между «телефоном» и «планшетом». Этот унифицированный фреймворк устраняет разрыв между визуальными признаками и семантическими знаниями открытого мира, позволяя MCDINet эффективно рассуждать о невидимых взаимодействиях и достигать надёжной генерализации.

Для создания текстовых подсказок мы генерируем синтаксические шаблоны, которые описывают взаимодействия в структурированном виде. Каждая подсказка следует за последовательным форматом, таким как: $$ A person eft[ {action} ight] a eft[ {object} ight] $$ где [action] представляет взаимодействие, а [object] обозначает категорию объекта. Эти шаблоны заполняются категориями объектов и взаимодействий из предобученных языковых моделей и существующих баз знаний, обеспечивая покрытие как видимых, так и невидимых категорий. Текстовые подсказки кодируются с помощью текстового энкодера предобученной модели зрения и языка (VLM), такой как CLIP. T_p представляют текстовые вложения подсказок. Эти вложения затем выравниваются с визуальными признаками, извлечёнными из изображения, позволяя модели ассоциировать невидимые текстовые описания с соответствующими визуальными паттернами. Хотя текстовые подсказки捕ливают семантические отношения между невидимыми взаимодействиями и их видимыми аналогами, они могут не различать визуально схожие, но семантически разные сценарии. Например, текстовые описания «удержание телефона» и «удержание пульта» семантически схожи, но могут отличаться визуально тонкими способами. Для устранения этого мы вводим визуальные подсказки, которые служат заземлёнными визуальными примерами для невидимых взаимодействий и объектов. Визуальные подсказки представляются как небольшие регионы изображений или патчи объектов, извлечённые из разнообразных наборов данных или сгенерированные синтетически. Для каждого взаимодействия эти образцы предоставляют визуальные доказательства того, как объект и действие выглядят в реалистичной среде. Например, визуальная подсказка для «удержание пульта» может изображать обрезанное изображение руки, держащей пульт дистанционного управления, предоставляя модели заземлённую информацию о пространственных отношениях и внешнем виде. V_p представляют визуальные вложения подсказок. Эти вложения получаются через тот же визуальный бэкбон, который используется для извлечения признаков в MCDINet. Комбинируя визуальные подсказки с текстовыми подсказками, модель получает дополнительную информацию, гарантируя, что она может обобщить на невидимые категории HOI, сохраняя при этом детальные визуальные различия.

Конкретно, модель обучается минимизировать расстояние между визуальными признаками обнаруженных пар человек — объект и соответствующими мультимодальными подсказками. Учитывая текстовые вложения T_p и визуальные вложения V_p, контрастивная потеря формулируется как: $$ L_{c} = lograc{{expeft( {simeft( {F_{HOI} ,T_{p} } ight)/ au } ight) + expeft( {simeft( {F_{HOI} ,V_{p} } ight)/ au } ight)}}{{athop um olimits_{j} expeft( {simeft( {F_{HOI} ,T_{p} ,j} ight)/ au } ight) + expeft( {simeft( {F_{HOI} ,V_{p} ,j} ight)/ au } ight)}} $$ здесь F_{HOI} представляет визуальные признаки обнаруженной пары человек — объект, sim(dot,dot) — функция сходства, а au — параметр масштабирования температуры. Потеря гарантирует, что визуальные признаки выравниваются близко с правильными текстовыми и визуальными подсказками, оставаясь при этом далёкими от несвязанных подсказок.

Подробности реализации предлагаемых модулей

Для поддержки воспроизводимости мы предоставляем дальнейшие подробности реализации для основных компонентов MCDINet. Все модули оперируют представлениями, извлечёнными из визуального бэкбона на основе DETR, и сохраняют совместимые размерности признаков перед слиянием и декодированием. Мультипредставляющее слияние контекста (MVCF). Для каждой кандидатурной пары человек — объект MVCF собирает три дополнительных представления. Представление на уровне экземпляра берется из признаков, соответствующих обнаруженным регионам человека и объекта; представление на уровне взаимодействия извлекается из региона объединения, охватывающего пару, а глобальное представление объединяется из полной карты признаков изображения, предоставляя контекст уровня сцены. Три из них проецируются в общее пространство признаков перед слиянием, после чего функция взвешивания на основе внимания дает нормализованные коэффициенты для представлений экземпляра, региона объединения и глобального вида. Выход MVCF — это их взвешенная комбинация. Эти коэффициенты оцениваются для каждого взаимодействия, а не фиксируются глобально, что позволяет сети подчёркивать локальные, реляционные или доказательства уровня сцены в зависимости от входных данных. Разделённый декодировщик взаимодействия (DID). DID поддерживает три независимые группы запросов для локализации человека, локализации объекта и классификации взаимодействия. Каждая посещает объединённое представление, произведённое MVCF, и оптимизируется против своей собственной цели: запросы человека сохраняют пространственную информацию, необходимую для локализации; запросы объекта несут информацию о локализации и категории; запросы взаимодействия моделируют реляционную семантику пары. Специфичное для задачи декодирование следует за слоем семантической коммуникации, который обменивается информацией между тремя группами, позволяя запросам взаимодействия опираться на доказательства локализации от ветвей человека и объекта без слияния всех трёх задач в общее представление. Полученные запросы передаются своим respective головам для предсказания ограничивающей рамки человека, предсказания ограничивающей рамки объекта и классификации взаимодействия. Двусторонняя адаптация знаний (BKA). BKA состоит из пространственного и семантического путей адаптации. Пространственный путь берет детальные визуальные признаки из детекционного бэкбона и уточняет их посредством самоо внимания, сохраняя пространственные отношения между регионами людей и объектов. Семантический путь работает параллельно над представлениями из предобученной модели зрения и языка. Кросс-внимание затем соединяет два, при котором семантическое представление как запрос, а уточнённое пространственное представление как ключ и значение, проецируя высокоуровневые семантические знания на пространственно релевантные регионы. Обучаемый параметр взвешивания комбинирует выровненные семантические и уточнённые пространственные представления в один признак, несущий как визуальные детали, чувствительные к локализации, так и семантику уровня взаимодействия. Повышение устойчивости к оклюзиям (ORE). ORE состоит из Occluded Part Extrapolation и Conditional Contextual Mining. Частичное маскирование применяется к выбранным экземплярам человек — объект во время обучения для симуляции неполного наблюдения. OPE получает неполное представление и оценивает отсутствующие признаки из видимого окружающего контекста. CCM берет восстановленное представление как условие и извлекает информативный контекст из более широкого представления изображения посредством кросс-внимания. Два выхода комбинируются в итоговое представление, устойчивое к оклюзиям, которое передаётся в декодирование взаимодействия. ORE thus draws on both local recovery and contextual evidence rather than reconstructing masked regions alone. Мультимодальное выравнивание подсказок. Текстовые подсказки описывают каждую категорию HOI через структурированные выражения «действие — объект», в то время как визуальные подсказки предоставляют дополнительную информацию о внешнем виде для репрезентативных взаимодействий. Обе модальности проецируются в общее пространство с изученными признаками взаимодействия человек — объект, где контрастивная цель из раздела «Открытая генерализация с помощью мультимодальных подсказок» оптимизирует сходство между представлением HOI и соответствующей подсказкой. Совпадающие пары HOI-подсказки приближаются друг к другу, а несвязанные подсказки отдаляются. Механизм позволяет семантическим знаниям от модели зрения и языка дополнять пространственные и контекстуальные представления, произведённые детекционной сетью.

Эксперименты и результаты

MCDINet реализован в PyTorch и обучается на одном GPU NVIDIA A100. Визуальные признаки извлекаются с помощью фреймворка обнаружения на основе DETR с базой ResNet50, инициализированной от весов DETR, предобученных на COCO, и затем сквозно дообученных для обнаружения HOI. Мультимасштабные представления, произведённые базой, передаются в модули MultiView Context Fusion (MVCF), Disentangled Interaction Decoder (DID), Bilateral Knowledge Adaptation (BKA) и Occlusion-Robust Enhancement (ORE). Для обучения представлений зрения и языка мы используем CLIP ViT-B/32. Его текстовый энкодер кодирует семантические описания категорий HOI, а его визуальная ветвь поставляет дополнительную семантическую информацию для конструкции визуальных подсказок. Оба энкодера CLIP остаются замороженными на протяжении обучения HOI — обновляются только слои адаптации пространства и семантики, а остальные компоненты MCDINet оптимизируются на целевых наборах данных.

Текстовые подсказки генерируются из меток HOI с помощью структурированных шаблонов естественного языка. Для каждой пары действие-объект мы инстанцируем шаблон "a person [actioning] a/an [object]", наклоняя глагол в его форму причастия настоящего времени: класс hold–phone становится "a person holding a phone", а ride bicycle становится "a person riding a bicycle". Полученные описания кодируются замороженным текстовым энкодером CLIP и L2-нормируются перед визуально-семантическим выравниванием. Визуальные подсказки конструируются из регионов взаимодействия человек — объект, взятых исключительно из обучающей разделки соответствующегоベンчмарка. Для каждой видимой категории HOI репрезентативные регионы объединения человек — объект обрезаются в соответствии с ground truth ограничивающими рамками и изменяются в размере до входного разрешения, ожидаемого визуальным энкодером. Где доступно несколько образцов, мы выбираем несколько и усредняем их вложения для получения стабильного категориального подсказки.

Сеть инициализируется от детектора DETR, предобученного на COCO, и оптимизируется отдельно на каждом бенчмарке HOI с помощью AdamW. Мы применяем дифференцированные скорости обучения по архитектуре: 1 imes 10^{-4} для визуального бэкбона и 5 imes 10^{-5} для трансформерного декодера и модулей, специфичных для взаимодействия. Обучение продолжается 50 эпох с размером батча 16. Для улучшения устойчивости при частичном наблюдении мы применяем симуляцию оклюзий во время обучения. На каждой итерации 30% экземпляров человек — объект выбираются случайно и частично маскируются, при этом позиция и_extent каждой маски выбираются случайно в пределах соответствующего региона взаимодействия человек — объект. Полученные перекрытые представления проходят через модуль ORE, который, в свою очередь, учится восстанавливать отсутствующие признаки и рассуждать о взаимодействиях на основе surrounds.

Для поддержки качественного и аналитического анализа ошибок, о котором сообщается в дополнительном материале, мы дополнительно собираем HICOAmbiguous — диагностический поднабор, взятый из стандартного тестового разделения HICO-DET. Кандидатские изображения выбирались согласно четырём критериям: категории взаимодействий, визуально схожие друг с другом; взаимодействия, cuya идентичность heavily зависит от пространственной конфигурации человека и объекта; пары человек — объект, которые частично перекрыты; и случаи, которые могут быть разрешены только с использованием контекста уровня сцены. Получившийся поднабор включает 1000 изображений и примерно 2300 аннотаций HOI, которые уже существуют в HICO-DET. Новые обучающие данные не вводятся, и исходные аннотации и словарь взаимодействий остаются неизменными. Мы подчёркиваем, что HICOAmbiguous не предназначен как самостоятельный бенчмарк: он не принимает участия в отборе модели или в главном количественном сравнении, и все principales результаты следуют стандартным протоколам оценки HICO-DET и VCOCO.

Мы оцениваем комбинационную генерализацию, используя разделение невидимых троек (unseen-triplet split) HICO-DET. Из 600 троек HOI в наборе данных 120 (20%) оставляются как невидимые под фиксированным случайным seed 42, оставляя 480 троек как видимый набор. Аннотации для оставленных троек удаляются из целей классификации взаимодействия во время обучения, и zeroshot mAP вычисляется только по этим 120 тройкам во время оценки. То же разделение используется во всех соответствующих экспериментах, и оба списка — видимых и невидимых троек — появляются в Supplementary Table S1, чтобы настройка могла быть воспроизведена точно. Протокол тестирует одну конкретную способность: распознавание новых комбинаций глагола и категории объекта, оба из которых индивидуально наблюдаются во время обучения. Это ничего не говорит о генерализации на глаголы или категории объектов, которые сами по себе невидимы. Все утверждения о zeroshot в этой статье должны интерпретироваться в этом более узком смысле.

Наборы данных

Мы количественно оцениваем MCDINet на двух стандартныхベンчмарк-наборах данных, HICO-DET и VCOCO. Мы дополнительно используем отобранный поднабор тестового раздела HICO-DET, называемый HICOAmbiguous, для дополнительного качественного и диагностического анализа. HICO-DET — широко используемыйベンчмарк для обнаружения HOI, который содержит 47 776 изображений, охватывающих 80 категорий объектов, 117 типов взаимодействий и 600 троек HOI. Он разделён на 38 118 обучающих изображений и 9658 тестовых изображений. Чтобы продемонстрировать способность модели обрабатывать распределения с длинным хвостом (long-tail distributions), мы сообщаем результаты на поднаборах взаимодействий Full, Rare и Non-Rare. VCOCO, полученный из набора данных COCO, состоит из 10 346 изображений, аннотированных с 26 типами взаимодействий. Этот набор данных подчёркивает сценарии с участием нескольких людей и объектов, и производительность оценивается с использованием метрики Average Precision (AP) для троек HOI. Чтобы оценить способность модели разрешать визуально схожие взаимодействия, мы курируем кастомный поднабор HICOAmbiguous из HICO-DET. Этот поднабор фокусируется на сложных случаях, где тонкие пространственные или семантические различия определяют правильное взаимодействие. Кроме того, открытая генерализация MCDINet оценивается на невидимых тройках HOI через разделения zeroshot на HICO-DET, где конкретные тройки HOI исключаются во время обучения для симуляции сценариев новых взаимодействий.

Предлагаемый MCDINet реализован с использованием PyTorch и обучается на одном GPU NVIDIA A100. Трансформер на основе DETR служит сетевой базой для извлечения мультимасштабных карт признаков, в то время как текстовые подсказки кодируются с помощью текстового энкодера CLIP. Визуальные подсказки представляются как обрезанные регионы изображений, обработанные через визуальный бэкбон. Процедура обучения включает предобучение модели на задаче обнаружения объектов с использованием набора данных COCO, за которым следует дообучение на наборах данных обнаружения HOI. Для улучшения устойчивости модуля ORE симуляция оклюзий применяется к 30% случайно выбранных экземпляров во время обучения. Оптимизация выполняется с использованием оптимизатора AdamW со скоростями обучения 1 imes 10^{-4} для бэкбона и 5 imes 10^{-5} для трансформерного декодера. Модель обучается в течение 50 эпох с размером батча 16. Производительность оценивается с использованием метрики mean Average Precision (mAP), которая является стандартной для обнаружения HOI, в то время как zeroshot mAP сообщается для задач генерализации в сценариях открытого мира.

Сравнение с современными методами (state-of-the-art)

Мы сравниваем MCDINet с современными (SOTA) методами на наборах данных HICO-DET, VCOCO и HICOAmbiguous, включая QPIC, CDN, BCOM и MPHOI. Результаты, суммированные в Таблице 3, демонстрируют, что MCDINet достигает значительных улучшений над существующими методами во всех настройках. Как показано в Таблице 3, MCDINet превосходит все предыдущие методы, достигая нового современного результата с mAP 40,7 % на наборе HICO-DET Full и 68,1 % на VCOCO. Улучшения на поднаборе Rare HICO-DET (+ 4,8 %) демонстрируют способность MCDINet эффективно обрабатывать взаимодействия с длинным хвостом, в то время как прибыли на VCOCO подчёркивают его устойчивость в сложных сценариях с множеством человек и объектов. Рис. 5 демонстрирует способность MCDINet обнаруживать разнообразные тройки HOI в различных сценах. Троицы в рисунке подчёркивают способность модели идентифицировать и классифицировать взаимодействия между людьми и объектами.

Для оценки влияния модуля ORE мы проводим эксперименты на синтетических перекрытых данных, созданных путём случайного маскирования частей регионов человек — объект. Таблица 4 представляет результаты, показывая значительное улучшение в настройках с оклюзиями. Результаты подчёркивают эффективность модуля ORE, где MCDINet сохраняет высокую производительность при серьёзных оклюзиях, опережая другие методы с большим отрывом. Мы дополнительно оцениваем способность открытой генерализации MCDINet, используя разделения zeroshot набора данных HICO-DET. Конкретно, 20% троек HOI исключаются из обучающего набора для симуляции невидимых взаимодействий. Таблица 5 сообщает zeroshot mAP, демонстрируя, что MCDINet значительно опережает существующие модели.

Эксперимент с синтетическим маскированием предлагает контролируемую меру того, насколько чувствителен MCDINet к отсутствующим визуальным доказательствам. Таблица 4 сообщает 40,7 mAP без искусственной оклюзии, 38,9 mAP при 30% оклюзии и 34,2 mAP при 50%. Производительность деградирует по мере сокрытия визуальной информации, как ожидалось, но отрыв по сравнению с сравниваемыми базами расширяется, а не сужается, что указывает на то, что предлагаемое рассуждение, учитывающее оклюзию, снижает зависимость модели от полностью видимых регионов человек — объект. Случайное маскирование, тем не менее, не воспроизводит разнообразие оклюзий, встречаемых в естественных сценах. Отсутствующие доказательства на практике возникают из нескольких различных источников. Оклюзия региона человека скрывает части тела, релевантные для взаимодействия (руки, руки, ноги) за другими людьми или объектами. Оклюзия региона объекта оставляет взаимодействующий объект только частично видимым. Оклюзия региона взаимодействия — наиболее сложная из трёх: пространственный регион, который несёт само отношение, может быть скрыт даже когда оба участника остаются видимыми. ORE адресует эти ситуации через два дополнительных механизма. Occluded Part Extrapolation восстанавливает неполные локальные признаки из окружающего видимого контекста. Conditional Contextual Mining извлекает подсказки из более широкой сцены в соответствии с их релевантностью для восстановленного представления человек — объект. Модель поэтому не ограничена восстановлением того, что отсутствует. Она также может опираться на видимые части тела, фрагменты объектов, относительную пространственную конфигурацию и контекст уровня сцены, когда прямое доказательство взаимодействия неполно.

Рисунок 6 иллюстрирует это поведение качественно в сценах с частичной оклюзией, несколькими лицами и перекрывающимися отношениями человек — объект, дополняя контролируемый эксперимент, показывая, что правдоподобные предсказания выживают при неполных доказательствах в естественных условиях. Количественный анализ, тем не менее, опирается на синтетическое маскирование и не должен интерпретироваться как полный отчёт о реальной оклюзии. Бенчмарк, явно аннотированный для оклюзий региона человека, объекта, самого себя и региона взаимодействия, позволил бы более детальное измерение, и мы считаем оценку по типам оклюзий в естественных условиях важным направлением для будущих исследований.

Для оценки того, обобщает ли MCDINet за пределы комбинаций HOI, видимых во время обучения с учителем, мы конструируем настройку оценки zeroshot из HICO-DET. Двадцать процентов троек HOI исключаются из обучения классификации взаимодействия под надзором и считаются невидимыми — остальныеconstitute the seen set. Оставленные взаимодействия появляются только во время оценки, где сообщается zeroshot mean Average Precision по ним. MCDINet достигает 28,7 zeroshot mAP по этому протоколу, против 23,5 для MPHOI, 20,1 для CDN и 18,2 для QPIC. Отрыв предполагает, что комбинирование знаний зрения и языка с выравниванием мультимодальных подсказок улучшает передачу изученных представлений взаимодействий на комбинации, которые никогда не были явно контролируемы. Эксперимент соответствует конкретно настройке невидимых троек, которая является одним из нескольких концептуально различных сценариев zeroshot. В случае невидимой тройки конкретное сочетание человека-действия-объекта отсутствует в обучении, хотя его составляющие глагол и объект каждый наблюдали в других комбинациях. Протокол невидимого глагола сдерживает саму категорию взаимодействия; протокол невидимого объекта сдерживает категорию объекта. Каждый исследует разный уровень комбинационной и семантической генерализации, и успех в одном мало о чём говорит о других. Наши утверждения соответственно ограничены генерализацией в сторону троек. Результаты не должны интерпретироваться как доказательство генерализации на действительно невидимые глаголы или объекты, и оценка в стандартизированных протоколах невидимого объекта, невидимого глагола и невидимой комбинации остаётся важным расширением этой работы. Мультимодальное подсказывание поддерживает оцениваемую настройку, выравнивая изученные представления человек-объект с семантическими текстовыми описаниями и дополнительными визуальными образцами. Это выравнивание побуждает представление взаимодействия сохранять семантическую структуру за пределами явно контролируемых категорий, что в свою очередь способствует распознаванию невидимых комбинаций. Таблица 6 суммирует влияние каждого модуля.

Таблица 6 сообщает о кумулятивном исследованииablation, в котором предлагаемые модули добавляются по одному. Начиная с базовой линии 32,5 % mAP, только MVCF приводит производительность к 35,4 % (+ 2,9), что указывает, что контекст на уровне экземпляра, взаимодействия и изображения несет дополнительную информацию. Добавление DID дает дальнейший прирост до 37,1 % (+ 1,7), а оставшиеся два модуля продолжают тренд, достигая 39,3 % с BKA (+ 2,2) и 40,7 % с ORE (+ 1,4). Каждый компонент поэтому вносит положительный вклад, за общее улучшение в 8,2 пункта над базовой линией. Эти числа, тем не менее, лучше читаются как маржинальные приросты, обусловленные уже присутствующими модулями, а не как независимые оценки того, что каждый компонент вносит сам по себе. Кумулятивный протокол не может отделить автономный эффект модуля от его взаимодействия с предшествующими — модуль, добавленный поздно, может казаться слабым просто потому, что более ранние компоненты уже захватили часть того же сигнала. Исследование leave-one-out, в котором каждый модуль удаляется из полной модели по очереди, говорило бы более прямо о независимых вкладах и зависимостях между модулями. Мы отмечаем это как ограничение настоящего анализа.

Выводы

В этой работе мы ввели MCDINet для обнаружения HOI. Предлагаемый фреймворк решает ключевые вызовы в обнаружении HOI, включая контекстуальную двусмысленность, запутывание задач, устойчивость к оклюзиям и генерализацию в сценариях открытого мира. Вводя инновационные компоненты, такие как MVCF, DID, BKA и ORE, MCDINet достигает всестороннего понимания взаимодействий человек — объект. Модуль MVCF позволяет модели эффективно агрегировать контекстную информацию на уровнях экземпляра, взаимодействия и глобального изображения, гарантируя, что процесс рассуждения руководится как локальными деталями, так и глобальной семантикой. DID разделяет запросы человека, объекта и взаимодействия, устраняя интерференцию признаков, что приводит к более чёткому и фокусированному обучению, специфичному для задачи. Через модуль BKA мы плавно комбинируем детальные пространственные признаки с высокоуровневыми семантическими знаниями от моделей зрения и языка, улучшая способность модели рассуждать о взаимодействиях. Кроме того, модуль ORE улучшает устойчивость при оклюзиях за счёт восстановления отсутствующих пространственных деталей и использования контекстуальных подсказок для компенсации неполной визуальной информации. Для облегчения генерализации в сценариях открытого мира MCDINet включает мультимодальные подсказки, комбинируя текстовые и визуальные примеры для включения обнаружения невидимых взаимодействий. Обширные эксперименты на бенчмарках, включая HICO-DET, VCOCO и курируемый поднабор HICOAmbiguous, демонстрируют, что MCDINet достигает новых современных результатов в нескольких задачах. Особенно модель проявляет высокую устойчивость в сценариях с оклюзиями и демонстрирует впечатляющие возможности генерализации при нулевом количестве примеров для невидимых категорий HOI. Исследования ablation дополнительно подтверждают вклад отдельных компонентов, показывая их дополнительную роль в улучшении общей производительности. MCDINet устанавливает новый стандарт для обнаружения HOI, устраняя ограничения текущих методов и вводя унифицированный фреймворк, способный к многоуровневому рассуждению, разделению задач, надёжной обработке оклюзий и генерализации в сценариях открытого мира. Наша работа прокладывает путь для будущих исследований по улучшению генерализации, развертыванию в реальном времени и интеграции в более широкие системы антропоцентрического визуального понимания.

Доступность данных

Наборы данных, использованные в этом исследовании, являются общедоступнымиベンчмарк-наборами данных. Набор данных HICO-DET (Humans Interacting with Common Objects–Detection) доступен на официальном веб-сайте проекта HICO/HICO-DET, а набор данных VCOCO (Verbs in COCO) и аннотации доступны из его официального репозитория. HICO-DET использовался для стандартных экспериментов по обнаружению HOI, оценки устойчивости к оклюзиям и оценки zeroshot, тогда как VCOCO использовался для дополнительного бенчмарк-оценки. Поднабор оценки HICOAmbiguous, использованный в этом исследовании, был собран авторами из общедоступного набора данных HICO-DET для оценки сложных взаимодействий, включающих контекстуальную или семантическую двусмысленность. Аналогично, разделение zeroshot было получено из HICO-DET путем сдерживания поднабора троек HOI из обучения с надзором, как описано в экспериментальном протоколе. Новые необработанные данные изображений не собирались для этого исследования. Определения полученных поднаборов и информация о разделении, использованные в экспериментах, доступны от автора-корреспондента по разумному запросу.

Литература, финансирование и информация об авторах

Исследование поддерживалось грантом Национального исследовательского фонда Кореи (NRF), финансируемого правительством Кореи (MSIT) (№ RS202400412141). Кроме того, эта статья поддерживалась Конккским университетом в 2026 году. Авторы affiliated с различными кафедрами в Южной Корее и Узбекистане, включая кафедры компьютерной инженерии, программного обеспечения, автоматизации производственных процессов, информационных технологий и прикладной информатики. Авторы внесли вклад в концептуализацию, методологию, программное обеспечение, исследование, написание оригинального черновика, визуализацию, валидацию, формальный анализ и рецензирование. Конкурирующие интересы отсутствуют. Данная статья лицензирована в соответствии с лицензией Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License, которая разрешает любое некоммерческое использование, распространение и воспроизведение в любой среде или формате, при условии указания соответствующих кредитов авторам и источнику, предоставления ссылки на лицензию Creative Commons и указания, если лицензированный материал был изменён.

Ключевые слова

Обнаружение взаимодействия человек-объект, мультипредставляющее обучение, разделённое декодирование запросов, слияние зрения и языка, рассуждение, учитывающее оклюзию, мультимодальное подсказывание.