Улучшение удаления фона в AI без дорогостоящей ручной аннотации

Новое исследование показывает, что ИИ может аккуратно отделять людей от фона в видео без дорогостоящей ручной разметки, повышая качество и стабильность результата

Большинство из нас сталкивались с «вырезанием» из фона с помощью простых фильтров замены или размытия заднего плана в видеочатах. Возможно, мы замечали и ограничения таких систем: они обучены на наиболее частых ситуациях видеоконференций и обычно плохо справляются с чем-то «неожиданным» — или даже с вполне предсказуемыми объектами, например пальцами:

Типичный пример того, как обученная ИИ-система выделения переднего плана отсекает слишком большую часть исходного объекта. Источник

Самое простое решение, которое становится всё популярнее на фоне распространения визуально-языковых моделей (VLM), специально не обученных таким задачам, — дообучить существующую модель на данных, с которыми система, вероятно, столкнётся:

Два крупных, тщательно размеченных набора данных лежат в основе решений из работы 2020 года «Real-Time High-Resolution Background Matting». Источник

Однако такие данные должны размечать люди, что требует определённых расходов и времени. В любом случае результатом становится дорогостоящий узкоспециализированный инструмент с ограниченной обобщающей способностью, который обычно нельзя использовать для более широкого круга задач.

Тем не менее создание таких «целевых» моделей пока остаётся кратчайшим путём к эффективному применению ИИ в разных областях, не только в маттинге изображений и видео — то есть удалении фона и получении масок переднего плана. До сих пор многие предложенные решения на основе обучения без учителя лишь в той или иной степени перекладывали проблему с места на место.

Даже сегодня, несмотря на распространение ИИ-фильтров на платформах вроде Zoom, сама Zoom по-прежнему рекомендует зелёный экран как оптимальное средство удаления фона. Это обременительное и несколько «профессиональное» решение, которое, вероятно, заставило бы многих из нас чувствовать себя неловко.

Вырезать без лишнего

В последнее время растёт интерес к использованию семейства Segment Anything (SAM) для автоматического и точного выделения объектов. Поскольку SAM разрабатывался для помощи в разметке данных, а не для получения чётких контуров на уровне, приемлемом в производстве визуальных эффектов, его стандартные границы сами по себе не решают эту задачу:

При необходимости нажмите для воспроизведения. Пример грубых границ, создаваемых моделью Segment Anything: они подходят для разметки, но недостаточно точны для отделения фона при создании визуальных эффектов. Источник 

В недавней работе из Китая предложен более совершенный способ использования моделей SAM для улучшения выделения объектов. Базовый трекер, такой как SAM, соединяется через модуль выделения областей с отдельными головками маттинга. Благодаря этому система итеративно уточняет края и обрабатывает сложные границы, например движущиеся волосы:

При необходимости нажмите для воспроизведения. Подборка дополнительных видеоматериалов с сайта новой работы демонстрирует точность предложенного авторами метода выделения объектов. Источник 

Важно, что новая составная система обучается только на изображениях, а не на видео, и не требует дополнительной ручной разметки — традиционного препятствия для прогресса в этой и многих других областях ИИ.

Примеры точного маттинга изображений и видео новым методом. Сложные случаи с волосами, прозрачностью и движением показаны вместе с видеосценами из реальных условий, где, по утверждению авторов, метод даёт более чистые и стабильные результаты, чем предыдущие подходы. Источник

Авторы создали три экспериментальные модели и заявляют о новом лучшем уровне качества в этой задаче при сохранении высокой обобщающей способности базовой модели. Иными словами, получается универсальная модель с дополнительными возможностями, а не изолированный инструмент для одной задачи.

Авторы пишут:

«Всесторонние эксперименты показывают, что SAM2Matting достигает передовых результатов (SOTA) в маттинге изображений и видео, причём маттинг видео оценивается строго в режиме zero-shot — без обучения на соответствующих видеоданных.

Многочисленные результаты на материалах из реальных условий дополнительно демонстрируют высокую способность к обобщению на сцены открытого мира с быстрым движением, сложными фонами и объектами, связанными с целью, например человеком на велосипеде.

Кроме того, наши компоненты маттинга легковесны и эффективны: вариант на основе SAM2.1-Tiny работает со скоростью 40 кадров в секунду на видео из 200 кадров разрешением 1080p, используя менее 5 ГБ памяти GPU».

Эта новая работа называется SAM2Matting: Generalized Image and Video Matting. Её подготовили четыре автора из Фуданьского университета и Шанхайского университета финансов и экономики. У проекта есть репозиторий GitHub, где на момент написания были опубликованы контрольные точки разных вариантов, код инференса и интерактивная демонстрация; код обучения обещан позднее. Также доступен сайт проекта.

Метод

Метод авторов отделяет отслеживание объектов от выделения мелких деталей. Трекер сегментации объектов в видео (VOS) создаёт для каждого кадра грубую маску, согласованную во времени, а отдельный конвейер маттинга уточняет границы:

Общая схема конвейера: гибко задаваемая подсказка и входное видео поступают в трекер сегментации объектов, создающий грубую маску. Детектор областей интереса (ROI) уточняет её, после чего она преобразуется в трёхзонную карту. Затем прогрессивный многомасштабный предиктор формирует итоговую высокодетализированную альфа-маску.

Детектор областей интереса (ROI) находит участки с мелкими деталями или полупрозрачностью и преобразует их в тримап — карту из трёх зон: переднего плана, фона и неопределённых участков. Она направляет уточнение, после чего Progressive Alpha Predictor формирует итоговую альфа-маску каскадом от грубого к точному на нескольких масштабах.

Обычные системы маттинга, как правило, определяют области интереса с помощью простых морфологических операций либо напрямую повторно используют маску . Такие подходы могут пропускать мелкие детали или включать области, которым уточнение не требуется:

Сравнение стандартной обработки масок с эталонными тримапами. Простые морфологические операции создают грубые однородные границы и пропускают тонкие структуры, например волосы и прозрачные участки, что ведёт к потере деталей в итоговой альфа-маске.

Совместный эффект компонентов

Предложенный детектор областей интереса, напротив, рассматривает этот этап как задачу попиксельной классификации. Для каждого пикселя отдельно определяется, относится ли он к области, важной для маттинга. При этом объединяются маска VOS, текущий кадр и многомасштабные признаки изображения, что позволяет точнее выделить критические области.

В новом подходе предсказанная ROI сначала преобразуется в псевдотримап, отделяющий достоверный передний план и фон от неопределённых участков. Маска трекера определяет известные области, а ROI помечается как неоднозначная, чтобы последующая обработка могла сосредоточиться на границах, где требуется восстановить детали.

Затем Progressive Alpha Predictor уточняет результат, рассматривая маттинг как поэтапный процесс и передавая промежуточные оценки от более грубых масштабов к более точным. На каждом этапе используются изображение, тримап и предыдущая оценка, чтобы постепенно сделать структуру чётче и восстановить мелкие детали.

На последнем этапе разрешение наиболее детализированного результата повышается для получения готовой альфа-маски. Общие формы определяются раньше, а такие тонкие элементы, как волосы и прозрачность, уточняются при последующих проходах.

Во время обучения авторы заморозили трекер VOS и обучали только компоненты маттинга на высококачественных изображениях. Это позволяет уточнять детали, не ухудшая согласованность отслеживания. Обучающий сигнал задавался для каждого кадра: области интереса выводились из эталонной альфа-маски и направляли обучение. Детектор ROI обучался с функциями потерь, поощряющими точную классификацию границ и уменьшение зубчатых артефактов.

Для оценки альфа-канала функции потерь применялись на нескольких масштабах, постепенно повышая детализацию. Дополнительное ограничение согласовывало предсказанную альфа-маску с исходной маской, помогая сохранять структуру и предотвращать появление пустот или разрывов в итоговом результате.

Данные и испытания

Первоначально в экспериментах использовались восемь наборов данных для маттинга изображений: I-HIM50K; P3M-10k; CelebAHairMask-HQ; AIM-500; Distinctions-646; AM-2K; UHRIM и RefMatte. Были разработаны три варианта подхода SAM2Matting, в которых в качестве VOS-трекеров использовались соответственно SAM2.1-Tiny; SAM2.1-Base+ и ориентированный на понятия SAM3.

Компонент отслеживания был заморожен, оптимизировались только компоненты маттинга. Все версии обучались в течение пяти эпох на четырёх GPU NVIDIA A6000 с 48 ГБ видеопамяти каждый. Использовался размер пакета 32 и оптимизатор AdamW . Оценка проводилась по следующим метрикам: средняя абсолютная разность (MAD); среднеквадратичная ошибка (MSE); градиентная ошибка (Grad); ошибка связности (Conn); и dtSSD — только для маттинга видео.

Количественные испытания

Авторы начали с количественных испытаний новых систем на маттинге изображений, используя следующие тестовые наборы и подходы: P3M-500-NP; AM-2K («GFM» в результатах); MAM («Matte Anything» в результатах); E2E-HIM; Lightweight и PPM-100 («MODNet» в результатах):

Количественные результаты маттинга изображений на P3M-500-NP, тестовой части AM-2K и PPM-100. Меньшие значения означают лучшие результаты по всем метрикам; первое, второе и третье места выделены красным, оранжевым и жёлтым соответственно. Версию в более высоком разрешении смотрите в исходной статье.

Об этих результатах в работе сказано:

«Как показано выше, все три варианта SAM2Matting последовательно превосходят предыдущие базовые методы по разным метрикам. Например, у варианта SAM2.1-Tiny значение MAD на P3M-500-NP на 11,48 ниже, чем у MAM».

Авторы утверждают, что результаты в целом указывают на преимущество основной концепции их подхода, а не степени тщательности подготовки данных.

Для маттинга видео SAM2Matting оценивался на V-HIM60 и VideoMatte в режиме zero-shot в сравнении с системами, обученными на видео: MatAnyone2, MatAnyone, MaGGIe, FTP-VM и RVM. Улучшения последовательно отмечались как на подвыборках средней сложности, так и на сложных.

На всех тестах три варианта показывают меньшие ошибки по MAD, MSE, Grad, Conn и dtSSD. В целом лучшие результаты получены с SAM3, а самые низкие значения dtSSD, по-видимому, указывают на более стабильную согласованность между кадрами:

Количественные результаты маттинга видео на V-HIM60 и VideoMatte в режиме zero-shot: ошибки ниже по всем метрикам. Лучший, второй и третий результаты выделены красным, оранжевым и жёлтым соответственно.

По мнению авторов, эти результаты отражают разделение функций: трекер VOS сохраняет временную структуру, а модули маттинга сосредоточены на деталях границ. Благодаря этому модели, обученные на изображениях, превосходят подходы с полностью контролируемым обучением на видео.

Качественные испытания

В качественных испытаниях маттинга людей авторы обнаружили, что SAM2Matting превосходит конкурирующие базовые методы:

Качественное сравнение маттинга людей и видео из реальных условий. SAM2Matting точнее сохраняет тонкие пряди волос и полупрозрачные области, чем RVM и MatAnyone, обеспечивая более чистые границы и меньше пропусков структуры в сложных участках.

Как показано ниже, существующие системы маттинга видео, такие как MatAnyone2 и MaGGIe, обученные на специализированных и часто ориентированных на людей данных, испытывали трудности с обобщением на видео из реальных условий. Особенно это касалось быстро меняющихся объектов, например растущих корней, полупрозрачных бабочек и быстро капающей воды:

Качественное сравнение на видео из реальных условий. SAM2Matting лучше сохраняет тонкие структуры и временную согласованность, чем MatAnyone2 и MaGGIe, особенно для объектов, отличных от людей, быстрого движения и полупрозрачных элементов — воды, стекла и крыльев насекомых. Версию в более высоком разрешении смотрите в исходной статье.

SAM2Matting, напротив, сохранял стабильное отслеживание и надёжнее выделял мелкие детали в этих сложных сценариях.

Наконец, как показано ниже, SAM2Matting эффективно обрабатывал цели с присоединёнными объектами — например людей на велосипедах или с лыжными палками — и подавлял мешающие элементы фона поблизости. Этому способствовало описанное выше ограничение согласованности альфа-маски с маской трекера:

Качественное сравнение сцен с присоединёнными объектами и мешающими элементами фона. SAM2Matting точнее, чем MatAnyone2, сохраняет такие структуры, как велосипеды и лыжные палки, одновременно подавляя соседние помехи и поддерживая более чистые силуэты между кадрами.

Заключение

Достижения, описанные в новой работе, показывают, насколько выделение объектов — одна из старейших задач компьютерного зрения — остаётся нерешённым и трудно поддаётся обобщённым подходам. Как и у многих других моделей зрения, проблема в том, что алгоритмы выделения опираются на знания о конкретной предметной области, вместо того чтобы легко адаптироваться к ранее не встречавшимся и неизвестным объектам. Эта задача испытывает обобщающую способность модели на пределе.

Хотя новая работа делает шаг к преодолению этой зависимости, впереди ещё долгий путь, особенно учитывая, насколько прочно задача вошла в нашу повседневную жизнь через видеочаты.

Впервые опубликовано в понедельник, 13 июля 2026 года