Представляем SAM 2: Новую открытую основную модель Meta для сегментации объектов в реальном времени в видео и изображениях

В последние годы мир ИИ сделал значительные шаги в области основной ИИ для обработки текста, с достижениями, которые преобразовали отрасли от обслуживания клиентов до юридического анализа. Однако, когда речь идет об обработке изображений, мы только начинаем исследовать эту область. Сложность визуальных данных и проблемы обучения моделей для точной интерпретации и анализа изображений представляют значительные препятствия. Поскольку исследователи продолжают изучать основную ИИ для изображений и видео, будущее обработки изображений в ИИ имеет потенциал для инноваций в области здравоохранения, автономных транспортных средств и других областях.

Сегментация объектов, которая включает определение точных пикселей в изображении, соответствующих объекту интереса, является критической задачей в компьютерном зрении. Традиционно это включало создание специализированных моделей ИИ, что требует обширной инфраструктуры и больших объемов аннотированных данных. В прошлом году Meta представила модель сегментации любого объекта (SAM), основную модель ИИ, которая упрощает этот процесс, позволяя пользователям сегментировать изображения с помощью простого запроса. Этот инновационный подход уменьшил необходимость в специализированной экспертизе и обширных вычислительных ресурсах, сделав сегментацию изображений более доступной.

Теперь Meta делает следующий шаг с SAM 2. Этот новый вариант не только улучшает существующие возможности SAM по сегментации изображений, но также расширяет их на обработку видео. SAM 2 может сегментировать любой объект как в изображениях, так и в видео, даже те, с которыми он не сталкивался ранее. Этот прорыв является значительным шагом вперед в области компьютерного зрения и обработки изображений, предоставляя более универсальный и мощный инструмент для анализа визуального контента. Ниже мы исследуем интересные достижения SAM 2 и его потенциал для переопределения области компьютерного зрения.

Представляем модель сегментации любого объекта (SAM)

Традиционные методы сегментации требуют либо ручной доработки, известной как интерактивная сегментация, либо обширных аннотированных данных для автоматической сегментации в предварительно определенные категории. SAM является основной моделью ИИ, которая поддерживает интерактивную сегментацию с помощью универсальных запросов, таких как клики, прямоугольники или текстовые входные данные. Она также может быть дообучена с минимальными данными и вычислительными ресурсами для автоматической сегментации. Обученная на более чем 1 миллиарде разнообразных аннотаций изображений, SAM может обрабатывать новые объекты и изображения без необходимости сбора пользовательских данных или дообучения.

SAM работает с двумя основными компонентами: кодировщик изображений, который обрабатывает изображение, и кодировщик запроса, который обрабатывает входные данные, такие как клики или текст. Эти компоненты объединяются с легким декодером для предсказания сегментационных масок. Как только изображение обработано, SAM может создать сегмент всего за 50 миллисекунд в веб-браузере, что делает его мощным инструментом для интерактивных задач в реальном времени. Для создания SAM исследователи разработали трехэтапный процесс сбора данных: помощь модели в аннотации, сочетание автоматической и ассистированной аннотации и полностью автоматическое создание масок. Этот процесс привел к созданию набора данных SA-1B, который включает более 1,1 миллиарда масок на 11 миллионах лицензированных, защищенных от утечки данных изображений — что делает его в 400 раз больше, чем любой существующий набор данных. Впечатляющие результаты SAM обусловлены этим обширным и разнообразным набором данных, обеспечивая лучшее представление различных географических регионов по сравнению с предыдущими наборами данных.

Представляем SAM 2: Шаг от сегментации изображений к сегментации видео

Основываясь на фундаменте SAM, SAM 2 предназначен для сегментации объектов в реальном времени в изображениях и видео. В отличие от SAM, который фокусируется исключительно на статических изображениях, SAM 2 обрабатывает видео, рассматривая каждый кадр как часть непрерывной последовательности. Это позволяет SAM 2 более эффективно обрабатывать динамические сцены и меняющийся контент. Для сегментации изображений SAM 2 не только улучшает возможности SAM, но также работает в три раза быстрее в интерактивных задачах.

SAM 2 сохраняет ту же архитектуру, что и SAM, но вводит механизм памяти для обработки видео. Эта функция позволяет SAM 2 отслеживать информацию из предыдущих кадров, обеспечивая последовательную сегментацию объектов, несмотря на изменения движения, освещения или ослепления. Ссылаясь на предыдущие кадры, SAM 2 может уточнить свои предсказания масок на протяжении всего видео.

Модель обучена на новом наборе данных, SA-V dataset, который включает более 600 000 аннотаций масок на 51 000 видео из 47 стран. Этот разнообразный набор данных охватывает как целые объекты, так и их части, повышая точность SAM 2 в сегментации видео в реальных условиях.

SAM 2 доступен в качестве открытой модели под лицензией Apache 2.0, что делает ее доступной для различных применений. Meta также поделилась набором данных, использованным для SAM 2, под лицензией CC BY 4.0. Кроме того, есть веб-демо, который позволяет пользователям исследовать модель и увидеть, как она работает.

Потенциальные случаи использования

Возможности SAM 2 в сегментации объектов в реальном времени в изображениях и видео открыли многочисленные инновационные применения в различных областях. Например, некоторые из этих применений следующие:

• Диагностика в здравоохранении: SAM 2 может значительно улучшить помощь в реальном времени во время хирургических операций, сегментируя анатомические структуры и выявляя аномалии во время прямых видеотрансляций в операционной. Она также может улучшить анализ медицинских изображений, обеспечивая точную сегментацию органов или опухолей в медицинских сканированиях.
• Автономные транспортные средства: SAM 2 может улучшить системы автономных транспортных средств, повышая точность обнаружения объектов за счет непрерывной сегментации и отслеживания пешеходов, транспортных средств и дорожных знаков на протяжении видеокадров. Ее способность обрабатывать динамические сцены также поддерживает адаптивные системы навигации и избегания столкновений, распознавая и реагируя на изменения окружающей среды в реальном времени.
• Интерактивные медиа и развлечения: SAM 2 может улучшить приложения дополненной реальности (AR), точно сегментируя объекты в реальном времени, что делает проще для виртуальных элементов смешиваться с реальным миром. Она также выигрывает от автоматизации сегментации объектов в видео, что упрощает процессы, такие как удаление фона и замена объектов.
• Мониторинг окружающей среды: SAM 2 может помочь в отслеживании дикой природы, сегментируя и отслеживая животных в видео, поддерживая исследования видов и изучение среды обитания. В случае реагирования на стихийные бедствия она может оценить ущерб и направить усилия по реагированию, точно сегментируя пострадавшие области и объекты в видеопотоке.
• Розничная торговля и электронная коммерция: SAM 2 может улучшить визуализацию продуктов в электронной коммерции, позволяя интерактивно сегментировать продукты в изображениях и видео. Это может дать клиентам возможность просматривать товары с различных углов и контекстов. Для управления запасами она помогает розничным продавцам отслеживать и сегментировать продукты на полках в реальном времени, оптимизируя учет запасов и повышая общий контроль над запасами.

Преодоление ограничений SAM 2: Практические решения и будущие улучшения

Хотя SAM 2 работает хорошо с изображениями и короткими видео, у него есть некоторые ограничения, которые следует учитывать при практическом использовании. Он может испытывать трудности с отслеживанием объектов через значительные изменения точки зрения, длинные ослепления или в многолюдных сценах, особенно в расширенных видео. Ручная коррекция с помощью интерактивных кликов может помочь решить эти проблемы.

В многолюдных средах с похожими объектами SAM 2 может иногда неправильно определять цели, но дополнительные запросы в последующих кадрах могут решить эту проблему. Хотя SAM 2 может сегментировать несколько объектов, его эффективность снижается, поскольку он обрабатывает каждый объект отдельно. Будущие обновления могли бы выиграть от интеграции общей контекстной информации для улучшения производительности.

SAM 2 также может пропустить мелкие детали с быстродвижущимися объектами, и предсказания могут быть нестабильными между кадрами. Однако дальнейшее обучение могло бы устранить это ограничение. Хотя автоматическое создание аннотаций улучшилось, человеческие аннотаторы все еще необходимы для проверки качества и выбора кадров, и дальнейшая автоматизация могла бы повысить эффективность.

Итог

SAM 2 представляет собой значительный шаг вперед в сегментации объектов в реальном времени как в изображениях, так и в видео, основываясь на фундаменте, заложенном его предшественником. Расширяя возможности и функциональность до динамического видеоконтента, SAM 2 обещает преобразовать различные области, от здравоохранения и автономных транспортных средств до интерактивных медиа и розничной торговли. Хотя остаются проблемы, особенно в обработке сложных и многолюдных сцен, открытая природа SAM 2 поощряет непрерывное улучшение и адаптацию. С ее мощной производительностью и доступностью SAM 2 готова стимулировать инновации и расширять возможности в компьютерном зрении и за его пределами.