Новая технология автоматической маркировки Voxel51 обещает снизить затраты на аннотацию в 100 000 раз

Революционное новое исследование стартапа по компьютерному зрению Voxel51 предполагает, что традиционная модель аннотации данных скоро будет изменена. В исследовании, опубликованном сегодня, компания сообщает, что ее новая система автоматической маркировки достигает до 95% точности человеческого уровня, при этом она в 5 000 раз быстрее и до 100 000 раз дешевле ручной маркировки.

Исследование протестировало основные модели, такие как YOLO-World и Grounding DINO, на известных наборах данных, включая COCO, LVIS, BDD100K и VOC. Удивительно, что в многих реальных сценариях модели, обученные исключительно на автоматически сгенерированных метках, показали результаты на уровне или даже лучше, чем модели, обученные на человеческих метках. Для компаний, строящих системы компьютерного зрения, последствия огромны: миллионы долларов, потраченные на аннотацию, могут быть сэкономлены, а циклы разработки моделей могут сократиться с недель до часов.

Новая эра аннотации: от ручного труда к модельным конвейерам

На протяжении десятилетий аннотация данных была болезненным узким местом в разработке ИИ. От ImageNet до наборов данных автономных транспортных средств команды полагались на огромную армию человеческих работников, чтобы нарисовать ограничивающие рамки и сегментировать объекты – усилие, которое было как дорогостоящим, так и медленным.

Преобладающая логика была простой: больше человеческих меток = лучше ИИ. Но исследование Voxel51 переворачивает это предположение с ног на голову.

Их подход использует предварительно обученные основные модели – некоторые из которых имеют нулевую выстрел – и интегрирует их в конвейер, который автоматизирует рутинную маркировку, а также использует активное обучение для выделения неопределенных или сложных случаев для человеческого обзора. Этот метод значительно сокращает время и стоимость.

В одном тесте маркировка 3,4 миллиона объектов с помощью NVIDIA (NVDA ) L40S GPU заняла чуть более часа и стоила 1,18 доллара. Ручная маркировка с помощью AWS SageMaker заняла бы почти 7 000 часов и стоила бы более 124 000 долларов. В особенно сложных случаях – таких как определение редких категорий в наборах данных COCO или LVIS – модели с автоматической маркировкой иногда обогнали свои человеческие аналоги. Это удивительный результат может быть связан с последовательными закономерностями маркировки основными моделями и их обучением на больших интернет-данных.

Внутри Voxel51: команда, меняющая потоки визуального ИИ

Основанная в 2016 году профессором Джейсоном Корсо и Брайаном Муром в Университете Мичигана, Voxel51 изначально начала как консалтинговая компания, специализирующаяся на видеоаналитике. Корсо, ветеран компьютерного зрения и робототехники, опубликовал более 150 академических работ и вносит значительный вклад в открытое программное обеспечение для сообщества ИИ. Мур, бывший аспирант Корсо, является генеральным директором.

Переломный момент наступил, когда команда поняла, что большинство узких мест ИИ не в проектировании моделей, а в данных. Это прозрение вдохновило их на создание FiftyOne, платформы, предназначенной для того, чтобы дать инженерам возможность изучать, курировать и оптимизировать визуальные наборы данных более эффективно.

За годы компания привлекла более $45 миллионов, включая $12,5 миллионов серии А и $30 миллионов серии Б, возглавляемой Bessemer Venture Partners. Принятие на уровне предприятий последовало, и крупные клиенты, такие как LG Electronics, Bosch, Berkshire Grey (BGRY ) , Precision Planting и RIOS, интегрировали инструменты Voxel51 в свои производственные потоки ИИ.

От инструмента к платформе: расширяющаяся роль FiftyOne

FiftyOne выросла из простого инструмента визуализации наборов данных в комплексную, ориентированную на данные платформу ИИ. Она поддерживает широкий спектр форматов и схем маркировки – COCO, Pascal VOC, LVIS, BDD100K, Open Images – и интегрируется без проблем с фреймворками, такими как TensorFlow и PyTorch.

Более чем инструмент визуализации, FiftyOne позволяет выполнять продвинутые операции: поиск дубликатов изображений, выявление неправильно помеченных образцов, выделение аномалий и измерение режимов неудачи модели. Ее экосистема плагинов поддерживает пользовательские модули для оптического распознавания символов, видео-вопросов и ответов и анализа на основе вложений.

Версия для предприятий, FiftyOne Teams, вводит функции сотрудничества, такие как контроль версий, разрешения доступа и интеграция с облачным хранилищем (например, S3), а также инструменты маркировки, такие как Labelbox и CVAT. Заметно, что Voxel51 также партнером с V7 Labs, чтобы оптимизировать поток между курированием наборов данных и ручной маркировкой.

Переосмысление индустрии аннотации

Исследование автоматической маркировки Voxel51 бросает вызов предположениям, лежащим в основе почти миллиардной индустрии аннотации. В традиционных потоках каждое изображение должно быть затронуто человеком – дорогостоящий и часто избыточный процесс. Voxel51 утверждает, что большинство этого труда теперь может быть устранено.

С их системой большинство изображений маркируются ИИ, а только граничные случаи эскалируются до человека. Эта гибридная стратегия не только сокращает затраты, но и гарантирует более высокое общее качество данных, поскольку человеческие усилия зарезервированы для наиболее сложных или ценных аннотаций.

Этот сдвиг параллелен более широким тенденциям в области ИИ к ориентированному на данные ИИ – методологии, которая фокусируется на оптимизации обучающих данных, а не на бесконечной настройке архитектур моделей.

Конкурентная среда и отраслевое восприятие

Инвесторы, такие как Bessemer, рассматривают Voxel51 как “уровень оркестровки данных” для ИИ – подобно тому, как инструменты DevOps преобразовали разработку программного обеспечения. Их открытое программное обеспечение собрало миллионы загрузок, а их сообщество включает тысячи разработчиков и команд машинного обучения по всему миру.

Хотя другие стартапы, такие как Snorkel AI, Roboflow и Activeloop, также фокусируются на потоках данных, Voxel51 выделяется своей широтой, открытым этикетом и инфраструктурой уровня предприятия. Вместо того, чтобы конкурировать с поставщиками аннотации, платформа Voxel51 дополняет их – делая существующие услуги более эффективными за счет выбора курирования.

Будущие последствия

Долгосрочные последствия глубоки. Если широко принять методологию Voxel51, она может значительно снизить барьер для входа в область компьютерного зрения, демократизируя эту область для стартапов и исследователей, которые не имеют огромных бюджетов на маркировку.

За пределами экономии затрат этот подход также закладывает основу для систем непрерывного обучения, в которых модели в производстве автоматически выделяют неудачи, которые затем рассматриваются, переаннотируются и возвращаются в обучающие данные – все в рамках одного оркестрованного конвейера.

Более широкая видение компании соответствует тому, как ИИ эволюционирует: не только более умные модели, но и более умные потоки. В этом видении аннотация не мертва, но она больше не является областью грубого труда. Это стратегическое, избирательное и обусловленное автоматизацией.