Мыслить вне коробки, чтобы стимулировать инновации в области ИИ

Для многих из нас, которые работают в области ИИ, мы действуем в непройденной территории. Учитывая, как быстро компании, занимающиеся ИИ, разрабатывают новые технологии, можно принять за данность упорную работу, проводимую за кулисами. Но в области, такой как XR, где миссия состоит в том, чтобы стереть границы между реальным и цифровым мирами — в настоящее время нет много исторических данных или исследований, на которые можно опираться; поэтому нам нужно мыслить вне коробки.

Хотя наиболее удобно полагаться на традиционную машинное обучение мудрость и проверенные практики, это часто не возможно (или полное решение) в новых областях. Чтобы решить проблемы, которые никогда не были решены раньше, их необходимо подходить к новым способам.

Это вызов, который заставляет вас вспомнить, почему вы вошли в область инженерии, науки о данных или разработки продукта в первую очередь: страсть к открытиям. Я испытываю это каждый день в своей роли в Ultraleap, где мы разрабатываем программное обеспечение, которое может отслеживать и реагировать на движения человеческой руки в смешанной реальности. Так много того, что мы думали, мы знаем о обучении моделей машинного обучения, переворачивается в нашей работе, поскольку человеческая рука — вместе с объектами и окружением, с которыми она сталкивается — чрезвычайно непредсказуема.

Вот несколько подходов, которые моя команда и я приняли, чтобы переосмыслить экспериментирование и науку о данных, чтобы привнести интуитивное взаимодействие в цифровой мир, которое точное и feels как естественно, как в реальном мире.

Инновации в рамках

Когда вы инновируете в новой области, вы часто сталкиваетесь с ограничениями, которые, кажется, противоречат друг другу. Моя команда задача состоит в том, чтобы захватить нюансы движений руки и пальцев, и того, как руки и пальцы взаимодействуют с окружающим миром. Все это упаковано в модели отслеживания руки, которые все еще подходят для оборудования XR на ограниченных вычислениях. Это означает, что наши модели — хотя и сложные и сложные — должны занимать значительно меньше места и потреблять значительно меньше энергии (до 1/100 000-й) чем огромные LLM, доминирующие в заголовках. Это представляет нам интересную задачу, требующую беспощадного экспериментирования и оценки наших моделей в их реальном применении.

Но бесчисленные тесты и эксперименты стоят того: создание мощной модели, которая все еще доставляет на низкую стоимость вывода, потребление энергии и задержку — это чудо, которое можно применить в вычислениях на краю даже вне области XR.

Ограничения, с которыми мы сталкиваемся при экспериментировании, также повлияют на другие отрасли. Некоторые предприятия будут иметь уникальные проблемы из-за тонкостей в их области применения, в то время как другие могут иметь ограниченные данные для работы из-за того, что они находятся на нишевом рынке, который крупные игроки технологий еще не тронули.

Хотя решения «один размер для всех» могут быть достаточными для некоторых задач, многие области применения должны решать реальные, сложные проблемы, специфичные для их задачи. Например, линии сборки автомобилей реализуют модели ML для проверки дефектов. Эти модели должны справиться с очень высоким разрешением изображений, которое необходимо для выявления небольших дефектов на большой поверхности автомобиля. В этом случае применение требует высокой производительности, но проблема заключается в том, как достичь низкой частоты кадров, но высокого разрешения модели.

Оценка архитектур моделей для стимулирования инноваций

Хороший набор данных — это движущая сила за любой успешным прорывом ИИ. Но что делает набор данных «хорошим» для конкретной цели, вообще? И когда вы решаете ранее нерешенные проблемы, как вы можете доверять, что существующие данные будут актуальны? Мы не можем предположить, что метрики, которые хороши для некоторых задач ML, переводятся на другую конкретную производительность бизнес-задачи. Это то место, где мы должны пойти против общепринятых ML «истин» и вместо этого активно исследовать, как мы помечаем, очищаем и применяем как симулированные, так и реальные данные.

По своей природе наша область сложна для оценки и требует ручного обеспечения качества — сделанного вручную. Мы не просто смотрим на качество метрик наших данных. Мы итерируем наши наборы данных и источники данных и оцениваем их на основе качеств моделей, которые они производят в реальном мире. Когда мы переоцениваем, как мы оцениваем и классифицируем наши данные, мы часто находим наборы данных или тенденции, которые мы могли бы иначе пропустить. Теперь с этими наборами данных и бесчисленными экспериментами, которые показали нам, на какие данные не следует полагаться, мы открыли новый путь, которого мы не имели раньше.

Последняя платформа отслеживания руки Hyperion от Ultraleap — это отличный пример этого. Улучшения в наших наборах данных помогли нам разработать более сложное отслеживание руки, которое может точно отслеживать микрожесты, а также движения руки, даже когда пользователь держит объект.

 Один небольшой шаг назад, один большой шаг вперед

Хотя темп инноваций, кажется, никогда не замедляется, мы можем. Мы в бизнесе экспериментирования, обучения, разработки и когда мы берем время, чтобы сделать именно это, мы часто создаем что-то гораздо более ценного, чем когда мы следуем по книге и спешим выпустить следующую технологическую инновацию. Нет замены прорывам, которые происходят, когда мы исследуем наши аннотации данных, вопросы наших источников данных и переопределяем метрики качества самих себя. И единственный способ, которым мы можем сделать это, — экспериментировать в реальной области применения с измеренной производительностью модели по задаче. Вместо того, чтобы видеть необычные требования и ограничения как ограничивающие, мы можем взять эти проблемы и превратить их в возможности для инноваций и, в конечном итоге, конкурентного преимущества.