Мысли вне коробки для стимулирования инноваций в области ИИ

Для многих из нас, работающих в области ИИ, мы находимся в непознанной территории. Учитывая, как быстро компании, занимающиеся ИИ, разрабатывают новые технологии, можно легко принять за данность упорную работу, которая происходит за кулисами. Но в области, такой как XR, где миссия состоит в том, чтобы стереть границы между реальным и цифровым мирами — в настоящее время нет много исторических данных или исследований, на которые можно опираться; поэтому нам нужно мыслить вне коробки.

Хотя наиболее удобно полагаться на обычную мудрость и проверенные практики машинного обучения, это часто не возможно (или полное решение) в новых областях. Чтобы решить проблемы, которые никогда не решались раньше, их необходимо подходить к новым способам.

Это вызов, который заставляет вас вспомнить, почему вы вошли в область инженерии, науки о данных или разработки продукта в первую очередь: страсть к открытиям. Я испытываю это каждый день в своей роли в Ultraleap, где мы разрабатываем программное обеспечение, которое может отслеживать и реагировать на движения человеческой руки в смешанной реальности. Так много того, что мы думали, что знаем о обучении моделей машинного обучения, переворачивается с ног на голову в нашей работе, поскольку человеческая рука — вместе с объектами и окружением, с которыми она сталкивается — чрезвычайно непредсказуема.

Вот несколько подходов, которые моя команда и я приняли, чтобы переосмыслить экспериментирование и науку о данных, чтобы привнести интуитивное взаимодействие в цифровой мир, которое точное и чувствуется так же естественно, как в реальном мире.

Инновации внутри границ

Когда вы инновируете в новой области, вы часто сталкиваетесь с ограничениями, которые, кажется, противоречат друг другу. Моя команда задача состоит в том, чтобы запечатлеть тонкости движений руки и пальцев, и того, как руки и пальцы взаимодействуют с окружающим миром. Все это упаковывается в модели отслеживания руки, которые все еще подходят для аппаратуры XR с ограниченной вычислительной мощностью. Это означает, что наши модели — хотя и сложные и сложные — должны занимать значительно меньше места и потреблять значительно меньше энергии (в 1/100 000 раз) чем огромные LLM, доминирующие в заголовках. Это представляет нам захватывающий вызов, требующий беспощадного экспериментирования и оценки наших моделей в их реальном применении.

Но бесчисленные тесты и эксперименты стоят того: создание мощной модели, которая все еще обеспечивает низкую стоимость вывода, потребление энергии и задержку — это чудо, которое можно применить в вычислениях на краю даже вне области XR.

Ограничения, с которыми мы сталкиваемся при экспериментировании, также повлияют на другие отрасли. Некоторые предприятия будут иметь уникальные проблемы из-за тонкостей в их области применения, в то время как другие могут иметь ограниченные данные для работы в результате нахождения на нишевом рынке, который крупные технологические игроки еще не тронули.

Хотя решения «один размер для всех» могут быть достаточными для некоторых задач, многие области применения должны решать реальные, сложные проблемы, специфичные для их задачи. Например, линии сборки автомобилей реализуют модели машинного обучения для проверки дефектов. Эти модели должны бороться с очень высоким разрешением изображений, которое необходимо для выявления небольших дефектов на большой поверхности автомобиля. В этом случае применение требует высокой производительности, но проблема, которую необходимо решить, заключается в том, как добиться низкой частоты кадров, но высокого разрешения модели.

Оценка архитектур моделей для стимулирования инноваций

Хороший набор данных — это движущая сила за любой успешной прорывом в области ИИ. Но что делает набор данных «хорошим» для конкретной цели, вообще? И когда вы решаете проблемы, которые никогда не решались раньше, как вы можете доверять тому, что существующие данные будут актуальны? Мы не можем предположить, что метрики, которые хороши для некоторых задач машинного обучения, переводятся в производительность конкретной бизнес-задачи. Это то место, где мы должны пойти против общепринятых «истин» машинного обучения и вместо этого активно исследовать, как мы метки, чистим и применяем как имитированные, так и реальные данные.

По своей природе наша область сложна для оценки и требует ручного обеспечения качества – сделанного вручную. Мы не просто смотрим на метрики качества наших данных. Мы итерируем наши наборы данных и источники данных и оцениваем их на основе качеств моделей, которые они производят в реальном мире. Когда мы переоцениваем, как мы оцениваем и классифицируем наши данные, мы часто обнаруживаем наборы данных или тенденции, которые мы могли бы иначе пропустить. Теперь с этими наборами данных и бесчисленными экспериментами, которые показали нам, какие данные не полагаться, мы открыли новый путь, который мы пропустили раньше.

Последняя платформа отслеживания рук Hyperion от Ultraleap — это отличный пример этого. Улучшения в наших наборах данных помогли нам разработать более сложное отслеживание рук, которое может точно отслеживать микрожесты, а также движения рук, даже когда пользователь держит объект.

 Один маленький шаг назад, один большой шаг вперед

Хотя темп инноваций, кажется, никогда не замедляется, мы можем. Мы занимаемся экспериментированием, обучением, разработкой и когда мы тратим время на это, мы часто создаем что-то гораздо более ценного, чем когда мы следуем книге и спешим выпустить следующую технологическую инновацию. Нет замены прорывам, которые происходят, когда мы исследуем наши аннотации данных, ставим под сомнение наши источники данных и переопределяем метрики качества самих себя. И единственный способ, которым мы можем сделать это, — это экспериментировать в реальной области применения с измеренной производительностью модели против задачи. Вместо того, чтобы видеть необычные требования и ограничения как ограничивающие, мы можем взять эти проблемы и превратить их в возможности для инноваций и, в конечном итоге, конкурентного преимущества.