Улучшение компьютерного зрения с помощью физически осведомленного ИИ

Искусственный интеллект бесспорно оставил неизгладимый след в нашей жизни. В пионерской попытке еще больше повысить возможности ИИ, исследователи из UCLA и Армейской исследовательской лаборатории США представили уникальный подход, который сочетает физически осведомленность с данными, полученными методами ИИ, в технологиях компьютерного зрения.

Исследование, опубликованное в Nature Machine Intelligence, предлагает новаторский гибридный метод, направленный на совершенствование того, как ИИ-оборудование воспринимает, взаимодействует и реагирует на окружающую среду в реальном времени – что крайне важно для автономных транспортных средств и точных роботов.

Гибридный подход для физически осведомленного ИИ

Традиционно компьютерное зрение, область, которая позволяет ИИ понимать и делать выводы о свойствах физического мира из изображений, в основном фокусировалась на машинном обучении на основе данных. Одновременно физически-основанные исследования стремились раскрыть физические принципы, лежащие в основе многих задач компьютерного зрения. Однако включение понимания физики в область нейронных сетей оказалось сложной задачей.

В значительном прорыве исследование UCLA направлено на объединение глубокого понимания, полученного из данных, и реального опыта физики, создавая таким образом гибридный ИИ с повышенными возможностями. Ачута Кадамби, соответствующий автор исследования и помощник профессора электротехники и компьютерных наук в Школе инженерии UCLA Сэмюэли, объясняет: “Физически осведомленные формы вывода могут позволить машинам ездить более безопасно или хирургическим роботам быть более точными.”

Включение физики в компьютерное зрение ИИ

Исследовательская команда очерчивает три инновационных способа включения физики в компьютерное зрение ИИ:

1. Введение физики в наборы данных ИИ: Это предполагает标ирование объектов дополнительной информацией, такой как их потенциальная скорость или вес, подобно персонажам в видеоиграх.
2. Интеграция физики в архитектуру сетей: Этот подход предполагает пропуск данных через сетевой фильтр, который кодирует физические свойства в то, что камеры захватывают.
3. Включение физики в функцию потерь сети: Здесь используется знание, основанное на физике, для помощи ИИ в интерпретации обучающих данных на основе наблюдений.

Эти экспериментальные направления исследований уже дали обещающие результаты в улучшении компьютерного зрения. Например, гибридный подход позволяет ИИ более точно отслеживать и прогнозировать движение объекта и может производить точные, высококачественные изображения из сцен, осложненных неблагоприятной погодой.

Будущее физически осведомленного ИИ

Исследователи оптимистично настроены на то, что дальнейшие достижения в этом двойном подходе могут привести к тому, что глубокие обучающие ИИ смогут самостоятельно учиться законам физики. Это может стать новым рубежом в технологиях компьютерного зрения, основанных на ИИ, открывая путь к более безопасному и точному применению ИИ в различных секторах, включая автономные транспортные средства и хирургическую робототехнику.

Исследование, поддержанное частично грантом от Армейской исследовательской лаборатории, было написано в соавторстве с компьютерным ученым Армейской исследовательской лаборатории Сельсо де Мело и преподавателями UCLA Стефано Соатто, Чо-Джуй Хсьех и Мани Шриваставой. Дополнительное финансирование было предоставлено грантами от Национального научного фонда, программы молодых исследователей Армии, Агентства перспективных исследований и разработок обороны, Intrinsic, компании Alphabet, и Amazon.