Переход к выводу AI: как Edge AI меняет подход к реальному времени

Отрасль искусственного интеллекта смещает фокус от попыток обучить модели AI. Эта история, которая ранее происходила в облаке или центрах данных (или обоих), теперь становится “старой новостью”. Сейчас, с множеством вариантов использования в большинстве отраслей, эти модели развертываются и запускаются в распределенных, децентрализованных средах. Отрасль переходит от фазы обучения к фазе вывода, и эта история происходит на краю сети с необходимостью реального времени для всего, от умных камер до устройств, встроенных в промышленное оборудование. Фокус смещается от централизованного обучения AI к Edge AI или гибридным развертываниям.

В эпоху, когда скорость, точность и конфиденциальность данных более важны, чем когда-либо, Edge AI переопределяет операционные процессы на наиболее критических точках бизнеса. В отличие от традиционных моделей AI, которые полагаются на облачную инфраструктуру, Edge AI приближает процесс принятия решений к месту генерации данных.

Ценность Edge AI

Минимизация расстояния между генерацией данных и принятием решений минимизирует задержку, исключая задержку от сетевой передачи, что приводит к более быстрой доставке прогностических выводов и автоматических решений. Эта обработка в реальном времени обеспечивает повышение эффективности для организаций, улучшая все, от опыта клиентов до качества продукции, или даже поддержки безопасности сотрудников. Независимо от варианта использования, более короткое расстояние также улучшает безопасность и надежность, уменьшая количество времени, в течение которого чувствительные данные находятся в движении, и снижая необходимую пропускную способность.

Немедленность и актуальность имеют первостепенное значение, независимо от отрасли.

Например, в производстве Edge AI может обеспечить системы контроля качества, которые флагируют дефекты продукции мгновенно. В здравоохранении он может поддерживать системы мониторинга пациентов, которые запускают сигналы тревоги в момент обнаружения аномалий. Розничные продавцы будут использовать Edge AI для персонализации опыта клиентов в магазине и динамического управления запасами. Во всех этих сценариях, однако, необходимая интеллект на краю сети является значительным различием. Edge AI имеет решающее значение, когда имеют значение миллисекунды.

Контекст имеет значение от центра данных до края

Хотя GPU часто рассматриваются как синонимы AI, Edge AI включает больше нюансов, поскольку потребности и характер рабочих нагрузок для вывода фундаментально отличаются от тех, которые используются для обучения моделей. Многие рабочие нагрузки вывода – особенно приложения, основанные на видении – могут быть обработаны эффективно CPU, которые более энергетически и экономически эффективны. Даже если развертывание на краю требует более высокой производительности, появился новый класс низкопотребляющих GPU, предлагающий адаптированные решения для края.

В конечном итоге выбор правильной конфигурации является упражнением в балансировке конкретной рабочей нагрузки, желаемой пропускной способности и ограничений окружающей среды при сохранении производительности. Развертывания Edge AI требуют аппаратного обеспечения, которое балансирует производительность с практической эксплуатацией в поле.

Успех на краю требует фундаментально другого подхода, который учитывает ограничения пространства, энергопотребления и охлаждения при сохранении производительности. Аппаратное и программное обеспечение должны быть разработаны специально для требований края, которые часто включают возможность работать надежно в суровых условиях без компрометации вычислительной мощности. Альтернативой является простой, который может иметь разрушительные последствия.

Путь к успеху

Путь к успеху Edge AI начинается с определения одного высокоэффективного варианта использования и сосредоточения первоначального развертывания на нем. Этот тип фокуса сохраняет объем работ управляемым для организации, устанавливая положительную динамику с развертыванием, что позволяет организации понять потенциал этой технологии, совершенствуя операционные процессы и поддерживающие框ки.

Однако это проще сказать, чем сделать!

Большинство организаций, стремящихся воспользоваться развертываниями AI, не имеют глубоких знаний и не были погружены во все основные технологии. Этот пробел в знаниях заставляет их искать руководство и улучшенные возможности от внешних партнеров. Особенно когда развертывания распространяются и отрасль переходит от обучения в центре к выводу на краю, программные и сервисные требования, которые сопровождают аппаратное обеспечение, становятся более важными. Кроме того, сложность будет только увеличиваться в будущем. Особенно на краю, где простой может иметь массивные и дорогостоящие последствия, партнерство с необходимой экспертизой и услугами для обеспечения постоянной производительности является безоговорочным.

Распространенная ошибка, с которой сталкиваются организации, – это сосредоточение внимания слишком узко на проектах доказательства концепции без ясного пути к масштабированию. Организации также должны учитывать операционную сложность – от удаленного управления и отказоустойчивости до поддержки жизненного цикла. Еще одна причина для работы с опытным партнером является крайне важной. В отличие от центров данных, где системы тесно контролируются и обновляются часто, инфраструктура края должна быть разработана для долголетия, с типичной целью в пять-семь лет.

Кроме того, организации все больше стремятся консолидировать ресурсы вычислений на краю, чтобы уменьшить размер и стоимость. Это объединяет традиционные рабочие нагрузки с приложениями AI на унифицированных, виртуализированных платформах, исключая необходимость в отдельных инфраструктурах, но увеличивая потребность в реальном времени.

Edge AI в будущем

Edge AI быстро эволюционирует, переходя от систем, основанных на правилах, к более адаптивным, контекстно-зависимым интеллектуальным системам. С достижениями в области генеративного AI и фундаментальных моделей системы края начинают поддерживать непрерывные циклы обучения, корректируя себя автономно на основе входных данных без полагания на облако.

Развертывания на основе Kubernetes и контейнеризированные модели устанавливают необходимую последовательность для поддержания эффективности развертываний Edge AI. Контейнеризация упрощает процесс быстрого обновления из облака на край, а Kubernetes оркестрирует контейнеры в масштабе, управляя развертываниями, обновлениями и проверками здоровья автоматически. Это повышает эффективность и надежность обновлений, распространяемых по узлам края, а также улучшает точность модели и обеспечивает большую устойчивость и время безотказной работы – критически важные для сохранения ценности любого развертывания Edge AI. Одновременно устройства края могут собирать новые данные, которые помогут обучить лучшие модели в замкнутой системе AI.

Edge AI – это не просто модное слово. Это осязаемая эволюция в том, как отрасли будут использовать интеллект в точке взаимодействия в будущем – и это идет быстро. С планом Edge AI, сочетающимся с правильной инфраструктурой и системными возможностями, организации могут открыть мощные новые эффективности в AI – получая оперативность, избегая дорогостоящего простоя.