Přechod na AI Inferencing přináší inteligenci v reálném čase na okraj sítě

Průmysl AI – a výsledný dialog – se zaměřuje méně na úsilí o trénování modelů AI. Tento příběh, který se udál centrálně v cloudu nebo datových centrech (nebo obou), je „starou zprávou“. Nyní, s mnoha použitími napříč většinou průmyslových odvětví, jsou tyto modely nasazovány a spouštěny v distribuovaných, decentralizovaných prostředích. Průmysl přechází z fáze trénování do fáze inferencing a tento příběh se děje na okraji s reálnou inteligencí, která je potřebná pro všechno od chytrých kamer po zařízení vestavěná do průmyslových strojů. Zaměření se posouvá od centralizovaného trénování AI na Edge AI nebo hybridní nasazení.

V éře, kdy je rychlost, přesnost a ochrana dat kritičtější než kdykoli předtím, Edge AI předefinuje provozní procesy na nejkritičtějších místech podnikání. Na rozdíl od tradičních modelů AI, které spoléhají na cloudovou infrastrukturu, Edge AI přibližuje rozhodování k místu generování dat.

Hodnota Edge AI

Minimalizace vzdálenosti mezi generováním dat a rozhodováním minimalizuje latenci eliminací zpoždění z přenosu sítě, což vede k rychlejšímu doručování prediktivních přehledů a automatizovaných rozhodnutí. Tento proces v reálném čase přináší zisk efektivnosti pro organizace, zlepšující všechno od zákaznických zkušeností po kvalitu produktů, nebo dokonce podporu bezpečnosti zaměstnanců. Bez ohledu na případ použití, kratší vzdálenost také zlepšuje bezpečnost a spolehlivost snížením doby, po kterou jsou citlivá data v pohybu, a snížením požadované šířky pásma.

Okamžité a relevantní informace jsou nejdůležitější, bez ohledu na průmyslové odvětví.

Například ve výrobě může Edge AI pohánět systémy kvalitního zajištění, které okamžitě označují defekty produktů. Ve zdravotnictví může podporovat systémy monitorování pacientů, které spouštějí upozornění okamžitě, když jsou detekovány anomálie. Maloobchodníci budou používat Edge AI k personalizaci zákaznických zkušeností v obchodě a dynamickému řízení zásob. Ve všech těchto scénářích je však požadovaná inteligence na okraji sítě hlavním rozlišovacím znakem. Edge AI je kritická, když jsou důležité milisekundy.

Context Matters from the Data Center to the Edge

Zatímco GPU jsou často považovány za synonymum pro AI, Edge AI zahrnuje více nuancí, protože potřeby a povaha zátěží pro inferencing jsou fundamentálně odlišné od těch pro trénování modelů. Mnohé zátěže inferencing – zejména aplikace založené na vidění – mohou být efektivně zpracovány CPU, které jsou více energeticky a nákladově efektivní. I když nasazení na okraji vyžaduje vyšší výkon, nová třída nízkoenergetických GPU se objevila, nabízející přizpůsobené řešení pro okraj.

Konečným cílem je výběr správné konfigurace, která vyvažuje konkrétní zátěž, požadovaný průtok a environmentální omezení, zatímco udržuje výkon. Nasazení Edge AI vyžadují hardware, který vyvažuje výkon s praktickou provozuschopností v terénu.

Úspěch na okraji vyžaduje fundamentálně odlišný přístup, který řeší omezení prostoru, energie a chlazení, zatímco udržuje výkon. Hardware a software musí být navrženy speciálně pro potřeby okraje, které často zahrnují schopnost spolehlivě fungovat v drsných prostředích bez kompromisů ve výpočetní kapacitě. Alternativou je výpadek, který může mít devastující následky.

Cesta k úspěchu

Cesta k úspěchu Edge AI začíná identifikací jednoho, vysoce dopadového případu použití a zaměřením počátečního nasazení na něj. Tento typ zaměření udržuje rozsah nasazení pro organizaci zvládnutelný, zatímco vytváří pozitivní impuls s nasazením, umožňující organizaci pochopit potenciál této technologie, zatímco se zlepšují provozní procesy a podpůrné rámce.

Jedná se však o něco, co je snazší říci než udělat!

Většina organizací, které se snaží využít nasazení AI, nejsou hluboce seznámeny s technologiemi, na kterých jsou založeny. Tato mezera v znalostech je vede k hledání rady a vylepšených schopností od externích partnerů. Zvláště když se nasazení rozšiřují a průmysl přechází z trénování v jádru na inferencing na okraji, požadavky na software a služby, které doprovázejí hardware, se stávají důležitějšími. Kromě toho se složitost bude dále zvyšovat. Zvláště na okraji, kde výpadek může mít masivní a nákladné následky, partnerství s odbornými znalostmi a službami, které zajišťují konzistentní výkon, jsou nezbytná.

Častým úskalím, se kterým se organizace setkávají, je soustředění se příliš úzce na projekty proof-of-concept bez jasně stanovené cesty k škálování. Organizace musí také zohlednit provozní složitost – od vzdálené spravovatelnosti a odolnosti proti chybám po podporu životního cyklu. Důvodů pro spolupráci s zkušenou partnerkou je mnoho. Na rozdíl od datových center, kde systémy jsou úzce monitorovány a často obnovovány, infrastruktura na okraji musí být navržena pro dlouhodobou životnost, s typickým cílem pět až sedm let.

Kromě toho jsou organizace stále více ochotny konsolidovat zdroje výpočetní techniky na okraji, aby snížily stopu a náklady. To spojuje tradiční zátěže s aplikacemi AI na sjednocených, virtualizovaných platformách, eliminuje potřebu samostatných infrastruktur, ale zvyšuje potřebu inteligence v reálném čase.

Edge AI do budoucna

Edge AI se vyvíjí rychle, přechází z pravidel založených na systémech na více adaptivní, kontextově vědomou inteligenci. S pokroky v generativní AI a základních modelech začínají systémy na okraji podporovat kontinuální učící se smyčky, které se přizpůsobují autonomně na základě datových vstupů bez závislosti na cloudu.

Nasazení založená na Kubernetes a kontejnerizované modely zajišťují konzistenci nezbytnou pro efektivní nasazení Edge AI. Kontejnerizace usnadňuje rychlé aktualizace z cloudu na okraj, a Kubernetes orchestruje kontejnery v měřítku, spravuje nasazení, aktualizace a kontroly zdraví automaticky. Toto zvýšené efektivity a spolehlivosti aktualizací, které jsou distribuovány napříč uzly na okraji, také zlepšuje přesnost modelů a poskytuje větší odolnost a dostupnost – kritické pro udržení hodnoty jakéhokoli nasazení Edge AI. Současně mohou zařízení na okraji shromažďovat nová data, která pomohou vycvičit lepší modely v uzavřené smyčce AI.

Edge AI je mnohem více než jen módní slovo. Je to hmatatelná evoluce v tom, jak průmysly budou využívat inteligenci v místě interakce v budoucnu – a je to blízko. S plánem Edge AI spojeným s vhodnou infrastrukturou a systémem schopností mohou organizace odemknout nové efektivity v AI – zvyšují rychlost reakce, zatímco se vyhnou nákladným výpadkům.