Prelazak na AI inferencing dovodi inteligenciju u stvarnom vremenu na rubne granice

Industrija umjetne inteligencije – i dijalog koji iz toga proizlazi – preusmjerava fokus s napora za obuku AI modela. Ta priča, koja se odvijala centralno u oblaku ili podatkovnim centrima (ili oboje), „stara je vijest“. Sada, s bezbroj slučajeva upotrebe u većini industrija, ovi se modeli implementiraju i pokreću u distribuiranim, decentraliziranim okruženjima. Industrija prelazi iz faze obuke u fazu zaključivanja, a ova se priča događa na rubu mreže s inteligencijom u stvarnom vremenu potrebnom za sve, od pametnih kamera do uređaja ugrađenih u industrijske strojeve. Fokus se prebacuje s centralizirane obuke umjetne inteligencije na rubnu umjetnu inteligenciju ili hibridna implementacije.

U eri u kojoj su brzina, preciznost i privatnost podataka važniji nego ikad, Edge AI redefinira operativne procese na najvažnijim dodirnim točkama poslovanja. Za razliku od tradicionalnih modela umjetne inteligencije koji se oslanjaju na infrastrukturu u oblaku, Edge AI približava donošenje odluka točki generiranja podataka.

Vrijednost Edge AI-a

Smanjenje udaljenosti između generiranja podataka i donošenja odluka smanjuje latenciju uklanjanjem kašnjenja u prijenosu mreže što rezultira bržom isporukom prediktivnih uvida i automatiziranih odluka. Ova obrada u stvarnom vremenu donosi dobitke učinkovitosti za organizacije, poboljšavajući sve, od korisničkog iskustva do kvalitete proizvoda, pa čak i podržavajući sigurnost zaposlenika. Bez obzira na slučaj upotrebe, kraća udaljenost također poboljšava sigurnost i pouzdanost smanjenjem vremena prijenosa osjetljivih podataka i smanjenjem potrebne propusnosti.

Neposrednost i relevantnost su najvažnije, bez obzira na industrijski sektor.

Na primjer, u proizvodnji, Edge AI može pokretati sustave osiguranja kvalitete koji odmah označavaju nedostatke proizvoda. U zdravstvu može podržati sustavi za praćenje pacijenata koji aktiviraju upozorenja u trenutku kada se otkriju anomalije. Trgovci će koristiti Edge AI za personalizaciju korisničkog iskustva u trgovini i dinamičko upravljanje zalihama. U svim tim scenarijima, međutim, potrebna inteligencija na rubu mreže glavna je razlika. Edge AI je ključan kada su milisekunde važne.

Kontekst je važan od podatkovnog centra do ruba mreže

Iako se GPU-ovi često smatraju sinonimom za umjetnu inteligenciju, rubna umjetna inteligencija uključuje više nijansi, budući da se potrebe i priroda opterećenja za zaključivanje temeljno razlikuju od onih za obuku modela. Mnoga opterećenja zaključivanja - posebno aplikacije temeljene na vidu - mogu se učinkovito obraditi CPU-ima, koji su energetski i isplativiji. Čak i ako rubna implementacija zahtijeva veće performanse, pojavila se novija klasa GPU-ova niske snage, koja nudi prilagođena rješenja za rubnu mrežu.

U konačnici, odabir prave konfiguracije je vježba uravnoteživanja specifičnog opterećenja, željene propusnosti i ograničenja okoline. Implementacije rubne umjetne inteligencije zahtijevaju hardver koji uravnotežuje performanse s praktičnom operabilnošću na terenu.

Uspjeh na rubu mreže zahtijeva fundamentalno drugačiji pristup koji se bavi ograničenjima prostora, napajanja i hlađenja, a istovremeno održava performanse. Hardver i softver moraju biti posebno dizajnirani za zahtjeve ruba mreže, što često uključuje sposobnost pouzdanog rada u teškim uvjetima bez ugrožavanja računalnog kapaciteta. Alternativa je zastoj, koji može imati razorne posljedice.

Put do uspjeha

Put do uspjeha Edge AI-a započinje identificiranjem jednog slučaja upotrebe s velikim utjecajem i fokusiranjem početne implementacije na njega. Ova vrsta fokusa održava opseg upravljivim za organizaciju, a istovremeno uspostavlja pozitivan zamah implementacijom, omogućujući organizaciji da shvati potencijal ove tehnologije, istovremeno usavršavajući operativne procese i okvire podrške.

Međutim, i ovo je lakše reći nego učiniti!

Većina organizacija koje žele iskoristiti implementacije umjetne inteligencije nisu duboko upućene niti su uronjene u sve temeljne tehnologije. Taj nedostatak znanja ih tjera da traže smjernice i poboljšane mogućnosti od vanjskih partnera. Pogotovo kako se implementacije šire i industrija prelazi s obuke u središtu na zaključivanje na rubu, softverski i servisni zahtjevi koji idu uz hardver također postaju važniji. Nadalje, složenost će se u budućnosti samo povećavati. Pogotovo na rubu gdje zastoji mogu imati ogromne - i skupe - posljedice nizvodno, partnerstvo sa stručnošću i uslugama potrebnim za osiguranje dosljednih performansi nije predmet pregovora.

Uobičajena zamka s kojom se organizacije susreću je preusko fokusiranje na projekte dokazivanja koncepta bez jasnog puta prema skaliranju. Organizacije također moraju uzeti u obzir operativnu složenost - od daljinskog upravljanja i tolerancije grešaka do podrške životnog ciklusa. Više razloga za suradnju s iskusnim partnerom je kritično važno. Za razliku od podatkovnih centara, gdje se sustavi pomno prate i često osvježavaju, rubna infrastruktura mora biti dizajnirana za dugovječnost, s tipičnim ciljem od pet do sedam godina.

Osim toga, organizacije su sve više zainteresirane za konsolidaciju resursa rubnog računalstva kako bi smanjile veličinu i troškove. To kombinira tradicionalna opterećenja s AI aplikacijama na ujedinjenim, virtualiziranim platformama, eliminirajući potrebu za odvojenim infrastrukturama, ali povećavajući potrebu za inteligencijom u stvarnom vremenu.

Edge AI ide naprijed

Edge AI se brzo razvija, prelazeći sa sustava temeljenih na pravilima na prilagodljiviju, kontekstualno svjesnu inteligenciju. S napretkom generativne AI i temeljnih modela, edge sustavi počinju podržavati kontinuirane petlje učenja, prilagođavajući se autonomno na temelju ulaznih podataka bez oslanjanja na oblak.

Implementacije temeljene na Kubernetesu i kontejnerizirani modeli uspostavljaju dosljednost potrebnu za održavanje učinkovitosti implementacija Edge AI-a. Kontejnerizacija olakšava brzo slanje ažuriranja iz oblaka na rub, a Kubernetes orkestrira kontejnere u velikim razmjerima, automatski upravljajući implementacijama, ažuriranjima i provjerama ispravnosti. Ova povećana učinkovitost i pouzdanost ažuriranja koja se šalju preko rubnih čvorova također poboljšava točnost modela i pruža veću otpornost i vrijeme rada - što je ključno za održavanje vrijednosti bilo koje implementacije Edge AI-a. Istodobno, rubni uređaji mogu prikupljati nove podatke koji će pomoći u obuci boljih modela u zatvorenom sustavu umjetne inteligencije.

Edge AI je puno više od pukog popularnog izraza. To je opipljiva evolucija u načinu na koji će industrije koristiti inteligenciju u trenutku interakcije u budućnosti – i dolazi brzo. S planom za Edge AI u kombinaciji s pravom infrastrukturom i sistemskim mogućnostima, organizacije mogu otključati snažne nove učinkovitosti u AI-u – dobivajući odzivnost uz izbjegavanje skupih zastoja.