Schimbarea către Inferența AI este aducerea Inteligenței în Timp Real la Margine

Industria AI – și dialogul rezultat – își schimbă focusul de la eforturile de a antrena modele de AI. Această poveste, care a avut loc central în cloud sau în centre de date (sau ambele), este “vechi știri”. Acum, cu o multitudine de cazuri de utilizare în majoritatea industriilor, aceste modele sunt implementate și rulate în medii distribuite, descentralizate. Industria trece de la faza de antrenament la faza de inferență, și această poveste se întâmplă la margine, cu inteligență în timp real necesară pentru tot, de la camere inteligente la dispozitive încorporate în mașini industriale. Focusul se schimbă de la antrenamentul centralizat de AI la Edge AI, sau implementări hibride.

Într-o eră în care viteza, precizia și confidențialitatea datelor sunt mai importante ca niciodată, Edge AI redefinește procesele operaționale în punctele cele mai critice ale afacerilor. În contrast cu modelele de AI tradiționale care se bazează pe infrastructura cloud, Edge AI aduce procesul de luare a deciziilor mai aproape de punctul de generare a datelor.

Valoarea Edge AI

Minimizarea distanței dintre generarea datelor și procesul de luare a deciziilor minimizează întârzierea, eliminând întârzierea din transmisia rețelei, rezultând o livrare mai rapidă a insight-urilor predictive și a deciziilor automate. Acest procesare în timp real oferă avantaje de eficiență pentru organizații, îmbunătățind totul, de la experiența clienților la calitatea produselor, sau chiar susținând siguranța angajaților. Indiferent de cazul de utilizare, distanța mai scurtă îmbunătățește și securitatea și fiabilitatea, reducând timpul în care datele sensibile sunt în mișcare și reducând lățimea de bandă necesară.

Imediatețea și relevanța sunt parametri importanți, indiferent de sectorul industrial.

De exemplu, în producție, Edge AI poate alimenta sisteme de asigurare a calității care semnalează defectele de produs instantaneu. În sănătate, poate susține sisteme de monitorizare a pacienților care declanșează alerte în momentul în care se detectează anomalii. Retailerii vor utiliza Edge AI pentru a personaliza experiența clienților în magazin și pentru a gestiona stocul dinamic. În toate aceste scenarii, însă, inteligența necesară care stă la margine este un diferențiator major. Edge AI este critic atunci când contează milisecundele.

Contextul Contează de la Centrul de Date la Margine

În timp ce GPU-urile sunt adesea văzute ca sinonime cu AI, Edge AI implică mai multă subtilitate, deoarece nevoile și natura sarcinilor de lucru pentru inferență sunt fundamental diferite de cele pentru antrenamentul modelului. Multe sarcini de inferență – în special aplicațiile bazate pe viziune – pot fi gestionate eficient de CPU, care sunt mai eficiente din punct de vedere energetic și al costurilor. Chiar dacă o implementare la margine necesită o performanță mai mare, o nouă clasă de GPU-uri cu consum redus de energie a apărut, oferind soluții personalizate pentru margine.

În cele din urmă, alegerea configurației potrivite este un exercițiu de echilibrare a sarcinii de lucru specifice, a debitului dorit și a constrângerilor de mediu. Implementările Edge AI necesită hardware care echilibrează performanța cu operabilitatea practică în teren.

Succesul la margine necesită o abordare fundamental diferită care abordează constrângerile de spațiu, putere și răcire, menținând în același timp performanța. Hardware-ul și software-ul trebuie să fie proiectate în mod special pentru cerințele de la margine, care includ adesea capacitatea de a opera în mod fiabil în medii dure fără a compromite capacitatea de calcul. Alternativa este timpul de inactivitate, care poate avea efecte devastatoare în aval.

Drumul Spre Succes

Drumul spre succesul Edge AI începe cu identificarea unui singur caz de utilizare cu impact ridicat și concentrarea unei implementări inițiale asupra acestuia. Acest tip de focus menține sfera de aplicare gestionabilă pentru o organizație, permițându-i să stabilească o impuls pozitiv cu implementarea, să înțeleagă potențialul acestei tehnologii și să rafineze procesele operaționale și cadrul de susținere.

Însă, acest lucru este mai ușor de spus decât de făcut!

Majoritatea organizațiilor care doresc să capitalizeze implementările de AI nu sunt profund versate, nici nu au fost implicate în toate tehnologiile subiacente. Această lacună de cunoștințe le face să caute îndrumare și capacități îmbunătățite de la parteneri externi. În special, pe măsură ce implementările se multiplică și industria trece de la antrenamentul în centru la inferența la margine, cerințele de software și servicii care însoțesc hardware-ul devin și mai importante. Mai mult, complexitatea va crește în continuare. În special la margine, unde timpul de inactivitate poate avea ramificații masive și costisitoare, colaborarea cu experți și servicii necesare pentru a asigura performanța constantă este esențială.

O capcană obișnuită cu care se confruntă organizațiile este concentrarea prea îngustă asupra proiectelor de demonstrație a conceptului, fără o cale clară de escaladare. Organizațiile trebuie să țină cont și de complexitatea operațională – de la gestionarea la distanță și toleranța la defecte la suportul pe tot parcursul vieții. Un alt motiv pentru care colaborarea cu un partener experimentat este extrem de importantă. În contrast cu centrele de date, unde sistemele sunt monitorizate îndeaproape și actualizate frecvent, infrastructura de la margine trebuie să fie proiectată pentru longevitate, cu un obiectiv tipic de cinci până la șapte ani.

În plus, organizațiile sunt din ce în ce mai interesate să consolideze resursele de calcul de la margine pentru a reduce amprenta și costurile. Acest lucru combină sarcini de lucru tradiționale cu aplicații de AI pe platforme unificate și virtualizate, eliminând nevoia de infrastructuri separate, dar crește nevoia de inteligență în timp real.

Edge AI Înainte

Edge AI evoluează rapid, trecând de la sisteme bazate pe reguli la inteligență mai adaptivă și conștientă de context. Cu progresele în AI generativ și modele de bază, sistemele de la margine încep să susțină bucle de învățare continuă, ajustându-se în mod autonom pe baza intrărilor de date, fără a se baza pe cloud.

Implementările bazate pe Kubernetes și modele containerizate stabilesc consistența necesară pentru a menține implementările de Edge AI eficiente. Containerizarea face mai ușoară actualizarea rapidă a modelelor de la cloud la margine, iar Kubernetes orchestrează containere la scară, gestionând implementări, actualizări și verificări de sănătate în mod automat. Această eficiență și fiabilitate crescută a actualizărilor trimise către nodurile de la margine îmbunătățește și precizia modelului și oferă o mai mare reziliență și timp de funcționare – esențial pentru a păstra valoarea oricărei implementări de Edge AI. În același timp, dispozitivele de la margine pot colecta date noi care vor ajuta la antrenarea unor modele mai bune într-un sistem de AI închis.

Edge AI este mult mai mult decât doar un cuvânt la modă. Este evoluția tangibilă a modului în care industriile vor utiliza inteligența la punctul de interacțiune în viitor – și vine rapid. Cu un plan de Edge AI cuplat cu infrastructura și capacitățile de sistem potrivite, organizațiile pot debloca eficiențe puternice și noi în AI – obținând răspunsuri rapide și evitând timpul de inactivitate costisitor.