Passaggio all’inferenza AI: l’intelligenza in tempo reale si sposta verso il bordo

L’industria dell’AI – e il conseguente dialogo – sta spostando l’attenzione lontano dagli sforzi per addestrare i modelli di AI. Quella storia, che si è svolta centralmente nel cloud o nei data center (o entrambi), è “vecchia notizia”. Ora, con una miriade di casi d’uso in quasi tutti i settori, questi modelli vengono distribuiti e eseguiti in ambienti distribuiti e decentralizzati. L’industria sta passando dalla fase di addestramento a quella di inferenza, e questa storia sta accadendo al bordo con l’intelligenza in tempo reale necessaria per tutto, dalle smart camera ai dispositivi incorporati nelle macchine industriali. L’attenzione si sta spostando dall’addestramento dell’AI centralizzato all’AI del bordo, o alle distribuzioni ibride.

In un’era in cui velocità, precisione e privacy dei dati sono più cruciali che mai, l’AI del bordo sta ridefinendo i processi operativi nei punti di contatto più critici delle aziende. A differenza dei modelli di AI tradizionali che si affidano all’infrastruttura cloud, l’AI del bordo porta la presa di decisioni più vicino al punto di generazione dei dati.

Il valore dell’AI del bordo

Ridurre la distanza tra la generazione dei dati e la presa di decisioni riduce la latenza eliminando il ritardo della trasmissione della rete, risultando in una consegna più rapida di insight predittivi e decisioni automatizzate. L’elaborazione in tempo reale fornisce guadagni di efficienza per le organizzazioni, migliorando tutto, dalle esperienze dei clienti alla qualità dei prodotti, o anche supportando la sicurezza degli impiegati. Indipendentemente dal caso d’uso, la distanza più breve migliora anche la sicurezza e l’affidabilità riducendo il tempo in cui i dati sensibili sono in movimento e riducendo la larghezza di banda richiesta.

L’immediacy e la rilevanza sono fondamentali, indipendentemente dal settore.

Ad esempio, nel settore manifatturiero, l’AI del bordo può alimentare sistemi di controllo della qualità che segnalano immediatamente i difetti dei prodotti. Nel settore sanitario, può supportare sistemi di monitoraggio dei pazienti che attivano allarmi nel momento in cui vengono rilevate anomalie. I dettaglianti utilizzeranno l’AI del bordo per personalizzare le esperienze dei clienti in negozio e gestire l’inventario in modo dinamico. In tutti questi scenari, tuttavia, l’intelligenza richiesta al bordo è un fattore di differenziazione fondamentale. L’AI del bordo è critica quando contano i millisecondi.

Il contesto conta dal data center al bordo

Mentre le GPU sono spesso viste come sinonimo di AI, l’AI del bordo coinvolge più sfumature, poiché le esigenze e la natura dei carichi di lavoro per l’inferenza sono fondamentalmente diverse da quelle per l’addestramento dei modelli. Molti carichi di lavoro di inferenza – in particolare le applicazioni basate sulla visione – possono essere gestiti in modo efficiente dalle CPU, che sono più efficienti in termini di potenza e costo. Anche se una distribuzione al bordo richiede prestazioni più elevate, una nuova classe di GPU a basso consumo è emersa, offrendo soluzioni personalizzate per il bordo.

In definitiva, scegliere la configurazione giusta è un esercizio di equilibrio tra il carico di lavoro specifico, il throughput desiderato e le limitazioni ambientali. Le distribuzioni di AI del bordo richiedono hardware che bilanci le prestazioni con la praticabilità operativa sul campo.

Il successo al bordo richiede un approccio fondamentalmente diverso che affronti le limitazioni di spazio, potenza e raffreddamento, mantenendo le prestazioni. L’hardware e il software devono essere progettati specificamente per le esigenze del bordo, che spesso includono la capacità di operare in modo affidabile in ambienti ostili senza compromettere la capacità di calcolo. L’alternativa è il downtime, che può avere effetti a valle devastanti.

La strada per il successo

La strada per il successo dell’AI del bordo inizia con l’identificazione di un singolo caso d’uso ad alto impatto e la focalizzazione di una distribuzione iniziale su di esso. Questo tipo di focalizzazione mantiene la portata gestibile per un’organizzazione, stabilendo una positiva dinamica con la distribuzione, abilitando l’organizzazione a comprendere il potenziale di questa tecnologia, raffinando i processi operativi e i framework di supporto.

Tuttavia, questo è più facile a dirsi che a farsi!

La maggior parte delle organizzazioni che cercano di capitalizzare le distribuzioni di AI non sono profondamente versate, né sono state immerse in tutte le tecnologie sottostanti. Questa lacuna di conoscenza le lascia alla ricerca di orientamento e capacità migliorate da parte di partner esterni. Soprattutto poiché le distribuzioni si moltiplicano e l’industria si sposta dall’addestramento al core all’inferenza al bordo, le esigenze di software e servizi che accompagnano l’hardware diventano più importanti. Inoltre, la complessità aumenterà solo in futuro. Soprattutto al bordo, dove il downtime può avere ramificazioni a valle massive – e costose – il partenariato con l’esperienza e i servizi necessari per garantire prestazioni coerenti è imprescindibile. Una trappola comune in cui le organizzazioni incorrono è concentrarsi troppo strettamente su progetti di proof-of-concept senza un percorso chiaro per la scalabilità. Le organizzazioni devono anche tenere conto della complessità operativa – dalla gestione remota e la tolleranza ai guasti alla gestione del ciclo di vita. Un altro motivo per lavorare con un partner esperto è fondamentale. A differenza dei data center, dove i sistemi sono monitorati da vicino e aggiornati frequentemente, l’infrastruttura del bordo deve essere progettata per la longevità, con un obiettivo tipico di cinque-sette anni.

Inoltre, le organizzazioni sono sempre più desiderose di consolidare le risorse di calcolo del bordo per ridurre l’impronta e il costo. Ciò combina carichi di lavoro tradizionali con applicazioni di AI su piattaforme unificate e virtualizzate, eliminando la necessità di infrastrutture separate, ma aumentando la necessità di intelligenza in tempo reale.

AI del bordo in futuro

L’AI del bordo sta evolvendo rapidamente, spostandosi da sistemi basati su regole a un’intelligenza più adattiva e consapevole del contesto. Con gli avanzamenti dell’AI generativa e dei modelli di base, i sistemi del bordo stanno iniziando a supportare loop di apprendimento continuo, adattandosi autonomamente in base agli input dei dati senza affidarsi al cloud.

I deploy basati su Kubernetes e i modelli containerizzati stabiliscono la coerenza necessaria per mantenere le distribuzioni di AI del bordo efficienti. La containerizzazione rende più facile pushare aggiornamenti rapidi dal cloud al bordo, e Kubernetes orchestra i container su larga scala, gestendo deploy, aggiornamenti e controlli di salute in modo automatico. Questa maggiore efficienza e affidabilità degli aggiornamenti pushati attraverso i nodi del bordo migliora anche l’accuratezza del modello e fornisce una maggiore resilienza e uptime – fondamentale per mantenere il valore di qualsiasi distribuzione di AI del bordo. Contestualmente, i dispositivi del bordo possono raccogliere nuovi dati che aiuteranno ad addestrare modelli migliori in un sistema di AI a loop chiuso.

L’AI del bordo è molto più di un semplice buzzword. È l’evoluzione tangibile nel modo in cui le industrie sfrutteranno l’intelligenza nel punto di interazione nel futuro – e sta arrivando rapidamente. Con un piano di AI del bordo abbinato alla giusta infrastruttura e alle capacità di sistema, le organizzazioni possono sbloccare nuove efficienze potenti nell’AI – guadagnando reattività mentre evitano il costoso downtime.