Migliorare l’inferenza AI: tecniche avanzate e best practice

Quando si tratta di applicazioni in tempo reale basate sull’intelligenza artificiale come le auto a guida autonoma o il monitoraggio sanitario, anche un secondo in più per elaborare un input potrebbe avere conseguenze gravi. Le applicazioni in tempo reale richiedono GPU e potenza di elaborazione affidabili, che sono state molto costose e proibitive per molte applicazioni – fino ad ora.

Adottando un processo di inferenza ottimizzato, le aziende possono non solo massimizzare l’efficienza dell’AI, ma anche ridurre il consumo di energia e i costi operativi (fino al 90%); migliorare la privacy e la sicurezza; e persino aumentare la soddisfazione del cliente.

Problemi comuni di inferenza

Alcuni dei problemi più comuni affrontati dalle aziende quando si tratta di gestire l’efficienza dell’AI includono cluster di GPU non utilizzati, default a modelli general-purpose e mancanza di informazioni sui costi associati.

I team spesso provvedono a cluster di GPU per il carico di picco, ma tra il 70 e l’80% del tempo, sono inutilizzati a causa di flussi di lavoro irregolari.

Inoltre, i team si affidano a grandi modelli general-purpose (GPT-4, Claude) anche per compiti che potrebbero essere eseguiti con modelli open-source più piccoli e meno costosi. I motivi? La mancanza di conoscenze e una curva di apprendimento ripida per la costruzione di modelli personalizzati.

Infine, gli ingegneri di solito non hanno informazioni sui costi reali per ogni richiesta, il che porta a fatture salate. Strumenti come PromptLayer, Helicone possono aiutare a fornire queste informazioni.

Con la mancanza di controlli sulla scelta del modello, batching e utilizzo, i costi di inferenza possono aumentare esponenzialmente (fino a 10 volte), sprecare risorse, limitare la precisione e diminuire l’esperienza utente.

Consumo di energia e costi operativi

Eseguire modelli LLM più grandi come GPT-4, Llama 3 70B o Mixtral-8x7B richiede molta più potenza per token. In media, il 40-50% dell’energia utilizzata da un data center alimenta l’attrezzatura di calcolo, con un ulteriore 30-40% dedicato al raffreddamento dell’attrezzatura.

Pertanto, per un’azienda che esegue inferenza 24 ore su 24, è più vantaggioso considerare un fornitore on-premises rispetto a un fornitore cloud per evitare di pagare un costo premium e consumare più energia.

Privacy e sicurezza

Secondo lo studio Cisco 2025 Data Privacy Benchmark, “il 64% dei rispondenti si preoccupa di condividere involontariamente informazioni sensibili pubblicamente o con i concorrenti, eppure quasi la metà ammette di immettere dati personali di dipendenti o non pubblici in strumenti GenAI.” Ciò aumenta il rischio di non conformità se i dati vengono registrati o memorizzati nella cache in modo non corretto.

Un’altra opportunità di rischio è l’esecuzione di modelli su diverse organizzazioni di clienti su un’infrastruttura condivisa; ciò può portare a violazioni dei dati e problemi di prestazioni, e c’è un rischio aggiuntivo che le azioni di un utente possano influenzare altri utenti. Pertanto, le aziende preferiscono generalmente i servizi distribuiti nel loro cloud.

Soddisfazione del cliente

Quando le risposte richiedono più di pochi secondi per apparire, gli utenti di solito si ritirano, sostenendo lo sforzo degli ingegneri per ottimizzare per la latenza zero. Inoltre, le applicazioni presentano “ostacoli come allucinazioni e inaccuratezze che possono limitare l’impatto e l’adozione su larga scala,” secondo un comunicato stampa di Gartner.

Vantaggi aziendali della gestione di questi problemi

Ottimizzare il batching, scegliere modelli di dimensioni adeguate (ad esempio, passare da Llama 70B o modelli closed source come GPT a Gemma 2B quando possibile) e migliorare l’utilizzo della GPU possono ridurre i costi di inferenza del 60-80%. Utilizzare strumenti come vLLM può aiutare, così come passare a un modello serverless pay-as-you-go per un flusso di lavoro a picchi.

Prendiamo ad esempio Cleanlab. Cleanlab ha lanciato il Trustworthy Language Model (TLM) per aggiungere un punteggio di attendibilità a ogni risposta LLM. È progettato per output di alta qualità e affidabilità migliorata, che è fondamentale per le applicazioni aziendali per prevenire allucinazioni incontrollate. Prima di Inferless, Cleanlabs ha sperimentato un aumento dei costi della GPU, poiché le GPU erano in esecuzione anche quando non erano attivamente utilizzate. I loro problemi erano tipici per i tradizionali provider di GPU cloud: alta latenza, gestione dei costi inefficiente e un ambiente complesso da gestire. Con l’inferenza serverless, hanno ridotto i costi del 90% mantenendo i livelli di prestazione. Ancor più importante, sono andati live in due settimane senza costi aggiuntivi di overhead per gli ingegneri.

Ottimizzazione delle architetture dei modelli

I modelli di base come GPT e Claude sono spesso addestrati per la generalità, non per l’efficienza o compiti specifici. Non personalizzando i modelli open-source per casi d’uso specifici, le aziende sprecano memoria e tempo di calcolo per compiti che non richiedono quella scala.

I nuovi chip GPU come H100 sono veloci ed efficienti. Sono particolarmente importanti quando si eseguono operazioni su larga scala come la generazione di video o compiti correlati all’AI. Più core CUDA aumentano la velocità di elaborazione, superando le GPU più piccole; i tensor core di NVIDIA sono progettati per accelerare questi compiti su larga scala.

La memoria della GPU è anche importante nell’ottimizzazione delle architetture dei modelli, poiché i grandi modelli di intelligenza artificiale richiedono spazio significativo. Questa memoria aggiuntiva consente alla GPU di eseguire modelli più grandi senza compromettere la velocità. Al contrario, le prestazioni delle GPU più piccole con meno VRAM soffrono, poiché spostano i dati in una RAM di sistema più lenta.

I vantaggi dell’ottimizzazione dell’architettura del modello includono il risparmio di tempo e denaro. In primo luogo, passare da un trasformatore denso a varianti ottimizzate LoRA o basate su FlashAttention può ridurre i tempi di risposta di 200-400 millisecondi per query, il che è cruciale nei chatbot e nei giochi, ad esempio. Inoltre, i modelli quantizzati (come 4-bit o 8-bit) richiedono meno VRAM e funzionano più velocemente su GPU più economiche.

A lungo termine, l’ottimizzazione dell’architettura del modello salva denaro sull’inferenza, poiché i modelli ottimizzati possono funzionare su chip più piccoli.

L’ottimizzazione dell’architettura del modello include i seguenti passaggi:

• Quantizzazione — riduzione della precisione (FP32 → INT4/INT8), risparmio di memoria e velocizzazione del tempo di calcolo
• Potatura — rimozione di pesi o livelli meno utili (strutturati o non strutturati)
• Distillazione — addestramento di un modello “studente” più piccolo per imitare l’output di uno più grande

Compressione delle dimensioni del modello

Modelli più piccoli significano inferenza più veloce e infrastrutture meno costose. I grandi modelli (13B+, 70B+) richiedono GPU costose (A100s, H100s), alta VRAM e più potenza. La compressione li consente di funzionare su hardware più economico, come A10s o T4s, con latenza molto inferiore.

I modelli compressi sono anche fondamentali per l’esecuzione dell’inferenza sul dispositivo (telefoni, browser, IoT), poiché i modelli più piccoli consentono di servire più richieste concorrenti senza scalare l’infrastruttura. In un chatbot con oltre 1.000 utenti concorrenti, passare da un modello da 13B a un modello compresso da 7B ha consentito a un team di servire più del doppio degli utenti per GPU senza picchi di latenza.

Sfruttamento di hardware specializzato

Le CPU general-purpose non sono progettate per operazioni tensoriali. L’hardware specializzato come NVIDIA A100s, H100s, Google TPUs o AWS Inferentia può offrire un’inferenza più veloce (fino a 10-100 volte) per i LLM con una migliore efficienza energetica. Ridurre anche di 100 millisecondi per richiesta può fare la differenza quando si elaborano milioni di richieste al giorno.

Considera questo esempio ipotetico:

Un team sta eseguendo LLaMA-13B su GPU standard A10 per il suo sistema RAG interno. La latenza è di circa 1,9 secondi e non possono eseguire il batching a causa dei limiti di VRAM. Quindi passano a H100 con TensorRT-LLM, abilitano FP8 e ottimizzano il kernel di attenzione, aumentano la dimensione del batch da 8 a 64. Il risultato è la riduzione della latenza a 400 millisecondi con un aumento di cinque volte del throughput.
Di conseguenza, sono in grado di servire richieste cinque volte con lo stesso budget e liberare gli ingegneri dalla navigazione degli ostacoli dell’infrastruttura.

Valutazione delle opzioni di distribuzione

Diversi processi richiedono diverse infrastrutture; un chatbot con 10 utenti e un motore di ricerca che serve un milione di query al giorno hanno esigenze diverse. Andare all-in su cloud (ad esempio, AWS Sagemaker) o server GPU DIY senza valutare i rapporti di costo-prestazione porta a sprechi di spesa e a una cattiva esperienza utente. Nota che se si impegna precocemente in un fornitore cloud chiuso, migrare la soluzione in seguito è doloroso. Tuttavia, valutare precocemente con una struttura pay-as-you-go offre opzioni lungo la strada.

La valutazione comprende i seguenti passaggi:

• Eseguire test A/B sulla latenza del modello e sui costi tra piattaforme: eseguire test su AWS, Azure, cluster di GPU locali o strumenti serverless per replicare.
• Misurare le prestazioni di avvio a freddo: ciò è particolarmente importante per carichi di lavoro serverless o basati su eventi, poiché i modelli vengono caricati più velocemente.
• Valutare l’osservabilità e i limiti di scalabilità: valutare le metriche disponibili e identificare quali sono le query al secondo massime prima del degrado.
• Verificare il supporto per la conformità: determinare se è possibile applicare regole di dati legati alla geografia o log di audit.
• Stimare il costo totale di proprietà. Ciò dovrebbe includere ore di GPU, archiviazione, larghezza di banda e oneri per i team.

Il punto fondamentale

L’inferenza consente alle aziende di ottimizzare le prestazioni dell’AI, ridurre il consumo di energia e i costi, mantenere la privacy e la sicurezza e tenere i clienti felici.