ARIA sceglie i server ottici di Lumai per testare l’inferenza IA su scala rack

Lumai porta il proprio hardware ottico per l’IA in un nuovo contesto di valutazione: il Laboratorio per la scalabilità dell’inferenza, sostenuto dall’Agenzia britannica per la ricerca avanzata e l’invenzione, o ARIA. Il laboratorio prevede di installare i server di inferenza Lumai Iris come prima piattaforma di calcolo ottico, offrendo ai ricercatori la possibilità di testare l’architettura su scala rack in un data center commerciale.

Gestito da CommonAI CIC, il laboratorio intende colmare una lacuna difficile per le nuove tecnologie hardware per l’IA: dimostrare il funzionamento di un processore innovativo è una cosa; farlo funzionare come parte di un sistema integrato, con modelli reali e i normali requisiti di alimentazione, raffreddamento e installazione in rack, è un’altra.

L’annuncio fa seguito al lancio di Iris Nova ad aprile. Il nuovo passo consiste in una valutazione su più nodi attraverso un banco di prova finanziato con fondi pubblici, non nella pubblicazione di un benchmark indipendente e completo che dimostri le principali affermazioni di Lumai sull’efficienza.

Usare la luce per eseguire i calcoli matriciali

Spin-out dell’Università di Oxford fondato nel 2021, Lumai sviluppa un’architettura ibrida ottica e digitale. Il suo motore ottico è progettato per eseguire le operazioni matematiche intensive impiegate nell’inferenza IA, mentre i componenti elettronici continuano a gestire le funzioni di sistema correlate.

Nella descrizione tecnica dell’azienda, le informazioni vengono codificate in fasci di luce ed elaborate da componenti ottici nello spazio tridimensionale. L’obiettivo è eseguire in parallelo numerose operazioni matematiche sfruttando la propagazione della luce, anziché effettuare ogni calcolo commutando transistor.

Questo non significa che l’intero server sia passivo o non consumi energia. Il sistema completo ha comunque bisogno di sorgenti luminose, conversione dei dati, memoria, elaborazione digitale e controllo. La questione ingegneristica fondamentale è quanta parte dell’efficienza del motore ottico rimanga dopo aver considerato questi costi accessori, quando è effettivamente in esecuzione un modello utile.

Lumai descrive un’interfaccia dati ad ampia larghezza di banda, pensata per distribuire i costi di conversione su carichi di lavoro di grandi dimensioni, una memoria a tre livelli per la cache chiave-valore del modello e una quantizzazione consapevole dell’hardware. Sono aspetti pratici dell’architettura: il trasferimento dei dati, il mantenimento di una precisione numerica adeguata e la continuità del lavoro dell’acceleratore incidono tutti sulle prestazioni al di fuori di una dimostrazione in laboratorio.

Perché Lumai punta sulla fase di prefill

L’inferenza dei modelli linguistici di grandi dimensioni si articola in due fasi distinte. Durante il prefill, il sistema elabora l’input e costruisce lo stato interno necessario a generare una risposta. Durante la decodifica, produce i token di output uno alla volta, accedendo ripetutamente ai pesi del modello e al contesto memorizzato nella cache.

Il prefill è spesso dominato da grandi operazioni matriciali, mentre la decodifica può essere limitata dalla larghezza di banda della memoria, soprattutto con batch di dimensioni ridotte. L’equilibrio varia in funzione delle dimensioni del modello, della lunghezza del prompt, del raggruppamento in batch e della configurazione di erogazione del servizio. L’approccio di Lumai consiste nello specializzarsi nella fase più intensiva dal punto di vista computazionale, anziché ottimizzare l’intera pipeline con un solo tipo di processore.

La documentazione dei prodotti Iris colloca l’acceleratore ottico all’interno di sistemi di calcolo eterogenei, anche come processore per il prefill affiancato a hardware ottimizzato per la decodifica. Lumai afferma che Iris Nova supporta modelli Llama con 8 miliardi e 70 miliardi di parametri ed è disponibile per la valutazione nei data center. La famiglia di prodotti è progettata per infrastrutture rack standard e raffreddamento ad aria.

«L’esecuzione di un sistema multi-nodo in un data center commerciale è il banco di prova per capire se le nuove architetture di calcolo sono pronte per la distribuzione in ambienti reali», ha dichiarato Xianxin Guo, cofondatore e CEO di Lumai. Il progetto di ARIA pone al centro della prossima fase proprio questa questione di integrazione.

Un banco di prova per sistemi completi

ARIA è un’agenzia pubblica britannica che finanzia attività di ricerca e sviluppo e sostiene tecnologie ambiziose con potenziali benefici per la società. Il suo programma Scaling Compute esplora alternative agli approcci consolidati nel settore informatico, tra cui nuovi elementi computazionali, reti e progettazione dei sistemi.

Il Laboratorio per la scalabilità dell’inferenza riceve da ARIA finanziamenti per 50 milioni di sterline. ARIA lo descrive come una serie di progetti pilota strutturati a livello di rack, ciascuno dei quali integra una tecnologia non ancora collaudata in un sistema pronto per l’impiego, su cui gli utenti finali possono eseguire modelli. L’obiettivo è confrontare le prestazioni dell’intero sistema con quelle delle alternative commerciali e procedere rapidamente per iterazioni, con un nuovo rack previsto ogni sei mesi.

CommonAI, organizzazione non profit con sede a Cambridge e costituita come associazione di membri, gestisce il laboratorio e riunisce aziende, enti pubblici e partecipanti del mondo accademico per collaborare alla progettazione ingegneristica. Il suo programma prevede più di cinque sistemi a livello di rack e sottolinea l’importanza di una convalida indipendente per aiutare le nuove tecnologie hardware a dimostrare le proprie prestazioni operative in condizioni reali.

Questa struttura è importante perché un acceleratore può offrire buone prestazioni in un’operazione isolata, ma garantire un vantaggio più contenuto una volta inclusi il trasferimento dei dati, la pianificazione delle attività, il supporto software e il resto della pipeline di erogazione del servizio. Un ambiente di prova condiviso può contribuire a mettere in luce sia i vantaggi sia i colli di bottiglia.

Cosa dimostrano, e cosa non dimostrano, le affermazioni sull’efficienza

Lumai afferma che l’architettura potrebbe ridurre fino al 90% il consumo energetico dei data center e portare il costo totale di proprietà a circa un decimo rispetto alle architetture GPU convenzionali. Sul suo sito web, l’azienda descrive una roadmap che punta a prestazioni 50 volte superiori. Il comunicato riporta separatamente un’efficienza energetica per inferenza almeno 16 volte maggiore quando il prefill ottico è abbinato al decode basato su silicio.

Queste cifre si riferiscono a confronti diversi e non vanno considerate misure intercambiabili né risultati già verificati in modo indipendente da ARIA. L’annuncio non fornisce una configurazione di benchmark comune, un confronto della qualità dei modelli o una serie di risultati pubblicati a livello di rack che dimostri tali miglioramenti per i carichi di lavoro commerciali.

La valutazione del laboratorio è quindi lo sviluppo più significativo. Tra le misurazioni utili figurerebbero l’energia per richiesta completata, il tempo al primo token, il throughput di output sostenuto, la precisione del modello e il costo di gestione del sistema completo. Per confronti significativi servono lo stesso modello, le stesse lunghezze di contesto, le stesse ipotesi sul batching e gli stessi requisiti di servizio.

Per l’ambizione del Regno Unito di ampliare la capacità nazionale di IA con budget energetici limitati, un sistema ottico efficace potrebbe offrire un’ulteriore opzione di calcolo. L’implementazione di Lumai è un passo verso la verifica di questa possibilità in condizioni commerciali. La valutazione stabilirà, sulla base delle evidenze relative al sistema completo, se il vantaggio si tradurrà in costi di erogazione inferiori su larga scala.