Enfabrica Presenta un Tessuto di Memoria Basato su Ethernet che Potrebbe Ridefinire l’Inferenza AI su Grande Scala

Enfabrica, una startup con sede nella Silicon Valley supportata da Nvidia (NVDA ), ha presentato un prodotto innovativo che potrebbe ridisegnare significativamente il modo in cui vengono distribuiti e scalati i carichi di lavoro di intelligenza artificiale su larga scala. Il nuovo sistema di tessuto di memoria elastico (EMFASYS) di Enfabrica è il primo tessuto di memoria basato su Ethernet disponibile commercialmente, progettato specificamente per affrontare il collo di bottiglia fondamentale dell’inferenza di intelligenza artificiale generativa: l’accesso alla memoria.

In un momento in cui i modelli di intelligenza artificiale stanno diventando più complessi, consapevoli del contesto e persistenti, richiedendo grandi quantità di memoria per ogni sessione utente, EMFASYS offre un approccio innovativo per scindere la memoria dal calcolo, consentendo ai data center di intelligenza artificiale di migliorare notevolmente le prestazioni, ridurre i costi e aumentare l’utilizzo delle risorse più costose: le GPU.

Cosa è un Tessuto di Memoria e Perché è Importante?

Tradizionalmente, la memoria all’interno dei data center è stata strettamente legata al server o al nodo in cui risiede. Ogni GPU o CPU ha accesso solo alla memoria ad alta larghezza di banda direttamente allegata, solitamente HBM per le GPU o DRAM per le CPU. Questa architettura funziona bene quando i carichi di lavoro sono piccoli e prevedibili. Tuttavia, l’intelligenza artificiale generativa ha cambiato le regole del gioco. I modelli di linguaggio richiedono l’accesso a grandi finestre di contesto, storia utente e memoria multi-agente, tutti i quali devono essere elaborati rapidamente e senza ritardi. Queste richieste di memoria spesso superano la capacità disponibile della memoria locale, creando collo di bottiglia che bloccano i core delle GPU e gonfiano i costi dell’infrastruttura.

Un tessuto di memoria risolve questo problema trasformando la memoria in una risorsa condivisa e distribuita, una sorta di pool di memoria allegata alla rete accessibile da qualsiasi GPU o CPU nel cluster. Pensateci come creare una “nuvola di memoria” all’interno del rack del data center. Invece di replicare la memoria tra i server o sovraccaricare la costosa HBM, un tessuto consente di aggregare, disaggregare e accedere alla memoria su richiesta attraverso una rete ad alta velocità. Ciò consente ai carichi di lavoro di inferenza di intelligenza artificiale di scalare in modo più efficiente senza essere vincolati dai limiti di memoria fisica di un singolo nodo.

L’Approccio di Enfabrica: Ethernet e CXL, Insieme Finalmente

EMFASYS raggiunge questa architettura di memoria su scala rack combinando due tecnologie potenti: RDMA su Ethernet e Compute Express Link (CXL). Il primo consente il trasferimento di dati a bassa latenza e ad alta velocità attraverso reti Ethernet standard. Il secondo consente di staccare la memoria dalle CPU e dalle GPU e di raggrupparla in risorse condivise, accessibili tramite collegamenti CXL ad alta velocità.

Al cuore di EMFASYS c’è il chip ACF-S di Enfabrica, un “SuperNIC” da 3,2 terabit al secondo (Tbps) che fonde la gestione della rete e della memoria in un unico dispositivo. Questo chip consente ai server di interfacciarsi con enormi pool di memoria DRAM da 18 terabyte per nodo, distribuiti in tutto il rack. Crucialmente, lo fa utilizzando porte Ethernet standard, consentendo agli operatori di sfruttare la loro infrastruttura di data center esistente senza investire in interconnessioni proprietarie.

Ciò che rende EMFASYS particolarmente convincente è la sua capacità di scaricare dinamicamente i carichi di lavoro vincolati dalla memoria dalle costose GPU con HBM alle più economiche DRAM, mantenendo allo stesso tempo una latenza di accesso a livello di microsecondo. Lo stack software di EMFASYS include meccanismi di caching intelligente e bilanciamento del carico che nascondono la latenza e orchestrano il movimento della memoria in modi trasparenti per i modelli di linguaggio in esecuzione sul sistema.

Implicazioni per l’Industria dell’Intelligenza Artificiale

Questo è più di una semplice soluzione hardware ingegnosa; rappresenta un cambiamento filosofico nel modo in cui vengono costruiti e scalati gli ambienti di intelligenza artificiale. Mentre i modelli di intelligenza artificiale generativa passano dalla novità alla necessità, con miliardi di query utente elaborate quotidianamente, il costo di servire questi modelli è diventato insostenibile per molte aziende. Le GPU sono spesso sottoutilizzate non a causa della mancanza di calcolo, ma perché rimangono inattive in attesa della memoria. EMFASYS affronta direttamente questo squilibrio.

Abilitando la memoria condivisa e allegata al tessuto, accessibile via Ethernet, Enfabrica offre agli operatori di data center un’alternativa scalabile all’acquisto continuo di altre GPU o HBM. Invece, possono aumentare la capacità di memoria in modo modulare, utilizzando DRAM standard e reti intelligenti, riducendo l’impronta generale e migliorando l’economia dell’inferenza di intelligenza artificiale.

Le implicazioni vanno oltre i risparmi di costo immediati. Questa architettura disaggregata apre la strada ai modelli di memoria come servizio, in cui il contesto, la storia e lo stato dell’agente possono persistere oltre una singola sessione o server, aprendo la porta a sistemi di intelligenza artificiale più intelligenti e personalizzati. Stabilisce anche le basi per nuvole di intelligenza artificiale più resilienti, in cui i carichi di lavoro possono essere distribuiti elasticamente in tutto il rack o l’intero data center senza rigide limitazioni di memoria.

Guardando Avanti

Il sistema EMFASYS di Enfabrica è attualmente in fase di campionamento con clienti selezionati, e sebbene la società non abbia divulgato i nomi di questi partner, Reuters riporta che importanti fornitori di servizi cloud di intelligenza artificiale stanno già testando il sistema. Ciò posiziona Enfabrica non solo come fornitore di componenti, ma come un abilitatore chiave nella prossima generazione di infrastrutture di intelligenza artificiale.

Scindendo la memoria dal calcolo e rendendola disponibile su reti Ethernet ad alta velocità e a basso costo, Enfabrica sta gettando le basi per una nuova era di architettura di intelligenza artificiale, un’era in cui l’inferenza può scalare senza compromessi, in cui le risorse non sono più bloccate e in cui l’economia di deploy di grandi modelli di linguaggio finalmente inizia ad avere senso.

In un mondo sempre più definito da sistemi di intelligenza artificiale ricchi di contesto e multi-agente, la memoria non è più un attore di supporto, ma il palco. E Enfabrica scommette che chi costruisce il miglior palco definirà le prestazioni dell’intelligenza artificiale per anni a venire.