Niv-AI raccoglie 12 milioni di dollari per affrontare il problema nascosto della bottiglia di potenza nell’infrastruttura dell’IA

Una nuova startup sta entrando nello spazio sempre più affollato dell’infrastruttura dell’IA, concentrandosi su un vincolo che raramente fa notizia, ma che sta diventando rapidamente una delle sfide più pressanti dell’industria: la potenza.

Niv-AI è emersa dalla stealth con 12 milioni di dollari di finanziamenti da Glilot Capital, Grove Ventures, Arc VC, Encoded VC, Leap Forward e Aurora. La società con sede a Tel Aviv si posiziona all’incrocio tra sistemi energetici e calcolo ad alte prestazioni, mirando a ciò che descrive come una “crisi di capacità di potenza istantanea” all’interno dei moderni data center.

Il problema: l’aumento dell’appetito di potenza dell’IA

Man mano che i carichi di lavoro dell’IA si espandono, in particolare con l’adozione di GPU sempre più dense in termini di potenza, i data center stanno incontrando un limite fisico che l’ottimizzazione del software da sola non può risolvere. Mentre la capacità di calcolo continua a crescere, la capacità di fornire potenza stabile a livello di millisecondo è in ritardo.

I sistemi di monitoraggio tradizionali non sono stati progettati per i modelli di consumo di potenza rapidi e a picchi dei carichi di lavoro dell’IA moderni. Per evitare danni alle attrezzature o instabilità della rete, gli operatori spesso esagerano limitando l’utilizzo. Il risultato è una sotto-utilizzazione significativa dell’infrastruttura esistente, con fino al 30% della capacità di potenza contrattata che rimane inutilizzata.

Questa inefficienza ha implicazioni finanziarie. Gli operatori dei data center pagano per una capacità che non possono utilizzare appieno, mentre le società di IA affrontano vincoli che rallentano il deploy e aumentano i costi.

Un nuovo livello tra potenza e calcolo

L’approccio di Niv-AI introduce un nuovo livello di controllo che si trova tra la fornitura di energia e i carichi di lavoro computazionali. Al centro della sua piattaforma c’è ciò che la società chiama “impronta elettrica” – una visione ad alta risoluzione di come i carichi di lavoro dell’IA consumano potenza in tempo reale.

Utilizzando sensori specializzati, il sistema cattura segnali di potenza dettagliati che i contatori tradizionali non riescono a cogliere. Questi segnali vengono quindi elaborati da modelli di IA progettati per prevedere fluttuazioni a breve termine nella domanda. Invece di reagire dopo che si verifica un picco, la piattaforma regola proattivamente la temporizzazione dei carichi di lavoro, sfasando sottilmente le operazioni di calcolo per livellare l’utilizzo di potenza.

Nella pratica, funziona come un sistema di gestione del traffico per l’elettricità all’interno del data center, consentendo agli operatori di spingere l’infrastruttura più vicino ai suoi veri limiti senza scatenare instabilità.

Superare le soluzioni hardware

La maggior parte dei tentativi attuali di affrontare i vincoli di potenza si basa su soluzioni fisiche come batterie, condensatori o una limitazione conservativa dei carichi di lavoro. Sebbene efficaci fino a un certo punto, questi approcci aggiungono costi, complessità o riducono le prestazioni.

Niv-AI scommette che uno strato di orchestrazione guidato dal software possa sbloccare guadagni simili o maggiori senza richiedere hardware aggiuntivo. Migliorando la visibilità e il controllo a livello granulare, la società mira a consentire agli operatori di estrarre più valore dall’infrastruttura esistente.

Questo passaggio rispecchia tendenze più ampie nell’ottimizzazione dei data center, dove gli approcci definiti dal software vengono utilizzati sempre più per gestire i vincoli fisici.

Le più ampie implicazioni per l’infrastruttura dell’IA

Se questa categoria di tecnologia si dimostra efficace, potrebbe ridisegnare il modo in cui i data center vengono progettati e gestiti nel prossimo decennio. Invece di considerare i limiti di potenza come vincoli fissi, gli operatori potrebbero iniziare a vederli come variabili dinamiche che possono essere gestite attivamente in tempo reale.

Questo ha implicazioni che vanno oltre l’efficienza. Potrebbe ritardare o ridurre la necessità di costosi aggiornamenti della rete e della costruzione di nuove strutture, in particolare nelle regioni in cui la disponibilità di energia è già un collo di bottiglia. Potrebbe anche influenzare il modo in cui i carichi di lavoro dell’IA vengono pianificati, prezzi e prioritizzati, introducendo una nuova dimensione di ottimizzazione che combina l’orchestrazione del calcolo con la gestione dell’energia.

A livello di sistema, la convergenza del controllo della potenza e del calcolo suggerisce un futuro in cui l’infrastruttura sarà sempre più coordinata attraverso livelli che storicamente erano isolati. Man mano che l’IA continua a crescere, la capacità di armonizzare questi livelli potrebbe diventare altrettanto importante quanto i progressi nell’architettura dei modelli o nel design dei chip.