Neetu Pathak, Co-Fondatore e Amministratore Delegato di Skymel – Serie di Interviste

Neetu Pathak, Co-Fondatore e Amministratore Delegato di Skymel, guida l’azienda nella rivoluzione dell’inferenza AI con la sua tecnologia innovativa NeuroSplit™. Insieme al CTO Sushant Tripathy, guida la missione di Skymel per migliorare le prestazioni delle applicazioni AI riducendo i costi computazionali.

NeuroSplit™ è una tecnologia di inferenza adattiva che distribuisce dinamicamente i carichi di lavoro AI tra dispositivi utente e server cloud. Questo approccio sfrutta le risorse di calcolo inutilizzate sui dispositivi utente, riducendo i costi dell’infrastruttura cloud fino al 60%, accelerando le velocità di inferenza, garantendo la privacy dei dati e abilitando una scalabilità senza soluzione di continuità.

Optimizzando la potenza di calcolo locale, NeuroSplit™ consente alle applicazioni AI di funzionare efficientemente anche su GPU più vecchie, riducendo notevolmente i costi e migliorando l’esperienza utente.

Cosa ti ha ispirato a co-fondare Skymel e quali sono stati i principali sfidi nell’infrastruttura AI che hai cercato di risolvere con NeuroSplit?

L’ispirazione per Skymel è venuta dalla convergenza delle nostre esperienze complementari. Durante il suo tempo in Google (GOOGL ), il mio co-fondatore, Sushant Tripathy, stava distribuendo modelli AI basati su speech su miliardi di dispositivi Android. Ha scoperto che c’era una grande quantità di potenza di calcolo inutilizzata disponibile sui dispositivi utente, ma la maggior parte delle aziende non poteva utilizzarla efficacemente a causa delle complesse sfide ingegneristiche di accesso a queste risorse senza compromettere l’esperienza utente.

Nel frattempo, la mia esperienza lavorativa con aziende e startup presso Redis mi ha dato una profonda comprensione di quanto fosse critica la latenza per le aziende. Man mano che le applicazioni AI diventavano più diffuse, era chiaro che dovevamo spostare l’elaborazione più vicino a dove i dati venivano creati, piuttosto che continuare a spostare i dati avanti e indietro ai centri dati.

È stato allora che Sushant e io abbiamo capito che il futuro non era scegliere tra l’elaborazione locale o cloud, ma creare una tecnologia intelligente che potesse adattarsi senza problemi tra l’elaborazione locale, cloud o ibrida in base a ogni specifica richiesta di inferenza. Questa consapevolezza ci ha portato a fondare Skymel e a sviluppare NeuroSplit, andando oltre i limiti tradizionali dell’infrastruttura che stavano frenando l’innovazione AI.

Puoi spiegare come NeuroSplit ottimizza dinamicamente le risorse di calcolo mantenendo la privacy e le prestazioni degli utenti?

Uno dei principali problemi dell’inferenza AI locale è stato il requisito computazionale statico – tradizionalmente, eseguire un modello AI richiede le stesse risorse computazionali indipendentemente dalle condizioni del dispositivo o dal comportamento dell’utente. Questo approccio “one-size-fits-all” ignora la realtà che i dispositivi hanno capacità hardware diverse, dalle varie chip (GPU, NPU, CPU, XPU) alla larghezza di banda della rete, e gli utenti hanno comportamenti diversi in termini di utilizzo dell’applicazione e modelli di ricarica.

NeuroSplit monitora continuamente vari telemetri del dispositivo – dalle capacità hardware all’utilizzo delle risorse attuale, allo stato della batteria e alle condizioni di rete. Teniamo anche conto dei modelli di comportamento degli utenti, come il numero di altre applicazioni in esecuzione e i modelli di utilizzo del dispositivo tipici. Questo monitoraggio completo consente a NeuroSplit di determinare dinamicamente quanto calcolo di inferenza può essere eseguito in sicurezza sul dispositivo utente, ottimizzando gli indicatori di prestazione chiave per gli sviluppatori.

Quando la privacy dei dati è fondamentale, NeuroSplit garantisce che i dati grezzi non lascino mai il dispositivo, elaborando le informazioni sensibili localmente e mantenendo al contempo le prestazioni ottimali. La nostra capacità di dividere, ridurre o scollegare modelli AI ci consente di inserire 50-100 modelli AI stub nello spazio di memoria di un solo modello quantizzato su un dispositivo utente. In termini pratici, ciò significa che gli utenti possono eseguire molti più applicazioni AI contemporaneamente, elaborando dati sensibili localmente, rispetto agli approcci di calcolo statico tradizionali.

Quali sono i principali vantaggi dell’inferenza adattiva di NeuroSplit per le aziende AI, in particolare quelle che lavorano con tecnologia GPU più vecchia?

NeuroSplit offre tre benefici trasformativi per le aziende AI. In primo luogo, riduce drasticamente i costi dell’infrastruttura attraverso due meccanismi: le aziende possono utilizzare efficacemente GPU più economiche e più vecchie, e la nostra capacità unica di inserire sia modelli full che stub su GPU cloud consente tassi di utilizzo della GPU significativamente più alti. Ad esempio, un’applicazione che richiede normalmente più NVIDIA A100 a 2,74 dollari all’ora può ora essere eseguita su un solo A100 o su più V100 a soli 0,83 dollari all’ora.

In secondo luogo, miglioriamo notevolmente le prestazioni elaborando i dati grezzi iniziali direttamente sui dispositivi utente. Ciò significa che i dati che alla fine viaggiano verso il cloud sono molto più piccoli, riducendo notevolmente la latenza di rete e mantenendo l’accuratezza. Questo approccio ibrido offre alle aziende il meglio di entrambi i mondi – la velocità dell’elaborazione locale con la potenza del calcolo cloud.

In terzo luogo, elaborando i dati sensibili iniziali sul dispositivo utente, aiutiamo le aziende a mantenere forti protezioni per la privacy degli utenti senza sacrificare le prestazioni. Ciò è sempre più cruciale man mano che le norme sulla privacy diventano più severe e gli utenti più consapevoli della privacy.

Come risolve Skymel i costi di inferenza AI senza compromettere la complessità o l’accuratezza del modello?

Innanzitutto, dividendo i singoli modelli AI, distribuiamo il calcolo tra i dispositivi utente e il cloud. La prima parte viene eseguita sul dispositivo dell’utente, gestendo il 5% al 100% del calcolo totale a seconda delle risorse del dispositivo disponibili. Solo il calcolo rimanente deve essere elaborato su GPU cloud.

Questo dividendo significa che le GPU cloud gestiscono un carico computazionale ridotto – se un modello originariamente richiedeva una GPU A100 completa, dopo la divisione, quel carico di lavoro potrebbe richiedere solo il 30-40% della capacità della GPU. Ciò consente alle aziende di utilizzare istanze di GPU più economiche come la V100.

In secondo luogo, NeuroSplit ottimizza l’utilizzo della GPU nel cloud. Organizzando efficacemente sia modelli full che stub su una stessa GPU cloud, raggiungiamo tassi di utilizzo significativamente più alti rispetto agli approcci tradizionali. Ciò significa che più modelli possono essere eseguiti contemporaneamente sulla stessa GPU cloud, riducendo ulteriormente i costi per inferenza.

Cosa distingue l’approccio ibrido (locale + cloud) di Skymel dalle altre soluzioni di infrastruttura AI sul mercato?

Il paesaggio AI è a un punto di svolta affascinante. Mentre oggi l’attenzione è concentrata sullo scaling di modelli di linguaggio grandi e generici nel cloud, i prossimi cinque anni vedranno l’AI diventare profondamente personalizzata e consapevole del contesto. Non si tratta solo di fine-tuning – si tratta di AI che si adatta a utenti specifici, dispositivi e situazioni in tempo reale.

Questo spostamento crea due grandi sfide infrastrutturali. In primo luogo, l’approccio tradizionale di eseguire tutto in centri di dati centralizzati diventa insostenibile sia tecnicamente che economicamente. In secondo luogo, la crescente complessità delle applicazioni AI significa che abbiamo bisogno di un’infrastruttura che possa ottimizzare dinamicamente più modelli, dispositivi e posizioni di calcolo.

Skymel sta costruendo un’infrastruttura che affronta specificamente queste sfide. La nostra tecnologia consente all’AI di essere eseguita ovunque abbia più senso – sia sul dispositivo in cui vengono generati i dati, nel cloud dove è disponibile più potenza di calcolo, o intelligentemente divisa tra i due. Ancor più importante, prende queste decisioni in tempo reale in base a condizioni e requisiti in continua evoluzione.

Come l’agente Orchestrator complementa NeuroSplit e qual è il suo ruolo nella trasformazione delle strategie di distribuzione AI?

L’agente Orchestrator (OA) e NeuroSplit lavorano insieme per creare un sistema di distribuzione AI auto-ottimizzante:

1. Gli sviluppatori definiscono i limiti:

• Vincoli: modelli consentiti, versioni, provider cloud, zone, regole di conformità
• Obiettivi: latenza target, limiti di costo, requisiti di prestazione, esigenze di privacy

2. OA lavora all’interno di questi vincoli per raggiungere gli obiettivi:

• Decide quali modelli/API utilizzare per ogni richiesta
• Adatta le strategie di distribuzione in base alle prestazioni nel mondo reale
• Prende decisioni per ottimizzare gli obiettivi specificati
• Può essere ri configurato istantaneamente man mano che le esigenze cambiano

3. NeuroSplit esegue le decisioni di OA:

• Utilizza la telemetria del dispositivo in tempo reale per ottimizzare l’esecuzione
• Divide l’elaborazione tra dispositivo e cloud quando è vantaggioso
• Garantisce che ogni inferenza venga eseguita nel modo più ottimale possibile date le condizioni attuali

È come avere un sistema AI che si auto-ottimizza all’interno delle regole e degli obiettivi definiti, piuttosto che richiedere un’ottimizzazione manuale per ogni scenario.

Secondo te, come l’agente Orchestrator ridisegnerà il modo in cui l’AI viene distribuita attraverso le industrie?

Risolve tre sfide critiche che hanno rallentato l’adozione e l’innovazione AI.

In primo luogo, consente alle aziende di stare al passo con gli ultimi progressi AI senza sforzo. Con l’agente Orchestrator, puoi sfruttare immediatamente i nuovi modelli e le nuove tecniche senza rielaborare l’infrastruttura. Questo è un grande vantaggio competitivo in un mondo in cui l’innovazione AI sta procedendo a ritmo serrato.

In secondo luogo, consente un’ottimizzazione dinamica per richiesta dell’inferenza del modello AI. L’agente Orchestrator può intelligentemente mescolare e abbinare modelli dall’enorme ecosistema di opzioni per offrire i migliori risultati possibili per ogni interazione utente. Ad esempio, un AI per il servizio clienti potrebbe utilizzare un modello specializzato per le domande tecniche e un modello diverso per le domande di fatturazione, offrendo risultati migliori per ogni tipo di interazione.

In terzo luogo, massimizza le prestazioni riducendo al minimo i costi. L’agente automaticamente bilancia l’esecuzione dell’AI sul dispositivo dell’utente o nel cloud in base a ciò che ha più senso in quel momento. Quando la privacy è importante, elabora i dati localmente. Quando è necessaria più potenza di calcolo, sfrutta il cloud. Tutto ciò avviene dietro le quinte, creando un’esperienza utente fluida mentre si ottimizzano le risorse per le aziende.

Ma ciò che veramente distingue l’agente Orchestrator è come consente alle aziende di creare esperienze iper-personalizzate di prossima generazione per i propri utenti. Prendi una piattaforma di apprendimento online – con la nostra tecnologia, possono costruire un sistema che si adatta automaticamente all’approccio di insegnamento in base al livello di comprensione di ogni studente. Quando un utente cerca “apprendimento automatico”, la piattaforma non mostra solo risultati generici – può valutare istantaneamente la loro comprensione attuale e personalizzare le spiegazioni utilizzando concetti che già conoscono.

Ultimamente, l’agente Orchestrator rappresenta il futuro della distribuzione AI – uno spostamento dall’infrastruttura AI statica e monolitica all’orchestrazione AI auto-ottimizzante e dinamica. Non si tratta solo di rendere più facile la distribuzione AI – si tratta di rendere possibili intere nuove classi di applicazioni AI.

Qual è il feedback che hai ricevuto finora dalle aziende che partecipano alla beta privata dell’agente Orchestrator?

Il feedback dai nostri partecipanti alla beta privata è stato fantastico! Le aziende sono entusiaste di scoprire che possono finalmente liberarsi dal lock-in dell’infrastruttura, sia che si tratti di modelli proprietari o servizi di hosting. La capacità di future-proof ogni decisione di distribuzione è stata una svolta, eliminando i mesi di rilavorazione temuti quando si cambia approccio.

I nostri risultati delle prestazioni di NeuroSplit sono stati nulla short di straordinari – non vediamo l’ora di condividere i dati pubblicamente presto. Ciò che è particolarmente emozionante è come il concetto stesso di distribuzione AI adattiva ha catturato l’immaginazione. Il fatto che l’AI stia distribuendo se stessa suona futuristico e non qualcosa che ci si aspettava di vedere ora, quindi solo dal progresso tecnologico le persone si entusiasmano per le possibilità e i nuovi mercati che potrebbe creare in futuro.

Con i rapidi progressi dell’AI generativa, quali sono gli ostacoli principali che l’infrastruttura AI dovrà affrontare e come Skymel intende affrontarli?

Stiamo andando verso un futuro che la maggior parte delle persone non ha ancora pienamente compreso: non ci sarà un singolo modello AI dominante, ma miliardi di essi. Anche se creiamo il modello AI generico più potente immaginabile, avremo comunque bisogno di versioni personalizzate per ogni persona sulla Terra, ciascuna adattata a contesti, preferenze e esigenze unici. Questo segna uno spostamento rivoluzionario dall’approccio “one-size-fits-all” di oggi. Il futuro richiede un’infrastruttura intelligente che possa gestire miliardi di modelli. In Skymel, non stiamo solo risolvendo le sfide di distribuzione di oggi – la nostra roadmap tecnologica sta già costruendo le fondamenta per ciò che verrà dopo.

Come immagini l’evoluzione dell’infrastruttura AI nei prossimi cinque anni e qual è il ruolo che Skymel svolgerà in questa evoluzione?

Il paesaggio dell’infrastruttura AI sta per subire un cambiamento fondamentale. Mentre oggi l’attenzione è concentrata sullo scaling di modelli di linguaggio grandi e generici nel cloud, i prossimi cinque anni vedranno l’AI diventare profondamente personalizzata e consapevole del contesto. Non si tratta solo di fine-tuning – si tratta di AI che si adatta a utenti specifici, dispositivi e situazioni in tempo reale.

Questo spostamento crea due grandi sfide infrastrutturali. In primo luogo, l’approccio tradizionale di eseguire tutto in centri di dati centralizzati diventa insostenibile sia tecnicamente che economicamente. In secondo luogo, la crescente complessità delle applicazioni AI significa che abbiamo bisogno di un’infrastruttura che possa ottimizzare dinamicamente più modelli, dispositivi e posizioni di calcolo.

Skymel sta costruendo un’infrastruttura che affronta specificamente queste sfide. La nostra tecnologia consente all’AI di essere eseguita ovunque abbia più senso – sia sul dispositivo in cui vengono generati i dati, nel cloud dove è disponibile più potenza di calcolo, o intelligentemente divisa tra i due. Ancor più importante, prende queste decisioni in tempo reale in base a condizioni e requisiti in continua evoluzione.

Guardando avanti, le applicazioni AI di successo non saranno definite dalla dimensione dei loro modelli o dalla quantità di calcolo a cui possono accedere. Saranno definite dalla loro capacità di offrire esperienze personalizzate e reattive mentre gestiscono efficientemente le risorse. Il nostro obiettivo è rendere questo livello di ottimizzazione intelligente accessibile a ogni applicazione AI, indipendentemente dalla scala o dalla complessità. Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Skymel.