Kirill Solodskih, Co-Fondatore e Amministratore Delegato di TheStage AI – Serie di Interviste

Kirill Solodskih, PhD, è il Co-Fondatore e Amministratore Delegato di TheStage AI, nonché un ricercatore e imprenditore esperto di AI con oltre un decennio di esperienza nell’ottimizzazione di reti neurali per applicazioni aziendali reali. Nel 2024, ha co-fondato TheStage AI, che ha ottenuto 4,5 milioni di dollari di finanziamenti per automatizzare completamente l’accelerazione delle reti neurali su qualsiasi piattaforma hardware.

In precedenza, come Team Lead di Huawei, Kirill ha guidato l’accelerazione delle applicazioni di fotocamera AI per Qualcomm (QCOM ) NPUs, contribuendo alle prestazioni degli smartphone P50 e P60 e ottenendo più brevetti per le sue innovazioni. Le sue ricerche sono state presentate a conferenze leader come CVPR e ECCV , dove ha ricevuto premi e riconoscimenti a livello industriale. Ha anche condotto un podcast su ottimizzazione e inferenza AI.

Cosa ti ha ispirato a co-fondare TheStage AI e come hai fatto la transizione dalla ricerca accademica all’ottimizzazione dell’inferenza come fondatore di startup?

Le fondamenta di ciò che alla fine è diventato TheStage AI sono iniziate con il mio lavoro a Huawei, dove ero profondamente coinvolto nell’automatizzazione dei deploy e nell’ottimizzazione delle reti neurali. Queste iniziative sono diventate la base per alcune delle nostre innovazioni rivoluzionarie e lì ho visto la vera sfida. Addestrare un modello è una cosa, ma farlo funzionare efficientemente nel mondo reale e renderlo accessibile agli utenti è un’altra. La distribuzione è il collo di bottiglia che blocca molte grandi idee dal diventare realtà. Per rendere qualcosa di facile da usare come ChatGPT, ci sono molte sfide tecniche coinvolte. Dal punto di vista tecnico, l’ottimizzazione delle reti neurali consiste nel minimizzare i parametri mantenendo le prestazioni elevate. È un problema matematico difficile con molto spazio per l’innovazione.

L’ottimizzazione manuale dell’inferenza è stata a lungo un collo di bottiglia nell’AI. Puoi spiegare come TheStage AI automatizza questo processo e perché è un cambiamento di gioco?

TheStage AI affronta un grande collo di bottiglia nell’AI: la compressione e l’accelerazione manuale delle reti neurali. Le reti neurali hanno miliardi di parametri e scoprire quali rimuovere per una migliore prestazione è quasi impossibile a mano. ANNA (Automated Neural Networks Analyzer) automatizza questo processo, identificando quali layer escludere dall’ottimizzazione, simile a come la compressione ZIP è stata automatizzata per la prima volta.

Ciò cambia il gioco rendendo l’adozione dell’AI più veloce e più economica. Invece di affidarsi a processi manuali costosi, le startup possono ottimizzare i modelli automaticamente. La tecnologia dà alle aziende una chiara visione delle prestazioni e dei costi, garantendo l’efficienza e la scalabilità senza ipotesi.

TheStage AI afferma di ridurre i costi dell’inferenza fino al 5x — cosa rende la tua tecnologia di ottimizzazione così efficace rispetto ai metodi tradizionali?

TheStage AI taglia i costi di output fino al 5x con un approccio di ottimizzazione che va oltre i metodi tradizionali. Invece di applicare lo stesso algoritmo a tutta la rete neurale, ANNA la divide in layer più piccoli e decide quale algoritmo applicare a ciascuna parte per ottenere la compressione desiderata mentre massimizza la qualità del modello. Combinando euristiche matematiche intelligenti con approssimazioni efficienti, il nostro approccio è altamente scalabile e rende l’adozione dell’AI più facile per le aziende di tutte le dimensioni. Integriamo anche impostazioni del compilatore flessibili per ottimizzare le reti per hardware specifici come iPhone o GPU NVIDIA. Ciò ci dà più controllo per regolare le prestazioni, aumentando la velocità senza perdere qualità.

Come si confronta l’accelerazione dell’inferenza di TheStage AI con il compilatore nativo di PyTorch e quali vantaggi offre agli sviluppatori di AI?

TheStage AI accelera l’output ben oltre il compilatore nativo di PyTorch. PyTorch utilizza un metodo di compilazione “just-in-time”, che compila il modello ogni volta che viene eseguito. Ciò porta a lunghi tempi di avvio, a volte di minuti o anche più a lungo. In ambienti scalabili, ciò può creare inefficienze, specialmente quando nuove GPU devono essere aggiunte per gestire il carico utente aumentato, causando ritardi che impattano sull’esperienza utente.

Al contrario, TheStage AI consente di pre-compilare i modelli, in modo che una volta pronto, possa essere distribuito istantaneamente. Ciò porta a rollout più veloci, a un’efficienza del servizio migliorata e a risparmi di costo. Gli sviluppatori possono distribuire e scalare i modelli di AI più velocemente, senza i collo di bottiglia della compilazione tradizionale, rendendolo più efficiente e reattivo per casi d’uso ad alta domanda.

Puoi condividere di più sulla toolkit QLIP di TheStage AI e su come migliora le prestazioni del modello mantenendo la qualità?

QLIP, la toolkit di TheStage AI, è una libreria Python che fornisce un insieme essenziale di primitive per costruire rapidamente nuovi algoritmi di ottimizzazione personalizzati per diversi hardware, come GPU e NPUs. La toolkit include componenti come quantizzazione, potatura, specifica, compilazione e servizio, tutti critici per lo sviluppo di sistemi di AI efficienti e scalabili.

Ciò che distingue QLIP è la sua flessibilità. Consente agli ingegneri di AI di prototipare e implementare nuovi algoritmi con solo poche righe di codice. Ad esempio, un recente articolo di conferenza su reti neurali quantizzate può essere convertito in un algoritmo funzionante utilizzando le primitive di QLIP in pochi minuti. Ciò rende facile per gli sviluppatori integrare le ultime ricerche nei loro modelli senza essere bloccati da framework rigidi.

A differenza dei framework open-source tradizionali che ti limitano a un set fisso di algoritmi, QLIP consente a chiunque di aggiungere nuove tecniche di ottimizzazione. Ciò aiuta i team a stare al passo con il panorama di AI in rapida evoluzione, migliorando le prestazioni mentre garantisce flessibilità per future innovazioni.

Hai contribuito a framework di quantizzazione AI utilizzati nelle fotocamere dei P50 e P60 di Huawei. Come quell’esperienza ha plasmato il tuo approccio all’ottimizzazione dell’AI?

La mia esperienza lavorando su framework di quantizzazione AI per le fotocamere dei P50 e P60 di Huawei mi ha dato preziose intuizioni su come l’ottimizzazione possa essere semplificata e scalata. Quando ho iniziato con PyTorch, lavorare con il grafico di esecuzione completo delle reti neurali era rigido e gli algoritmi di quantizzazione dovevano essere implementati manualmente, layer per layer. A Huawei, ho costruito un framework che automatizzava il processo. Basta semplicemente inserire il modello e generava automaticamente il codice per la quantizzazione, eliminando il lavoro manuale.

Ciò mi ha fatto capire che l’automazione nell’ottimizzazione dell’AI è questione di abilitare la velocità senza sacrificare la qualità. Uno degli algoritmi che ho sviluppato e brevettato è diventato essenziale per Huawei, specialmente quando hanno dovuto passare dai processori Kirin a quelli Qualcomm a causa delle sanzioni. Ha consentito al team di adattare rapidamente le reti neurali all’architettura Qualcomm senza perdere prestazioni o accuratezza.

Automatizzando e semplificando il processo, abbiamo ridotto il tempo di sviluppo da oltre un anno a pochi mesi. Ciò ha avuto un grande impatto su un prodotto utilizzato da milioni e ha plasmato il mio approccio all’ottimizzazione, concentrandomi sulla velocità, sull’efficienza e sulla perdita di qualità minima. È la mentalità che porto in ANNA oggi.

Le tue ricerche sono state presentate a CVPR e ECCV — quali sono alcuni dei principali risultati nell’efficienza dell’AI di cui sei più orgoglioso?

Quando mi chiedono dei miei risultati nell’efficienza dell’AI, sempre penso al nostro articolo selezionato per una presentazione orale a CVPR 2023. Essere scelti per una presentazione orale a una conferenza del genere è raro, poiché solo 12 articoli vengono selezionati. Ciò aggiunge al fatto che l’AI generativa di solito domina i riflettori e il nostro articolo ha preso un approccio diverso, concentrandosi sul lato matematico, in particolare sull’analisi e sulla compressione delle reti neurali.

Abbiamo sviluppato un metodo che ci ha aiutato a capire quanti parametri una rete neurale abbia realmente bisogno per funzionare efficientemente. Applicando tecniche dall’analisi funzionale e passando da una formulazione discreta a una continua, siamo stati in grado di ottenere buoni risultati di compressione mantenendo la capacità di integrare questi cambiamenti nel modello. L’articolo ha anche introdotto diversi algoritmi innovativi che non erano stati utilizzati dalla comunità e hanno trovato ulteriore applicazione.

Questo è stato uno dei miei primi articoli nel campo dell’AI e, importante, è stato il risultato del nostro sforzo collettivo, compresi i miei co-fondatori. È stato un importante traguardo per tutti noi.

Puoi spiegare come funzionano le Reti Neurali Integrali (INNs) e perché sono un’importante innovazione nel deep learning?

Le reti neurali tradizionali utilizzano matrici fisse, simili a tabelle di Excel, dove la dimensione e i parametri sono predeterminati. Le INNs, invece, descrivono le reti come funzioni continue, offrendo molta più flessibilità. Pensaci come a una coperta con spilli a diverse altezze e ciò rappresenta l’onda continua.

Ciò che rende le INNs emozionanti è la loro capacità di “compressare” o “espandere” dinamicamente in base alle risorse disponibili, simile a come un segnale analogico viene digitalizzato nel suono. Puoi ridurre la rete senza sacrificare la qualità e, quando necessario, espanderla nuovamente senza doverla riaddestrare.

Abbiamo testato ciò e, mentre i metodi di compressione tradizionali portano a una significativa perdita di qualità, le INNs mantengono una qualità vicina all’originale anche sotto compressione estrema. La matematica dietro di esso è più non convenzionale per la comunità AI, ma il vero valore risiede nella sua capacità di fornire risultati solidi e pratici con minimo sforzo.

TheStage AI ha lavorato su algoritmi di annealing quantistico — come vedi il quantum computing giocare un ruolo nell’ottimizzazione dell’AI nel prossimo futuro?

Quando si tratta di quantum computing e del suo ruolo nell’ottimizzazione dell’AI, il punto chiave è che i sistemi quantistici offrono un approccio completamente diverso per risolvere problemi come l’ottimizzazione. Mentre non abbiamo inventato gli algoritmi di annealing quantistico da zero, aziende come D-Wave forniscono librerie Python per costruire algoritmi quantistici specificamente per compiti di ottimizzazione discreti, che sono ideali per computer quantistici.

L’idea qui è che non stiamo caricando direttamente una rete neurale in un computer quantistico. Ciò non è possibile con l’architettura attuale. Invece, approssimiamo come le reti neurali si comportano sotto diversi tipi di degrado, rendendole adatte a un sistema che un chip quantistico possa elaborare.

In futuro, i sistemi quantistici potrebbero ottimizzare e scalare le reti con una precisione che i sistemi tradizionali faticano a eguagliare. Il vantaggio dei sistemi quantistici risiede nel loro parallelismo incorporato, qualcosa che i sistemi classici possono solo simulare utilizzando risorse aggiuntive. Ciò significa che il quantum computing potrebbe accelerare significativamente il processo di ottimizzazione, specialmente mentre capiamo come modellare reti più grandi e complesse in modo efficace.

Il vero potenziale risiede nell’utilizzo del quantum computing per risolvere enormi e intricati compiti di ottimizzazione e nel dividere i parametri in gruppi più piccoli e gestibili. Con tecnologie come il quantum e il calcolo ottico, ci sono immense possibilità per l’ottimizzazione dell’AI che vanno ben oltre ciò che il calcolo tradizionale può offrire.

Qual è la tua visione a lungo termine per TheStage AI? Dove vedi l’ottimizzazione dell’inferenza diretta nei prossimi 5-10 anni?

A lungo termine, TheStage AI mira a diventare un Model Hub globale dove chiunque possa facilmente accedere a una rete neurale ottimizzata con le caratteristiche desiderate, sia per uno smartphone o qualsiasi altro dispositivo. L’obiettivo è offrire un’esperienza di trascinamento e rilascio, dove gli utenti inseriscono i loro parametri e il sistema genera automaticamente la rete. Se la rete non esiste già, verrà creata automaticamente utilizzando ANNA.

Il nostro obiettivo è far funzionare le reti neurali direttamente sui dispositivi degli utenti, riducendo i costi del 20 al 30%. In futuro, ciò potrebbe quasi eliminare completamente i costi, poiché il dispositivo dell’utente gestirebbe i calcoli invece di affidarsi ai server cloud. Ciò, combinato con i progressi nella compressione dei modelli e nell’accelerazione hardware, potrebbe rendere il deploy dell’AI significativamente più efficiente.

Pianifichiamo anche di integrare la nostra tecnologia con soluzioni hardware, come sensori, chip e robotica, per applicazioni in campi come la guida autonoma e la robotica. Ad esempio, miriamo a costruire fotocamere AI in grado di funzionare in qualsiasi ambiente, sia nello spazio o in condizioni estreme come oscurità o polvere. Ciò renderebbe l’AI utilizzabile in una vasta gamma di applicazioni e ci permetterebbe di creare soluzioni personalizzate per hardware e casi d’uso specifici.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare TheStage AI.