Lin Qiao, CEO & Co-Founder di Fireworks AI – Serie di Interviste

Lin Qiao, è stato in precedenza a capo di Meta’s PyTorch e è il Co-Founder e CEO di Fireworks AI. Fireworks AI è una piattaforma di produzione AI costruita per gli sviluppatori, Fireworks collabora con i principali ricercatori di intelligenza artificiale generativa del mondo per offrire i migliori modelli, alle velocità più veloci. Fireworks AI ha recentemente raccolto un $25M Series A.

Cosa ti ha inizialmente attratto verso l’informatica?

Mio padre era un ingegnere meccanico molto senior in un cantiere navale, dove costruiva navi cargo da zero. Fin da giovane, ho imparato a leggere gli angoli precisi e le misure dei progetti delle navi, e mi piaceva.

Ero molto interessato a STEM fin dalle scuole medie – tutto ciò che riguardava matematica, fisica e chimica lo divoravo. Uno dei miei compiti scolastici era imparare a programmare in BASIC, e ho creato un gioco su un serpente che mangia la sua coda. Dopo di allora, sapevo che l’informatica era nel mio futuro.

Mentre eri a Meta, hai guidato più di 300 ingegneri di classe mondiale in piattaforme e framework di intelligenza artificiale, dove hai costruito e distribuito Caffe2 e successivamente PyTorch. Quali sono stati alcuni dei tuoi principali risultati in questa esperienza?

Le grandi aziende tecnologiche come Meta sono sempre cinque o più anni avanti rispetto alla curva. Quando mi sono unito a Meta nel 2015, eravamo all’inizio del nostro viaggio nell’intelligenza artificiale – passando dalle CPU alle GPU. Dovevamo progettare l’infrastruttura di intelligenza artificiale da zero. Modelli come Caffe2 erano innovativi quando sono stati creati, ma l’intelligenza artificiale si è evoluta così rapidamente che sono diventati rapidamente obsoleti. Abbiamo sviluppato PyTorch e l’intero sistema intorno ad esso come soluzione.

PyTorch è dove ho imparato quali sono i principali ostacoli che gli sviluppatori affrontano nella corsa per costruire l’intelligenza artificiale. La prima sfida è trovare un’architettura di modello stabile e affidabile che sia a bassa latenza e flessibile in modo che i modelli possano scalare. La seconda sfida è il costo totale di proprietà, in modo che le aziende non vadano in bancarotta cercando di far crescere i loro modelli.

Il mio tempo a Meta mi ha mostrato quanto sia importante mantenere modelli e framework come PyTorch open-source. Ciò incoraggia l’innovazione. Non saremmo cresciuti così tanto con PyTorch senza le opportunità di iterazione open-source. Inoltre, è impossibile stare al passo con tutte le ultime ricerche senza collaborazione.

Puoi discutere cosa ti ha portato a lanciare Fireworks AI?

Sono nel settore tecnologico da più di 20 anni e ho visto onda dopo onda di cambiamenti a livello di settore – dal cloud alle app mobili. Ma questo cambiamento nell’intelligenza artificiale è un completo riassetto tettonico. Ho visto molte aziende lottare con questo cambiamento. Tutti volevano muoversi velocemente e mettere l’intelligenza artificiale al primo posto, ma mancavano dell’infrastruttura, delle risorse e del talento per farlo accadere. Più parlavo con queste aziende, più mi rendevo conto che potevo risolvere questo gap nel mercato.

Ho lanciato Fireworks AI sia per risolvere questo problema che per servire come estensione del lavoro incredibile che abbiamo raggiunto con PyTorch. Ciò ha anche ispirato il nostro nome! PyTorch è la torcia che tiene il fuoco – ma vogliamo che questo fuoco si diffonda ovunque. Quindi: Fireworks.

Sono sempre stato appassionato di democratizzare la tecnologia e renderla accessibile e semplice per gli sviluppatori innovare indipendentemente dalle loro risorse. È per questo che abbiamo un’interfaccia utente così user-friendly e sistemi di supporto solidi per potenziare i costruttori a portare le loro visioni alla vita.

Puoi discutere cosa significa intelligenza artificiale centrata sugli sviluppatori e perché è così importante?

È semplice: “centrata sugli sviluppatori” significa dare priorità alle esigenze degli sviluppatori di intelligenza artificiale. Ad esempio: creare strumenti, comunità e processi che rendano gli sviluppatori più efficienti e autonomi.

Piattaforme di intelligenza artificiale centrate sugli sviluppatori come Fireworks dovrebbero integrarsi nei flussi di lavoro e negli stack tecnologici esistenti. Dovrebbero rendere semplice per gli sviluppatori sperimentare, fare errori e migliorare il loro lavoro. Dovrebbero incoraggiare il feedback, perché sono gli sviluppatori stessi a capire cosa serve per essere di successo. Infine, si tratta di più che essere solo una piattaforma. È essere una comunità – una comunità in cui gli sviluppatori collaborativi possono spingere i limiti di ciò che è possibile con l’intelligenza artificiale.

La piattaforma GenAI che avete sviluppato è un avanzamento significativo per gli sviluppatori che lavorano con grandi modelli linguistici (LLM). Puoi elaborare sulle caratteristiche uniche e sui vantaggi della tua piattaforma, in particolare in confronto alle soluzioni esistenti?

Il nostro approccio completo come piattaforma di produzione di intelligenza artificiale è unico, ma alcune delle nostre migliori caratteristiche sono:

Inferenza efficiente – Abbiamo progettato Fireworks AI per l’efficienza e la velocità. Gli sviluppatori che utilizzano la nostra piattaforma possono eseguire le loro applicazioni LLM con la latenza più bassa possibile e il costo più basso. Ciò lo otteniamo con le più recenti tecniche di ottimizzazione dei modelli e dei servizi, tra cui la memorizzazione nella cache dei prompt, la divisione adattiva, la quantizzazione, il batching continuo, FireAttention e altro.

Supporto economico per modelli LoRA-tuned – Offriamo un servizio economico di modelli LoRA-tuned (low-rank adaptation) tramite multi-tenant sui modelli di base. Ciò significa che gli sviluppatori possono sperimentare con molti diversi casi d’uso o variazioni sullo stesso modello senza spendere una fortuna.

Interfacce e API semplici – Le nostre interfacce e API sono dirette e facili da integrare nelle applicazioni degli sviluppatori. Le nostre API sono anche compatibili con OpenAI per facilitare la migrazione.

Modelli pre-addestrati e modelli fine-tuned – Offriamo più di 100 modelli pre-addestrati che gli sviluppatori possono utilizzare fuori dalla scatola. Copriamo i migliori LLM, modelli di generazione di immagini, modelli di embedding, ecc. Ma gli sviluppatori possono anche scegliere di ospitare e servire i propri modelli personalizzati. Offriamo anche servizi di fine-tuning self-service per aiutare gli sviluppatori ad adattare questi modelli personalizzati con i loro dati proprietari.

Collaborazione comunitaria: crediamo nell’etica open-source della collaborazione comunitaria. La nostra piattaforma incoraggia (ma non richiede) agli sviluppatori di condividere i loro modelli fine-tuned e di contribuire a una banca crescente di asset e conoscenze di intelligenza artificiale. Tutti traggono beneficio dal crescere della nostra esperienza collettiva.

Puoi discutere l’approccio ibrido che viene offerto tra parallelismo del modello e parallelismo dei dati?

Parallelizzare i modelli di apprendimento automatico migliora l’efficienza e la velocità dell’addestramento dei modelli e aiuta gli sviluppatori a gestire modelli più grandi che un singolo GPU non può elaborare.

Il parallelismo del modello coinvolge la divisione di un modello in più parti e l’addestramento di ogni parte su processori separati. D’altra parte, il parallelismo dei dati divide i set di dati in subset e addestra un modello su ogni subset allo stesso tempo su processori separati. Un approccio ibrido combina questi due metodi. I modelli vengono divisi in parti separate, che vengono addestrate su subset diversi di dati, migliorando l’efficienza, la scalabilità e la flessibilità.

Fireworks AI è utilizzato da oltre 20.000 sviluppatori e attualmente serve oltre 60 miliardi di token al giorno. Quali sfide hai affrontato nel scalare le tue operazioni a questo livello e come le hai superate?

Sarò onesto, ci sono state molte montagne alte da superare fin dalla fondazione di Fireworks AI nel 2022.

I nostri clienti sono venuti da noi inizialmente cercando un supporto a bassa latenza perché stavano costruendo applicazioni per consumatori, prosumer o altri sviluppatori – tutti pubblici che necessitano di soluzioni veloci. Poi, quando le applicazioni dei nostri clienti hanno iniziato a scalare velocemente, si sono resi conto che non potevano permettersi i costi tipici associati a quella scala. Hanno quindi chiesto aiuto per ridurre il costo totale di proprietà (TCO), che abbiamo fatto. Poi, i nostri clienti hanno voluto migrare da OpenAI ai modelli OSS, e ci hanno chiesto di fornire una qualità pari o superiore a OpenAI. Abbiamo reso ciò possibile.

Ogni passo nell’evoluzione del nostro prodotto è stato un problema difficile da risolvere, ma ha significato che le esigenze dei nostri clienti hanno veramente plasmato Fireworks in ciò che è oggi: un motore di inferenza fulmineo con un basso TCO. Inoltre, offriamo sia una varietà di modelli di alta qualità, pronti all’uso, da cui scegliere, sia servizi di fine-tuning per gli sviluppatori per creare i propri.

Con i rapidi progressi nell’intelligenza artificiale e nell’apprendimento automatico, le considerazioni etiche sono più importanti che mai. Come Fireworks AI affronta le preoccupazioni relative alla parzialità, alla privacy e all’uso etico dell’intelligenza artificiale?

Ho due figlie adolescenti che utilizzano app di genAI come ChatGPT spesso. Come madre, mi preoccupo che trovino contenuti fuorvianti o inappropriati, perché l’industria sta solo iniziando ad affrontare il problema critico della sicurezza dei contenuti. Meta sta facendo molto con il progetto Purple Llama, e i nuovi modi SD3 di Stability AI sono grandi. Entrambe le aziende stanno lavorando sodo per portare la sicurezza ai loro nuovi modelli Llama3 e SD3 con多 strati di filtri. Il modello di salvaguardia input-output, Llama Guard, ottiene un buon utilizzo sulla nostra piattaforma, ma il suo utilizzo non è ancora allineato con altri LLM. L’industria nel suo complesso ha ancora un lungo cammino da percorrere per portare la sicurezza dei contenuti e l’etica dell’intelligenza artificiale al centro dell’attenzione.

Noi a Fireworks ci preoccupiamo profondamente della privacy e della sicurezza. Siamo conformi a HIPAA e SOC2 e offriamo una connessione VPC e VPN sicura. Le aziende si affidano a Fireworks con i loro dati e modelli proprietari per costruire il loro vantaggio competitivo.

Qual è la tua visione per l’evoluzione dell’intelligenza artificiale?

Proprio come AlphaGo ha dimostrato l’autonomia mentre imparava a giocare a scacchi da solo, credo che vedremo applicazioni di genAI diventare sempre più autonome. Le app routeranno automaticamente e dirigeranno le richieste all’agente o all’API giusto per l’elaborazione e correggeranno il percorso fino a quando non ottengono l’output giusto. E invece di un modello di funzione che chiama gli altri come controller, vedremo più agenti auto-organizzati e auto-coordinati che lavorano insieme per risolvere problemi.

Fireworks’ inferenza fulminea, modelli di chiamata di funzioni e servizio di fine-tuning hanno aperto la strada a questa realtà. Ora tocca agli sviluppatori innovativi farla accadere.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Fireworks AI.