Jason Knight è co-fondatore e VP di ML di OctoAI – Serie di interviste

Jason Knight è co-fondatore e Vice Presidente di Machine Learning di OctoAI, la piattaforma che fornisce uno stack completo per gli sviluppatori di app per eseguire, ottimizzare e scalare le loro applicazioni di intelligenza artificiale nel cloud o on-premises.

OctoAI è stato creato a partire dall’Università di Washington dai creatori originali di Apache TVM, uno stack open source per la portabilità e le prestazioni di ML. TVM consente ai modelli di ML di eseguirsi in modo efficiente su qualsiasi hardware backend e si è rapidamente affermato come parte chiave dell’architettura di dispositivi consumer popolari come Amazon Alexa.

Può condividere l’ispirazione dietro la fondazione di OctoAI e il problema principale che ha cercato di risolvere?

L’intelligenza artificiale è tradizionalmente un campo complesso accessibile solo a coloro che sono a loro agio con la matematica e l’elaborazione ad alte prestazioni richiesta per creare qualcosa con essa. Ma l’intelligenza artificiale sblocca le interfacce di calcolo definitive, quelle di testo, voce e immagini programmate con esempi e feedback, e porta il pieno potere del calcolo a tutti sulla Terra. Prima dell’intelligenza artificiale, solo i programmatori potevano far eseguire ai computer ciò che volevano scrivendo testi di linguaggio di programmazione arcani.

OctoAI è stato creato per accelerare il nostro percorso verso quella realtà in modo che più persone possano utilizzare e trarre beneficio dall’intelligenza artificiale. E le persone, a loro volta, possono utilizzare l’intelligenza artificiale per creare ancora più benefici accelerando le scienze, la medicina, l’arte e altro.

Riflettendo sulla sua esperienza in Intel (INTC ), come i suoi ruoli precedenti lo hanno preparato per co-fondare e guidare lo sviluppo di OctoAI?

Intel e le startup di intelligenza artificiale e biotecnologia prima di essa gli hanno dato la prospettiva per vedere quanto sia difficile l’intelligenza artificiale anche per le società tecnologiche più sofisticate, e quanto possa essere preziosa per coloro che hanno capito come utilizzarla. E vedere che il divario tra coloro che traggono beneficio dall’intelligenza artificiale rispetto a coloro che non lo fanno ancora è principalmente uno di infrastrutture, calcolo e best practice – non magia.

Cosa differenzia OctoStack dalle altre soluzioni di distribuzione di intelligenza artificiale disponibili sul mercato oggi?

OctoStack è il primo stack tecnologico completo progettato specificamente per la distribuzione di modelli di intelligenza artificiale generativa ovunque. Offre una piattaforma di produzione turnkey che fornisce inferenza ottimizzata, personalizzazione del modello e gestione degli asset a scala aziendale.

OctoStack consente alle organizzazioni di raggiungere l’autonomia dell’intelligenza artificiale eseguendo qualsiasi modello nel loro ambiente preferito con il pieno controllo sui dati, i modelli e l’hardware. Offre anche prestazioni e efficienza dei costi senza precedenti, con risparmi fino al 12X rispetto ad altre soluzioni come GPT-4.

Può spiegare i vantaggi della distribuzione di modelli di intelligenza artificiale in un ambiente privato utilizzando OctoStack?

I modelli di oggi sono onnipresenti, ma assemblare la giusta infrastruttura per eseguire quei modelli e applicarli con i propri dati è dove la ruota del valore aziendale inizia a girare veramente. Utilizzare questi modelli sui propri dati più sensibili e poi trasformarli in informazioni, migliorare la progettazione dei prompt, le pipeline RAG e la fine-tuning è dove si può ottenere il massimo valore dall’intelligenza artificiale generativa. Ma è ancora difficile per tutte le società, tranne le più sofisticate, farlo da sole, ed è qui che una soluzione turnkey come OctoStack può accelerare e riunire le migliori pratiche in un unico luogo per i propri praticanti.

La distribuzione di modelli di intelligenza artificiale in un ambiente privato utilizzando OctoStack offre diversi vantaggi, tra cui una maggiore sicurezza e controllo sui dati e sui modelli. I clienti possono eseguire applicazioni di intelligenza artificiale generativa all’interno delle proprie VPC o on-premises, garantendo che i propri dati rimangano sicuri e all’interno degli ambienti scelti. Questo approccio offre inoltre alle aziende la flessibilità di eseguire qualsiasi modello, sia open-source, personalizzato o proprietario, beneficiando di riduzioni dei costi e miglioramenti delle prestazioni.

Quali sfide ha affrontato nell’ottimizzare OctoStack per supportare una vasta gamma di hardware e come sono state superate?

L’ottimizzazione di OctoStack per supportare una vasta gamma di hardware ha richiesto la garanzia della compatibilità e delle prestazioni su vari dispositivi, come NVIDIA (NVDA ) e AMD GPU e AWS Inferentia. OctoAI ha superato queste sfide sfruttando la propria profonda esperienza nel campo dei sistemi di intelligenza artificiale, sviluppata attraverso anni di ricerca e sviluppo, per creare una piattaforma che continua ad aggiornarsi e supportare ulteriori tipi di hardware, casi d’uso di GenAI e migliori pratiche. Ciò consente a OctoAI di offrire prestazioni e efficienza dei costi leader del mercato.

Inoltre, ottenere le ultime funzionalità dell’intelligenza artificiale generativa, come la multimodalità, la chiamata di funzioni, lo schema JSON rigoroso, l’hosting efficiente della fine-tuning e altro, nelle mani dei propri sviluppatori interni accelererà il punto di partenza dell’intelligenza artificiale.

OctoAI ha una ricca storia di sfruttamento di Apache TVM. Come questo framework ha influenzato le capacità della piattaforma?

Abbiamo creato Apache TVM per rendere facile per gli sviluppatori sofisticati scrivere librerie di intelligenza artificiale efficienti per GPU e acceleratori più facilmente. L’abbiamo fatto perché ottenere le prestazioni massime dall’hardware GPU e acceleratore era critico per l’inferenza dell’intelligenza artificiale allora come lo è ora.

Abbiamo poi sfruttato la stessa mentalità e competenza per l’intero stack di servizio di Gen AI per offrire l’automazione per un insieme più ampio di sviluppatori.

Può discutere alcuni miglioramenti delle prestazioni significativi che OctoStack offre, come il 10x miglioramento delle prestazioni nelle distribuzioni su larga scala?

OctoStack offre miglioramenti delle prestazioni significativi, tra cui risparmi fino al 12X rispetto ad altri modelli come GPT-4 senza sacrificare velocità o qualità. Offre inoltre un’utilizzazione del 4X migliore della GPU e una riduzione del 50% dei costi operativi, consentendo alle organizzazioni di eseguire distribuzioni su larga scala in modo efficiente ed economico.

Può condividere alcuni casi d’uso notevoli in cui OctoStack ha migliorato notevolmente la distribuzione di intelligenza artificiale per i suoi clienti?

Un caso d’uso notevole è Apate.ai, un servizio globale che combatte le truffe telefoniche utilizzando l’intelligenza artificiale conversazionale generativa. Apate.ai ha sfruttato OctoStack per eseguire in modo efficiente la propria suite di modelli linguistici in più geografie, beneficiando della flessibilità, della scala e della sicurezza di OctoStack. Questa distribuzione ha consentito ad Apate.ai di offrire modelli personalizzati che supportano più lingue e dialetti regionali, soddisfacendo i requisiti di prestazioni e sicurezza.

Inoltre, serviamo centinaia di fine-tune per il nostro cliente OpenPipe. Se dovessero avviare istanze dedicate per ognuno di questi, i casi d’uso dei loro clienti sarebbero infeasibili man mano che crescono e si evolvono i loro casi d’uso e ri-trasformano continuamente i loro fine-tune efficienti dei parametri per la massima qualità di output a prezzi accessibili.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare OctoAI.