Jason Knight este co-fondator și VP de ML la OctoAI – Seria de interviuri

Jason Knight este co-fondator și Vicepreședinte al Machine Learning la OctoAI, platforma care oferă un stivă completă pentru dezvoltatorii de aplicații pentru a rula, regla și scala aplicațiile lor de inteligență artificială în cloud sau pe premise.

OctoAI a fost creată din Universitatea din Washington de către creatorii originali ai Apache TVM, un stivă deschisă pentru portabilitatea și performanța ML. TVM permite modelelor ML să ruleze eficient pe orice backend de hardware și a devenit rapid o parte cheie a arhitecturii dispozitivelor consumatorilor populare, cum ar fi Amazon Alexa.

Puteți împărtăși inspirația din spatele fondării OctoAI și problema de bază pe care ați încercat să o rezolvați?

Inteligența artificială a fost tradițional un domeniu complex, accesibil doar celor care sunt confortabili cu matematica și calculul de înaltă performanță necesare pentru a crea ceva cu ea. Dar inteligența artificială deblochează interfețele de calcul ultimate, ale textului, vocii și imaginilor programate prin exemple și feedback, și aduce puterea completă a calculului pentru toată lumea de pe Pământ. Înainte de inteligența artificială, doar programatorii puteau să obțină calculatoare care să facă ceea ce voiau prin scrierea de texte de programare arcană.

OctoAI a fost creată pentru a accelera drumul nostru către acea realitate, astfel încât mai multe persoane să poată utiliza și beneficia de inteligența artificială. Și oamenii, la rândul lor, pot utiliza inteligența artificială pentru a crea beneficii și mai mari, accelerând științele, medicina, arta și multe altele.

Reflectând asupra experienței dvs. la Intel (INTC ), cum v-au pregătit rolurile anterioare pentru a co-fonda și conduce dezvoltarea la OctoAI?

Intel și startup-urile de hardware și biotehnologie care au precedat-o mi-au oferit perspectiva de a vedea cât de greu este inteligența artificială chiar și pentru cele mai sofisticate companii de tehnologie, și totuși cât de valoroasă poate fi pentru cei care au reușit să o utilizeze. Și văzând că golul dintre cei care beneficiază de inteligența artificială și cei care nu o fac încă este în primul rând unul de infrastructură, calcul și cele mai bune practici – nu magic.

Ce diferențiază OctoStack de alte soluții de implementare a inteligenței artificiale disponibile pe piață în prezent?

OctoStack este primul stivă completă de tehnologie proiectată special pentru servirea modelelor de inteligență artificială generativă oriunde. Oferește o platformă de producție cu cheie care oferă inferență optimizată, personalizarea modelului și gestionarea activelor la scară întreprindere.

OctoStack permite organizațiilor să obțină autonomie în inteligența artificială, rulând orice model în mediul lor preferat, cu control complet asupra datelor, modelelor și hardware-ului. De asemenea, oferă o performanță și o eficiență a costurilor de neegalat, cu economii de până la 12X în comparație cu alte soluții, cum ar fi GPT-4.

Puteți explica avantajele implementării modelelor de inteligență artificială într-un mediu privat, utilizând OctoStack?

Modelele de azi sunt ubicue, dar asamblarea infrastructurii necesare pentru a rula aceste modele și a le aplica cu datele dvs. este acolo unde începe să se învârtă roata valorii afacerii. Utilizarea acestor modele pe datele dvs. cele mai sensibile și transformarea lor în insight-uri, inginerie de prompt, conducte RAG și reglare este acolo unde puteți obține cea mai mare valoare din inteligența artificială generativă. Dar este încă dificil pentru toate, cu excepția celor mai sofisticate companii, să facă acest lucru singure, ceea ce este unde o soluție cu cheie, cum ar fi OctoStack, poate accelera și aduce cele mai bune practici împreună într-un singur loc pentru practicienii dvs.

Implementarea modelelor de inteligență artificială într-un mediu privat, utilizând OctoStack, oferă mai multe avantaje, inclusiv securitate și control sporit asupra datelor și modelelor. Clienții pot rula aplicații de inteligență artificială generativă în interiorul propriilor VPC-uri sau pe premise, asigurându-se că datele rămân securizate și în mediul ales. Acest abordare oferă, de asemenea, companiilor flexibilitatea de a rula orice model, fie el deschis, personalizat sau proprietar, beneficiind de reduceri de costuri și îmbunătățiri ale performanței.

Care au fost provocările pe care le-ați întâmpinat în optimizarea OctoStack pentru a suporta o gamă largă de hardware și cum au fost depășite aceste provocări?

Optimizarea OctoStack pentru a suporta o gamă largă de hardware a implicat asigurarea compatibilității și performanței pe diverse dispozitive, cum ar fi GPU-urile NVIDIA (NVDA ) și AMD și AWS Inferentia. OctoAI a depășit aceste provocări prin utilizarea expertizei sale profunde în sisteme de inteligență artificială, dezvoltată prin ani de cercetare și dezvoltare, pentru a crea o platformă care se actualizează și suportă în mod continuu tipuri de hardware suplimentare, cazuri de utilizare GenAI și cele mai bune practici. Acest lucru permite OctoAI să ofere performanță și eficiență a costurilor de neegalat.

De asemenea, obținerea celor mai recente capacități în inteligența artificială generativă, cum ar fi multimodalitatea, apelarea funcțiilor, urmărirea strictă a schemei JSON, găzduirea eficientă a reglării și multe altele, în mâinile dezvoltatorilor interni va accelera punctul de decolare al inteligenței artificiale.

OctoAI are o istorie bogată de utilizare a Apache TVM. Cum a influențat această structură capacitățile platformei dvs.?

Am creat Apache TVM pentru a face mai ușor pentru dezvoltatorii sofisticați să scrie biblioteci de inteligență artificială eficiente pentru GPU-uri și acceleratoare mai ușor. Am făcut acest lucru pentru că obținerea performanței maxime de la hardware-ul GPU și accelerator a fost critică pentru inferența inteligenței artificiale atunci, la fel cum este și acum.

Am utilizat aceeași mentalitate și expertiză pentru întreaga stivă de servire Gen AI pentru a oferi automatizare pentru un set mai larg de dezvoltatori.

Puteți discuta despre îmbunătățirile semnificative de performanță pe care le oferă OctoStack, cum ar fi îmbunătățirea de 10 ori a performanței în implementările la scară largă?

OctoStack oferă îmbunătățiri semnificative de performanță, inclusiv economii de până la 12X în comparație cu alte modele, cum ar fi GPT-4, fără a sacrifica viteză sau calitate. De asemenea, oferă o utilizare a GPU-ului cu 4X mai bună și o reducere cu 50% a costurilor operaționale, permițând organizațiilor să ruleze implementări la scară largă în mod eficient și rentabil.

Puteți împărtăși unele cazuri de utilizare notabile în care OctoStack a îmbunătățit semnificativ implementarea inteligenței artificiale pentru clienții dvs.?

Un caz de utilizare notabil este Apate.ai, un serviciu global care combatete escrocheriile telefonice utilizând inteligența artificială generativă conversațională. Apate.ai a utilizat OctoStack pentru a rula eficient suita sa de modele de limbă pe multiple geografii, beneficiind de flexibilitatea, scala și securitatea oferite de OctoStack. Această implementare a permis Apate.ai să ofere modele personalizate care susțin multiple limbi și dialecte regionale, îndeplinind cerințele sale de performanță și securitate.

De asemenea, servim sute de reglări pentru clientul nostru OpenPipe. Dacă ar fi trebuit să pornească instanțe dedicate pentru fiecare dintre acestea, cazurile de utilizare ale clienților lor ar fi fost infezabile, pe măsură ce cresc și evoluează cazurile lor de utilizare și reantrenează în mod continuu reglările lor eficiente din punct de vedere al parametrilor pentru calitatea maximă a ieșirii la prețuri rentabile.

Mulțumim pentru acest interviu minunat, cititorilor care doresc să afle mai multe despre OctoAI.