Neetu Pathak, Co-Fondator și CEO al Skymel – Seria de interviuri

Neetu Pathak, Co-Fondator și CEO al Skymel, conduce compania în revoluționarea inferenței AI cu tehnologia inovatoare NeuroSplit™. Alături de CTO Sushant Tripathy, ea conduce misiunea Skymel de a îmbunătăți performanța aplicațiilor AI, reducând în același timp costurile computaționale.

NeuroSplit™ este o tehnologie de inferență adaptivă care distribuie dinamic încărcările de lucru AI între dispozitivele utilizatorilor și serverele cloud. Acest abordaj utilizează resursele de calcul inactiv de pe dispozitivele utilizatorilor, reducând costurile infrastructurii cloud cu până la 60%, accelerând vitezele de inferență, asigurând confidențialitatea datelor și permițând o scalabilitate fără probleme.

Prin optimizarea puterii de calcul locale, NeuroSplit™ permite aplicațiilor AI să ruleze eficient chiar și pe dispozitive mai vechi, reducând semnificativ costurile și îmbunătățind experiența utilizatorului.

Ce v-a inspirat să co-fondați Skymel și care sunt principalele provocări ale infrastructurii AI pe care le-ați urmărit să le rezolvați cu NeuroSplit?

Inspiratia pentru Skymel a venit din convergența experiențelor noastre complementare. În timpul șederii sale la Google, co-fondatorul meu, Sushant Tripathy, a implementat modele de inteligență artificială bazate pe vorbire pe miliarde de dispozitive Android. El a descoperit că există o cantitate enormă de putere de calcul inactiv disponibilă pe dispozitivele utilizatorilor, dar majoritatea companiilor nu au putut să o utilizeze eficient din cauza provocărilor inginerești complexe de accesare a acestor resurse fără a compromite experiența utilizatorului.

Între timp, experiența mea de a lucra cu întreprinderi și startup-uri la Redis mi-a oferit o perspectivă profundă asupra modului în care latența a devenit critică pentru afaceri. Pe măsură ce aplicațiile AI au devenit mai răspândite, a devenit clar că trebuie să mutăm procesarea mai aproape de locul unde sunt create datele, în loc să le transportăm constant înapoi și înapoi către centrele de date.

Acesta a fost momentul în care Sushant și eu am realizat că viitorul nu este despre alegerea între procesarea locală sau cea în cloud – ci despre crearea unei tehnologii inteligente care să poată adapta în mod inteligent între procesarea locală, cea în cloud sau hibridă, în funcție de fiecare cerere specifică de inferență. Această perspectivă ne-a condus să fondăm Skymel și să dezvoltăm NeuroSplit, mergând dincolo de limitările tradiționale ale infrastructurii care împiedicau inovația în AI.

Puteți explica cum NeuroSplit optimizează dinamic resursele de calcul, menținând în același timp confidențialitatea utilizatorului și performanța?

Una dintre principalele capcane în inferența locală AI a fost cerința statică de calcul – în mod tradițional, rularea unui model AI necesită aceleași resurse computaționale, indiferent de condițiile dispozitivului sau de comportamentul utilizatorului. Acest abordare de tip “unul pentru toți” ignoră realitatea că dispozitivele au capacități hardware diferite, de la diverse cipuri (GPU, NPU, CPU, XPU) la benzi de transfer de date variate, și utilizatorii au comportamente diferite în ceea ce privește utilizarea aplicațiilor și modelele de încărcare.

NeuroSplit monitorizează în mod continuu diverse telemetrie de dispozitiv – de la capacitățile hardware la utilizarea curentă a resurselor, starea bateriei și condițiile de rețea. De asemenea, luăm în considerare modelele de comportament ale utilizatorilor, cum ar fi numărul de aplicații care rulează și modelele obișnuite de utilizare a dispozitivului. Această monitorizare cuprinzătoare permite NeuroSplit să determine în mod dinamic câtă inferență poate fi rulată în siguranță pe dispozitivul utilizatorului, optimizând în același timp indicatorii de performanță cheie ai dezvoltatorilor.

Când confidențialitatea datelor este esențială, NeuroSplit asigură că datele brute nu părăsesc dispozitivul, procesând informații sensibile local, în timp ce menține performanța optimă. Capacitatea noastră de a diviza, a tăia sau a decupla modelele AI ne permite să încărcăm 50-100 de modele AI reduse în spațiul de memorie al unui singur model cuantificat pe un dispozitiv utilizator. În termeni practici, acest lucru înseamnă că utilizatorii pot rula simultan mai multe aplicații bazate pe AI, procesând date sensibile local, comparativ cu abordările tradiționale de calcul static.

Care sunt principalele beneficii ale inferenței adaptive NeuroSplit pentru companiile AI, în special pentru cele care lucrează cu tehnologia GPU mai veche?

NeuroSplit oferă trei beneficii transformative pentru companiile AI. În primul rând, reduce dramatic costurile infrastructurii prin două mecanisme: companiile pot utiliza GPU-uri mai ieftine și mai vechi în mod eficient, iar capacitatea noastră unică de a încărca atât modele complete, cât și modele reduse pe GPU-urile cloud permite o utilizare mult mai ridicată a GPU-urilor. De exemplu, o aplicație care necesită în mod normal mai multe NVIDIA A100 la 2,74 dolari pe oră poate rula acum pe un singur A100 sau pe mai multe V100 la doar 83 de cenți pe oră.

În al doilea rând, îmbunătățim semnificativ performanța prin procesarea directă a datelor brute pe dispozitivele utilizatorilor. Acest lucru înseamnă că datele care ajung în cele din urmă în cloud sunt mult mai mici în dimensiune, reducând semnificativ latența rețelei, în timp ce menține acuratețea. Acest abordare hibrid oferă companiilor cel mai bun din ambele lumi – viteza procesării locale cu puterea calculului cloud.

În al treilea rând, prin procesarea datelor inițiale sensibile pe dispozitivul utilizatorului, ajutăm companiile să mențină puternice protecții pentru confidențialitatea utilizatorului, fără a compromite performanța. Acest lucru este din ce în ce mai important pe măsură ce reglementările privind confidențialitatea devin mai stricte și utilizatorii devin mai conștienți de confidențialitate.

Cum reduce soluția Skymel costurile pentru inferența AI fără a compromite complexitatea sau acuratețea modelului?

În primul rând, prin divizarea modelelor AI individuale, distribuim calculul între dispozitivele utilizatorilor și cloud. Prima parte rulează pe dispozitivul utilizatorului, gestionând 5% până la 100% din calculul total, în funcție de resursele disponibile ale dispozitivului. Doar calculul rămas trebuie procesat pe GPU-urile cloud.

Acest lucru înseamnă că GPU-urile cloud gestionează o sarcină de calcul redusă – dacă un model necesita inițial un GPU A100 complet, după divizare, aceeași sarcin de lucru ar putea necesita doar 30-40% din capacitatea GPU-ului. Acest lucru permite companiilor să utilizeze instanțe de GPU mai ieftine, cum ar fi V100.

În al doilea rând, NeuroSplit optimizează utilizarea GPU-urilor în cloud. Prin aranjarea eficientă a modelelor complete și a modelelor reduse pe același GPU cloud, realizăm rate de utilizare mult mai ridicate comparativ cu abordările tradiționale. Acest lucru înseamnă că mai multe modele pot rula simultan pe același GPU cloud, reducând și mai mult costurile pe inferență.

Ce diferențiază abordarea hibridă (local + cloud) a Skymel de alte soluții de infrastructură AI de pe piață?

Peisajul AI se află la un punct de inflexiune fascinant. În timp ce Apple, Samsung și Qualcomm demonstrează puterea AI hibrid prin funcțiile lor de ecosistem, acestea rămân grădini închise. Dar AI nu ar trebui să fie limitat de dispozitivul pe care îl utilizează un anumit utilizator.

NeuroSplit este fundamental agnostic la dispozitiv, agnostic la cloud și agnostic la arhitectura rețelelor neuronale. Acest lucru înseamnă că dezvoltatorii pot livra în sfârșit experiențe AI consistente, indiferent dacă utilizatorii lor sunt pe un iPhone, dispozitiv Android sau laptop – sau dacă utilizează AWS, Azure sau Google Cloud.

Gândiți-vă la ce înseamnă acest lucru pentru dezvoltatori. Ei pot construi o aplicație AI o singură dată și știu că va adapta în mod inteligent pe orice dispozitiv, orice cloud și orice arhitectură de rețea neuronală. Fără a mai fi nevoie să construiască versiuni diferite pentru diferite platforme sau să compromită funcții pe baza capacităților dispozitivului.

Suntem în proces de a aduce capacități de AI hibrid de nivel enterprise din grădini închise și de a le face universal accesibile. Pe măsură ce AI devine central pentru fiecare aplicație, acest tip de flexibilitate și consistență nu este doar un avantaj – este esențial pentru inovare.

Cum completează Agentul Orchestrator NeuroSplit și ce rol joacă în transformarea strategiilor de implementare AI?

Agentul Orchestrator (AO) și NeuroSplit lucrează împreună pentru a crea un sistem de implementare AI auto-optimizant:

1. Dezvoltatorii setează limitele:

• Restricții: modele permise, versiuni, furnizori de cloud, zone, reguli de conformitate
• Obiective: latență țintă, limite de cost, cerințe de performanță, nevoi de confidențialitate

2. AO funcționează în cadrul acestor restricții pentru a atinge obiectivele:

• Decide care modele/API-uri să utilizeze pentru fiecare cerere
• Adaptează strategiile de implementare pe baza performanței din lumea reală
• Face compromisuri pentru a optimiza obiectivele specificate
• Poate fi reconfigurat instantaneu pe măsură ce nevoile se schimbă

3. NeuroSplit execută deciziile AO:

• Utilizează telemetria dispozitivului în timp real pentru a optimiza execuția
• Divizează procesarea între dispozitiv și cloud atunci când este benefic
• Asigură că fiecare inferență rulează în mod optim, ținând cont de condițiile curente

Este ca și cum ai avea un sistem AI care se optimizează singur în cadrul regulilor și obiectivelor definite, în loc să necesiteți optimizarea manuală pentru fiecare scenariu.

În opinia dvs., cum va reseta Agentul Orchestrator modul în care AI este implementat în diferite industrii?

Rezolvă trei provocări critice care au împiedicat adoptarea și inovația AI.

În primul rând, permite companiilor să țină pasul cu cele mai recente avansuri AI fără efort. Cu Agentul Orchestrator, puteți profita instantaneu de noile modele și tehnici fără a restructura infrastructura. Acesta este un avantaj competitiv major într-o lume în care inovația AI se mișcă cu o viteză fără precedent.

În al doilea rând, permite optimizarea dinamică a selecției de modele AI pe baza fiecărei interacțiuni a utilizatorului. Agentul Orchestrator poate combina și potrivi inteligent modele din întregul ecosistem de opțiuni pentru a oferi cele mai bune rezultate pentru fiecare tip de interacțiune. De exemplu, un AI de asistență pentru clienți ar putea utiliza un model specializat pentru întrebări tehnice și un altul pentru întrebări de facturare, oferind rezultate mai bune pentru fiecare tip de interacțiune.

În al treilea rând, maximizează performanța, minimizând în același timp costurile. Agentul automatizează echilibrul între rularea AI pe dispozitivul utilizatorului sau în cloud, pe baza a ceea ce are cel mai mult sens în acel moment. Când confidențialitatea este importantă, procesează datele local. Când este nevoie de putere de calcul suplimentară, utilizează cloud-ul. Toate acestea se întâmplă în fundal, creând o experiență netedă pentru utilizatori, în timp ce optimizează resursele pentru afaceri.

Dar ceea ce diferențiază cu adevărat Agentul Orchestrator este modul în care permite companiile să creeze experiențe hiper-personalizate de ultimă generație pentru utilizatorii lor. Luați, de exemplu, o platformă de învățare online – cu tehnologia noastră, ei pot construi un sistem care se adaptează automat la abordarea de predare în funcție de nivelul de înțelegere al fiecărui student. Când un utilizator caută “învățare automată”, platforma nu afișează doar rezultate generice – ea poate evalua instantaneu înțelegerea curentă și personaliza explicațiile utilizând concepte pe care utilizatorul le cunoaște deja.

În cele din urmă, Agentul Orchestrator reprezintă viitorul implementării AI – o schimbare de la infrastructura AI statică și monolitică la o orchestrare AI dinamică și auto-optimizantă. Nu este doar despre a face implementarea AI mai ușoară – este despre a face posibile clase întregi de aplicații AI complet noi.

Care este feedback-ul pe care l-ați primit până acum de la companiile care participă la beta-ul privat al Agentului Orchestrator?

Feedback-ul de la participanții noștri la beta a fost excelent! Companiile sunt încântate să descopere că pot, în sfârșit, să scape de blocajul infrastructurii, fie că este vorba de modele proprietare sau de servicii de găzduire. Capacitatea de a proteja orice decizie de implementare a viitorului a fost un joc schimbător, eliminând acele luni de restructurare atunci când se schimbă abordările.

Rezultatele noastre de performanță NeuroSplit au fost pur și simplu remarcabile – abia așteptăm să putem împărtăși datele public în curând. Ceea ce este deosebit de interesant este modul în care conceptul de implementare AI adaptivă a capturat imaginația. Faptul că AI se implementează singur sună futurist și nu ceva pe care l-ar fi așteptat acum, așa că doar din punct de vedere al progresului tehnologic, oamenii sunt entuziasmați de posibilități și de noi piețe pe care le-ar putea crea în viitor.

Având în vedere avansurile rapide în AI generativ, ce sunt următoarele provocări majore pentru infrastructura AI și cum plănuiți să le abordați la Skymel?

Ne îndreptăm spre un viitor pe care majoritatea oamenilor nu l-au înțeles încă pe deplin: nu va exista un singur model AI dominant, ci miliarde. Chiar dacă am crea cel mai puternic model AI general imaginabil, tot ar trebui să avem versiuni personalizate pentru fiecare persoană de pe Pământ, adaptate la contexte, preferințe și nevoi unice. Acesta este cel puțin 8 miliarde de modele, pe baza populației lumii.

Acest lucru marchează o schimbare revoluționară de la abordarea “unul pentru toți” de astăzi. Viitorul necesită o infrastructură inteligentă care să poată gestiona miliarde de modele. La Skymel, nu rezolvăm doar provocările de implementare de astăzi – planul nostru de tehnologie este deja în curs de a construi fundația pentru ceea ce urmează.

Cum vă imaginați evoluția infrastructurii AI în următorii cinci ani și ce rol credeți că va juca Skymel în această evoluție?

Peisajul infrastructurii AI este pe cale să suporte o schimbare fundamentală. În timp ce accentul de astăzi se pune pe scalarea modelelor de limbaj mare în cloud, următorii cinci ani vor vedea AI-ul devenind profund personalizat și conștient de context.

Acestă schimbare creează două provocări majore de infrastructură. În primul rând, abordarea tradițională de a rula totul în centre de date centralizate devine nesustenabilă atât din punct de vedere tehnic, cât și economic. În al doilea rând, creșterea complexității aplicațiilor AI înseamnă că avem nevoie de o infrastructură care să poată optimiza dinamic între multiple modele, dispozitive și locații de calcul.

La Skymel, construim o infrastructură care abordează în mod specific aceste provocări. Tehnologia noastră permite AI să ruleze oriunde are cel mai mult sens – fie pe dispozitivul unde sunt generate datele, în cloud, unde este disponibil mai mult calcul, sau inteligent divizat între cele două. Mai important, aceste decizii se adaptează în timp real pe baza condițiilor și cerințelor în schimbare.

În perspectivă, aplicațiile AI de succes nu vor fi definite de mărimea modelelor sau de cantitatea de calcul pe care o pot accesa. Vor fi definite de capacitatea lor de a oferi experiențe personalizate și receptive, gestionând în același timp resursele în mod eficient. Obiectivul nostru este de a face acest nivel de optimizare inteligentă accesibil pentru fiecare aplicație AI, indiferent de scară sau complexitate.

Mulțumim pentru acest interviu excelent; cititorii care doresc să afle mai multe ar trebui să viziteze Skymel.