Neetu Pathak, Skymelin perustaja ja toimitusjohtaja – Haastattelusarja

Neetu Pathak, Skymelin perustaja ja toimitusjohtaja, johtaa yhtiötä vallankumouksellisen NeuroSplit™-teknologian kehittämisessä. Yhdessä CTO Sushant Tripathyn kanssa hän ajaa Skymelin tehtävää parantaa AI-sovellusten suorituskykyä laskemalla laskentakustannuksia.

NeuroSplit on sopeutuva inferenssiteknologia, joka jakaa dynaamisesti AI-työnkulut päätelaitteiden ja pilvipalvelimien välillä. Tämä lähestymistapa hyödyntää päätelaitteiden käyttämättömiä laskentaresursseja, mikä leikkaa pilvi-infrastruktuurin kustannuksia jopa 60 %, kiihdyttää inferenssinopeuksia, varmistaa tietosuojan ja mahdollistaa helpon skaalautuvuuden.

Paikallisen laskentatehon optimoimalla NeuroSplit mahdollistaa AI-sovellusten suorittamisen tehokkaasti jopa vanhemmilla GPU:illa, mikä laskee kustannuksia ja parantaa käyttökokemusta.

Mikä innoitti sinua perustamaan Skymelin, ja mitkä olivat tärkeimmät haasteet AI-infrastruktuurissa, joita halusit ratkaista NeuroSplitin avulla?

Skymelin innoittaja tuli meidän komplementaaristen kokemusten yhdistymisestä. Aikanaan Googlella työskennellessään yhteistyökumppani Sushant Tripathy käytti puhesynteesiin perustuvia AI-malleja miljardeille Android-laitteille. Hän huomasi, että laitteilla on valtavasti käyttämätöntä laskentatehoa, mutta useimmat yritykset eivät pysty hyödyntämään näitä resursseja ilman, että se vaikuttaa käyttökokemukseen.

Samaan aikaan minun kokemukseni Redisillä työskennellessäni antoi minulle syvän ymmärryksen siitä, kuinka kriittinen viive on liiketoiminnalle. Kun AI-sovellukset yleistyivät, oli selvää, että meidän on siirrettävä prosessointi lähemmäs dataa, sen sijaan, että siirtäisimme dataa jatkuvasti tietokeskuksiin.

Silloin Sushant ja minä tajusimme, että tulevaisuus ei ole valintaa paikallisen ja pilvin prosessoinnin välillä – vaan luomisesta älykkäästä teknologiasta, joka voi sopeutua paikalliseen, pilviin tai hybridiin prosessointiin jokaisen erityisen inferenssipyynnön mukaan. Tämä oivallus johti meidät perustamaan Skymelin ja kehittämään NeuroSplitiä, jolla pystymme ylittämään perinteiset infrastruktuurirajoitukset, jotka ovat hidastaneet AI-innovaatiota.

Voitko selittää, miten NeuroSplit dynaamisesti optimoi laskentaresursseja ylläpitäen samalla käyttäjän tietosuojaa ja suorituskykyä?

Yksi tärkeimmistä ongelmista paikallisessa AI-inferenssissä on ollut sen staattinen laskentavaatimus – perinteisesti AI-mallin suorittaminen vaatii aina samat laskentaresurssit, riippumatta laitteen ominaisuuksista tai käyttäjän käyttäytymisestä. Tämä yksi kokoa kaikille -lähestymistapa jättää huomiotta laitteiden erilaiset ominaisuudet, kuten erilaiset prosessorit, verkkoyhteydet ja käyttäjän käyttäytymisen, kuten sovellusten suorittamisen ja lataamisen tapoja.

NeuroSplit seuraa jatkuvasti laitteiden telemetriatietoja – laitteiden ominaisuuksista laskentaresurssien käyttöön, akun tilaan ja verkkoyhteyden laatuun. Otamme myös huomioon käyttäjän käyttäytymismalleja, kuten muiden sovellusten suorittamista ja laitteen tyypillistä käyttöä. Tämä kattava seuranta mahdollistaa NeuroSplitin dynaamisen määrityksen siitä, kuinka paljon inferenssilaskentaa voidaan turvallisesti suorittaa päätelaitteella, samalla optimoiden kehittäjien tärkeimpiä suorituskykyyn liittyviä mittareita.

Kun tietosuojaa pidetään olennaisena, NeuroSplit varmistaa, että raakadataa ei poistu laitteelta, vaan se prosessoidaan paikallisesti, ylläpitäen samalla optimaalista suorituskykyä. Kykymme älykkäästi jakaa, karsia tai erottaa AI-malleja mahdollistaa meidän sijoittaa 50-100 AI-apumallia yhden kvantitoidun mallin muistiavaruuteen päätelaitteella. Käytännössä tämä tarkoittaa, että käyttäjät voivat suorittaa merkittävästi enemmän AI-pohjaisia sovelluksia samanaikaisesti, prosessoiden arkaluontoisia tietoja paikallisesti, verrattuna perinteisiin staattisiin laskentamenetelmiin.

Mitkä ovat NeuroSplitin sopeutuvan inferenssin tärkeimmät hyödyt AI-yrityksille, erityisesti niille, jotka työskentelevät vanhemman GPU-teknologian kanssa?

NeuroSplit tarjoaa kolme mullistavaa hyötyä AI-yrityksille. Ensinnäkin se laskee merkittävästi infrastruktuurikustannuksia kahdella tavalla: yritykset voivat käyttää edullisempia, vanhempia GPU:ita, ja meidän ainutlaatuinen kyky sijoittaa sekä täysiä että apumalleja pilviprosessoreille mahdollistaa huomattavasti korkeammat prosessorin käyttöasteet. Esimerkiksi sovellus, joka tyypillisesti vaatii useita NVIDIA A100 -prosessoreita 2,74 dollarin hintaan tunnilta, voi nyt suorittaa joko yhdellä A100:lla tai useilla V100:lla vain 83 sentin hintaan tunnilta.

Toiseksi parannamme merkittävästi suorituskykyä prosessoiden alkuperäisiä raakadata päätelaitteilla. Tämä tarkoittaa, että data, joka lopulta siirretään pilveen, on paljon pienempää, mikä vähentää verkkovirheitä ylläpitäen tarkin.

Kolmanneksi, käsitellessämme arkaluontoisia alkuperäisiä tietoja päätelaitteilla, autamme yrityksiä ylläpitämään vahvoja käyttäjien tietosuojaa ilman, että se vaikuttaa suorituskykyyn. Tämä on yhä tärkeämpää, kun tietosuojasäännökset kiristuvät ja käyttäjät ovat tietoisempia yksityisyydestään.

Miten Skymelin ratkaisu laskee AI-inferenssin kustannuksia ilman, että se vaikuttaa mallin monimutkaisuuteen tai tarkin?

Ensinnäkin, jakamalla yksittäisiä AI-malleja, jakamme laskennan päätelaitteiden ja pilven välillä. Ensimmäinen osa suoritetaan päätelaitteella, käsitellessään 5-100 % koko laskennasta, riippuen laitteen saatavilla olevista resursseista. Vain jäljelle jäävä laskenta on prosessoitava pilviprosessoreilla.

Tämä jakaminen tarkoittaa, että pilviprosessorit käsittelevät vähennetyn laskentakuorman – jos malli vaati alun perin täydellisen A100-prosessorin, jakamisen jälkeen sama työmäärä vaatisi vain 30-40 % prosessorin kapasiteetista. Tämä mahdollistaa yritysten käyttää edullisempia GPU-ekземпляреja, kuten V100:aa.

Toiseksi NeuroSplit optimoi GPU-käytön pilvessä. Sijoittamalla sekä täysiä malleja että apumalleja (jakamisen jäljelle jäävät osat) samalle pilviprosessorille saavutamme huomattavasti korkeammat käyttöasteet verrattuna perinteisiin menetelmiin. Tämä tarkoittaa, että useampi malli voidaan suorittaa samanaikaisesti samalla pilviprosessorilla, mikä vähentää kustannuksia inferenssi kohden.

Miten Skymelin hybridi (paikallinen + pilvi) -lähestymistapa eroaa muista AI-infrastruktuuriratkaisuista markkinoilla?

AI-maailma on mielenkiintoisessa inflexiopisteessä. Vaikka Apple (AAPL ), Samsung ja Qualcomm (QCOM ) osoittavat hybridisen AI:n voimaa ekosysteemien ominaisuuksilla, nämä ovat edelleen suljettuja ympäristöjä. AI ei kuitenkaan pitäisi rajoittaa sen mukaan, mikä laite käyttäjällä on.

NeuroSplit on perustavanlaatuisesti laitteistoriippumaton, pilvirajoitukseton ja neuroverkkorakenteen riippumaton. Tämä tarkoittaa, että kehittäjät voivat lopulta tarjota johdonmukaisia AI-kokemuksia riippumatta siitä, ovatko heidän käyttäjänsä iPhoneilla, Android-laitteella tai kannettavalla tietokoneella – tai ovatko he käyttävät AWS:ää, Azurea vai Google (GOOGL ) Cloudia.

Ajattele, mitä tämä tarkoittaa kehittäjille. He voivat rakentaa AI-sovelluksensa kerran ja tietää, että se sopeutuu älykkäästi mihin tahansa laitteeseen, pilveen ja neuroverkkorakenteeseen. Ei enää eri versioita eri alustoille tai kompromisseja laitteiden ominaisuuksien perusteella.

Me tuomme hybridisen AI-kapasiteetin suljetuista ympäristöistä ja teemme siitä yleisesti saatavilla. Kun AI tulee keskeiseksi jokaisessa sovelluksessa, tämänkaltaisen joustavuuden ja johdonmukaisuuden ei ole vain etu – se on välttämätöntä innovaatiolle.

Miten Orchestrator Agent täydentää NeuroSplitiä, ja mikä on sen rooli AI-käyttöönottoratkaisujen muuttamisessa?

Orchestrator Agent (OA) ja NeuroSplit toimivat yhdessä luodakseen itseoptimoivan AI-käyttöönottojärjestelmän:

1. Kehittäjät määrittävät rajoitukset:

• Rajoitukset: sallitut mallit, versiot, pilvipalveluntarjoajat, vyöhykkeet, noudattamissäännöt
• Tavoitteet: kohdelatenssi, kustannusrajat, suorituskykyvaatimukset, tietosuojatarpeet

2. OA toimii näiden rajoitusten puitteissa tavoitteiden saavuttamiseksi:

• Päättää, mitä malleja / API:ja käytetään kussakin pyynnössä
• Soveltaa käyttöönottistrategioita todellisen maailman suorituskyvyn perusteella
• Tee kompromisseja määritettyjen tavoitteiden optimoimiseksi
• Voi olla konfiguroitavissa hetkessä, kun tarpeet muuttuvat

3. NeuroSplit toteuttaa OA:n päätökset:

• Käyttää laitteen reaaliaikaisia telemetriatietoja laskennan optimoimiseksi
• Jakaa prosessointia laitteen ja pilven välillä, kun se on hyödyllistä
• Varmistaa, että jokainen inferenssi suoritetaan optimaalisesti annettujen olosuhteiden mukaan

Se on kuin sinulla olisi itsesäätelevä AI-järjestelmä, joka optimoi itseään määritettyjen sääntöjen ja tavoitteiden mukaan, eikä vaadi manuaalista optimointia jokaiselle skenaariolle.

Miten Orchestrator Agent muuttaa AI-käyttöönottoratkaisuja eri aloilla?

Se ratkaisee kolme kriittistä haasteita, jotka ovat hidastaneet AI-omaksumista ja innovaatiota.

Ensinnäkin, se mahdollistaa yrityksille pysymään ajan tasalla viimeisimmän AI-kehityksen kanssa. Orchestrator Agentin avulla voit heti hyödyntää uusimpia malleja ja tekniikoita ilman, että tarvitsee uudelleenrakentaa infrastruktuuria. Tämä on suuri kilpailuetu maailmassa, jossa AI-innovaatiot etenevät nopeasti.

Toiseksi, se mahdollistaa dynaamisen, pyynnönkohtaisen AI-mallin valinnan. Orchestrator Agent voi älykkäästi yhdistää malleja laajasta valikoimasta tarjoamaan parhaan mahdollisen tuloksen kullekin käyttäjän vuorovaikutukselle. Esimerkiksi asiakaspalvelun AI voi käyttää erikoistunutta mallia teknisiin kysymyksiin ja toista mallia laskuun liittyviin kysymyksiin, tarjoten parempia tuloksia kummallekin vuorovaikutukselle.

Kolmanneksi, se maksimoi suorituskyvyn minimoiden kustannuksia. Agentti automaattisesti tasapainottaa suorittamisen käyttäjän laitteella ja pilvessä sen mukaan, mikä on järkevintä kyseisessä tilanteessa. Kun tietosuojaa on tärkeää, se prosessoi dataa paikallisesti. Kun lisää laskentatehoa tarvitaan, se hyödyntää pilveä. Kaikki tämä tapahtuu taustalla, luoden sujuvan käyttökokemuksen käyttäjille samalla, kun resursseja optimoidaan yrityksille.

Mutta mitä erottaa Orchestrator Agentin todella on se, miten se mahdollistaa yrityksille luoda seuraavan sukupolven hyperhenkilökohtaiset kokemukset käyttäjilleen. Otetaan esimerkiksi verkkokurssialusta – meidän teknologiamme avulla he voivat rakentaa järjestelmän, joka sopeutuu automaattisesti jokaisen opiskelijan ymmärtämistason mukaan. Kun käyttäjä etsii “konenäköä”, alusta ei vain näytä yleisiä tuloksia – se arvioi heti heidän nykyisen ymmärtämisensä ja räätälöi selityksiä käyttäen käsitteitä, joita he jo tuntevat.

Lopulta Orchestrator Agent edustaa AI-käyttöönottoratkaisujen tulevaisuutta – siirtymistä staattisesta, monoliittisesta AI-infrastruktuurista dynaamiseen, sopeutuvaan, itseoptimointiin.

Mikälaista palautetta olet saanut yrityksiltä, jotka osallistuvat Orchestrator Agentin yksityiseen beetaversioon?

Palautetta yksityisen beetan osallistujilta on ollut erinomaista! Yritykset ovat innoissaan siitä, että he voivat lopulta päästä eroon infrastruktuuririippuvuudesta, olipa se sitten omistettuja malleja tai isäntäpalveluja. Mahdollisuus tulevaisuudensuunnitteluun jokaisessa käyttöönottopäätöksessä on ollut pelinmuuttaja, poistamalla kuukausien uudelleenrakennusvaatimukset, kun lähestymistapaa muutetaan.

NeuroSplitin suorituskykytulokset ovat olleet hämmästyttäviä – emme malta odottaa, että saamme jakaa tiedot julkisesti pian. Se, mitä erityisesti innoittaa, on se, miten itse adaptiivisen AI-käyttöönottoratkaisun käsite on valloittanut mielikuvituksen. Se, että AI käyttöönottaa itsensä, kuulostaa tulevaisuudelta ja ei sellaiselta, mitä he odottivat nyt, joten pelkästään teknologisen edistyksen vuoksi ihmiset innostuvat mahdollisuuksista ja uusista markkinoista, joita se voi luoda tulevaisuudessa.

Miten nopeiden edistysten valossa generatiivisessa AI:ssa näet tärkeimmät esteet AI-infrastruktuurille, ja miten Skymel aikoo ratkaista ne?

Olemme menossa tulevaisuuteen, jota useimmat eivät ole vielä täysin ymmärtäneet: ei ole yhtä hallitsevaa AI-mallia, vaan miljardeja niitä. Vaikka luomme maailman voimakkaimman yleisen AI-mallin, tarvitsemme silti henkilökohtaisia versioita jokaiselle maailman asukkaalle, sopeutettuna yksilöllisiin konteksteihin, mieltymyksiin ja tarpeisiin. Se on vähintään 8 miljardia mallia maailman väkiluvun perusteella.

Tämä merkitsee vallankumouksellista muutosta nykyisestä yksi-kokoa-kaikille -lähestymistavasta. Tulevaisuus vaatii älykkään infrastruktuurin, joka pystyy käsittelemään miljardeja malleja. Skymelissä emme vain ratkaise nykyisiä käyttöönottohaasteita – teknologiamme tiekartta on jo rakentamassa perustaa sille, mitä on tulossa seuraavaksi.

Miten näet AI-infrastruktuurin kehittyvän seuraavan viiden vuoden aikana, ja mitä roolia Skymelilla on tässä kehityksessä?

AI-infrastruktuurimaisema on valmis perustavanlaatuiseen muutokseen. Vaikka nykyinen painopiste on suurten kielen mallien skaalauttamisessa pilvessä, seuraavat viisi vuotta näkevät AI:n muuttuvan syvään henkilökohtaiseksi ja kontekstiajoittaiseksi. Tämä ei ole vain hienosäätöä – se on AI, joka sopeutuu tarkasti käyttäjille, laitteille ja tilanteille reaaliajassa.

Tämä siirtymä luo kaksi suurta infrastruktuurhaasteita. Ensinnäkin, perinteinen lähestymistapa, jossa kaikki suoritetaan keskitetyissä tietokeskuksissa, tulee taloudellisesti ja teknisesti kestämättömäksi. Toiseksi, AI-sovellusten kasvava monimutkaisuus edellyttää infrastruktuuria, joka voi dynaamisesti optimoida useita malleja, laitteita ja laskentasijainteja.

Skymelissä rakennamme infrastruktuuria, joka vastaa näihin haasteisiin. Teknologiamme mahdollistaa AI:n suorittamisen siellä, missä se on järkevintä – olipa se sitten laitteessa, jossa dataa luodaan, pilvessä, jossa on enemmän laskentaresursseja, tai älykkäästi jaettuna näiden välillä. Tärkeintä on, että se sopeuttaa nämä päätökset reaaliajassa muuttuvien olosuhteiden ja vaatimusten mukaan.

Lopulta onnistuneet AI-sovellukset eivät määritellä mallien kokoa tai käytettävissä olevan laskentaresurssien määrää. Ne määritellään kyvystä tarjota henkilökohtaisia, nopeita kokemuksia resurssien tehokkaan hallinnan kanssa. Tavoitteemme on tehdä tämän tason älykäs optimointi saataville jokaiselle AI-sovellukselle, riippumatta koosta tai monimutkaisuudesta.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla Skymelin sivustolla.