Neetu Pathak, Co-Founder og CEO af Skymel – Interview Serie

Neetu Pathak, Co-Founder og CEO af Skymel, leder virksomheden i at revolutionere AI-inferens med dens innovative NeuroSplit™-teknologi. Sammen med CTO Sushant Tripathy driver hun Skymels mission om at forbedre AI-applikationsperformance samtidig med at reducere beregningsomkostningerne.

NeuroSplit™ er en adaptiv inferensteknologi, der dynamisk distribuerer AI-arbejdsbyrder mellem slutbrugerens enheder og cloud-servere. Dette tilgangsmåde udnytter inaktive beregningsressourcer på brugerens enheder, reducerer cloud-infrastrukturkostningerne med op til 60%, accelererer inferenshastigheder, sikrer dataintegritet og muliggør gnidningsløs skalerbarhed.

Ved at optimere lokal beregningskraft tillader NeuroSplit™, at AI-applikationer kan køre effektivt, selv på ældre GPU’er, hvilket reducerer omkostningerne betydeligt samtidig med at forbedre brugeroplevelsen.

Hvad inspirerede dig til at co-founder Skymel, og hvilke nøgleudfordringer i AI-infrastruktur var du på vej til at løse med NeuroSplit?

Inspirationen til Skymel kom fra sammenløbet af vores komplementære erfaringer. Under hans tid hos Google opdagede min co-founder, Sushant Tripathy, at der var en enorm mængde inaktiv beregningskraft til rådighed på slutbrugerens enheder, men de fleste virksomheder kunne ikke effektivt udnytte denne ressource på grund af de komplekse tekniske udfordringer ved at få adgang til disse ressourcer uden at kompromittere brugeroplevelsen.

Samtidig gav min erfaring med at arbejde med virksomheder og startups hos Redis mig dyb indsigt i, hvor kritisk latency var blevet for virksomhederne. Da AI-applikationer blev mere udbredte, var det klart, at vi needede at flytte behandlingen tættere på, hvor data blev genereret, i stedet for at konstant sende data tilbage og frem til datacenter.

Det var da, Sushant og jeg indså, at fremtiden ikke handlede om at vælge mellem lokal eller cloud-behandling – det handlede om at skabe en intelligent teknologi, der kunne tilpasse sig nænsomt mellem lokal, cloud eller hybrid-behandling baseret på hver enkelt inferensanmodning. Denne indsigt førte os til at grundlægge Skymel og udvikle NeuroSplit, og gå ud over de traditionelle infrastruktur begrænsninger, der havde holdt AI-innovationen tilbage.

Kan du forklare, hvordan NeuroSplit dynamisk optimerer beregningsressourcer samtidig med at opretholde brugerprivatliv og -performance?

En af de største faldgruber i lokal AI-inferens har været dens statiske beregningskrav – traditionelt set kræver kørsel af en AI-model de samme beregningsressourcer uanset enhedens tilstand eller brugeradfærd. Dette en-size-fits-all-tilgang ignorerer virkeligheden, at enheder har forskellige hardware-kapaciteter, fra forskellige chips (GPU, NPU, CPU, XPU) til varierende netværksbandbredde, og brugere har forskellige adfærdsmønstre i forhold til applikationsbrug og opladningsmønstre.

NeuroSplit overvåger kontinuerligt forskellige enhedstelemetri – fra hardware-kapaciteter til nuværende ressourceudnyttelse, batteristatus og netværksforhold. Vi tager også brugeradfærdsmønstre i betragtning, som hvor mange andre applikationer der køres og typiske enhedsbrugsadfærd. Denne omfattende overvågning giver NeuroSplit mulighed for at dynamisk bestemme, hvor meget inferensberegning der kan køres sikkert på slutbrugerens enhed samtidig med at optimere udviklerens nøglepræstationsindikatorer.

Når dataintegritet er afgørende, sikrer NeuroSplit, at rådata aldrig forlader enheden, og behandler følsomme oplysninger lokalt samtidig med at opretholde optimal præstation. Vores evne til at smartt splitte, trimme eller afkoble AI-modeller giver os mulighed for at placere 50-100 AI-stubmodeller i den hukommelsesplads, der kun er nok til en enkelt kvantificeret model på en slutbrugerens enhed. I praksis betyder det, at brugere kan køre betydeligt flere AI-drevne applikationer samtidig, og behandle følsomme data lokalt, i forhold til traditionelle statiske beregningsmetoder.

Hvad er de primære fordele ved NeuroSplits adaptiv inferens for AI-virksomheder, især de, der arbejder med ældre GPU-teknologi?

NeuroSplit leverer tre transformative fordele for AI-virksomheder. Først reducerer det dramatisk infrastrukturkostningerne gennem to mekanismer: virksomheder kan udnytte billigere, ældre GPU’er effektivt, og vores unikke evne til at placere både fulde og stub-modeller på cloud-GPU’er giver mulighed for betydeligt højere GPU-udnyttelsesrater. For eksempel kan en applikation, der typisk kræver flere NVIDIA A100’er til 2,74 $ per time, nu køre på enten en enkelt A100 eller flere V100’er til kun 83 cent per time.

Anden, vi forbedrer betydeligt præstationen ved at behandle initial rådata direkte på brugerens enhed. Dette betyder, at data, der til sidst rejser til cloud, er meget mindre i størrelse, hvilket reducerer netværkslatency betydeligt samtidig med at opretholde nøjagtighed. Denne hybridtilgang giver virksomheder det bedste af begge verdener – hastigheden af lokal behandling med kraften af cloud-computing.

Tredje, ved at behandle følsomme initial data på brugerens enhed, hjælper vi virksomheder med at opretholde stærke brugerprivatlivsbeskyttelser uden at gå på kompromis med præstationen. Dette er stadig mere afgørende, da privatlivsreguleringer bliver strengere, og brugere bliver mere privatlivsbevidste.

Hvordan reducerer Skymels løsning omkostningerne for AI-inferens uden at gå på kompromis med modelkompleksitet eller -nøjagtighed?

Først, ved at splitte enkeltstående AI-modeller, distribuerer vi beregningen mellem brugerens enhed og cloud. Den første del køres på brugerens enhed, og håndterer 5% til 100% af den samlede beregning afhængigt af tilgængelige enhedsressourcer. Kun den resterende beregning behøver at blive behandlet på cloud-GPU’er.

Dette split betyder, at cloud-GPU’er håndterer en reduceret beregningsbelastning – hvis en model oprindeligt krævede en fuld A100-GPU, kan samme arbejdsbyrde efter split kun kræve 30-40% af GPU’ens kapacitet. Dette giver virksomheder mulighed for at bruge mere kosteffektive GPU-forekomster som V100.

Anden, NeuroSplit optimerer GPU-udnyttelse i cloud. Ved at effektivt arrangere både fulde modeller og stub-modeller (de resterende dele af splitte modeller) på samme cloud-GPU, opnår vi betydeligt højere udnyttelsesrater i forhold til traditionelle metoder. Dette betyder, at flere modeller kan køre samtidig på samme cloud-GPU, hvilket yderligere reducerer omkostningerne per inferens.

Hvad adskiller Skymels hybrid (lokal + cloud)-tilgang fra andre AI-infrastrukturløsninger på markedet?

AI-landskabet er ved at undergå en fundamental forandring. Mens fokus i dag er på at skala større sprogmodeller i cloud, vil de næste fem år se AI blive dybt personligt og kontekstafhængigt. Dette er ikke kun om finjustering – det handler om AI, der tilpasser sig specifikke brugere, enheder og situationer i realtid.

Denne forandring skaber to store infrastrukturudfordringer. Først bliver den traditionelle tilgang med at køre alt i centraliserede datacenter utilstrækkelig både teknisk og økonomisk. Anden, den øgede kompleksitet af AI-applikationer betyder, at vi har brug for infrastruktur, der kan dynamisk optimere mellem multiple modeller, enheder og beregningslokationer.

Ved Skymel bygger vi infrastruktur, der specifikt adresserer disse udfordringer. Vores teknologi giver mulighed for, at AI kan køre, hvor det giver mest mening – enten på enheden, hvor data genereres, i cloud, hvor der er mere beregningskraft til rådighed, eller intelligent split mellem de to. Endnu vigtigere, den tilpasser disse beslutninger i realtid baseret på ændrede betingelser og krav.

I fremtiden vil succesfulde AI-applikationer ikke defineres af størrelsen på deres modeller eller mængden af beregningskraft, de kan tilgå. De vil defineres af deres evne til at levere personlige, responsivt oplevelser samtidig med at de effektivt håndterer ressourcer. Vores mål er at gøre denne niveau af intelligent optimering tilgængelig for enhver AI-applikation, uanset størrelse eller kompleksitet.

Hvordan komplementerer Orchestrator Agent NeuroSplit, og hvilken rol spiller det i at transformere AI-udviklingsstrategier?

Orchestrator Agent (OA) og NeuroSplit arbejder sammen for at skabe et selvoptimerende AI-udviklingssystem:

1. Udviklerne sætter grænserne:

• Begrænsninger: tilladte modeller, versioner, cloud-udbydere, zoner, overholdelsesregler
• Mål: mål-latency, omkostningsgrænser, præstationskrav, privatlivsbehov

2. OA arbejder inden for disse begrænsninger for at opnå målene:

• Beslutter, hvilke modeller/API’er der skal bruges til hver anmodning
• Tilpasser udviklingsstrategier baseret på virkelige præstationsdata
• Gør kompromiser for at optimere for specificerede mål
• Kan konfigureres om med det samme, hvis behovene ændrer sig

3. NeuroSplit udfører OA’s beslutninger:

• Bruger realtidsenhedstelemetri til at optimere udførelse
• Splitter behandling mellem enhed og cloud, hvis det er fordelagtigt
• Sikrer, at hver inferens køres optimalt givet nuværende betingelser

Det er som at have et AI-system, der selvoptimerer sig inden for dine definerede regler og mål, i stedet for at kræve manuel optimering for hver enkelt scenario.

I din mening, hvordan vil Orchestrator Agent omforme måden, AI udvikles på tværs af brancher?

Det løser tre kritiske udfordringer, der har holdt AI-udvikling og -innovation tilbage.

Først giver det virksomheder mulighed for at følge med de seneste AI-fremgangsmåder uden besvær. Med Orchestrator Agent kan du øjeblikkeligt udnytte de nyeste modeller og -teknikker uden at skulle omstrukturere din infrastruktur. Dette er en betydelig konkurrencemæssig fordel i en verden, hvor AI-innovation bevæger sig i hurtig takt.

Anden, det giver mulighed for dynamisk, per-anmodning optimering af AI-modelvalg. Orchestrator Agent kan intelligent kombinerer og matche modeller fra det enorme økosystem af muligheder for at levere de bedste mulige resultater for hver brugerinteraktion. For eksempel kunne en kundeservice-AI bruge en specialiseret model til tekniske spørgsmål og en anden til faktureringsforhør, hvilket giver bedre resultater for hver type interaktion.

Tredje, det maksimerer præstation samtidig med at minimere omkostningerne. Agenten automatisk balancerer mellem at køre AI på brugerens enhed eller i cloud baseret på, hvad der giver mest mening på det pågældende tidspunkt. Når privatliv er vigtigt, behandler det data lokalt. Når ekstra beregningskraft er nødvendig, udnytter det cloud. Alt dette sker bag kulisserne, og skaber en glat oplevelse for brugere samtidig med at det optimerer ressourcer for virksomheder.

Men det, der virkelig adskiller Orchestrator Agent, er, hvordan det giver mulighed for virksomheder for at skabe næste generations hyper-personlige oplevelser for deres brugere. Tag et e-læringsplatform – med vores teknologi kan de bygge et system, der automatisk tilpasser sin undervisningsmetode baseret på hver enkelt elevs forståelsesniveau. Når en bruger søger efter “machine learning”, viser platformen ikke bare generiske resultater – det kan øjeblikkeligt vurderer deres nuværende forståelse og tilpasse forklaringer, der bruger begreber, de allerede kender.

Ultimo, Orchestrator Agent repræsenterer fremtiden for AI-udvikling – en skift fra statisk, monolitisk AI-infrastruktur til dynamisk, adaptiv, selvoptimerende AI-orkestration. Det handler ikke kun om at gøre AI-udvikling lettere – det handler om at gøre helt nye klasser af AI-applikationer mulige.

Hvad for slags feedback har du modtaget fra virksomheder, der deltager i den private beta af Orchestrator Agent?

Feedbacket fra vores private beta-deltagere har været fantastisk! Virksomheder er begejstret for at opdage, at de kan bryde fri fra infrastruktur-lås og proprietære modeller eller hosting-tjenester. Evnen til at fremtidssikre enhver udviklingsbeslutning har været en game-changer, og eliminerer de frygtede måneder med omstrukturering, når de skifter tilgang.

Vores NeuroSplit-præstationsresultater har været intet mindre end bemærkelsesværdige – vi kan ikke vente med at dele data offentligt snart. Det, der er særligt spændende, er, hvordan den adaptive AI-udviklingskoncept har fanget imaginationen. Det faktum, at AI selv udvikler sig, lyder futuristisk og noget, de ikke forventede at se nu, så blot fra den teknologiske fremgang har folk fået øje på mulighederne og de nye markeder, det måske kan skabe i fremtiden.

Med de hurtige fremskridt i generativ AI, hvad ser du som de næste store udfordringer for AI-infrastruktur, og hvordan planlægger Skymel at adressere dem?

Vi er på vej mod en fremtid, som de fleste endnu ikke fuldt ud har grebet: der vil ikke være en enkelt dominerende AI-model, men milliarder af dem. Selv hvis vi skaber den mest avancerede generelle AI-model, vil vi stadig have brug for personlige versioner til hver enkelt person på jorden, hver tilpasset til unikke kontekster, præferencer og behov. Det markerer en revolutionerende skift fra dagens one-size-fits-all-tilgang. Fremtiden kræver intelligent infrastruktur, der kan håndtere milliarder af modeller. Ved Skymel bygger vi ikke kun løsninger for i dag, men vores teknologivej er allerede under opbygning for at tackle, hvad der kommer herefter.

Hvordan forestiller du dig, at AI-infrastruktur vil udvikle sig over de næste fem år, og hvilken rol ser du for Skymel i denne udvikling?

AI-infrastruktur-landskabet er på vej til at undergå en fundamental forandring. Mens fokus i dag er på at skala store sprogmodeller i cloud, vil de næste fem år se AI blive dybt personligt og kontekstafhængigt. Dette skifter fokus fra at køre alt i centraliserede datacenter til at udnytte lokale enheder og cloud-intelligence.

Ved Skymel bygger vi infrastruktur, der specifikt adresserer disse udfordringer. Vores teknologi giver mulighed for, at AI kan køre, hvor det giver mest mening – enten på enheden, hvor data genereres, i cloud, hvor der er mere beregningskraft til rådighed, eller intelligent split mellem de to. Vores mål er at gøre denne niveau af intelligent optimering tilgængelig for enhver AI-applikation, uanset størrelse eller kompleksitet.

Tak for det gode interview. Læsere, der ønsker at lære mere, skal besøge Skymel.