Neetu Pathak, mede-oprichter en CEO van Skymel – Interviewreeks

Neetu Pathak, mede-oprichter en CEO van Skymel, leidt het bedrijf in de revolutie van AI-inferentie met zijn innovatieve NeuroSplit™-technologie. Samen met CTO Sushant Tripathy, drijft ze Skymel’s missie om de prestaties van AI-toepassingen te verbeteren en de computationele kosten te verlagen.

NeuroSplit™ is een adaptieve inferentietechnologie die AI-werklasten dynamisch verdeelt tussen eindgebruikersapparaten en cloudservers. Deze benadering maakt gebruik van idle rekenbronnen op gebruikersapparaten, waardoor cloudinfrastructuurkosten met maximaal 60% worden verlaagd, inferentiesnelheden worden versneld, gegevensprivacy wordt gegarandeerd en naadloze schaalbaarheid wordt mogelijk gemaakt.

Door de lokale rekenkracht te optimaliseren, laat NeuroSplit™ AI-toepassingen efficiënt draaien, zelfs op oudere GPU’s, waardoor de kosten aanzienlijk worden verlaagd en de gebruikerservaring wordt verbeterd.

Wat inspireerde u om Skymel mede op te richten, en welke belangrijke uitdagingen in AI-infrastructuur wilden u en NeuroSplit oplossen?

De inspiratie voor Skymel kwam voort uit de convergentie van onze complementaire ervaringen. Tijdens zijn tijd bij Google (GOOGL ) ontdekte mijn mede-oprichter, Sushant Tripathy, dat er een enorm aantal idle rekenbronnen beschikbaar was op eindgebruikersapparaten, maar dat de meeste bedrijven deze bronnen niet effectief konden benutten vanwege de complexe technische uitdagingen om toegang te krijgen tot deze bronnen zonder de gebruikerservaring te compromitteren.

Ondertussen gaf mijn ervaring bij het werken met ondernemingen en startups bij Redis me diepe inzichten in hoe kritiek latentie werd voor bedrijven. Naarmate AI-toepassingen meer gebruikelijk werden, was het duidelijk dat we de verwerking dichter bij de plek moesten brengen waar gegevens werden gegenereerd, in plaats van voortdurend gegevens heen en weer te sturen naar gegevenscentra.

Toen realiseerden Sushant en ik dat de toekomst niet ging over het kiezen tussen lokale of cloudverwerking – het ging over het creëren van een intelligente technologie die naadloos kon schakelen tussen lokale, cloud- of hybride verwerking op basis van elke specifieke inferentieaanvraag. Deze inzichten leidden ons ertoe om Skymel op te richten en NeuroSplit te ontwikkelen, waarmee we de traditionele infrastructuurbeperkingen die AI-innovatie tegenhielden, overstegen.

Kunt u uitleggen hoe NeuroSplit compute-bronnen dynamisch optimaliseert terwijl gebruikersprivacy en prestaties worden gehandhaafd?

Een van de belangrijkste valkuilen in lokale AI-inferentie was de statische compute-eisen – traditioneel vereiste het draaien van een AI-model dezelfde rekenbronnen, ongeacht de apparatencondities of gebruikersgedrag. Deze een-maats-voor-alles-benadering negeerde de realiteit dat apparaten verschillende hardwaremogelijkheden hebben, van verschillende chips (GPU, NPU, CPU, XPU) tot variabele netwerkbandbreedte, en gebruikers verschillende gedragspatronen hebben in termen van applicatiegebruik en laadpatronen.

NeuroSplit bewaakt voortdurend verschillende apparaattelemetrie – van hardwaremogelijkheden tot huidige bronnenbezetting, batterijstatus en netwerkcondities. We nemen ook gebruikersgedragspatronen in overweging, zoals het aantal andere draaiende applicaties en typische apparaatgebruikspatronen. Deze uitgebreide bewaking stelt NeuroSplit in staat om dynamisch te bepalen hoeveel inferentieberekening veilig kan worden uitgevoerd op het eindgebruikersapparaat, terwijl het optimaliseert voor ontwikkelaarssleutelindicatoren

Wanneer gegevensprivacy van het grootste belang is, zorgt NeuroSplit ervoor dat ruwe gegevens nooit het apparaat verlaten, waarbij gevoelige informatie lokaal wordt verwerkt en optimale prestaties worden gehandhaafd. Onze mogelijkheid om AI-modellen slim te splitsen, te trimmen of te ontkoppelen, stelt ons in staat om 50-100 AI-stubmodellen in de geheugensruimte van slechts één gequantificeerd model op een eindgebruikersapparaat te plaatsen. In praktische termen betekent dit dat gebruikers aanzienlijk meer AI-gebaseerde applicaties tegelijkertijd kunnen uitvoeren, waarbij gevoelige gegevens lokaal worden verwerkt, in vergelijking met traditionele statische berekeningsbenaderingen.

Wat zijn de belangrijkste voordelen van NeuroSplit’s adaptieve inferentie voor AI-bedrijven, vooral die welke werken met oudere GPU-technologie?

NeuroSplit levert drie transformatieve voordelen voor AI-bedrijven. Ten eerste verlaagt het de infrastructuurkosten aanzienlijk door twee mechanismen: bedrijven kunnen goedkopere, oudere GPU’s effectief gebruiken, en onze unieke mogelijkheid om zowel volledige als stubmodellen op cloud-GPU’s te plaatsen, maakt een aanzienlijk hogere GPU-gebruiksgraad mogelijk. Bijvoorbeeld kan een applicatie die normaal gesproken meerdere NVIDIA A100’s op $2,74 per uur vereist, nu draaien op één enkele A100 of meerdere V100’s voor slechts 83 cent per uur.

Ten tweede verbeteren we de prestaties aanzienlijk door de initiële ruwe gegevens rechtstreeks op gebruikersapparaten te verwerken. Dit betekent dat de gegevens die uiteindelijk naar de cloud reizen, veel kleiner zijn in omvang, waardoor netwerklatentie aanzienlijk wordt verlaagd, terwijl de nauwkeurigheid wordt gehandhaafd. Deze hybride benadering geeft bedrijven het beste van beide werelden – de snelheid van lokale verwerking met de kracht van cloud computing.

Ten derde helpen we bedrijven om sterke gebruikersgegevensbescherming te handhaven zonder prestaties te offeren, door de initiële gegevensverwerking op het eindgebruikersapparaat te behandelen. Dit is steeds belangrijker naarmate gegevensbeschermingsregels strenger worden en gebruikers meer bewust worden van hun gegevens.

Hoe verlaagt Skymel’s oplossing de kosten voor AI-inferentie zonder de complexiteit of nauwkeurigheid van modellen te compromitteren?

Ten eerste splitsen we individuele AI-modellen, waardoor we de berekening tussen gebruikersapparaten en de cloud verdelen. Het eerste deel draait op het apparaat van de eindgebruiker, waarbij 5% tot 100% van de totale berekening wordt afgehandeld, afhankelijk van de beschikbare apparaatbronnen. Alleen de resterende berekening hoeft op cloud-GPU’s te worden verwerkt.

Deze splitsing betekent dat cloud-GPU’s een gereduceerde berekeningslast afhandelen – als een model oorspronkelijk een volledige A100-GPU vereiste, hoeft dezelfde workload na splitsing mogelijk slechts 30-40% van de capaciteit van de GPU. Dit stelt bedrijven in staat om goedkopere GPU-exemplaren te gebruiken, zoals de V100.

Ten tweede optimaliseert NeuroSplit de GPU-gebruik in de cloud. Door volledige modellen en stubmodellen (de resterende delen van gesplitste modellen) efficiënt op dezelfde cloud-GPU te plaatsen, bereiken we aanzienlijk hogere gebruiksgraden in vergelijking met traditionele benaderingen. Dit betekent dat meer modellen tegelijkertijd op dezelfde cloud-GPU kunnen draaien, waardoor de per-inferentiekosten verder worden verlaagd.

Wat onderscheidt Skymel’s hybride (lokale + cloud) benadering van andere AI-infrastructuuropplossingen op de markt?

De AI-landschap bevindt zich op een fascinerend knooppunt. Terwijl Apple (AAPL ), Samsung en Qualcomm (QCOM ) de kracht van hybride AI demonstreren via hun ecosysteemfuncties, blijven deze gesloten systemen. Maar AI zou niet beperkt moeten worden door het apparaat dat iemand toevallig gebruikt.

NeuroSplit is fundamenteel apparaatagnostisch, cloud-agnostisch en neurale netwerkagnostisch. Dit betekent dat ontwikkelaars eindelijk consistent AI-ervaringen kunnen bieden, ongeacht of hun gebruikers een iPhone, Android-apparaat of laptop gebruiken – of of ze AWS, Azure of Google Cloud gebruiken.

Denk aan wat dit betekent voor ontwikkelaars. Ze kunnen hun AI-toepassing eenmaal bouwen en weten dat deze intelligent zal aanpassen aan elk apparaat, elke cloud en elk neurale netwerkarchitectuur. Geen aparte versies meer voor verschillende platforms of functies inleveren op basis van apparaatmogelijkheden.

We brengen enterprise-grade hybride AI-mogelijkheden uit gesloten systemen en maken ze universeel toegankelijk. Naarmate AI centraal staat in elke toepassing, is deze soort flexibiliteit en consistentie niet langer een voordeel, maar essentieel voor innovatie.

Hoe complementeert de Orchestrator Agent NeuroSplit, en welke rol speelt het in de transformatie van AI-implementatiestrategieën?

De Orchestrator Agent (OA) en NeuroSplit werken samen om een zelfoptimaliserend AI-implementatiesysteem te creëren:

1. Ontwikkelaars stellen de grenzen vast:

• Beperkingen: toegestane modellen, versies, cloudproviders, zones, complianceregels
• Doelen: doellatentie, kostenlimieten, prestatievereisten, gegevensbeschermingsbehoeften

2. OA werkt binnen deze beperkingen om de doelen te bereiken:

• Bepaalt welke modellen/API’s moeten worden gebruikt voor elke aanvraag
• Past implementatiestrategieën aan op basis van werkelijke prestaties
• Maakt compromissen om te optimaliseren voor gespecificeerde doelen
• Kan onmiddellijk worden geconfigureerd als behoeften veranderen

3. NeuroSplit voert OA’s beslissingen uit:

• Gebruikt real-time apparaattelemetrie om uitvoering te optimaliseren
• Splitst verwerking tussen apparaat en cloud wanneer dit voordelig is
• Verzekerdt dat elke inferentie optimaal draait gegeven de huidige omstandigheden

Het is alsof je een AI-systeem hebt dat zichzelf autonoom optimaliseert binnen je gedefinieerde regels en doelen, in plaats van handmatige optimalisatie voor elke scenario te vereisen.

Hoe denkt u dat de Orchestrator Agent de manier waarop AI wordt geïmplementeerd in verschillende branches zal veranderen?

Het lost drie kritieke uitdagingen op die AI-adoptie en innovatie hebben tegengehouden.

Ten eerste stelt het bedrijven in staat om gemakkelijk gelijke tred te houden met de nieuwste AI-vooruitgang. Met de Orchestrator Agent kunnen ze onmiddellijk profiteren van de nieuwste modellen en technieken zonder hun infrastructuur opnieuw te configureren. Dit is een aanzienlijk concurrentievoordeel in een wereld waar AI-innovatie met razende snelheid verandert.

Ten tweede stelt het dynamische, per-aanvraagoptimalisatie van AI-modelselectie mogelijk. De Orchestrator Agent kan intelligent modellen uit het enorme ecosysteem van opties mengen en combineren om de beste mogelijke resultaten te leveren voor elke gebruikersinteractie. Bijvoorbeeld kan een klantenservicetoepassing een gespecialiseerd model voor technische vragen en een ander model voor facturingsvragen gebruiken, waardoor betere resultaten voor elk type interactie worden geleverd.

Ten derde maximaliseert het prestaties terwijl kosten worden geminimaliseerd. De Agent balanceert automatisch tussen het draaien van AI op het apparaat van de gebruiker of in de cloud op basis van wat op dat moment het meest zinvol is. Wanneer gegevensbescherming belangrijk is, verwerkt het gegevens lokaal. Wanneer extra rekenkracht nodig is, maakt het gebruik van de cloud. Alles gebeurt achter de schermen, waardoor een naadloze ervaring voor gebruikers wordt gecreëerd, terwijl resources voor bedrijven worden geoptimaliseerd.

Maar wat de Orchestrator Agent echt onderscheidt, is hoe het bedrijven in staat stelt om next-generation hyperpersoonlijke ervaringen voor hun gebruikers te creëren. Neem een e-learningplatform – met onze technologie kunnen ze een systeem bouwen dat automatisch aanpast aan elke student zijn begripsniveau. Wanneer een gebruiker zoekt naar “machine learning”, toont het platform niet alleen generieke resultaten – het kan onmiddellijk de huidige kennis van de student beoordelen en uitleg aanpassen met behulp van concepten die de student al kent.

Uiteindelijk vertegenwoordigt de Orchestrator Agent de toekomst van AI-implementatie – een verschuiving van statische, monolithische AI-infrastructuur naar dynamische, adaptieve, zelfoptimaliserende AI-orchestratie. Het gaat niet alleen om het makkelijker maken van AI-implementatie – het gaat om het mogelijk maken van geheel nieuwe klassen van AI-toepassingen.

Wat voor soort feedback hebt u ontvangen van bedrijven die deelnemen aan de private bèta van de Orchestrator Agent?

De feedback van onze private bèta-deelnemers is geweldig! Bedrijven zijn enthousiast over het feit dat ze eindelijk kunnen ontsnappen aan infrastructuur-lock-in, of het nu gaat om propriëtaire modellen of hostingdiensten. De mogelijkheid om elke implementatiebeslissing toekomstbestendig te maken, is een game-changer geweest, waardoor de gevreesde maanden van herschikking bij het wisselen van benaderingen zijn geëlimineerd.

Onze NeuroSplit-prestatieresultaten zijn niets minder dan opmerkelijk – we kunnen niet wachten om de gegevens binnenkort openbaar te maken. Wat vooral spannend is, is hoe het concept van adaptieve AI-implementatie de verbeelding heeft gevangen. Het feit dat AI zichzelf implementeert, klinkt futuristisch en is niet iets wat ze nu verwacht hadden, dus alleen al vanwege de technologische vooruitgang zijn mensen opgewonden over de mogelijkheden en nieuwe markten die het in de toekomst kan creëren.

Met de snelle vooruitgang in generatieve AI, wat ziet u als de belangrijkste uitdagingen voor AI-infrastructuur, en hoe gaat Skymel deze aanpakken?

We gaan naar een toekomst die de meeste mensen nog niet volledig hebben begrepen: er zal geen enkel dominante AI-model zijn, maar miljarden. Zelfs als we het meest krachtige algemene AI-model ooit zouden creëren, zouden we nog steeds gepersonaliseerde versies voor elke persoon op aarde nodig hebben, aangepast aan unieke contexten, voorkeuren en behoeften. Dat is minstens 8 miljard modellen, op basis van de wereldbevolking.

Dit markeert een revolutionaire verschuiving van de huidige een-maats-voor-alles-benadering. De toekomst vraagt om intelligente infrastructuur die miljarden modellen aankan. Bij Skymel zijn we niet alleen de huidige implementatie-uitdagingen aan het oplossen – onze technische roadmap legt al de basis voor wat er komt.

Hoe ziet u de evolutie van AI-infrastructuur in de komende vijf jaar, en welke rol ziet u voor Skymel Away in deze evolutie?

Het AI-infrastructuurlandschap staat op het punt om een fundamentele verschuiving te ondergaan. Terwijl de focus vandaag ligt op het schalen van generieke grote taalmodellen in de cloud, zal de komende vijf jaar zien dat AI diep gepersonaliseerd en contextueel bewust wordt. Dit is niet alleen een kwestie van fine-tuning – het gaat om AI die zich aanpast aan specifieke gebruikers, apparaten en situaties in real-time.

Deze verschuiving creëert twee grote infrastructuuruitdagingen. Ten eerste wordt de traditionele benadering van het draaien van alles in centrale gegevenscentra onhoudbaar, zowel technisch als economisch. Ten tweede betekent de toenemende complexiteit van AI-toepassingen dat we infrastructuur nodig hebben die dynamisch kan optimaliseren over meerdere modellen, apparaten en rekenlocaties.

Bij Skymel bouwen we infrastructuur die specifiek deze uitdagingen aanpakt. Onze technologie stelt AI in staat om overal te draaien waar het het meest zinvol is – of het nu gaat om het apparaat waarop gegevens worden gegenereerd, in de cloud waar meer rekenkracht beschikbaar is, of slim gesplitst tussen de twee. Nog belangrijker, het past deze beslissingen aan in real-time op basis van veranderende omstandigheden en vereisten.

Naar de toekomst toe zullen succesvolle AI-toepassingen niet worden gedefinieerd door de grootte van hun modellen of de hoeveelheid rekenkracht die ze kunnen benutten. Ze zullen worden gedefinieerd door hun vermogen om gepersonaliseerde, responsieve ervaringen te bieden terwijl ze resources efficiënt beheren. Ons doel is om dit niveau van intelligente optimalisatie toegankelijk te maken voor elke AI-toepassing, ongeacht schaal of complexiteit.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Skymel bezoeken.