Saurabh Vij, CEO og medgrunnlegger av MonsterAPI – Intervju-serie

Saurabh Vij er CEO og medgrunnlegger av MonsterAPI. Han jobbet tidligere som partikkelfysiker ved CERN og erkjente potensialet for desentralisert datamaskinutstyr fra prosjekter som LHC@home.

MonsterAPI utnytter lavkostnadige commodity-GPU-er fra kryptomining-farm til mindre idle datasentre for å tilby skalerbar, rimelig GPU-infrastruktur for maskinlæring, og lar utviklere få tilgang til, finjustere og distribuere AI-modeller til betydelig reduserte kostnader uten å skrive en enkelt kodeLinje.

Før MonsterAPI, drev han to startups, inkludert en som utviklet en bærbart sikkerhetsenhet for kvinner i India, i samarbeid med den indiske regjeringen og IIT Delhi.

Kan du dele historien bak MonsterGPT?

Vår misjon har alltid vært “å hjelpe programvareutviklere med å finjustere og distribuere AI-modeller raskere og på en enkel måte.” Vi innser at det finnes flere komplekse utfordringer de møter når de ønsker å finjustere og distribuere en AI-modell.

Fra å håndtere kode til å sette opp Docker-beholdere på GPU-er og skalerer dem på forespørsel

Og tempoet som økosystemet beveger seg, bare finjustering er ikke nok. Det må gjøres på riktig måte: Unngå underjustering, overjustering, hyperparameter-optimisering, innføring av nyeste metoder som LORA og Q-LORA for å utføre raskere og mer økonomisk finjustering. Når modellen er finjustert, må den distribueres effektivt.

Dette gjorde oss klar over at å tilby bare et verktøy for en liten del av pipeline er ikke nok. En utvikler trenger hele den optimerte pipeline koblet med en flott grensesnitt de er kjent med. Fra finjustering til evaluering og endelig distribusjon av deres modeller.

Jeg spurte meg selv et spørsmål: Som en tidligere partikkelfysiker, forstår jeg den dyptgående innvirkningen AI kan ha på vitenskapelig arbeid, men jeg vet ikke hvor jeg skal starte. Jeg har innovative ideer, men mangler tid til å lære alle ferdighetene og nyansene til maskinlæring og infrastruktur.

Hva hvis jeg kunne bare snakke med en AI, gi mine krav, og la den bygge hele pipeline for meg, og levere den nødvendige API-endepunkt?

Dette ledet til ideen om et chat-basert system for å hjelpe utviklere med å finjustere og distribuere uten anstrengelse.

MonsterGPT er vårt første skritt mot denne reisen.

Det finnes millioner av programvareutviklere, innovatører og forskere som oss som kunne utnytte denne tilnærmingen til å bygge mer domenespesifikke modeller for sine prosjekter.

Kan du forklare den underliggende teknologien bak Monster API’s GPT-baserte distribusjonsagent?

MonsterGPT utnytter avanserte teknologier for å effektivt distribuere og finjustere åpne kildekode store språkmodeller (LLM-er) som Phi3 fra Microsoft og Llama 3 fra Meta.

1. RAG med kontekstkonfigurasjon: Automatisk forbereder konfigurasjoner med riktige hyperparametere for finjustering av LLM-er eller distribusjon av modeller ved hjelp av skalerbare REST-API-er fra MonsterAPI.
2. LoRA (Low-Rank Adaptation): Muliggjør effektiv finjustering ved å oppdatere bare en undergruppe av parametre, reduserer beregningskostnader og minnekrav.
3. Kvantifiseringsmetoder: Utnytter GPT-Q og AWQ for å optimalisere modellprestasjon ved å redusere presisjon, som senker minneavtrykk og akselererer inferens uten betydelig tap i nøyaktighet.
4. vLLM-motor: Tilbyr høy gjennomstrømming LLM-tjeneste med funksjoner som kontinuerlig batchbehandling, optimaliserte CUDA-kjerner og parallele dekodingsalgoritmer for effektiv storstilt inferens.
5. Desentraliserte GPU-er for skalerbarhet og rimelighet: Våre finjusterings- og distribusjonsarbeidsbelastninger kjører på et nettverk av lavkostnadige GPU-er fra flere leverandører fra mindre datasentre til nye GPU-skyer som coreweave for å tilby lavere kostnader, høy valgfrihet og tilgjengelighet av GPU-er for å sikre skalerbar og effektiv prosessering.

Se denne nyeste blogginnlegget for Llama 3-distribusjon ved hjelp av MonsterGPT:

Hvordan strømlinjeformer det finjusterings- og distribusjonsprosessen?

MonsterGPT tilbyr et chat-grensesnitt med evne til å forstå instruksjoner på naturlig språk for å lansere, spore og håndtere fullstendige finjusterings- og distribusjonsjobber. Denne evnen abstraherer vekk mange komplekse trinn som:

• Bygging av en datapipeline
• Finne riktig GPU-infrastruktur for jobben
• Konfigurere passende hyperparametere
• Sette opp ML-miljø med kompatible rammer og biblioteker
• Implementere finjusterings-skript for LoRA/QLoRA effektiv finjustering med kvantiseringstrategier.
• Feilsøke problemer som minne- og kodefeil.
• Designe og implementere multi-nodes auto-skalerings- og høy-gjennomstrømmings-tjenester som vLLM for LLM-distribusjon.

Hva slags brukergrensesnitt og kommandoer kan utviklere forvente når de samhandler med Monster API’s chat-grensesnitt?

Brukergrensesnittet er et enkelt chat-grensesnitt hvor brukere kan be agenten om å finjustere en LLM for en bestemt oppgave, som sammenfatting, chat-fullføring, kodegenerering, bloggskriving osv., og deretter, når den er finjustert, kan GPT-en instrueres om å distribuere LLM-en og spørre den distribuerte modellen fra GPT-grensesnittet selv. Noen eksempler på kommandoer inkluderer:

• Finjuster en LLM for kodegenerering på X-datasett
• Jeg ønsker en modell finjustert for bloggskriving
• Gi meg et API-endepunkt for Llama 3-modellen.
• Distribuer en liten modell for bloggskriving.

Dette er ekstremt nyttig fordi å finne riktig modell for prosjektet ditt ofte kan bli en tidskrevende oppgave. Med nye modeller som dukker opp daglig, kan det føre til mye forvirring.

Hvordan sammenligner Monster API’s løsning seg med tradisjonelle metoder for å distribuere AI-modeller når det gjelder brukervennlighet og effektivitet?

Monster API’s løsning forbedrer betydelig brukervennlighet og effektivitet sammenlignet med tradisjonelle metoder for å distribuere AI-modeller.

For brukervennlighet:

1. Automatisert konfigurasjon: Tradisjonelle metoder krever ofte omfattende manuell konfigurasjon av hyperparametere og konfigurasjoner, som kan være feilfølsomme og tidskrevende. MonsterAPI automatiserer denne prosessen ved hjelp av RAG med kontekst, forenkler oppsett og reduserer sannsynligheten for feil.
2. Skalerbare REST-API-er: MonsterAPI tilbyr intuitive REST-API-er for distribusjon og finjustering av modeller, gjør det tilgjengelig selv for brukere med begrenset maskinlæringskompetanse. Tradisjonelle metoder krever ofte dyp teknisk kunnskap og kompleks kode for distribusjon.
3. Samlet plattform: Den integrerer hele arbeidsflyten, fra finjustering til distribusjon, innen én plattform. Tradisjonelle tilnærminger kan involvere separate verktøy og plattformer, noe som kan føre til ineffektivitet og integrasjonsutfordringer.

For effektivitet:

MonsterAPI tilbyr en strømlinjeformet pipeline for LoRA-finjustering med innebygd kvantisering for effektiv minnebruk og vLLM-motor-drevet LLM-tjeneste for å oppnå høy gjennomstrømming med kontinuerlig batchbehandling og optimaliserte CUDA-kjerner, på toppen av en kostnadseffektiv, skalerbar og høytilgjengelig desentralisert GPU-sky med forenklet overvåking og logging.

Denne hele pipeline forbedrer utviklerproduktiviteten ved å muliggjøre opprettelse av produksjonsklare tilpassede LLM-applikasjoner samtidig som behovet for komplekse tekniske ferdigheter reduseres.

Kan du gi eksempler på brukstilfeller hvor Monster API har betydelig redusert tiden og ressursene nødvendige for modell-distribusjon?

Et IT-konsulentselskap trengte å finjustere og distribuere Llama 3-modellen for å møte kundens forretningsbehov. Uten MonsterAPI, ville de ha trengt et team på 2-3 MLOps-ingeniører med dyp kunnskap om hyperparameter-justering for å forbedre modellens kvalitet på det gitte datasettet, og deretter hoste den finjusterte modellen som et skalerbart REST-API-endepunkt ved hjelp av auto-skalerings- og orkestrering, sannsynligvis på Kubernetes. I tillegg ønsket de å bruke rammer som LoRA for finjustering og vLLM for modell-tjeneste for å forbedre kostnads-målene samtidig som minneforbruket reduseres. Dette kan være en kompleks utfordring for mange utviklere og kan ta uker eller måneder å oppnå en produksjonsklar løsning. Med MonsterAPI, kunne de eksperimentere med flere finjusteringskjøringer innen én dag og hoste den finjusterte modellen med den beste vurderingsscoren innen timer, uten å kreve flere ingeniørressurser med dyp MLOps-kompetanse.

På hvilke måter demokratiserer Monster API tilgangen til generative AI-modeller for mindre utviklere og startups?

Små utviklere og startups sliter ofte med å produsere og bruke høykvalitets AI-modeller på grunn av manglende kapital og tekniske ferdigheter. Våre løsninger muliggjør dette ved å senke kostnadene, forenkle prosessene og tilby robuste verktøy uten kode eller med lav kode for å implementere produksjonsklare AI-pipelines.

Ved å utnytte vår desentraliserte GPU-sky, tilbyr vi rimelige og skalerbare GPU-ressurser, noe som betydelig reduserer kostnadssperren for høy-ytelsesmodell-distribusjon. Plattformens automatiserte konfigurasjon og hyperparameter-justering forenkler prosessen, eliminerer behovet for dyp teknisk ekspertise.

Våre brukervennlige REST-API-er og integrerte arbeidsflyt kombinerer finjustering og distribusjon i én sammenhengende prosess, gjør avanserte AI-teknologier tilgjengelige selv for de med begrenset erfaring. I tillegg sikrer bruken av effektive LoRA-finjustering og kvantiseringsteknikker som GPT-Q og AWQ optimal ytelse på mindre dyre maskinvare, noe som ytterligere senker inngangs-kostnadene.

Denne tilnærmingen muliggjør at mindre utviklere og startups kan implementere og håndtere avanserte generative AI-modeller effektivt.

Hva ser du som den neste store fremgangen eller funksjonen som Monster API vil bringe til AI-utviklingsfellesskapet?

Vi jobber med noen innovative produkter for å fremme vår tese: Hjelpe utviklere med å tilpasse og distribuere modeller raskere, enklere og på en mer økonomisk måte.

Den nærmeste fremgangen er en Full MLOps AI-assistent som utfører forskning på nye optimeringsstrategier for LLMOps og integrerer dem i eksisterende arbeidsflyter for å redusere utviklerinnsatsen på å bygge nye og bedre kvalitetsmodeller samtidig som fullstendig tilpasning og distribusjon av produksjonsklare LLM-pipelines muliggjøres.

La oss si at du trenger å generere 1 million bilder per minutt for ditt brukstilfelle. Dette kan være ekstremt dyrt. Tradisjonelt ville du bruke Stable Diffusion-modellen og bruke timer på å finne og teste optimeringsrammer som TensorRT for å forbedre gjennomstrømmingen uten å kompromittere kvaliteten og forsinkelsen av utgangen.

Men med MonsterAPI’s MLOps-agent, trenger du ikke å sløse bort alle disse ressursene. Agenten finner den beste rammen for dine krav, utnytter optimeringer som TensorRT tilpasset ditt bestemte brukstilfelle.

Hvordan planlegger Monster API å fortsette å støtte og integrere nye åpne kildekodemodeller som dukker opp?

På tre måter:

1. Tilby tilgang til de nyeste åpne kildekodemodellene
2. Tilby det enkleste grensesnittet for finjustering og distribusjon
3. Optimer hele staken for hastighet og kostnad med de mest avanserte og kraftfulle rammer og biblioteker

Vår misjon er å hjelpe utviklere av alle ferdighetsnivåer med å adoptere Gen AI raskere, redusere tiden fra en ide til et fullstendig og skalerbart API-endepunkt.

Vi vil fortsette våre bestrebelser for å tilby tilgang til de nyeste og mest kraftfulle rammer og biblioteker, integrert i en sammenhengende arbeidsflyt for å implementere end-to-end LLMOps. Vi er dedikert til å redusere kompleksiteten for utviklere med våre verktøy uten kode, og dermed øke deres produktivitet i å bygge og distribuere AI-modeller.

For å oppnå dette, overvåker vi kontinuerlig fremgangen i AI-samfunnet. Vi vedlikeholder en skalerbar desentralisert GPU-sky og engasjerer aktivt med utviklere for tidlig tilgang og tilbakemelding. Ved å utnytte automatiserte pipelines for sammenhengende integrasjon, forbedre fleksible API-er og danne strategiske partnerskap med AI-forskningsorganisasjoner, sikrer vi at vår plattform forblir på toppen av teknologien.

Vi tilbyr også omfattende dokumentasjon og robust teknisk støtte, noe som muliggjør at utviklere raskt kan adoptere og utnytte de nyeste modellene. MonsterAPI holder utviklere i forkant av generativ AI-teknologi, og muliggjør at de kan innovere og lykkes.

Hva er de lange målene for Monster API når det gjelder teknologisk utvikling og markedsrekkevidde?

På lang sikt ønsker vi å hjelpe de 30 millioner programvareutviklerne med å bli MLOps-utviklere med hjelp av vår MLOps-agent og alle verktøyene vi bygger.

Dette vil kreve at vi bygger ikke bare en fullstendig agent, men også mange grunnleggende proprietære teknologier rundt optimeringsrammer, containerisering og orkestrering.

Vi tror at en kombinasjon av flotte, enkle grensesnitt, 10 ganger mer gjennomstrømming og lavkostnadige desentraliserte GPU-er har potensialet til å transformere en utviklers produktivitet og dermed akselerere GenAI-adoopsjonen.

Alle våre forsknings- og utviklingsinnsats er rettet mot dette målet.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, kan besøke MonsterAPI.