Saurabh Vij, VD och medgrundare av MonsterAPI – Intervjuserie

Saurabh Vij är VD och medgrundare av MonsterAPI. Han arbetade tidigare som partikelfysiker vid CERN och insåg potentialen för decentraliserad databehandling från projekt som LHC@home.

MonsterAPI utnyttjar billigare kommersiella GPU:er från kryptobrytningsgruvor till mindre outnyttjade datacenter för att tillhandahålla skalbar och prisvärd GPU-infrastruktur för maskinlärning, vilket gör det möjligt för utvecklare att komma åt, finjustera och distribuera AI-modeller till betydligt lägre kostnader utan att skriva en enda rad kod.

Innan MonsterAPI drev han två startups, inklusive en som utvecklade en bärbar säkerhetsenhet för kvinnor i Indien, i samarbete med Indiens regering och IIT Delhi.

Kan du dela med dig av ursprunget till MonsterGPT?

Vår mission har alltid varit “att hjälpa programvaruutvecklare att finjustera och distribuera AI-modeller snabbare och på ett så enkelt sätt som möjligt”. Vi insåg att det finns flera komplexa utmaningar som de står inför när de vill finjustera och distribuera en AI-modell.

Från att hantera kod till att konfigurera Docker-containrar på GPU:er och skala dem på begäran

Och takten i vilken ekosystemet rör sig, är det inte tillräckligt att bara finjustera. Det måste göras på rätt sätt: Undvika underanpassning, överanpassning, hyperparametertuneringsoptimering, införliva de senaste metoderna som LORA och Q-LORA för att utföra snabbare och mer ekonomisk finjustering. När modellen väl är finjusterad måste den distribueras effektivt.

Det gjorde oss medvetna om att erbjuda bara ett verktyg för en liten del av pipelinen inte är tillräckligt. En utvecklare behöver hela den optimerade pipelinen kopplad till ett bra gränssnitt som de är bekanta med. Från finjustering till utvärdering och slutlig distribution av deras modeller.

Jag ställde mig själv en fråga: Som en före detta partikelfysiker, förstår jag den djupa inverkan som AI kan ha på vetenskapligt arbete, men jag vet inte var jag ska börja. Jag har innovativa idéer, men saknar tiden att lära mig alla färdigheter och nyanser av maskinlärning och infrastruktur.

Vad om jag kunde prata med en AI, ange mina krav och ha den bygga hela pipelinen åt mig, leverera den erforderliga API-slutpunkten?

Detta ledde till idén om ett chattbaserat system för att hjälpa utvecklare att finjustera och distribuera utan ansträngning.

MonsterGPT är vårt första steg mot denna resa.

Det finns miljontals programvaruutvecklare, innovatörer och forskare som oss som kan utnyttja detta tillvägagångssätt för att bygga fler domänspecifika modeller för sina projekt.

Kan du förklara den underliggande tekniken bakom Monster API:s GPT-baserade distributionsagent?

MonsterGPT utnyttjar avancerad teknik för att effektivt distribuera och finjustera öppen källkodsstor språkmodell (LLM) som Phi3 från Microsoft och Llama 3 från Meta.

1. RAG med kontextkonfiguration: Förbereder automatiskt konfigurationer med rätt hyperparametrar för finjustering av LLM eller distribution av modeller med hjälp av skalbara REST-API:er från MonsterAPI.
2. LoRA (Low-Rank Adaptation): Möjliggör effektiv finjustering genom att uppdatera endast en delmängd av parametrarna, vilket minskar beräkningskostnader och minneskrav.
3. Kvantiseringsmetoder: Utnyttjar GPT-Q och AWQ för att optimera modellprestanda genom att minska precisionen, vilket minskar minnesavtrycket och accelererar inferens utan signifikant förlust av noggrannhet.
4. vLLM-motor: Tillhandahåller högpresterande LLM-tjänst med funktioner som kontinuerlig batchning, optimerade CUDA-kärnor och parallella avkodningsalgoritmer för effektiv storstskalig inferens.
5. Decentraliserade GPU:er för skalbarhet och prisvärdhet: Vår finjusterings- och distributionsarbetsbelastning körs på ett nätverk av lågkostnads-GPU:er från flera leverantörer från mindre datacenter till framväxande GPU-moln som coreweave, vilket tillhandahåller lägre kostnader, hög valfrihet och tillgänglighet av GPU:er för att säkerställa skalbar och effektiv bearbetning.

Kolla in den senaste bloggen för distribution av Llama 3 med hjälp av MonsterGPT:

Hur strömlinjeformar det finjusterings- och distributionsprocessen?

MonsterGPT tillhandahåller ett chattgränssnitt med möjlighet att förstå instruktioner på naturligt språk för att starta, spåra och hantera fullständiga finjusterings- och distributionsjobb. Denna möjlighet abstraherar bort många komplexa steg som:

• Bygga en datapipeline
• Fastställa rätt GPU-infrastruktur för jobbet
• Konfigurera lämpliga hyperparametrar
• Konfigurera ML-miljö med kompatibla ramverk och bibliotek
• Implementera finjusteringskript för LoRA/QLoRA-effektiv finjustering med kvantiseringstrategier.
• Felsöka problem som minnesutrymme och kodnivåfel.
• Designa och implementera multi-nod auto-skala med högpresterande tjänster som vLLM för LLM-distribution.

Vilken typ av användargränssnitt och kommandon kan utvecklare förvänta sig när de interagerar med Monster API:s chattgränssnitt?

Användargränssnittet är ett enkelt chatt-UI där användare kan be agenten att finjustera en LLM för en specifik uppgift, såsom sammanfattning, chattkomplettering, kodgenerering, bloggskrivning etc., och sedan, när den är finjusterad, kan GPT instrueras att distribuera LLM och fråga den distribuerade modellen från GPT-gränssnittet själv. Några exempel på kommandon inkluderar:

• Finjustera en LLM för kodgenerering på X-dataset
• Jag vill ha en modell finjusterad för bloggskrivning
• Ge mig en API-slutpunkt för Llama 3-modellen.
• Distribuera en liten modell för bloggskrivningsanvändningsfall

Detta är extremt användbart eftersom att hitta rätt modell för ditt projekt ofta kan bli en tidskrävande uppgift. Med nya modeller som dyker upp dagligen kan det leda till mycket förvirring.

Hur jämför Monster API:s lösning med traditionella metoder för att distribuera AI-modeller i termer av användbarhet och effektivitet?

Monster API:s lösning förbättrar användbarhet och effektivitet jämfört med traditionella metoder för att distribuera AI-modeller.

För användbarhet:

1. Automatisk konfiguration: Traditionella metoder kräver ofta omfattande manuell konfiguration av hyperparametrar och konfigurationer, vilket kan vara felbenäget och tidskrävande. MonsterAPI automatiserar denna process med hjälp av RAG med kontext, vilket förenklar konfigurationen och minskar risken för fel.
2. Skalbara REST-API:er: MonsterAPI tillhandahåller intuitiva REST-API:er för distribution och finjustering av modeller, vilket gör det tillgängligt även för användare med begränsad maskinlärningskompetens. Traditionella metoder kräver ofta djup teknisk kunskap och komplex kodning för distribution.
3. Enhetlig plattform: Den integrerar hela arbetsflödet, från finjustering till distribution, inom en enda plattform. Traditionella tillvägagångssätt kan involvera olika verktyg och plattformar, vilket leder till ineffektivitet och integrationsutmaningar.

För effektivitet:

MonsterAPI erbjuder en strömlinjeformad pipeline för LoRA-finjustering med inbyggd kvantisering för effektiv minnesanvändning och vLLM-motor för att uppnå högpresterande med kontinuerlig batchning och optimerade CUDA-kärnor, samt ett kostnadseffektivt, skalbart och högt tillgängligt decentraliserat GPU-moln med förenklad övervakning och loggning.

Denna pipeline förbättrar utvecklarnas produktivitet genom att möjliggöra skapandet av produktionsklara anpassade LLM-applikationer samtidigt som behovet av komplexa tekniska färdigheter minskas.

Kan du ge exempel på användningsfall där Monster API har betydligt minskat den tid och resurser som behövs för modell distribution?

Ett IT-konsultföretag behövde finjustera och distribuera Llama 3-modellen för att tillgodose sina kunders affärsbehov. Utan MonsterAPI skulle de ha krävt ett team på 2-3 MLOps-ingenjörer med djup förståelse för hyperparametertuning för att förbättra modellens kvalitet på den tillhandahållna datamängden, och sedan distribuera den finjusterade modellen som en skalbar REST-API-slutpunkt med hjälp av auto-skala och orkestrering, troligen på Kubernetes. Dessutom ville de använda ramverk som LoRA för finjustering och vLLM för modell distribution för att förbättra kostnadsparametrar samtidigt som minnesanvändningen minskades. Detta kan vara en komplex utmaning för många utvecklare och kan ta veckor eller till och med månader att uppnå en produktionsklar lösning. Med MonsterAPI kunde de experimentera med flera finjusteringskörningar inom en dag och distribuera den finjusterade modellen med den bästa utvärderingsscoren inom några timmar, utan att kräva flera ingenjörsresurser med djup MLOps-kompetens.

På vilka sätt gör Monster API:s tillvägagångssätt det möjligt för mindre utvecklare och startups att få tillgång till generativa AI-modeller?

Små utvecklare och startups har ofta svårt att producera och använda högkvalitativa AI-modeller på grund av brist på kapital och teknisk kompetens. Våra lösningar ger dem möjlighet att sänka kostnaderna, förenkla processerna och tillhandahålla robusta no-code/low-code-verktyg för att implementera produktionsklara AI-pipelines.

Genom att utnyttja vårt decentraliserade GPU-moln erbjuder vi prisvärd och skalbar GPU-resurs, vilket betydligt minskar kostnadsbarriären för högpresterande modell distribution. Plattformens automatiska konfiguration och hyperparametertuning förenklar processen, vilket eliminerar behovet av djup teknisk kompetens.

Våra användarvänliga REST-API:er och integrerade arbetsflöde kombinerar finjustering och distribution i en enda, sammanhängande process, vilket gör avancerad AI-teknik tillgänglig även för dem med begränsad erfarenhet. Dessutom säkerställer användningen av effektiv LoRA-finjustering och kvantiseringstekniker som GPT-Q och AWQ optimal prestanda på mindre dyra maskiner, vilket ytterligare minskar inträdesbarriären.

Denna tillvägagångssätt ger små utvecklare och startups möjlighet att implementera och hantera avancerade generativa AI-modeller effektivt.

Vad ser du som den nästa stora framstegen eller funktionen som Monster API kommer att bringa till AI-utvecklingsgemenskapen?

Vi arbetar på flera innovativa produkter för att ytterligare främja vår tes: Hjälpa utvecklare att anpassa och distribuera modeller snabbare, enklare och på det mest ekonomiska sättet.

Den omedelbara nästa är en Full MLOps AI-assistent som utför forskning på nya optimeringsstrategier för LLMOps och integrerar dem i befintliga arbetsflöden för att minska utvecklarnas ansträngningar för att bygga nya och bättre kvalitetsmodeller, samtidigt som de möjliggör fullständig anpassning och distribution av produktionsklara LLM-pipelines.

Låt oss säga att du behöver generera 1 miljon bilder per minut för ditt användningsfall. Detta kan vara extremt dyrt. Traditionellt skulle du använda Stable Diffusion-modellen och spendera timmar på att hitta och testa optimeringsramverk som TensorRT för att förbättra din genomströmning utan att kompromissa med kvalitet och latens.

Men med MonsterAPI:s MLOps-agent behöver du inte slösa bort alla dessa resurser. Agenten kommer att hitta det bästa ramverket för dina krav, utnyttja optimeringar som TensorRT anpassade för ditt specifika användningsfall.

Hur planerar Monster API att fortsätta stödja och integrera nya öppen källkodsmodeller när de dyker upp?

På tre stora sätt:

1. Tillhandahålla tillgång till de senaste öppen källkodsmodellerna
2. Erbjuda det enklaste gränssnittet för finjustering och distribution
3. Optimera hela stacken för hastighet och kostnad med de mest avancerade och kraftfulla ramverken och biblioteken

Vår mission är att hjälpa utvecklare av alla kompetensnivåer att anta Gen AI snabbare, minska deras tid från en idé till en välpolerad och skalbar API-slutpunkt.

Vi kommer att fortsätta våra ansträngningar för att tillhandahålla tillgång till de senaste och kraftfullaste ramverken och biblioteken, integrerade i ett smidigt arbetsflöde för att implementera änd-till-änd-LLMOps. Vi är dedikerade till att minska komplexiteten för utvecklare med våra no-code-verktyg, vilket ökar deras produktivitet i byggandet och distributionen av AI-modeller.

För att uppnå detta övervakar vi kontinuerligt framstegen i AI-gemenskapen. Vi upprätthåller ett skalbart decentraliserat GPU-moln och engagerar oss aktivt med utvecklare för tidig åtkomst och feedback. Genom att utnyttja automatiserade pipelines för smidig integration, förbättra flexibla API:er och bilda strategiska partnerskap med AI-forskningsorganisationer, säkerställer vi att vår plattform förblir toppmodern.

Dessutom tillhandahåller vi omfattande dokumentation och robust teknisk support, vilket möjliggör för utvecklare att snabbt anta och utnyttja de senaste modellerna. MonsterAPI håller utvecklare i framkanten av generativ AI-teknik, vilket ger dem möjlighet att innovativt och framgångsrikt.

Vilka är de långsiktiga målen för Monster API i termer av teknikutveckling och marknadsräckvidd?

På lång sikt vill vi hjälpa de 30 miljoner programvaruutvecklarna att bli MLOps-utvecklare med hjälp av vår MLOps-agent och alla verktyg vi bygger.

Detta kommer att kräva att vi bygger inte bara en fullfjädrad agent, utan också många grundläggande proprietära teknologier kring optimeringsramverk, containerningsmetod och orkestrering.

Vi tror att en kombination av stora, enkla gränssnitt, 10 gånger mer genomströmning och lågkostnadsdecentraliserade GPU:er har potentialen att förvandla en utvecklares produktivitet och därmed påskynda GenAI-antagandet.

All vår forskning och ansträngningar är inriktade på detta.

Tack för den underbara intervjun, läsare som vill lära sig mer bör besöka MonsterAPI.