Lin Qiao, VD & medgrundare av Fireworks AI – Intervjuserie

Lin Qiao var tidigare chef för Metas PyTorch och är medgrundare och VD för Fireworks AI. Fireworks AI är en produktionsplattform för AI som är byggd för utvecklare, Fireworks samarbetar med världens ledande generativa AI-forskare för att erbjuda de bästa modellerna, med de snabbaste hastigheterna. Fireworks AI nyligen höjde en 25M Series A.

Vad var det som initialt drog dig till datavetenskap?

Min pappa var en mycket senior mekanisk ingenjör på ett varv, där han byggde lastfartyg från scratch. Från en ung ålder lärde jag mig att läsa de exakta vinklarna och måtten på skeppets ritningar, och jag älskade det.

Jag var mycket intresserad av STEM från mitttonåren och framåt – allt inom matematik, fysik och kemi som jag kunde läsa. Ett av mina gymnasieuppgifter var att lära mig BASIC-programmering, och jag skapade ett spel om en orm som åt sin egen svans. Efter det visste jag att datavetenskap var min framtid.

Medan du var på Meta ledde du 300+ världsklassens ingenjörer inom AI-ramverk och plattformar där du byggde och distribuerade Caffe2, och senare PyTorch. Vad var några av dina viktigaste erfarenheter från denna erfarenhet?

Stora tekniktillverkare som Meta är alltid fem eller fler år före kurvan. När jag gick med i Meta 2015 var vi i början av vår AI-resa – vi gjorde övergången från CPU till GPU. Vi var tvungna att designa AI-infrastrukturen från grunden. Modeller som Caffe2 var banbrytande när de skapades, men AI utvecklades så snabbt att de snabbt blev föråldrade. Vi utvecklade PyTorch och hela systemet runt det som en lösning.

PyTorch är där jag lärde mig om de största hindren som utvecklare står inför i jakten på att bygga AI. Det första hindret är att hitta stabil och tillförlitlig modellarkitektur som är låg latens och flexibel så att modellerna kan skalas. Det andra hindret är den totala ägandekostnaden, så att företag inte går i konkurs när de försöker växa sina modeller.

Min tid på Meta visade mig hur viktigt det är att hålla modeller och ramverk som PyTorch som öppen källkod. Det uppmuntrar innovation. Vi skulle inte ha vuxit så mycket som vi gjorde på PyTorch utan möjligheter till iteration med öppen källkod. Dessutom är det omöjligt att hålla jämna steg med den senaste forskningen utan samarbete.

Kan du diskutera vad som ledde dig till att lansera Fireworks AI?

Jag har varit i techindustrin i över 20 år, och jag har sett våg efter våg av branschomställningar – från molnet till mobilappar. Men denna AI-omställning är en komplett tektonisk förändring. Jag såg många företag som kämpade med denna förändring. Alla ville flytta snabbt och sätta AI först, men de saknade infrastrukturen, resurserna och talangen för att göra det hända. Ju mer jag talade med dessa företag, desto mer insåg jag att jag kunde lösa denna lucka på marknaden.

Jag lanserade Fireworks AI både för att lösa detta problem och som en utvidgning av det otroliga arbete vi uppnådde på PyTorch. Det inspirerade till och med vårt namn! PyTorch är facklan som håller elden – men vi vill att denna eld ska spridas överallt. Därför: Fireworks.

Jag har alltid varit passionerad om att demokratisera tekniken och göra den tillgänglig och enkel för utvecklare att innovativa oavsett deras resurser. Därför har vi en sådan användarvänlig gränssnitt och starka stödsystem för att ge byggare möjlighet att förverkliga sina visioner.

Kan du diskutera vad utvecklarcentrerad AI är och varför detta är så viktigt?

Det är enkelt: “utvecklarcentrerad” betyder att prioritera utvecklarnas behov. Till exempel: skapa verktyg, samhällen och processer som gör utvecklare mer effektiva och självständiga.

Utvecklarcentrerade AI-plattformar som Fireworks bör integreras i befintliga arbetsflöden och teknikstackar. De bör göra det enkelt för utvecklare att experimentera, göra misstag och förbättra sitt arbete. De bör uppmuntra feedback, eftersom det är utvecklarna själva som förstår vad de behöver för att vara framgångsrika. Slutligen handlar det om mer än bara att vara en plattform. Det handlar om att vara ett samhälle – ett där samarbetande utvecklare kan driva gränserna för vad som är möjligt med AI.

Den GenAI-plattform du har utvecklat är en betydande framsteg för utvecklare som arbetar med stora språkmodeller (LLM). Kan du förklara de unika funktionerna och fördelarna med din plattform, särskilt i jämförelse med befintliga lösningar?

Vår helhetssyn som en AI-produktionsplattform är unik, men några av våra bästa funktioner är:

Effektiv inferens – Vi har utformat Fireworks AI för effektivitet och hastighet. Utvecklare som använder vår plattform kan köra sina LLM-applikationer med den lägsta möjliga latensen och kostnaden. Vi uppnår detta med de senaste modell- och servicoptimeringsteknikerna, inklusive promptcachning, anpassningsbar sharding, kvantifiering, kontinuerlig batchning, FireAttention och mer.

Billig support för LoRA-justerade modeller – Vi erbjuder billig service för låg-rankad anpassning (LoRA) finjusterade modeller via multi-tenancy på basmodeller. Detta innebär att utvecklare kan experimentera med många olika användningsfall eller variationer på samma modell utan att bryta banken.

Enkla gränssnitt och API: er – Våra gränssnitt och API: er är raka och enkla för utvecklare att integrera i sina applikationer. Våra API: er är också OpenAI-kompatibla för enkel migrering.

Färdiga modeller och finjusterade modeller – Vi tillhandahåller mer än 100 förtränade modeller som utvecklare kan använda direkt. Vi täcker de bästa LLM, bildgenereringsmodellerna, inbäddningsmodellerna osv. Men utvecklare kan också välja att vara värd för och tjäna sina egna anpassade modeller. Vi erbjuder också självbetjäningsfinjusteringstjänster för att hjälpa utvecklare anpassa dessa anpassade modeller med deras egna data.

Samarbete i samhället: Vi tror på den öppna källkodsetiken kring samhällssamarbete. Vår plattform uppmuntrar (men kräver inte) utvecklare att dela sina finjusterade modeller och bidra till en växande bank av AI-tillgångar och kunskap. Alla drar nytta av att växa vår kollektiva expertis.

Kan du diskutera den hybridmetod som erbjuds mellan modellparallelism och dataparallelism?

Att parallellisera maskinlärningsmodeller förbättrar effektiviteten och hastigheten på modellträning och hjälper utvecklare att hantera större modeller som en enda GPU inte kan bearbeta.

Modellparallelism innebär att dela en modell i flera delar och träna varje del på separata processorer. Å andra sidan delar dataparallelism dataset i undermängder och tränar en modell på varje undermängd samtidigt på separata processorer. En hybridmetod kombinerar dessa metoder. Modeller delas i separata delar, som var och en tränas på olika undermängder av data, vilket förbättrar effektivitet, skalbarhet och flexibilitet.

Fireworks AI används av över 20 000 utvecklare och betjänar för närvarande över 60 miljarder token per dag. Vilka utmaningar har du stött på när du skalade upp dina verksamheter till denna nivå, och hur har du övervunnit dem?

Jag ska vara ärlig, det har funnits många höga berg att korsa sedan vi grundade Fireworks AI 2022.

Våra kunder kom först till oss och letade efter mycket låg latensstöd eftersom de byggde applikationer för antingen konsumenter, proffs eller andra utvecklare – alla målgrupper som behöver snabba lösningar. Sedan, när våra kunders applikationer började skalas snabbt, insåg de att de inte kunde betala de vanliga kostnaderna som är förknippade med den skalan. De bad oss då att hjälpa till att sänka den totala ägandekostnaden (TCO), vilket vi gjorde. Sedan ville våra kunder migrera från OpenAI till OSS-modeller, och de bad oss att erbjuda likvärdig eller till och med bättre kvalitet än OpenAI. Vi gjorde det också.

Varje steg i vår produkts utveckling var ett svårt problem att hantera, men det betydde att våra kunders behov verkligen formade Fireworks till vad det är idag: en blixtsnabb inferensmotor med låg TCO. Plus, vi erbjuder både en samling av högkvalitativa, färdiga modeller att välja mellan, eller finjusteringstjänster för utvecklare att skapa sina egna.

Med de snabba framstegen inom AI och maskinlärning är etiska överväganden viktigare än någonsin. Hur hanterar Fireworks AI problem relaterade till fördomar, sekretess och etisk användning av AI?

Jag har två tonårsdöttrar som använder genAI-appar som ChatGPT ofta. Som mamma oroar jag mig för att de hittar vilseledande eller olämpligt innehåll, eftersom branschen bara börjar hantera det kritiska problemet med innehållssäkerhet. Meta gör mycket med Purple Llama-projektet, och Stability AI:s nya SD3-lägen är bra. Båda företagen arbetar hårt för att bringa säkerhet till sina nya Llama3- och SD3-modeller med flera lager av filter. Inmatnings-/utmatnings-skyddsmodellen, Llama Guard, får en hel del användning på vår plattform, men dess antagande är inte i nivå med andra LLM: er ännu. Branschen som helhet har fortfarande långt kvar att gå för att bringa innehållssäkerhet och AI-etik till främsta rummet.

Vi på Fireworks bryr oss djupt om sekretess och säkerhet. Vi är HIPAA och SOC2-kompatibla, och erbjuder säker VPC- och VPN-anslutning. Företag litar på Fireworks med sin egendomliga data och modeller för att bygga sin affärsbuffert.

Vad är din vision för hur AI kommer att utvecklas?

Liksom AlphaGo visade autonomi medan den lärde sig att spela schack på egen hand, tror jag att vi kommer att se genAI-applikationer bli mer och mer autonoma. Applikationer kommer att automatiskt dirigera och dirigera förfrågningar till rätt agent eller API för att bearbeta, och kurskorrigera tills de hämtar rätt utdata. Och istället för att en funktion som anropar modell poller från andra som en kontroller, kommer vi att se mer självorganiserade, självkoordinerade agenter som arbetar i samverkan för att lösa problem.

Fireworks blixtsnabba inferens, funktion som anropar modell och finjusteringstjänst har banat väg för denna verklighet. Nu är det upp till innovativa utvecklare att göra det hända.

Tack för den underbara intervjun, läsare som vill lära sig mer bör besöka Fireworks AI.