Lin Qiao, VD och medgrundare av Fireworks AI – Intervjuer

Lin Qiao var tidigare chef för Metas PyTorch och är medgrundare och VD för Fireworks AI. Fireworks AI är en produktionsplattform för AI som är byggd för utvecklare, Fireworks samarbetar med världens ledande generativa AI-forskare för att erbjuda de bästa modellerna, med de snabbaste hastigheterna. Fireworks AI har nyligen fått en 25M Series A-finansiering.

Vad var det som initialt lockade dig till datavetenskap?

Min pappa var en mycket senior mekanisk ingenjör på ett varv, där han byggde lastfartyg från scratch. Redan från en tidig ålder lärde jag mig att läsa de exakta vinklarna och måtten på skeppets ritningar, och jag älskade det.

Jag var mycket intresserad av STEM från mitt tonår och framåt – allt inom matematik, fysik och kemi som jag kunde få tag på. Ett av mina gymnasieprojekt var att lära mig BASIC-programmering, och jag skapade ett spel om en orm som åt sin egen svans. Efter det visste jag att datavetenskap var min framtid.

Medan du var på Meta ledde du 300+ världsklassens ingenjörer inom AI-ramverk och plattformar, där du byggde och distribuerade Caffe2 och senare PyTorch. Vilka var några av dina viktigaste lärdomar från den erfarenheten?

Stora teknikföretag som Meta är alltid fem eller fler år före kurvan. När jag gick med i Meta 2015 var vi i början av vår AI-resa – vi gjorde övergången från CPU till GPU. Vi var tvungna att designa AI-infrastrukturen från grunden. Modeller som Caffe2 var banbrytande när de skapades, men AI utvecklades så snabbt att de snabbt blev föråldrade. Vi utvecklade PyTorch och hela systemet runt det som en lösning.

PyTorch är där jag lärde mig om de största hindren som utvecklare står inför i jakten på att bygga AI. Det första hindret är att hitta en stabil och tillförlitlig modellarkitektur som är låg latens och flexibel så att modellerna kan skalas. Det andra hindret är den totala ägandekostnaden, så att företag inte går i konkurs när de försöker växa sina modeller.

Min tid på Meta visade mig hur viktigt det är att hålla modeller och ramverk som PyTorch öppen källkod. Det uppmuntrar innovation. Vi skulle inte ha vuxit så mycket som vi gjorde på PyTorch utan möjligheterna till iteration som öppen källkod ger. Dessutom är det omöjligt att hålla jämna steg med den senaste forskningen utan samarbete.

Kan du diskutera vad som ledde till att du startade Fireworks AI?

Jag har varit i teknikbranschen i över 20 år, och jag har sett våg efter våg av industriella förändringar – från molnet till mobilappar. Men den här AI-förändringen är en fullständig tektonisk omställning. Jag såg många företag som kämpade med den här förändringen. Alla ville flytta snabbt och sätta AI först, men de saknade infrastrukturen, resurserna och talangen för att göra det hända. Ju mer jag talade med dessa företag, desto mer insåg jag att jag kunde lösa den här luckan på marknaden.

Jag startade Fireworks AI både för att lösa det här problemet och som en förlängning av det fantastiska arbete vi utförde på PyTorch. Det inspirerade till och med vårt namn! PyTorch är facklan som håller elden – men vi vill att den elden ska spridas överallt. Därför: Fireworks.

Jag har alltid varit passionerad om att demokratisera tekniken och göra den tillgänglig och enkel för utvecklare att innovativa, oavsett deras resurser. Därför har vi en sådan användarvänlig gränssnitt och starka stödsystem för att ge byggare möjlighet att förverkliga sina visioner.

Kan du diskutera vad utvecklarcentrerad AI är och varför det är så viktigt?

Det är enkelt: “utvecklarcentrerad” betyder att prioritera utvecklarnas behov. Till exempel: skapa verktyg, samhällen och processer som gör utvecklare mer effektiva och självständiga.

Utvecklarcentrerade AI-plattformar som Fireworks bör integreras i befintliga arbetsflöden och teknikstackar. De bör göra det enkelt för utvecklare att experimentera, göra misstag och förbättra sitt arbete. De bör uppmuntra feedback, eftersom det är utvecklarna själva som förstår vad de behöver för att vara framgångsrika. Slutligen handlar det om mer än bara att vara en plattform. Det handlar om att vara ett samhälle – ett där samarbetande utvecklare kan skapa gränserna för vad som är möjligt med AI.

Den GenAI-plattform du har utvecklat är en betydande framsteg för utvecklare som arbetar med stora språkmodeller (LLM). Kan du förklara de unika funktionerna och fördelarna med din plattform, särskilt i jämförelse med befintliga lösningar?

Vår helhetssyn som AI-produktionsplattform är unik, men några av våra bästa funktioner är:

Effektiv inferens – Vi har utformat Fireworks AI för effektivitet och hastighet. Utvecklare som använder vår plattform kan köra sina LLM-applikationer med den lägsta möjliga latensen och kostnaden. Vi uppnår detta med de senaste modell- och tjänstoptimeringsteknikerna, inklusive promptcachning, anpassningsbar sharding, kvantisering, kontinuerlig batchning, FireAttention och mer.

Billig support för LoRA-justerade modeller – Vi erbjuder en billig tjänst för låg-rankad anpassning (LoRA) av fine-tuned modeller via multi-tenancy på basmodeller. Detta innebär att utvecklare kan experimentera med många olika användningsfall eller variationer av samma modell utan att bryta mot banken.

Enkla gränssnitt och API:er – Våra gränssnitt och API:er är raka och enkla för utvecklare att integrera i sina applikationer. Våra API:er är också kompatibla med OpenAI för enkel migrering.

Förbyggda modeller och fine-tuned modeller – Vi erbjuder mer än 100 förbyggda modeller som utvecklare kan använda direkt. Vi täcker de bästa LLM, bildgenereringsmodellerna, inbäddningsmodellerna osv. Men utvecklare kan också välja att vara värd för och tjäna sina egna anpassade modeller. Vi erbjuder också självbetjäningsfinjusteringstjänster för att hjälpa utvecklare att anpassa dessa anpassade modeller med deras egna data.

Samarbete i samhället: Vi tror på den öppna källkodens etos om samhällssamarbete. Vår plattform uppmuntrar (men kräver inte) utvecklare att dela sina fine-tuned modeller och bidra till en växande bank av AI-tillgångar och kunskap. Alla drar nytta av att växa vår kollektiva expertis.

Kan du diskutera den hybridmetod som erbjuds mellan modellparallelism och dataparallelism?

Att parallellisera maskinlärningsmodeller förbättrar effektiviteten och hastigheten på modellträning och hjälper utvecklare att hantera större modeller som en enda GPU inte kan bearbeta.

Modellparallelism innebär att dela en modell i flera delar och träna varje del på separata processorer. Å andra sidan delar dataparallelism dataset i undermängder och tränar en modell på varje undermängd samtidigt på separata processorer. En hybridmetod kombinerar dessa metoder. Modeller delas i separata delar, som var och en tränas på olika undermängder av data, vilket förbättrar effektivitet, skalbarhet och flexibilitet.

Fireworks AI används av över 20 000 utvecklare och servar för närvarande över 60 miljarder token per dag. Vilka utmaningar har du stött på när du skalade upp dina verksamheter till den här nivån, och hur har du övervunnit dem?

Jag ska vara ärlig, det har funnits många höga berg att bestiga sedan vi grundade Fireworks AI 2022.

Våra kunder kom först till oss och letade efter mycket låg latensstöd eftersom de byggde applikationer för antingen konsumenter, proffs eller andra utvecklare – alla målgrupper som behöver snabba lösningar. Sedan, när våra kunders applikationer började skalas snabbt, insåg de att de inte kunde betala de typiska kostnaderna som är förknippade med den skalningen. De bad oss då att hjälpa till att sänka den totala ägandekostnaden (TCO), vilket vi gjorde. Sedan ville våra kunder migrera från OpenAI till OSS-modeller, och de bad oss att erbjuda lika bra eller ännu bättre kvalitet än OpenAI. Vi gjorde det också.

Varje steg i vår produkts utveckling var ett svårt problem att lösa, men det betydde att våra kunders behov verkligen formade Fireworks till vad det är idag: en blixtsnabb inferensmotor med låg TCO. Plus, vi erbjuder både en samling av högkvalitativa, färdiga modeller att välja mellan, eller fine-tuningstjänster för utvecklare att skapa sina egna.

Med de snabba framstegen inom AI och maskinlärning är etiska överväganden viktigare än någonsin. Hur hanterar Fireworks AI problem relaterade till fördomar, integritet och etiskt användande av AI?

Jag har två tonårsdöttrar som använder genAI-appar som ChatGPT ofta. Som mamma oroar jag mig för att de hittar vilseledande eller olämpligt innehåll, eftersom branschen bara börjar tackla det kritiska problemet med innehållssäkerhet. Meta gör mycket med Purple Llama-projektet, och Stability AI:s nya SD3-lägen är fantastiska. Båda företagen arbetar hårt för att bringa säkerhet till deras nya Llama3- och SD3-modeller med flera lager av filter. Inmatnings-utmatningsskyddmodellen, Llama Guard, får en hel del användning på vår plattform, men dess antagande är inte i nivå med andra LLM. Branschen som helhet har fortfarande en lång väg att gå för att bringa innehållssäkerhet och AI-etik till främsta rummet.

Vi på Fireworks bryr oss djupt om integritet och säkerhet. Vi är HIPAA- och SOC2-kompatibla, och erbjuder säker VPC- och VPN-anslutning. Företag litar på Fireworks med sin proprietära data och modeller för att bygga sin affärsverksamhet.

Vad är din vision för hur AI kommer att utvecklas?

Liksom AlphaGo visade autonomi medan den lärde sig att spela schack på egen hand, tror jag att vi kommer att se genAI-applikationer bli mer och mer autonoma. Applikationer kommer att automatiskt dirigera och styra förfrågningar till rätt agent eller API för att bearbeta, och korrigera tills de hämtar rätt utdata. Och istället för att en funktionssammanlänkad modell pollar från andra som en kontroller, kommer vi att se mer självorganiserade, självkoordinerade agenter som arbetar i samverkan för att lösa problem.

Fireworks blixtsnabba inferens, funktionssammanlänkade modeller och fine-tuningstjänster har banat väg för den här verkligheten. Nu är det upp till innovativa utvecklare att göra det hända.

Tack för den underbara intervjun, läsare som vill lära sig mer kan besöka Fireworks AI.