Lin Qiao, administrerende direktør og medstifter af Fireworks AI – Intervieuserie

Lin Qiao var tidligere leder af Metas PyTorch og er medstifter og administrerende direktør af Fireworks AI. Fireworks AI er en produktionsplattform for kunstig intelligens, der er bygget til udviklere, og Fireworks samarbejder med verdens førende forskere inden for generativ kunstig intelligens for at tilbyde de bedste modeller på de hurtigste hastigheder. Fireworks AI har nylig samlet 25 millioner dollars i en runde af serie A-investeringer.

Hvad var det, der oprindeligt tiltrak dig til datalogi?

Min far var en meget senior mekanisk ingeniør på et skibsværft, hvor han byggede fragtskibe fra bunden. Fra en ung alder lærte jeg at læse de præcise vinkler og målinger af skibsplaner, og jeg elskede det.

Jeg var meget interesseret i STEM fra mellemskolen og frem – alt om matematik, fysik og kemi, som jeg slugte. En af mine opgaver i gymnasiet var at lære BASIC-programmering, og jeg designede et spil om en slange, der spiser sin egen hale. Efter det vidste jeg, at datalogi var min fremtid.

Mens du var hos Meta, ledede du over 300 verdensklasse-ingeniører inden for AI-rammer og -platforme, hvor du byggede og implementerede Caffe2 og senere PyTorch. Hvad var nogle af dine vigtigste erfaringer fra denne oplevelse?

Store teknologivirksomheder som Meta er altid fem eller flere år foran kurven. Da jeg startede hos Meta i 2015, var vi ved begyndelsen af vores AI-rejse – vi skiftede fra CPU’er til GPU’er. Vi måtte designe AI-infrastruktur fra bunden. Modeller som Caffe2 var banebrydende, da de blev oprettet, men AI udviklede sig så hurtigt, at de hurtigt blev forældede. Vi udviklede PyTorch og hele systemet omkring det som en løsning.

PyTorch er, hvor jeg lærte om de største hindringer, udviklere står over for i kapløbet om at bygge AI. Den første udfordring er at finde en stabil og pålidelig modelarkitektur, der er lav latency og fleksibel, så modeller kan skaleres. Den anden udfordring er den samlede ejeromkostning, så virksomheder ikke går konkurs, når de forsøger at udvide deres modeller.

Min tid hos Meta viste mig, hvor vigtigt det er at holde modeller og rammer som PyTorch åbne. Det opmuntrer til innovation. Vi ville ikke have udviklet os så meget som vi havde på PyTorch uden åbne muligheder for iteration. Plus, det er umuligt at følge med alle de seneste forskningsresultater uden samarbejde.

Kan du diskutere, hvad der ledte dig til at lancere Fireworks AI?

Jeg har været i tech-industrien i mere end 20 år, og jeg har set bølge efter bølge af branchens skift – fra cloud til mobile apps. Men dette AI-skift er en komplet tektonisk omlejring. Jeg så mange virksomheder, der kæmpede med denne ændring. Alle ville flytte hurtigt og sætte AI først, men de manglede infrastruktur, ressourcer og talent til at gøre det. Jo mere jeg talte med disse virksomheder, jo mere indså jeg, at jeg kunne løse dette gap i markedet.

Jeg lancerede Fireworks AI både for at løse dette problem og som en udvidelse af det fantastiske arbejde, vi opnåede på PyTorch. Det inspirerede endda vores navn! PyTorch er faklen, der holder ilden – men vi vil have, at ilden skal sprede sig overalt. Derfor: Fireworks.

Jeg har altid været passioneret om at demokratisere teknologi og gøre det billigere og nemmere for udviklere at innovere uanset deres ressourcer. Derfor har vi sådan en brugervenlig interface og stærke supportsystemer til at udvikle byggere til at bringe deres visioner til live.

Kan du diskutere, hvad udviklercentreret AI er, og hvorfor det er så vigtigt?

Det er simpelt: “udviklercentreret” betyder at prioritere udviklernes behov. For eksempel: at skabe værktøjer, fællesskaber og processer, der gør udviklere mere effektive og selvstændige.

Udviklercentrerede AI-platforme som Fireworks skal integreres i eksisterende arbejdsprocesser og tekniske stakke. De skal gøre det nemt for udviklere at eksperimentere, begå fejl og forbedre deres arbejde. De skal opmuntre til feedback, fordi det er udviklerne selv, der forstår, hvad de har brug for for at være succesfulde. Til sidst handler det om mere end bare at være en platform. Det handler om at være et fællesskab – et, hvor samarbejdende udviklere kan udvide grænserne for, hvad der er muligt med AI.

Den GenAI-platform, du har udviklet, er en betydelig fremgang for udviklere, der arbejder med store sprogmodeller (LLM’er). Kan du forklare de unikke funktioner og fordelene ved din platform, især i sammenligning med eksisterende løsninger?

Vores hele tilgang som en AI-produktionsplatform er unik, men nogle af vores bedste funktioner er:

Effektiv inferens – Vi har designet Fireworks AI til effektivitet og hastighed. Udviklere, der bruger vores platform, kan køre deres LLM-applikationer med den lavest mulige latency og omkostning. Vi opnår dette med de seneste model- og serviceoptimeringsteknikker, herunder promptcaching, adaptiv sharding, kvantificering, kontinuerlig batchning, FireAttention og mere.

Billig support til LoRA-justerede modeller – Vi tilbyder billig service for lav-rank-adaptation (LoRA) fintuned modeller via multi-tenancy på basismodeller. Dette betyder, at udviklere kan eksperimentere med mange forskellige brugsområder eller variationer af samme model uden at gå konkurs.

Simple interfaces og API’er – Vores interfaces og API’er er letforståelige og nemme for udviklere at integrere i deres applikationer. Vores API’er er også OpenAI-kompatible for let migration.

Færdige modeller og fintuned modeller – Vi tilbyder over 100 forudtrænede modeller, som udviklere kan bruge ud af boksen. Vi dækker de bedste LLM’er, billedgenereringsmodeller, indlejringmodeller osv. Men udviklere kan også vælge at hoste og servere deres egne brugerdefinerede modeller. Vi tilbyder også selvbetjening af fintuningservice til at hjælpe udviklere med at tilpasse disse brugerdefinerede modeller med deres eget proprietære data.

Fællesskabsamarbejde: Vi tror på det åbne fællesskabsamarbejde. Vores platform opmuntrer (men kræver ikke) udviklere til at dele deres fintuned modeller og bidrage til en voksende bank af AI-aktiver og viden. Alle drager fordel af at udvide vores fælles ekspertise.

Kan du diskutere den hybridtilgang, der tilbydes mellem modelparallelisme og dataparallelisme?

At parallelisere maskinlæringsmodeller forbedrer effektiviteten og hastigheden af modeltræning og hjælper udviklere med at håndtere større modeller, som en enkelt GPU ikke kan håndtere.

Modelparallelisme indebærer at opdele en model i flere dele og træne hver del på separate processorer. På den anden side indebærer dataparallelisme at opdele datasæt i undermængder og træne en model på hver undermængde på samme tid på separate processorer. En hybridtilgang kombinerer disse to metoder. Modeller deles i separate dele, som hver trænes på forskellige undermængder af data, hvilket forbedrer effektivitet, skalerbarhed og fleksibilitet.

Fireworks AI bruges af over 20.000 udviklere og servicerer i øjeblikket over 60 milliarder tokens dagligt. Hvad har været nogle af de udfordringer, du har stået over for ved at skale jeres operationer op til dette niveau, og hvordan har I overvundet dem?

Jeg vil være ærlig, der har været mange høje bjerge at krydse, siden vi grundlagde Fireworks AI i 2022.

Vore kunder kom først til os og ledte efter meget lav latency-understøttelse, fordi de byggede applikationer til enten forbrugere, prosumere eller andre udviklere – alle målgrupper, der har brug for hurtige løsninger. Så, da vores kunders applikationer startede med at skale hurtigt, indså de, at de ikke kunne betale de typiske omkostninger, der er forbundet med denne skala. De bad os så om at hjælpe med at reducere den samlede ejeromkostning (TCO), som vi gjorde. Så bad vores kunder os om at migrere fra OpenAI til OSS-modeller og bad os om at tilbyde på niveau eller endda bedre kvalitet end OpenAI. Vi gjorde det også.

Hver skridt i vores produkts udvikling var et svært problem at løse, men det betød, at vores kunders behov virkelig formede Fireworks til, hvad det er i dag: en lynhurtig inferensmotor med lav TCO. Plus, vi tilbyder både en samling af højkvalitetsmodeller, der kan bruges ud af boksen, eller fintuningservice til udviklere til at skabe deres egne.

Med de hurtige fremskridt inden for AI og maskinlærning er etiske overvejelser vigtigere end nogensinde. Hvordan håndterer Fireworks AI bekymringer relateret til bias, privatliv og etisk brug af AI?

Jeg har to teenage-døtre, der bruger genAI-applikationer som ChatGPT ofte. Som mor bekymrer jeg mig om, at de finder misvisende eller upassende indhold, fordi branchen er lige begyndt at tackle det kritiske problem med indholdssikkerhed. Meta gør meget med Purple Llama-projektet, og Stability AI’s nye SD3-modeller er fantastiske. Begge virksomheder arbejder hårdt for at bringe sikkerhed til deres nye Llama3- og SD3-modeller med multiple lag af filter. Input-output-sikkerhedsmodellen, Llama Guard, får en del brug på vores platform, men dens adoption er ikke på niveau med andre LLM’er endnu. Branchen som helhed har stadig langt igen at gå for at bringe indholdssikkerhed og AI-etik til fronten.

Vi på Fireworks bekymrer os dybt om privatliv og sikkerhed. Vi er HIPAA- og SOC2-kompatible og tilbyder sikker VPC- og VPN-forbindelse. Virksomheder stoler på Fireworks med deres proprietære data og modeller for at bygge deres forretningsmæssige fordel.

Hvad er din vision for, hvordan AI vil udvikle sig?

Lige som AlphaGo demonstrerede autonomi, mens den lærte at spille skak på egen hånd, tror jeg, vi vil se genAI-applikationer blive mere og mere autonome. Applikationer vil automatisk dirigere og styre anmodninger til den rigtige agent eller API til at behandle og korrigere kursen, indtil de henter den rigtige output. Og i stedet for en enkelt model, der afhører fra andre som en controller, vil vi se mere selvorganiserede, selvkoordinerede agenter, der arbejder i samarbejde for at løse problemer.

Fireworks’ lynhurtige inferens, funktionkaldende modeller og fintuningservice har banet vejen for denne virkelighed. Nu er det op til innovative udviklere at gøre det til virkelighed.

Tak for det gode interview. Læsere, der ønsker at lære mere, kan besøge Fireworks AI.