Lin Qiao, administrerende direktør & medstifter af Fireworks AI – Intervju-serie

Lin Qiao var tidligere leder af Metas PyTorch og er medstifter og administrerende direktør for Fireworks AI. Fireworks AI er en produktionsplattform for kunstig intelligens, der er bygget til udviklere, Fireworks samarbejder med verdens førende forskere inden for generativ kunstig intelligens for at levere de bedste modeller på de hurtigste hastigheder. Fireworks AI har nylig samlet en 25 millioner dollars i serie A-finansiering.

Hvad var det, der oprindeligt tiltrak dig til datalogi?

Min far var en meget senior maskiningeniør på en skibsværft, hvor han byggede fragtskibe fra bunden. Fra en ung alder lærte jeg at læse de præcise vinkler og målinger af skibstegninger, og jeg elskede det.

Jeg var meget interesseret i STEM fra mellemskolen og frem – alt om matematik, fysik og kemi, som jeg slugte.

En af mine opgaver i gymnasiet var at lære BASIC-programmering, og jeg kodede et spil om en slange, der spiser sin egen hale. Efter det vidste jeg, at datalogi var min fremtid.

Mens du var hos Meta, ledede du 300+ verdensklasse-ingeniører i AI-rammer og -platforme, hvor du byggede og implementerede Caffe2 og senere PyTorch. Hvad var nogle af dine vigtigste erfaringer fra denne oplevelse?

Stor teknologi-virksomheder som Meta er altid fem eller flere år foran kurven. Da jeg startede hos Meta i 2015, var vi ved begyndelsen af vores AI-rejse – vi skiftede fra CPU’er til GPU’er. Vi måtte designe AI-infrastruktur fra bunden.

Modeller som Caffe2 var banebrydende, da de blev skabt, men AI udviklede sig så hurtigt, at de hurtigt blev forældede. Vi udviklede PyTorch og hele systemet omkring det som en løsning.

PyTorch er, hvor jeg lærte om de største udfordringer, udviklere står over for i kapløbet om at bygge AI. Den første udfordring er at finde en stabil og pålidelig modelarkitektur, der er lav latency og fleksibel, så modeller kan skaleres. Den anden udfordring er den samlede ejeromkostning, så virksomheder ikke går konkurs, når de forsøger at vokse deres modeller.

Min tid hos Meta viste mig, hvor vigtigt det er at holde modeller og rammer som PyTorch åben kilde. Det opmuntrer til innovation. Vi ville ikke have vokset så meget, som vi havde på PyTorch, uden åben kilde-muligheder for iteration. Plus, det er umuligt at holde sig ajour med alle de seneste forskningsresultater uden samarbejde.

Kan du diskutere, hvad der ledte dig til at lancere Fireworks AI?

Jeg har været i tech-industrien i mere end 20 år, og jeg har set bølge efter bølge af industriel niveau-forandringer – fra cloud til mobile apps. Men denne AI-forandring er en komplet tektonisk omlejning. Jeg så mange virksomheder, der kæmpede med denne forandring. Alle ville flytte hurtigt og sætte AI først, men de manglede infrastruktur, ressourcer og talent til at gøre det.

Jeg lancerede Fireworks AI både for at løse dette problem og som en udvidelse af det fantastiske arbejde, vi opnåede på PyTorch. Det inspirerede endda vores navn! PyTorch er faklen, der holder ilden – men vi vil have, at ilden skal sprede sig overalt. Derfor: Fireworks.

Jeg har altid været passioneret om at demokratisere teknologi og gøre det billigere og nemmere for udviklere at innovere, uanset deres ressourcer. Derfor har vi sådan en brugervenlig interface og stærke supportsystemer til at udvikle byggere til at bringe deres visioner til live.

Kan du diskutere, hvad udviklercentreret AI er, og hvorfor det er så vigtigt?

Det er simpelt: “udviklercentreret” betyder at prioritere udvikleres behov. For eksempel: at skabe værktøjer, fællesskaber og processer, der gør udviklere mere effektive og autonome.

Udviklercentrerede AI-platforme som Fireworks skal integreres i eksisterende arbejdsgange og tekniske stakke. De skal gøre det nemt for udviklere at eksperimentere, begå fejl og forbedre deres arbejde. De skal opmuntre til feedback, fordi det er udviklerne selv, der forstår, hvad de har brug for for at være succesfulde. Til sidst handler det om mere end bare at være en platform. Det handler om at være et fællesskab – et, hvor samarbejdende udviklere kan udvide grænserne for, hvad der er muligt med AI.

Den GenAI-platform, du har udviklet, er en betydelig fremgang for udviklere, der arbejder med store sprogmodeller (LLM’er). Kan du forklare de unikke funktioner og fordelene ved din platform, især i sammenligning med eksisterende løsninger?

Vores hele tilgang som en AI-produktionsplatform er unik, men nogle af vores bedste funktioner er:

Effektiv inferens – Vi har udviklet Fireworks AI til effektivitet og hastighed. Udviklere, der bruger vores platform, kan køre deres LLM-applikationer med den laveste mulige latency og omkostning. Vi opnår dette med de seneste model- og serviceoptimeringsteknikker, herunder promptcaching, adaptiv sharding, kvantificering, kontinuerlig batching, FireAttention og mere.

Billig støtte til LoRA-justerede modeller – Vi tilbyder billig service for lav-rangs-tilpasning (LoRA) af fine-tuned modeller via multi-lejer på basis-modeller. Dette betyder, at udviklere kan eksperimentere med mange forskellige brugsområder eller variationer af den samme model uden at gå konkurs.

Simple interfaces og API’er – Vores interfaces og API’er er ligetil og lette for udviklere at integrere i deres applikationer. Vores API’er er også OpenAI-kompatible for let migration.

Færdige modeller og fine-tuned modeller – Vi tilbyder over 100 forudtrænede modeller, som udviklere kan bruge af den ene dag til den anden. Vi dækker de bedste LLM’er, billedgenereringsmodeller, indlejningsmodeller osv. Men udviklere kan også vælge at hoste og betjene deres egne brugerdefinerede modeller. Vi tilbyder også selvbetjening af fine-tuningstjenester til at hjælpe udviklere med at tilpasse disse brugerdefinerede modeller med deres egne data.

Fællesskabs-samarbejde: Vi tror på den åben kilde-ethos af fællesskabs-samarbejde. Vores platform opmuntrer (men kræver ikke) udviklere til at dele deres fine-tuned modeller og bidrage til en voksende bank af AI-aktiver og viden. Alle drager fordel af at udvide vores fælles ekspertise.

Kan du diskutere den hybridtilgang, der tilbydes mellem model-parallellisme og data-parallellisme?

At parallelisere maskinlæringsmodeller forbedrer effektiviteten og hastigheden af modeltræning og hjælper udviklere med at håndtere større modeller, som en enkelt GPU ikke kan håndtere.

Model-parallellisme indebærer at dele en model op i flere dele og træne hver del på separate processorer. På den anden side indebærer data-parallellisme at dele dataset op i undermængder og træne en model på hver undermængde på samme tid på separate processorer. En hybridtilgang kombinerer disse to metoder. Modeller deles op i separate dele, som hver især trænes på forskellige undermængder af data, hvilket forbedrer effektivitet, skalerbarhed og fleksibilitet.

Fireworks AI bruges af over 20.000 udviklere og betjener i øjeblikket over 60 milliarder tokens dagligt. Hvad udfordringer har du stået over for i forbindelse med at skalerer jeres operationer til dette niveau, og hvordan har I overvundet dem?

Jeg vil være ærlig, der har været mange høje bjerge at krydse, siden vi grundlagde Fireworks AI i 2022.

Vore kunder kom først til os for at få meget lav latency-støtte, fordi de byggede applikationer til enten forbrugere, proforbrugere eller andre udviklere – alle målgrupper, der har brug for hurtige løsninger. Så, da vores kunders applikationer begyndte at skalerer hurtigt, indså de, at de ikke kunne betale de typiske omkostninger, der er forbundet med denne skaleringsgrad. De bad os derefter om at hjælpe med at reducere den samlede ejeromkostning (TCO), hvilket vi gjorde.

Hver skridt i vores produkts udvikling var et svært problem at løse, men det betød, at vores kunders behov virkelig formede Fireworks til, hvad det er i dag: en lynhurtig inferens-motor med lav TCO. Plus, vi tilbyder både en samling af højkvalitetsmodeller, der kan vælges, eller fine-tuningstjenester til, at udviklere kan skabe deres egne.

Med de hurtige fremskridt i AI og maskinlærning er etiske overvejelser vigtigere end nogensinde. Hvordan tackler Fireworks AI bekymringer relateret til bias, privatliv og etisk brug af AI?

Jeg har to teenage-døtre, der bruger genAI-applikationer som ChatGPT ofte. Som mor bekymrer jeg mig om, at de finder misvisende eller upassende indhold, fordi branchen lige er begyndt at tackle det kritiske problem med indholdssikkerhed. Meta gør meget med Purple Llama-projektet, og Stability AI’s nye SD3-modeller er fantastiske. Begge virksomheder arbejder hårdt på at bringe sikkerhed til deres nye Llama3- og SD3-modeller med multiple lag af filtre.

Vi på Fireworks bekymrer os dybt om privatliv og sikkerhed. Vi er HIPAA- og SOC2-kompatible og tilbyder sikker VPC- og VPN-forbindelse. Virksomheder stoler på Fireworks med deres ejendomsdata og -modeller til at bygge deres forretnings-mur.

Hvad er din vision for, hvordan AI vil udvikle sig?

Lige som AlphaGo demonstrerede autonomi, mens det lærte at spille skak på egen hånd, tror jeg, vi vil se genAI-applikationer blive mere og mere autonome. Applikationer vil automatisk dirigere og lede anmodninger til den rigtige agent eller API til at behandle, og korrigere kursen, indtil de får det rigtige output. Og i stedet for, at en model kalder en anden model som en controller, vil vi se mere selvorganiserede, selvkoordinerede agenter, der arbejder i samspil for at løse problemer.

Fireworks’ lynhurtige inferens, model-kaldende modeller og fine-tuningstjenester har banet vejen for denne virkelighed. Nu er det op til innovative udviklere at gøre det.

Tak for det gode interview. Læsere, der ønsker at lære mere, skal besøge Fireworks AI.