Lin Qiao, CEO en medeoprichter van Fireworks AI – Interview Series

Lin Qiao was voorheen hoofd van Meta's PyTorch en is medeoprichter en CEO van Fireworks AI. Vuurwerk AI is een productie-AI-platform dat is gebouwd voor ontwikkelaars. Fireworks werkt samen met 's werelds toonaangevende generatieve AI-onderzoekers om de beste modellen en de hoogste snelheden te kunnen bedienen. Fireworks AI heeft onlangs een $ 25 miljoen serie A.

Wat trok je aanvankelijk aan in de informatica?

Mijn vader was een zeer ervaren werktuigbouwkundig ingenieur op een scheepswerf, waar hij vrachtschepen helemaal opnieuw bouwde. Al op jonge leeftijd leerde ik de precieze hoeken en afmetingen van scheepsblauwdrukken lezen, en ik vond het geweldig.

Vanaf de middelbare school was ik erg geïnteresseerd in STEM; alles op het gebied van wiskunde, natuurkunde en scheikunde verslond ik. Een van mijn middelbare schoolopdrachten was het leren van BASIC-programmeren, en ik codeerde een spel over een slang die zijn staart opeet. Daarna wist ik dat informatica mijn toekomst was.

Toen je bij Meta werkte, gaf je leiding aan meer dan 300 ingenieurs van wereldklasse op het gebied van AI-frameworks en -platforms, waar je Caffe2 en later PyTorch bouwde en implementeerde. Wat waren enkele van uw belangrijkste lessen uit deze ervaring?

Grote technologiebedrijven als Meta lopen altijd vijf of meer jaar voorop. Toen ik in 2015 bij Meta kwam, stonden we aan het begin van ons AI-traject: we maakten de overstap van CPU's naar GPU's. We moesten de AI-infrastructuur van de grond af aan ontwerpen. Modellen als Caffe2 waren baanbrekend toen ze werden gemaakt, maar AI evolueerde zo snel dat ze snel achterhaald raakten. Wij hebben PyTorch en het hele systeem eromheen ontwikkeld als oplossing.

In PyTorch leerde ik over de grootste wegversperringen waarmee ontwikkelaars worden geconfronteerd in de race om AI te bouwen. De eerste uitdaging is het vinden van een stabiele en betrouwbare modelarchitectuur met een lage latentie en flexibiliteit, zodat modellen kunnen worden geschaald. De tweede uitdaging zijn de totale eigendomskosten, zodat bedrijven niet failliet gaan als ze proberen hun modellen te laten groeien.

Mijn tijd bij Meta heeft me laten zien hoe belangrijk het is om modellen en raamwerken zoals PyTorch open-source te houden. Het stimuleert innovatie. We zouden niet zoveel zijn gegroeid als bij PyTorch zonder open source-mogelijkheden voor iteratie. Bovendien is het onmogelijk om zonder samenwerking op de hoogte te blijven van de nieuwste onderzoeken.

Kunt u vertellen wat u ertoe heeft gebracht Fireworks AI te lanceren?

Ik ben al meer dan twintig jaar actief in de technologie-industrie en heb golf na golf van verschuivingen op sectorniveau gezien – van de cloud naar mobiele apps. Maar deze AI-verschuiving is een complete tektonische herschikking. Ik zag veel bedrijven worstelen met deze verandering. Iedereen wilde snel handelen en AI op de eerste plaats zetten, maar het ontbrak hen aan de infrastructuur, de middelen en het talent om dit mogelijk te maken. Hoe meer ik met deze bedrijven sprak, hoe meer ik besefte dat ik dit gat in de markt kon oplossen.

Ik heb Fireworks AI gelanceerd om dit probleem op te lossen en als verlengstuk te dienen van het ongelooflijke werk dat we bij PyTorch hebben bereikt. Het inspireerde zelfs onze naam! PyTorch is de fakkel die het vuur vasthoudt, maar we willen dat dat vuur zich overal verspreidt. Vandaar: vuurwerk.

Ik ben altijd gepassioneerd geweest door het democratiseren van technologie en het betaalbaar en eenvoudig maken voor ontwikkelaars om te innoveren, ongeacht hun middelen. Daarom hebben we zo'n gebruiksvriendelijke interface en sterke ondersteuningssystemen om bouwers in staat te stellen hun visies tot leven te brengen.

Kunt u bespreken wat ontwikkelaarsgerichte AI is en waarom dit zo belangrijk is?

Het is simpel: ‘ontwikkelaargericht’ betekent dat prioriteit wordt gegeven aan de behoeften van AI-ontwikkelaars. Bijvoorbeeld: het creëren van tools, communities en processen die ontwikkelaars efficiënter en autonomer maken.

Op ontwikkelaars gerichte AI-platforms zoals Fireworks moeten worden geïntegreerd in bestaande workflows en tech-stacks. Ze moeten het voor ontwikkelaars eenvoudig maken om te experimenteren, fouten te maken en hun werk te verbeteren. Ze moeten feedback aanmoedigen, omdat het zelf ontwikkelaars zijn die begrijpen wat ze nodig hebben om succesvol te zijn. Tenslotte gaat het om meer dan alleen een platform zijn. Het gaat erom een ​​gemeenschap te zijn – een gemeenschap waarin samenwerkende ontwikkelaars de grenzen kunnen verleggen van wat mogelijk is met AI.

Het GenAI-platform dat u heeft ontwikkeld, is een aanzienlijke vooruitgang voor ontwikkelaars die met grote taalmodellen (LLM's) werken. Kunt u de unieke kenmerken en voordelen van uw platform toelichten, vooral in vergelijking met bestaande oplossingen?

Onze hele aanpak als AI-productieplatform is uniek, maar enkele van onze beste eigenschappen zijn:

Efficiënte gevolgtrekking – We hebben Fireworks AI ontworpen voor efficiëntie en snelheid. Ontwikkelaars die ons platform gebruiken, kunnen hun LLM-applicaties uitvoeren tegen de laagst mogelijke latentie en kosten. We bereiken dit met de nieuwste model- en service-optimalisatietechnieken, waaronder prompt caching, aanpasbare sharding, kwantisering, continue batching, FireAttention en meer.

Betaalbare ondersteuning voor op LoRA afgestemde modellen – We bieden betaalbare service voor verfijnd afgestemde modellen met een lage rangschikking (LoRA) via multi-tenancy op basismodellen. Dit betekent dat ontwikkelaars met veel verschillende gebruiksscenario's of variaties op hetzelfde model kunnen experimenteren zonder veel geld uit te geven.

Eenvoudige interfaces en API's – Onze interfaces en API's zijn eenvoudig en voor ontwikkelaars gemakkelijk te integreren in hun applicaties. Onze API's zijn ook OpenAI-compatibel voor gemakkelijke migratie.

Kant-en-klare modellen en verfijnde modellen – We bieden meer dan 100 vooraf getrainde modellen die ontwikkelaars kant-en-klaar kunnen gebruiken. We behandelen de beste LLM's, modellen voor het genereren van afbeeldingen, inbeddingsmodellen, enz. Maar ontwikkelaars kunnen er ook voor kiezen om hun eigen aangepaste modellen te hosten en te bedienen. We bieden ook zelfbedieningsservices voor fijnafstemming om ontwikkelaars te helpen deze aangepaste modellen aan te passen met hun eigen gegevens.

Community-samenwerking: Wij geloven in het open-source-ethos van community-samenwerking. Ons platform moedigt ontwikkelaars aan (maar vereist dit niet) om hun verfijnde modellen te delen en bij te dragen aan een groeiende bank van AI-middelen en kennis. Iedereen profiteert van de groei van onze collectieve expertise.

Kunt u de hybride benadering bespreken die wordt aangeboden tussen modelparallellisme en dataparallellisme?

Het parallelliseren van machine learning-modellen verbetert de efficiëntie en snelheid van modeltraining en helpt ontwikkelaars grotere modellen te verwerken die een enkele GPU niet kan verwerken.

Modelparallellisme houdt in dat een model in meerdere delen wordt verdeeld en elk onderdeel op afzonderlijke processors wordt getraind. Aan de andere kant verdeelt dataparallellisme datasets in subsets en traint een model op elke subset tegelijkertijd over afzonderlijke processors. Een hybride aanpak combineert deze twee methoden. Modellen zijn onderverdeeld in afzonderlijke delen, die elk worden getraind op verschillende subsets van gegevens, waardoor de efficiëntie, schaalbaarheid en flexibiliteit worden verbeterd.

Fireworks AI wordt door meer dan 20,000 ontwikkelaars gebruikt en levert momenteel dagelijks meer dan 60 miljard tokens. Met welke uitdagingen bent u geconfronteerd bij het opschalen van uw activiteiten naar dit niveau, en hoe heeft u deze overwonnen?

Ik zal eerlijk zijn: er zijn veel hoge bergen geweest die we moesten oversteken sinds we Fireworks AI in 2022 oprichtten.

Onze klanten kwamen voor het eerst bij ons op zoek naar ondersteuning met een zeer lage latentie, omdat ze applicaties bouwen voor consumenten, prosumers of andere ontwikkelaars: allemaal doelgroepen die snelle oplossingen nodig hebben. Toen de applicaties van onze klanten snel begonnen te schalen, realiseerden ze zich dat ze de typische kosten die met die schaal gepaard gingen, niet konden betalen. Vervolgens vroegen ze ons om te helpen bij het verlagen van de totale eigendomskosten (TCO), wat we ook deden. Toen wilden onze klanten migreren van OpenAI- naar OSS-modellen en vroegen ze ons om een ​​gelijkwaardige of zelfs betere kwaliteit te bieden dan OpenAI. Dat hebben wij ook laten gebeuren.

Elke stap in de evolutie van ons product was een uitdagend probleem om aan te pakken, maar het betekende dat de behoeften van onze klanten Fireworks echt vormden tot wat het nu is: een bliksemsnelle gevolgtrekkingsengine met lage TCO. Bovendien bieden we zowel een assortiment kant-en-klare modellen van hoge kwaliteit waaruit u kunt kiezen, als verfijnde services waarmee ontwikkelaars hun eigen modellen kunnen creëren.

Met de snelle ontwikkelingen op het gebied van AI en machinaal leren zijn ethische overwegingen belangrijker dan ooit. Hoe pakt Fireworks AI de zorgen aan die verband houden met vooroordelen, privacy en ethisch gebruik van AI?

Ik heb twee tienerdochters die vaak genAI-apps zoals ChatGPT gebruiken. Als moeder maak ik me zorgen dat ze misleidende of ongepaste inhoud vinden, omdat de industrie nog maar net het kritieke probleem van de veiligheid van inhoud begint aan te pakken. Meta doet veel met het Purple Llama-project en de nieuwe SD3-modi van Stability AI zijn geweldig. Beide bedrijven werken er hard aan om de veiligheid van hun nieuwe Llama3- en SD3-modellen te verbeteren met meerdere filterlagen. Het input-output-beveiligingsmodel, Llama Guard, wordt op ons platform veelvuldig gebruikt, maar de acceptatie ervan is nog niet vergelijkbaar met die van andere LLM's. De industrie als geheel heeft nog een lange weg te gaan om de veiligheid van inhoud en de ethiek van AI op de voorgrond te brengen.

Bij Fireworks hechten wij grote waarde aan privacy en veiligheid. We voldoen aan HIPAA en SOC2 en bieden veilige VPC- en VPN-connectiviteit. Bedrijven vertrouwen Fireworks met hun eigen gegevens en modellen om hun zakelijke concurrentiepositie op te bouwen.

Wat is jouw visie op hoe AI zal evolueren?

Net zoals AlphaGo autonomie demonstreerde terwijl hij zelf leerde schaken, denk ik dat we zullen zien dat genAI-applicaties steeds autonomer worden. Apps routeren en sturen verzoeken automatisch naar de juiste agent of API om te verwerken en corrigeren totdat ze de juiste uitvoer ophalen. En in plaats van dat één functieaanroepend model de anderen als controller ondervraagt, zullen we meer zelfgeorganiseerde, zelfgecoördineerde agenten zien die samenwerken om problemen op te lossen.

De bliksemsnelle gevolgtrekking, functieaanroepende modellen en de verfijnde afstemmingsservice van Fireworks hebben de weg vrijgemaakt voor deze realiteit. Het is nu aan innovatieve ontwikkelaars om dit mogelijk te maken.

Bedankt voor het geweldige interview, lezers die meer willen weten, zouden moeten bezoeken Vuurwerk AI.