Lin Qiao, CEO & Co-Founder of Fireworks AI – Interview Series

Lin Qiao, dříve vedoucí Meta’s PyTorch a spoluzakladatel a CEO Fireworks AI. Fireworks AI je produkční platforma AI, která je navržena pro vývojáře, Fireworks spolupracuje s předními výzkumníky generativní AI, aby sloužila nejlepším modelům, při nejrychlejších rychlostech. Fireworks AI nedávno získala 25M Series A.

Co vás původně přitáhlo k informatice?

Můj otec byl velmi zkušený mechanický inženýr v loděnici, kde stavěl nákladní lodě od začátku. Již v mladém věku jsem se naučil číst přesné úhly a měření lodních plánů a miloval jsem to.

Byl jsem velmi zaujat STEM od střední školy – všechno, co se týkalo matematiky, fyziky a chemie, jsem pozřel. Jedním z mých úkolů na střední škole bylo naučit se programování v BASICu a napsal jsem hru o hadovi, který se žere svůj ocas. Po tom jsem věděl, že informatika je moje budoucnost.

Při Meta jste vedl 300+ špičkových inženýrů v oblasti AI frameworků a platforem, kde jste vytvořil a nasadil Caffe2 a později PyTorch. Jaké byly některé z vašich klíčových poznatků z této zkušenosti?

Velké technologické společnosti, jako je Meta, jsou vždy pět nebo více let před křivkou. Když jsem se připojil k Meta v roce 2015, byli jsme na začátku naší cesty AI – přechodu z CPU na GPU. Museli jsme navrhnout AI infrastrukturu od začátku. Modely, jako je Caffe2, byly průlomové, když byly vytvořeny, ale AI se vyvinula tak rychle, že rychle zestárnou. Vyvinuli jsme PyTorch a celý systém kolem něj jako řešení.

PyTorch je místo, kde jsem se naučil o největších překážkách, kterým vývojáři čelí v závodě o stavbu AI. První výzvou je nalezení stabilní a spolehlivé modelové architektury, která je nízká latence a flexibilní, aby modely mohly škálovat. Druhá výzvou je celková cena vlastnictví, aby společnosti nešly bankrot, když se snaží růst své modely.

Můj čas v Meta mi ukázal, jak je důležité držet modely a rámce, jako je PyTorch, otevřené. To podporuje inovace. Bez otevřených zdrojů bychom na PyTorch nedosáhli takového růstu, jaký jsme měli. Navíc je nemožné zůstat v obraze všech nejnovějších výzkumů bez spolupráce.

Můžete diskutovat, co vás vedlo k spuštění Fireworks AI?

Jsem v technologickém průmyslu více než 20 let a viděl jsem vlnu za vlnou průmyslových posunů – od cloudu po mobilní aplikace. Ale tento posun AI je kompletní tektonická realignace. Viděl jsem mnoho společností, které bojují s touto změnou. Všichni chtěli jít rychle a dát AI na první místo, ale chyběly jim infrastruktura, zdroje a talent, aby to udělali. Čím více jsem mluvil s těmito společnostmi, tím více jsem si uvědomil, že mohu vyřešit tuto mezeru na trhu.

Spuštění Fireworks AI bylo nejen vyřešením tohoto problému, ale také rozšířením úžasné práce, kterou jsme dosáhli na PyTorch. To dokonce inspirovalo naše jméno! PyTorch je pochodeň, která drží oheň – ale chceme, aby tento oheň šířil všude. Proto: Fireworks.

Jsem vždy vášnivě demokratizoval technologii a dělal ji dostupnou a jednoduchou pro vývojáře, aby inovovali, bez ohledu na jejich zdroje. Proto máme tak uživatelsky přívětivý interface a silné podpůrné systémy, aby mohli stavět své vize.

Můžete diskutovat, co je developer centrická AI a proč je to tak důležité?

Je to jednoduché: „developer-centric“ znamená priorizovat potřeby vývojářů AI. Například: vytvářet nástroje, komunity a procesy, které dělají vývojáře více efektivní a autonomní.

Developer-centrické platformy AI, jako je Fireworks, by měly být integrovány do stávajících pracovních postupů a technologických zásobníků. Měly by to udělat jednoduché pro vývojáře, aby experimentovali, dělali chyby a zlepšovali svou práci. Měly by podporovat zpětnou vazbu, protože jsou to vývojáři, kteří rozumějí, co potřebují k úspěchu. Nakonec je to víc než jen platforma. Je to komunita – komunita, kde spolupracující vývojáři mohou tlačit hranice toho, co je možné s AI.

Platforma GenAI, kterou jste vyvinuli, je významným pokrokem pro vývojáře, kteří pracují s velkými jazykovými modely (LLM). Můžete vysvětlit jedinečné funkce a výhody vaší platformy, zejména ve srovnání s existujícími řešeními?

Náš celý přístup jako platformy AI produkce je jedinečný, ale některé z našich nejlepších funkcí jsou:

Efektivní inference – Navrhli jsme Fireworks AI pro efektivitu a rychlost. Vývojáři, kteří používají naší platformu, mohou spouštět své LLM aplikace s nejnižší možnou latencí a náklady. Dosahujeme toho pomocí nejnovějších technik optimalizace modelů a služeb, včetně prompt caching, adaptable sharding, quantization, continuous batching, FireAttention a další.

Dostupná podpora pro LoRA-tuned modely – Nabízíme dostupnou službu low-rank adaptation (LoRA) fine-tuned modelů prostřednictvím multi-tenancy na základních modelech. To znamená, že vývojáři mohou experimentovat s mnoha různými případy použití nebo variacemi na stejném modelu, aniž by rozbití banku.

Jednoduché rozhraní a API – Naše rozhraní a API jsou přímé a snadno integrovatelné do aplikací vývojářů. Naše API jsou také OpenAI kompatibilní pro snadnou migraci.

Modely a fine-tuned modely – Poskytujeme více než 100 předem trénovaných modelů, které vývojáři mohou použít přímo. Pokrýváme nejlepší LLM, image generative modely, embedding modely atd. Ale vývojáři si také mohou vybrat hostovat a sloužit své vlastní vlastní modely. Nabízíme také samoobslužné fine-tuning služby, aby vývojáři mohli přizpůsobit tyto vlastní modely se svými vlastními daty.

Komunitní spolupráce: Věříme v otevřené zdroje komunitní spolupráce. Naše platforma podporuje (ale nevyžaduje) vývojáře, aby sdíleli své fine-tuned modely a přispívali k rostoucí bance AI aktiv a znalostí. Všichni profitují z růstu naší kolektivní odbornosti.

Můžete diskutovat hybridní přístup, který je nabízen mezi model paralelismem a datovým paralelismem?

Paralelizace strojového učení zlepšuje efektivitu a rychlost modelového tréninku a pomáhá vývojářům zvládnout větší modely, než může zpracovat jeden GPU.

Model paralelismus zahrnuje rozdělení modelu na více částí a trénink každé části na samostatných procesorech. Na druhé straně datový paralelismus rozděluje datové sady na podsady a trénuje model na každé podsadě současně napříč samostatnými procesory. Hybridní přístup kombinuje tyto dvě metody. Modely jsou rozděleny na samostatné části, které jsou každý trénován na různých podsadách dat, zlepšují efektivitu, škálovatelnost a flexibilitu.

Fireworks AI je používána více než 20 000 vývojáři a aktuálně slouží více než 60 miliard tokenů denně. Jaké výzvy jste čelili při škálování vašich operací na tuto úroveň a jak jste je překonali?

Budu upřímný, bylo mnoho vysokých hor, které jsme museli překonat, od založení Fireworks AI v roce 2022.

Naši zákazníci se na nás obrátili, protože hledali velmi nízkou latenci, protože staví aplikace pro spotřebitele, prosumer nebo jiné vývojáře – všechny publikum, které potřebují rychlá řešení. Pak, když se aplikace našich zákazníků začaly škálovat rychle, uvědomili si, že nemohou si dovolit typické náklady spojené s touto škálovatelností. Pak nás požádali, abychom pomohli snížit celkovou cenu vlastnictví (TCO), což jsme udělali. Pak naši zákazníci chtěli migrovat z OpenAI na OSS modely a požádali nás, abychom poskytli srovnatelnou nebo dokonce lepší kvalitu než OpenAI. To se také stalo.

Každý krok v evoluci našeho produktu byl náročným problémem, ale znamenalo to, že potřeby našich zákazníků skutečně formovaly Fireworks do toho, čím je dnes: bleskově rychlý inference engine s nízkou TCO. Navíc poskytujeme jak širokou škálu vysoce kvalitních, hotových modelů k výběru, tak fine-tuning služby pro vývojáře, aby mohli vytvářet své vlastní.

S rychlým pokrokem v AI a strojovém učení jsou etické úvahy důležitější než kdy dříve. Jak Fireworks AI řeší obavy související s předpojatostí, soukromím a etickým používáním AI?

Mám dvě teenageřské dcery, které používají genAI aplikace, jako je ChatGPT, často. Jako matka se obávám, že najdou zavádějící nebo nevhodný obsah, protože průmysl teprve začíná řešit kritický problém bezpečnosti obsahu. Meta dělá hodně s projektem Purple Llama a Stability AI’s nové SD3 režimy jsou skvělé. Obě společnosti pracují tvrdě na přinášení bezpečnosti do svých nových Llama3 a SD3 modelů s více vrstvami filtrů. Input-output safeguard model, Llama Guard, dostává dobré využití na naší platformě, ale jeho adopce není na úrovni ostatních LLM. Průmysl jako celek má ještě dlouhou cestu, aby přinesl bezpečnost obsahu a AI etiku do popředí.

Na Fireworks se hluboce staráme o soukromí a bezpečnost. Jsme HIPAA a SOC2 kompatibilní a nabízíme zabezpečené VPC a VPN připojení. Společnosti důvěřují Fireworks svými vlastními daty a modely, aby postavily své obchodní přednosti.

Co je vaše vize pro budoucnost AI?

Stejně jako AlphaGo demonstroval autonomii, zatímco se učil hrát šachy sám, myslím, že uvidíme genAI aplikace, které se stanou více a více autonomními. Aplikace budou automaticky směrovat a směrovat požadavky na správného agenta nebo API, aby zpracovaly, a opravovaly, dokud nezískají správný výstup. A místo jednoho modelu, který volá funkce z ostatních jako kontrolér, uvidíme více samoorganizovaných, samokoordinovaných agentů, kteří pracují v harmonii, aby řešili problémy.

Bleskově rychlá inference, function-calling modely a fine-tuning služby Fireworks otevřely cestu pro tuto realitu. Nyní je na inovativních vývojářích, aby to udělali.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Fireworks AI.