Lin Qiao, CEO & Co-Founder of Fireworks AI – Rozhovorová série

Lin Qiao, dříve vedoucí Meta’s PyTorch a spoluzakladatel a CEO Fireworks AI. Fireworks AI je produkční platforma AI, která je postavena pro vývojáře, Fireworks spolupracuje s předními výzkumníky generativní AI, aby poskytovala nejlepší modely, při nejrychlejších rychlostech. Fireworks AI nedávno získala $25M Series A.

Co vás původně přitáhlo k počítačovým vědám?

Můj otec byl velmi zkušený mechanický inženýr v loděnici, kde stavěl nákladní lodě od základu. Již od mladého věku jsem se naučil číst přesné úhly a měření lodních plánů a miloval to.

Byl jsem velmi zaujat STEM od střední školy – všechno matematika, fyzika a chemie, které jsem mohl získat. Jedním z mých úkolů na střední škole bylo naučit se programovat v BASICu a napsal jsem hru o hadovi, který jí své vlastní tělo. Po tom jsem věděl, že počítačové vědy budou mou budoucností.

Zatímco v Meta jste vedl 300+ světových inženýrů v AI rámcích a platformách, kde jste postavil a nasadil Caffe2 a později PyTorch. Jaké byly některé z vašich hlavních poznatků z této zkušenosti?

Velké technologické společnosti, jako je Meta, jsou vždy pět nebo více let před hranicí. Když jsem se připojil k Meta v roce 2015, byli jsme na počátku naší AI cesty – přecházeli jsme z CPU na GPU. Museli jsme navrhnout AI infrastrukturu od základu. Modely, jako je Caffe2, byly průlomové, když byly vytvořeny, ale AI se vyvinula tak rychle, že rychle zestárla. Vyvinuli jsme PyTorch a celý systém kolem něj jako řešení.

PyTorch je místo, kde jsem se naučil o největších překážkách, kterým vývojáři čelí v závodě o stavbu AI. První výzvou je nalezení stabilní a spolehlivé modelové architektury, která je nízká latence a flexibilní, aby modely mohly škálovat. Druhá výzvou je celková cena vlastnictví, aby společnosti nešly bankrot při růstu svých modelů.

Můj čas v Meta mi ukázal, jak důležité je udržet modely a rámce, jako je PyTorch, otevřené. To podporuje inovace. Neměli bychom tolik růst, jako jsme měli na PyTorch, bez otevřených možností pro iteraci. Navíc je nemožné zůstat aktuální se vším nejnovějším výzkumem bez spolupráce.

Můžete diskutovat, co vás vedlo k spuštění Fireworks AI?

Byl jsem v technologickém průmyslu více než 20 let a viděl jsem vlnu za vlnou průmyslových změn – od cloudu po mobilní aplikace. Ale tato AI změna je kompletní tektonická realignace. Viděl jsem mnoho společností, které se potýkají s touto změnou. Každý chtěl jít rychle a dát AI na první místo, ale chyběly jim infrastruktura, zdroje a talent, aby to mohli udělat. Čím více jsem mluvil se těmito společnostmi, tím více jsem si uvědomil, že mohu vyřešit tuto mezeru na trhu.

Spuštění Fireworks AI bylo nejen pro řešení tohoto problému, ale také jako rozšíření úžasné práce, kterou jsme dosáhli na PyTorch. To dokonce inspirovalo naše jméno! PyTorch je pochodeň držící oheň – ale chceme, aby tento oheň šířil všude. Odtud: Fireworks.

Vždy jsem byl vášnivě demokratizovat technologii a dělat ji dostupnou a jednoduchou pro vývojáře, aby mohli inovovat, bez ohledu na jejich zdroje. Proto máme tak uživatelsky přívětivý interface a silné podpůrné systémy, aby mohli vývojáři uvést své vize do života.

Můžete diskutovat, co je developer-centric AI a proč je to tak důležité?

Je to jednoduché: „developer-centric“ znamená priorizovat potřeby vývojářů AI. Například: vytvářet nástroje, komunity a procesy, které dělají vývojáře více efektivní a autonomní.

Developer-centric AI platformy, jako je Fireworks, by měly být integrovány do stávajících pracovních postupů a technických zásobníků. Měly by to udělat jednoduché pro vývojáře, aby experimentovali, dělali chyby a zlepšovali svou práci. Měly by podporovat zpětnou vazbu, protože jsou to vývojáři sami, kteří rozumějí, co potřebují k úspěchu. Nakonec je to více než jen platforma. Je to komunita – jedna, ve které spolupracující vývojáři mohou tlačit hranice toho, co je možné s AI.

Platforma GenAI, kterou jste vyvinuli, je významným pokrokem pro vývojáře, kteří pracují s velkými jazykovými modely (LLM). Můžete vysvětlit jedinečné funkce a výhody vaší platformy, zejména ve srovnání s existujícími řešeními?

Náš celý přístup jako AI produkční platformy je jedinečný, ale některé z našich nejlepších funkcí jsou:

Efektivní inference – Navrhli jsme Fireworks AI pro efektivitu a rychlost. Vývojáři, kteří používají naší platformu, mohou spustit své LLM aplikace s nejnižší možnou latencí a náklady. Dosahujeme toho pomocí nejnovějších modelových a servisních optimalizačních technik, včetně prompt caching, adaptable sharding, quantization, continuous batching, FireAttention a dalších.

Dostupná podpora pro LoRA-tuned modely – Nabízíme dostupnou službu pro low-rank adaptation (LoRA) fine-tuned modely prostřednictvím multi-tenancy na základních modelech. To znamená, že vývojáři mohou experimentovat s mnoha různými použitími nebo variantami modelu, aniž by zbankrotovali.

Jednoduché rozhraní a API – Naše rozhraní a API jsou přímá a snadno integrovatelná do aplikací vývojářů. Naše API jsou také kompatibilní s OpenAI pro snadnou migraci.

Modely a fine-tuned modely – Poskytujeme více než 100 předem trénovaných modelů, které vývojáři mohou použít přímo. Pokrýváme nejlepší LLM, modely generace obrazů, modely vkládání a další. Vývojáři mohou také zvolit hostování a poskytování svých vlastních vlastních modelů. Nabízíme také samoobslužné fine-tuningové služby, aby vývojáři mohli přizpůsobit tyto vlastní modely svými vlastními daty.

Komunitní spolupráce: Věříme v otevřené komunitě spolupráce. Naše platforma podporuje (ale nevyžaduje) vývojáře, aby sdíleli své fine-tuned modely a přispívali k rostoucí bance AI aktiv a znalostí. Všichni bénéfici z růstu naší kolektivní odbornosti.

Můžete diskutovat o hybridním přístupu, který je nabízen mezi modelovou paralelností a datovou paralelností?

Paralelizace strojového učení zlepšuje efektivitu a rychlost modelového trénování a pomáhá vývojářům zpracovávat větší modely, než může zpracovat jeden GPU.

Modelová paralelnost zahrnuje rozdělení modelu na několik částí a trénování každé části na samostatných procesorech. Na druhé straně datová paralelnost rozděluje datové sady na podmnožiny a trénuje model na každé podmnožině současně napříč samostatnými procesory. Hybridní přístup kombinuje tyto dvě metody. Modely jsou rozděleny na samostatné části, které jsou trénovány na různých podmnožinách dat, zlepšují efektivitu, škálovatelnost a flexibilitu.

Fireworks AI je používána více než 20 000 vývojáři a aktuálně slouží více než 60 miliardám tokenů denně. Jaké výzvy jste čelili při škálování vašich operací na tuto úroveň a jak jste je překonali?

Budu upřímný, bylo mnoho vysokých hor, které jsme museli překonat, od založení Fireworks AI v roce 2022.

Naši zákazníci se nejprve obrátili na nás, protože potřebovali velmi nízkou latenci, protože stavěli aplikace pro spotřebitele, profesionální spotřebitele nebo jiné vývojáře – všechny publikum, které potřebují rychlá řešení. Poté, když se aplikace našich zákazníků začaly rychle škálovat, uvědomili si, že nemohou dovolit typické náklady spojené s touto škálovatelností. Poté nás požádali, abychom pomohli snížit celkové náklady na vlastnictví (TCO), což jsme udělali. Poté naši zákazníci chtěli migrovat z OpenAI na OSS modely a požádali nás, abychom poskytli kvalitu srovnatelnou nebo dokonce lepší než OpenAI. To se nám podařilo.

Každý krok v evoluci našeho produktu byl složitým problémem, ale znamenalo to, že potřeby našich zákazníků skutečně formovaly Fireworks do toho, co je dnes: bleskově rychlý inference engine s nízkými náklady na vlastnictví. Kromě toho poskytujeme výběr vysoce kvalitních, hotových modelů, nebo fine-tuningové služby pro vývojáře, aby mohli vytvořit své vlastní.

S rychlým pokrokem v AI a strojovém učení jsou etické úvahy důležitější než kdy jindy. Jak Fireworks AI řeší obavy související s předpojatostí, soukromím a etickým používáním AI?

Mám dvě teenage dcery, které používají genAI aplikace, jako je ChatGPT, často. Jako matka se obávám, že najdou zavádějící nebo nevhodný obsah, protože průmysl teprve začíná řešit kritický problém bezpečnosti obsahu. Meta dělá hodně s projektem Purple Llama a Stability AI’s nové SD3 režimy jsou skvělé. Obě společnosti tvrdě pracují na tom, aby přinesly bezpečnost svým novým Llama3 a SD3 modelům s několika vrstvami filtrů. Model vstup-výstupní ochrany, Llama Guard, dostává dobré množství použití na naší platformě, ale jeho přijetí není na stejné úrovni jako u ostatních LLM. Průmysl jako celek má ještě dlouhou cestu, aby přinesl bezpečnost obsahu a etiku AI do popředí.

Na Fireworks se staráme o soukromí a bezpečnost. Jsme HIPAA a SOC2 kompatibilní a nabízíme zabezpečené VPC a VPN připojení. Společnosti důvěřují Fireworks se svými vlastními daty a modely, aby postavily své obchodní přednosti.

Jaký je váš výhled na to, jak se AI bude vyvíjet?

Stejně jako AlphaGo prokázal autonomii, zatímco se učil hrát šachy sám, myslím, že uvidíme genAI aplikace, které se stanou stále autonomnějšími. Aplikace budou automaticky směrovat a směrovat požadavky na správného agenta nebo API, aby je zpracovaly, a opraví se, dokud nezískají správný výstup. A místo toho, aby jeden model volal funkce z jiných jako kontrolér, uvidíme více samoorganizovaných, samokoordinovaných agentů, kteří budou pracovat společně, aby řešili problémy.

Fireworks’ bleskově rychlá inference, function-calling modely a fine-tuningové služby připravily cestu pro tuto realitu. Nyní je na inovativních vývojářích, aby to udělali.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Fireworks AI.