Lin Qiao, CEO a spoluzakladatel Fireworks AI – série rozhovorů

Lin Qiao, byl dříve vedoucím Meta's PyTorch a je spoluzakladatelem a generálním ředitelem Fireworks AI. AI ohňostrojů je produkční platforma umělé inteligence, která je vytvořena pro vývojáře, Fireworks spolupracuje s předními světovými výzkumníky v oblasti generativní umělé inteligence, aby sloužila nejlepším modelům při nejvyšší rychlosti. Fireworks AI nedávno zvedl a 25 milionů dolarů série A.

Co vás zpočátku přitahovalo k informatice?

Můj táta byl velmi starší strojní inženýr v loděnici, kde stavěl nákladní lodě od nuly. Od mládí jsem se učil číst přesné úhly a rozměry lodních plánů a miloval jsem to.

Od střední školy mě hodně zajímal STEM – všechno matematika, fyzika a chemie, které jsem hltal. Jedním z mých středoškolských úkolů bylo naučit se ZÁKLADNÍ programování a nakódoval jsem hru o hadovi, který žere svůj ocas. Poté jsem věděl, že informatika je v mé budoucnosti.

V Meta jste vedl více než 300 špičkových inženýrů v rámci a platformách AI, kde jste postavili a nasadili Caffe2 a později PyTorch. Jaké byly vaše klíčové poznatky z této zkušenosti?

Velké technologické společnosti jako Meta jsou vždy pět a více let napřed. Když jsem se v roce 2015 připojil k Meta, byli jsme na začátku naší cesty AI – přechod od CPU k GPU. Museli jsme navrhnout infrastrukturu AI od základů. Modely jako Caffe2 byly přelomové, když byly vytvořeny, ale AI se vyvíjela tak rychle, že rychle zastaraly. Jako řešení jsme vyvinuli PyTorch a celý systém kolem něj.

PyTorch je místo, kde jsem se dozvěděl o největších překážkách, kterým vývojáři čelí v závodě ve vytváření umělé inteligence. První výzvou je najít stabilní a spolehlivou modelovou architekturu s nízkou latencí a flexibilní, aby bylo možné modely škálovat. Druhou výzvou jsou celkové náklady na vlastnictví, aby společnosti nezkrachovaly ve snaze rozvíjet své modely.

Můj čas v Meta mi ukázal, jak důležité je udržovat modely a frameworky jako PyTorch open-source. Podporuje inovace. Bez open source příležitostí pro iteraci bychom nevyrostli tolik jako v PyTorch. Navíc je nemožné mít přehled o všech nejnovějších výzkumech bez spolupráce.

Můžete probrat, co vás vedlo ke spuštění Fireworks AI?

V technologickém průmyslu se pohybuji více než 20 let a viděl jsem vlny posunů na úrovni odvětví – od cloudu k mobilním aplikacím. Ale tento posun AI je kompletní tektonické přeskupení. Viděl jsem mnoho společností, které s touto změnou bojovaly. Každý chtěl postupovat rychle a dát AI na první místo, ale chyběla jim infrastruktura, zdroje a talent, aby to dokázali. Čím více jsem s těmito společnostmi mluvil, tím více jsem si uvědomoval, že mohu vyřešit tuto mezeru na trhu.

Spustil jsem Fireworks AI, abych vyřešil tento problém a sloužil jako rozšíření neuvěřitelné práce, kterou jsme dosáhli v PyTorch. Dokonce to inspirovalo naše jméno! PyTorch je pochodeň držící oheň – ale my chceme, aby se oheň rozšířil všude. Proto: Ohňostroj.

Vždy jsem byl nadšený demokratizací technologií a tím, aby byly dostupné a jednoduché pro vývojáře inovovat bez ohledu na jejich zdroje. To je důvod, proč máme tak uživatelsky přívětivé rozhraní a silné podpůrné systémy, které umožňují stavitelům přivést jejich vize k životu.

Mohl byste probrat, co je to vývojářsky orientovaná AI a proč je to tak důležité?

Je to jednoduché: „orientace na vývojáře“ znamená upřednostnění potřeb vývojářů AI. Například: vytváření nástrojů, komunit a procesů, díky nimž jsou vývojáři efektivnější a autonomnější.

Platformy umělé inteligence zaměřené na vývojáře, jako je Fireworks, by se měly integrovat do stávajících pracovních postupů a technologických sad. Měly by vývojářům usnadnit experimentování, dělat chyby a zlepšovat svou práci. Měli by podporovat zpětnou vazbu, protože její vývojáři sami chápou, co potřebují, aby byli úspěšní. A konečně, jde o víc než jen o platformu. Jde o to být komunitou – komunitou, kde spolupracující vývojáři mohou posouvat hranice toho, co je s AI možné.

Platforma GenAI, kterou jste vyvinuli, je významným pokrokem pro vývojáře pracující s velkými jazykovými modely (LLM). Můžete přiblížit jedinečné funkce a výhody vaší platformy, zejména ve srovnání se stávajícími řešeními?

Celý náš přístup jako produkční platformy AI je jedinečný, ale některé z našich nejlepších funkcí jsou:

Efektivní vyvozování – Umělou inteligenci Fireworks jsme navrhli pro efektivitu a rychlost. Vývojáři využívající naši platformu mohou provozovat své LLM aplikace s nejnižší možnou latencí a náklady. Dosahujeme toho pomocí nejnovějších technik optimalizace modelů a služeb včetně rychlého ukládání do mezipaměti, adaptabilního shardingu, kvantizace, kontinuálního dávkování, FireAttention a dalších.

Cenově dostupná podpora pro modely vyladěné LoRA – Nabízíme cenově dostupnou službu jemně vyladěných modelů přizpůsobení nízké úrovně (LoRA) prostřednictvím vícenásobného pronájmu na základních modelech. To znamená, že vývojáři mohou experimentovat s mnoha různými případy použití nebo variacemi na stejném modelu, aniž by museli vydělat peníze.

Jednoduchá rozhraní a API – Naše rozhraní a API jsou pro vývojáře přímočará a snadno je integrují do svých aplikací. Naše API jsou také kompatibilní s OpenAI pro snadnou migraci.

Standardní modely a vyladěné modely – Poskytujeme více než 100 předem vyškolených modelů, které mohou vývojáři používat ihned po vybalení. Pokrýváme nejlepší LLM, modely generování obrázků, modely vkládání atd. Vývojáři se však mohou také rozhodnout hostovat a poskytovat své vlastní vlastní modely. Nabízíme také samoobslužné služby jemného ladění, které vývojářům pomohou přizpůsobit tyto vlastní modely jejich proprietárním datům.

Spolupráce komunity: Věříme v étos komunitní spolupráce s otevřeným zdrojovým kódem. Naše platforma podporuje (ale nevyžaduje) vývojáře, aby sdíleli své vyladěné modely a přispívali k rostoucí bance aktiv a znalostí AI. Všichni těží z růstu naší kolektivní odbornosti.

Mohl byste diskutovat o hybridním přístupu, který se nabízí mezi paralelním modelem a paralelismem dat?

Paralelizace modelů strojového učení zlepšuje efektivitu a rychlost modelového trénování a pomáhá vývojářům zvládat větší modely, které nemůže zpracovat jediný GPU.

Paralelismus modelu zahrnuje rozdělení modelu na více částí a trénování každé části na samostatných procesorech. Na druhou stranu datový paralelismus rozděluje datové sady do podmnožin a trénuje model na každé podmnožině současně napříč samostatnými procesory. Hybridní přístup kombinuje tyto dvě metody. Modely jsou rozděleny do samostatných částí, z nichž každá je trénována na různých podmnožinách dat, což zlepšuje efektivitu, škálovatelnost a flexibilitu.

Fireworks AI používá více než 20,000 60 vývojářů a v současné době obsluhuje více než XNUMX miliard tokenů denně. Jakým výzvám jste čelili při škálování vašich operací na tuto úroveň a jak jste je překonali?

Budu upřímný, od založení Fireworks AI v roce 2022 bylo potřeba překonat mnoho vysokých hor.

Naši zákazníci k nám nejprve přišli hledat podporu s velmi nízkou latencí, protože vytvářejí aplikace buď pro spotřebitele, prosumery nebo jiné vývojáře – všechny skupiny, které potřebují rychlá řešení. Když se pak aplikace našich zákazníků začaly rychle škálovat, uvědomili si, že si typické náklady spojené s tímto škálováním nemohou dovolit. Poté nás požádali, abychom pomohli se snížením celkových nákladů na vlastnictví (TCO), což jsme udělali. Poté naši zákazníci chtěli migrovat z modelů OpenAI na modely OSS a požádali nás, abychom jim poskytli stejnou nebo dokonce lepší kvalitu než OpenAI. To se nám také podařilo.

Každý krok ve vývoji našeho produktu byl náročným problémem, který bylo třeba řešit, ale znamenalo to, že potřeby našich zákazníků skutečně zformovaly Fireworks do dnešní podoby: bleskově rychlý inferenční engine s nízkými TCO. Navíc poskytujeme jak sortiment vysoce kvalitních hotových modelů, ze kterých si můžete vybrat, nebo dolaďovací služby pro vývojáře, aby si vytvořili své vlastní.

S rychlým pokrokem v AI a strojovém učení jsou etické úvahy důležitější než kdy jindy. Jak Fireworks AI řeší obavy související s předpojatostí, soukromím a etickým používáním AI?

Mám dvě dospívající dcery, které často používají aplikace genAI, jako je ChatGPT. Jako máma se obávám, že najdou zavádějící nebo nevhodný obsah, protože průmysl teprve začíná řešit zásadní problém bezpečnosti obsahu. Meta dělá hodně s projektem Purple Llama a nové režimy SD3 AI Stability jsou skvělé. Obě společnosti tvrdě pracují na zajištění bezpečnosti svých nových modelů Llama3 a SD3 s více vrstvami filtrů. Model ochrany vstupu a výstupu, Llama Guard, má na naší platformě dobré využití, ale jeho přijetí zatím není na stejné úrovni jako u jiných LLM. Odvětví jako celek má před sebou ještě dlouhou cestu, aby dostalo bezpečnost obsahu a etiku umělé inteligence do popředí.

My ve Fireworks se velmi staráme o soukromí a bezpečnost. Jsme kompatibilní s HIPAA a SOC2 a nabízíme bezpečné připojení VPC a VPN. Společnosti důvěřují Fireworks jejich proprietárním datům a modelům při budování jejich obchodního příkopu.

Jaká je vaše vize, jak se bude AI vyvíjet?

Stejně jako AlphaGo demonstroval autonomii, když se učil hrát šachy sám, myslím, že uvidíme, jak budou aplikace genAI stále autonomnější. Aplikace budou automaticky směrovat a směrovat požadavky na správného agenta nebo rozhraní API ke zpracování a samozřejmě korigovat, dokud nezískají správný výstup. A namísto jednoho modelu volání funkcí, který se dotazuje od ostatních jako kontrolor, uvidíme více samoorganizovaných, samostatně koordinovaných agentů, kteří budou pracovat společně na řešení problémů.

Bleskově rychlé vyvození, modely volání funkcí a služba jemného ladění společnosti Fireworks vydláždily cestu této realitě. Nyní je na inovativních vývojářích, aby to dokázali.

Děkuji za skvělý rozhovor, čtenáři, kteří se chtějí dozvědět více, by měli navštívit AI ohňostrojů.