Lin Qiao, a Fireworks AI – Interjúsorozat vezérigazgatója és társalapítója

Lin Qiao korábban a Meta PyTorch vezetője volt, és a Fireworks AI társalapítója és vezérigazgatója. Tűzijáték AI egy éles mesterségesintelligencia-platform, amely fejlesztők, Fireworks partnerek számára készült a világ vezető generatív AI-kutatóival, hogy a legjobb modelleket, a leggyorsabb sebességgel szolgálják ki. Fireworks AI nemrégiben felvetette a 25 millió dollár A sorozat.

Mi vonzotta kezdetben az informatika felé?

Apám nagyon magas rangú gépészmérnök volt egy hajógyárban, ahol teherhajókat épített a semmiből. Kiskoromtól kezdve megtanultam olvasni a hajótervrajzok pontos szögeit és méreteit, és nagyon szerettem.

A középiskolától kezdve nagyon szerettem a STEM-et – mindent, amit matematikából, fizikából és kémiából felfaltam. Az egyik középiskolai feladatom az volt, hogy megtanuljam a BASIC programozást, és kódoltam egy játékot, amely arról szól, hogy egy kígyó megeszi a farkát. Ezt követően tudtam, hogy a számítástechnika a jövőm.

Míg a Metánál több mint 300 világszínvonalú mérnököt vezetett AI keretrendszerekben és platformokon, ahol megépítette és telepítette a Caffe2-t, majd később a PyTorch-ot. Melyek voltak a legfontosabb gondolataid ebből az élményből?

A nagy technológiai vállalatok, mint a Meta, mindig öt vagy több évvel a görbe előtt járnak. Amikor 2015-ben csatlakoztam a Metához, még az AI-utunk elején jártunk – a CPU-król a GPU-kra való átállásban. Az AI-infrastruktúrát az alapoktól kezdve kellett megterveznünk. Az olyan modellek, mint a Caffe2, úttörőnek számítottak megalkotásukkor, de az AI olyan gyorsan fejlődött, hogy gyorsan elavulttá váltak. Megoldásként fejlesztettük a PyTorch-ot és a körülötte lévő teljes rendszert.

A PyTorch-ben értesültem a legnagyobb akadályokról, amelyekkel a fejlesztők szembesülnek az AI-építési versenyben. Az első kihívás a stabil és megbízható modellarchitektúra megtalálása, amely alacsony késleltetésű és rugalmas, így a modellek méretezhetők. A második kihívás a teljes birtoklási költség, hogy a vállalatok ne menjenek csődbe modelljeik fejlesztésével.

A Metánál eltöltött idő megmutatta, mennyire fontos a PyTorch-hoz hasonló modellek és keretrendszerek nyílt forráskódú megőrzése. Ösztönzi az innovációt. Nyílt forráskódú iterációs lehetőségek nélkül nem nőttünk volna annyit, mint a PyTorchnál. Ráadásul együttműködés nélkül lehetetlen naprakészen maradni a legújabb kutatásokkal kapcsolatban.

Meg tudnád beszélni, mi vezetett a Fireworks AI elindításához?

Több mint 20 éve dolgozom a technológiai iparban, és hullámról hullámra láttam az iparági szintű elmozdulásokat – a felhőtől a mobilalkalmazások felé. De ez az AI-eltolódás egy teljes tektonikus átrendeződés. Láttam, hogy sok cég küzd ezzel a változással. Mindenki gyorsan akart haladni, és a mesterséges intelligenciát előtérbe helyezni, de hiányzott az infrastruktúra, az erőforrások és a tehetség, hogy ezt megvalósítsák. Minél többet beszéltem ezekkel a cégekkel, annál inkább rájöttem, hogy meg tudom oldani ezt a piaci rést.

A Fireworks AI-t egyrészt azért indítottam el, hogy megoldjam ezt a problémát, másrészt a PyTorchnál elért hihetetlen munka kiterjesztéseként szolgáljon. Még a nevünket is inspirálta! A PyTorch a tüzet tartó fáklya – de azt akarjuk, hogy a tűz mindenhová elterjedjen. Ezért: Tűzijáték.

Mindig is szenvedélyesen érdekelt a technológia demokratizálása, valamint annak megfizethető és egyszerűvé tétele a fejlesztők számára, hogy erőforrásaiktól függetlenül újítsanak. Ezért van egy felhasználóbarát felületünk és erős támogató rendszereink, amelyek lehetővé teszik az építők számára, hogy életre keltsék elképzeléseiket.

Meg tudná beszélni, mi az a fejlesztőközpontú AI, és miért olyan fontos ez?

Egyszerű: a „fejlesztőközpontú” a mesterséges intelligencia-fejlesztők igényeinek prioritást jelent. Például: olyan eszközök, közösségek és folyamatok létrehozása, amelyek hatékonyabbá és autonómabbá teszik a fejlesztőket.

A fejlesztőközpontú mesterséges intelligencia platformoknak, mint például a Fireworks, be kell épülniük a meglévő munkafolyamatokba és technológiai halmazokba. Egyszerűbbé kell tenniük a fejlesztők számára a kísérletezést, a hibák elkövetését és a munkájuk javítását. Ösztönözniük kell a visszajelzést, mert maguk a fejlesztők, akik értik, mire van szükségük a sikerhez. Végül pedig többről van szó, mint platformnak lenni. Arról van szó, hogy egy közösség legyünk – olyan, ahol az együttműködő fejlesztők feszegethetik a mesterséges intelligencia által kínált lehetőségek határait.

Az Ön által kifejlesztett GenAI Platform jelentős előrelépés a nagy nyelvi modellekkel (LLM) dolgozó fejlesztők számára. Kifejtenéd részletesebben a platformod egyedi jellemzőit és előnyeit, különösen a meglévő megoldásokhoz képest?

A mesterséges intelligencia gyártási platformjaként alkalmazott teljes megközelítésünk egyedülálló, de néhány legjobb tulajdonságunk a következő:

Hatékony következtetés – A Fireworks AI-t a hatékonyság és a sebesség érdekében terveztük. A platformunkat használó fejlesztők a lehető legalacsonyabb késleltetéssel és költséggel futtathatják LLM-alkalmazásaikat. Ezt a legújabb modell- és szolgáltatásoptimalizálási technikákkal érjük el, beleértve az azonnali gyorsítótárazást, az adaptálható felosztást, a kvantálást, a folyamatos kötegelést, a FireAttentiont és még sok mást.

Megfizethető támogatás LoRA-hangolású modellekhez – Az alacsony szintű adaptációs (LoRA) finomhangolt modellek megfizethető szolgáltatását kínáljuk az alapmodellek többbérleti szerződésén keresztül. Ez azt jelenti, hogy a fejlesztők számos különböző felhasználási esettel vagy változattal kísérletezhetnek ugyanazon a modellen anélkül, hogy a bank feltörné.

Egyszerű interfészek és API-k – Interfészeink és API-jaink egyszerűek és a fejlesztők számára könnyen integrálhatók alkalmazásaikba. API-ink OpenAI-kompatibilisek is az átállás megkönnyítése érdekében.

Készen kapható modellek és finomhangolt modellek – Több mint 100 előre betanított modellt kínálunk, amelyeket a fejlesztők már készen is használhatnak. Lefedjük a legjobb LLM-eket, képgeneráló modelleket, beágyazási modelleket stb. De a fejlesztők dönthetnek úgy is, hogy saját egyedi modelljeiket tárolják és szolgálják ki. Önkiszolgáló finomhangolási szolgáltatásokat is kínálunk, hogy segítsünk a fejlesztőknek személyre szabni ezeket az egyedi modelleket saját tulajdonú adataikkal.

Közösségi együttműködés: Hiszünk a közösségi együttműködés nyílt forráskódú szellemiségében. Platformunk arra ösztönzi (de nem követeli meg) a fejlesztőket, hogy osszák meg finomhangolt modelljeiket, és járuljanak hozzá a mesterséges intelligencia eszközeinek és tudásának növekvő bankjához. Kollektív szakértelmünk gyarapításából mindenki profitál.

Meg tudná tárgyalni a hibrid megközelítést, amelyet a modell-párhuzamosság és az adatpárhuzamosság között kínálnak?

A gépi tanulási modellek párhuzamosítása javítja a modellképzés hatékonyságát és sebességét, és segít a fejlesztőknek olyan nagyobb modellek kezelésében, amelyeket egyetlen GPU nem tud feldolgozni.

A modellpárhuzamosság magában foglalja a modell több részre osztását, és az egyes részek külön processzorokon való betanítását. Másrészt az adatpárhuzamosság az adatkészleteket részhalmazokra osztja, és mindegyik részhalmazra egyidejűleg modellt képez külön processzorokon keresztül. A hibrid megközelítés ötvözi ezt a két módszert. A modellek külön részekre vannak osztva, amelyek mindegyike az adatok különböző részhalmazaira van kiképezve, javítva a hatékonyságot, a méretezhetőséget és a rugalmasságot.

A Fireworks AI-t több mint 20,000 60 fejlesztő használja, és jelenleg több mint XNUMX milliárd tokent szolgál ki naponta. Milyen kihívásokkal kellett szembenéznie, amikor a műveleteket erre a szintre emelte, és hogyan sikerült ezeket leküzdeni?

Őszinte leszek, sok magas hegyen kellett átkelnünk, mióta 2022-ben megalapítottuk a Fireworks AI-t.

Ügyfeleink először nagyon alacsony késleltetésű támogatást kerestek, mert akár fogyasztók, akár fogyasztók, akár más fejlesztők számára készítenek alkalmazásokat – minden olyan közönség számára, akiknek gyors megoldásokra van szükségük. Aztán, amikor ügyfeleink alkalmazásai gyorsan skálázódnak, rájöttek, hogy nem engedhetik meg maguknak az ehhez a skálához kapcsolódó tipikus költségeket. Ezután arra kértek minket, hogy segítsünk a teljes birtoklási költség (TCO) csökkentésében, amit meg is tettünk. Aztán ügyfeleink át akartak térni az OpenAI-ról az OSS-modellekre, és arra kértek minket, hogy az OpenAI-nál megfelelő vagy még jobb minőséget biztosítsunk. Ezt mi is megvalósítottuk.

Termékünk fejlődésének minden lépése kihívást jelentő probléma volt, amelyet meg kell oldani, de ez azt jelentette, hogy ügyfeleink igényei valóban olyanná formálták a Fireworks-t, amilyen ma: egy villámgyors következtetési motor alacsony TCO-val. Emellett kínálunk egy sor kiváló minőségű, kész modellt, amelyek közül választhat, vagy finomhangolási szolgáltatásokat kínálunk a fejlesztők számára, hogy megalkossák a sajátjukat.

Az AI és a gépi tanulás gyors fejlődésével az etikai megfontolások fontosabbak, mint valaha. Hogyan kezeli a Fireworks AI az elfogultsággal, a magánélet védelmével és az AI etikus használatával kapcsolatos aggályokat?

Két tizenéves lányom van, akik gyakran használnak genAI alkalmazásokat, például a ChatGPT-t. Anyaként aggódom amiatt, hogy félrevezető vagy nem megfelelő tartalmat találnak, mert az iparág még csak most kezd megküzdeni a tartalombiztonság kritikus problémájával. A Meta sokat foglalkozik a Purple Llama projekttel, és a Stability AI új SD3-as módjai nagyszerűek. Mindkét vállalat keményen dolgozik azon, hogy biztonságot nyújtson új, többrétegű szűrőkkel rendelkező Llama3 és SD3 modelljeihez. A bemeneti-kimeneti biztonsági modell, a Llama Guard eléggé elterjedt a platformunkon, de alkalmazása még nem egyenrangú más LLM-ekkel. Az iparág egészének még hosszú utat kell megtennie ahhoz, hogy a tartalombiztonság és a mesterséges intelligencia etika előtérbe kerüljön.

Mi, a Fireworksnél nagyon fontosnak tartjuk a magánélet védelmét és a biztonságot. HIPAA- és SOC2-kompatibilisek vagyunk, és biztonságos VPC- és VPN-kapcsolatot kínálunk. A vállalatok a Fireworks-re bízzák saját tulajdonú adataikat és modelljeit üzleti árok építéséhez.

Mi az elképzelése arról, hogyan fog fejlődni az AI?

Ahogy az AlphaGo autonómiát mutatott be, miközben magától megtanult sakkozni, úgy gondolom, hogy a genAI alkalmazások egyre autonómabbakká válnak. Az alkalmazások automatikusan a megfelelő ügynökhöz vagy API-hoz irányítják és irányítják a kéréseket, hogy feldolgozzák, és addig javítsák a kurzust, amíg le nem nyerik a megfelelő kimenetet. És ahelyett, hogy egy függvényhívási modell lekérdezne másoktól vezérlőként, több önszerveződő, önkoordinált ügynök dolgozik majd egységesen a problémák megoldásán.

A Fireworks villámgyors következtetései, funkcióhívó modelljei és finomhangolási szolgáltatása utat nyitott ennek a valóságnak. Most az innovatív fejlesztőkön múlik, hogy ezt megvalósítsák.

Köszönjük a remek interjút, azoknak az olvasóknak, akik többet szeretnének megtudni, látogassanak el Tűzijáték AI.