Lin Qiao, Fireworks AI:n toimitusjohtaja ja perustaja – Haastattelusarja

Lin Qiao oli aikaisemmin Meta:n PyTorchin johtaja ja on Fireworks AI:n perustaja ja toimitusjohtaja. Fireworks AI on tuotantovalmis AI-alusta, joka on suunniteltu kehittäjille, ja se yhteistyössä maailman johtavien generatiivisen AI-tutkijoiden kanssa tarjoaa parhaat mallit nopeimmilla nopeuksilla. Fireworks AI on vastikään kerännyt $25M Series A -rahoituskierroksen.

Mikä alun perin kiinnosti sinua tietokoneiden ohjelmointiin?

Isäni oli seniori-insinööri laivanrakennusalueella, jossa hän rakensi rahtilaivoja alusta alkaen. Nuoresta iästä lähtien opin lukemaan laivan piirustuksia ja mittauksia, ja pidin siitä.

Olin kiinnostunut STEM-aiheista jo keskiasteelta lähtien – kaikki matematiikka, fysiikka ja kemia kiinnostivat minua. Yksi lukio-työni oli oppia BASIC-ohjelmointia, ja ohjelmoitin pelin, jossa käärme syö oman hännänsä. Sen jälkeen tiesin, että tietokoneiden ohjelmointi on minun tulevaisuuteni.

Meta:ssa johtajana PyTorch- ja AI-alustoissa, jossa kehitit ja käyttöönotit Caffe2- ja PyTorch-malleja, mitkä olivat johtavat kokemuksesi sieltä?

Isojen teknologiayritysten, kuten Meta:n, on aina oltava 5-10 vuotta edellä muuta. Kun liityin Meta:an vuonna 2015, olimme AI-matkan alussa – siirtymässä CPU:sta GPU:hin. Meidän piti suunnitella AI-infrastruktuuria alusta alkaen. Caffe2-mallit olivat uranuurtavia, kun ne luotiin, mutta AI kehittyi niin nopeasti, että ne vanhenivat nopeasti. Kehitimme PyTorchin ja koko järjestelmän ympärille ratkaisuksi.

PyTorchissa opin suurimmat esteet, joita kehittäjät kohtaavat AI:n rakentamisessa. Ensimmäinen haaste on löytää vakaa ja luotettava mallirakenne, joka on matala viive ja joustava, jotta mallit voivat skaalata. Toinen haaste on kokonaiskustannus, jotta yritykset eivät mene konkurssiin yrittäessään kasvattaa mallejaan.

Aikani Meta:ssa osoitti, kuinka tärkeää on pitää malleja ja kehyksiä, kuten PyTorchia, avoimina. Se kannustaa innovaatioita. Emme olisi kasvaneet PyTorchissa ilman avoimia mahdollisuuksia iterointiin. Lisäksi on mahdotonta pysyä ajan tasalla viimeisimmistä tutkimuksista ilman yhteistyötä.

Mistä johtui Fireworks AI:n perustaminen?

Olen ollut teknologiayritysten parissa yli 20 vuotta, ja olen nähnyt aaltoja alan muutoksista – pilvestä mobiiliin. Mutta tämä AI-muutos on täydellinen maankamarakenne. Näin monia yrityksiä, jotka kamppailivat tämän muutoksen kanssa. Kaikki halusivat edetä nopeasti ja asettaa AI:n etusijalle, mutta heillä ei ollut infrastruktuuria, resursseja tai osaamista, jotta he voisivat tehdä sen. Mitä enemmän puhuin näiden yritysten kanssa, sitä enemmän tajusin, että voin ratkaista tämän markkinan aukon.

Perustin Fireworks AI:n sekä ratkaisemaan tämän ongelman että jatkaaksesi PyTorchissa saavutettua työtä. Se inspiroi jopa nimeämme! PyTorch on kynttilä, joka pitää tulta – mutta haluamme, että tuo tuli leviää kaikkialla. Siispä: Fireworks.

Olen aina ollut intohimoinen tekniikan demokratisoimisesta ja sen tekemisestä edulliseksi ja helppokäyttöiseksi kehittäjille, riippumatta heidän resursseistaan. Siksi meillä on käyttäjäystävällinen käyttöliittymä ja vahvat tukijärjestelmät, jotka antavat kehittäjille mahdollisuuden toteuttaa visioitaan.

Voitko keskustella kehittäjäkeskeisestä AI:sta ja miksi se on niin tärkeää?

Se on yksinkertaista: “kehittäjäkeskeinen” tarkoittaa, että priorisoidaan AI-kehittäjien tarpeita. Esimerkiksi: luomalla työkaluja, yhteisöjä ja prosesseja, jotka tekevät kehittäjistä tehokkaampia ja itsenäisempiä.

Kehittäjäkeskeiset AI-alustat, kuten Fireworks, tulisi integroida olemassa oleviin työnkulkuun ja teknologiaan. Ne tulisi tehdä siitä helppoa kehittäjille kokeilla, tehdä virheitä ja parantaa työtään. Ne tulisi kannustaa palautetta, koska kehittäjät itse ymmärtävät, mitä he tarvitsevat menestyäkseen. Lopulta, se on enemmän kuin vain alusta – se on yhteisö, jossa kehittäjät voivat yhdessä työskennellä ja puskea AI:n mahdollisuuksien rajoja.

Voitko keskustella GenAI-alustan erityispiirteistä ja hyödyistä, erityisesti verrattuna muihin ratkaisuihin?

Kokonaisuutena lähestymistapaamme AI-tuotantoalustana on ainutlaatuinen, mutta joitakin parhaista ominaisuuksistamme ovat:

Tehokas inference – Suunnittelimme Fireworks AI:n tehokkuutta ja nopeutta varten. Kehittäjät, jotka käyttävät alustaa, voivat suorittaa LLM-sovelluksiaan alhaisimmalla viiveellä ja kustannuksilla. Saavutamme tämän viimeisimmillä malli- ja palveluoptimoimisilla tekniikoilla, kuten esim. prompt caching, adaptable sharding, kvantisaatio, jatkuva batching, FireAttention jne.

Edullinen tuki LoRA-malleille – Tarjoamme edullisen palvelun low-rank adaptation (LoRA) -mallien fine-tuningille monenkirjautumisen kautta perusmalleihin. Tämä tarkoittaa, että kehittäjät voivat kokeilla monia eri käyttötarkoituksia tai muunnelmia samasta mallista ilman, että seurauksena on suuret kustannukset.

Yksinkertaiset käyttöliittymät ja API:t – Käyttöliittymämme ja API:mme ovat suoria ja helppoja kehittäjille integroida sovelluksiinsa. API:mme ovat myös OpenAI-yhteensopivia helppouden vuoksi.

Valmiit mallit ja fine-tuning-palvelut – Tarjoamme yli 100 valmiiksi koulutettua mallia, joita kehittäjät voivat käyttää valmiina. Kattavat parhaat LLM:t, kuvageneraattorimallit, upotusmallit jne. Kehittäjät voivat myös valita isäntänä olevat ja palvelleen omat mukautetut mallit. Tarjoamme myös itsepalvelu fine-tuning-palveluja, jotta kehittäjät voivat mukauttaa näitä malleja omilla tietojaan käyttäen.

Yhteisöllinen yhteistyö: Uskomme avoimen lähdekoodin yhteisölliseen yhteistyöhön. Alustamme kannustaa (vaikka ei edellytä) kehittäjiä jakamaan fine-tune-mallejaan ja osallistumaan kasvavaan AI-varantojen ja tietämyksen pankkiin. Kaikki hyötyvät yhteisen asiantuntemuksen kasvusta.

Voitko keskustella hybridilähestymistavasta, joka yhdistää mallin rinnakkaisuuden ja datan rinnakkaisuuden?

Mallien rinnakkaisuus parantaa koneoppimismallien tehokkuutta ja nopeutta, ja auttaa kehittäjiä käsittelemään suurempia malleja, joita yksittäinen GPU ei voi käsitellä.

Mallin rinnakkaisuus tarkoittaa mallin jakamista useaan osaan ja kouluttamista eri prosessoreilla. Datan rinnakkaisuus tarkoittaa datan jakamista alijoukkoihin ja mallin kouluttamista samanaikaisesti eri prosessoreilla. Hybridilähestymistapa yhdistää nämä kaksi menetelmää. Mallit jaetaan eri osiin, jotka koulutetaan eri datan alijoukoissa, parantaen tehokkuutta, skaalautuvuutta ja joustavuutta.

Fireworks AI:ta käyttää yli 20 000 kehittäjää, ja se palvelee yli 60 miljardia tokenia päivittäin. Mitkä haasteet olet kohdannut toimintojen skaalauttamisessa tähän tasoon, ja miten olet voittanut ne?

Olen rehellinen, on ollut monia korkeita vuoria ylittäämään siitä lähtien, kun perustin Fireworks AI:n vuonna 2022.

Asiakkaamme tulivat aluksi etsimään erittäin matalaa viivettä, koska he rakentavat sovelluksia kuluttajille, ammattilaisille tai muiden kehittäjille – kaikille yleisöille, jotka tarvitsevat nopeita ratkaisuja. Sitten, kun asiakkaiden sovellukset alkoivat kasvaa nopeasti, he tajusivat, etteivät he voineet maksaa tyypillisiä kustannuksia, jotka liittyvät siihen. He pyysivät meitä auttamaan kustannusten laskemisessa, ja me teimme sen. Sitten asiakkaamme halusivat siirtyä OpenAI:sta OSS-malleihin, ja he pyysivät meitä tarjoamaan saman tai jopa paremman laadun kuin OpenAI. Me teimme sen tapahtuvaksi.

Jokainen askel tuotteen kehityksessä oli haasteellinen ongelma, mutta se tarkoitti, että asiakkaiden tarpeet muovasivat Fireworksin siitä, mitä se on tänään: salamannopea inference-moottori, jolla on matala kokonaiskustannus. Tarjoamme myös valikoiman laadukkaita, valmiiksi koulutettuja malleja, joita kehittäjät voivat valita, tai fine-tuning-palveluja, joiden avulla kehittäjät voivat luoda omat mukautetut mallinsa.

AI:n ja koneoppimisen nopean kehityksen myötä eettiset huomioonotot ovat tärkeämpiä kuin koskaan. Miten Fireworks AI vastaa huolenaiheisiin, jotka liittyvät aiheuttamaan, yksityisyyteen ja eettiseen AI-käyttöön?

Minulla on kaksi teini-ikäistä tytärtä, jotka käyttävät usein genAI-sovelluksia, kuten ChatGPT:tä. Äitinä minua huolestuttaa, että he löytävät harhaanjohtavaa tai sopimatonta sisältöä, koska alan on vasta alkamassa käsitellä tärkeää ongelmaa sisällön turvallisuudesta. Meta tekee paljon Purple Llama -projektin kanssa, ja Stability AI:n uudet SD3-moodit ovat erinomaisia. Molemmat yritykset työskentelevät ahkerasti sisällön turvallisuuden tuomiseksi uusiin Llama3- ja SD3-malleihin useiden suodattimien kautta. Input-output-suojausmalli, Llama Guard, saa jonkin verran käyttöä alustallamme, mutta sen käyttöönotto ei ole vielä samalla tasolla kuin muiden LLM:ien. Alan on edelleen pitkällä matkalla sisällön turvallisuuden ja AI-eettisten kysymysten ratkaisemiseksi.

Me Fireworksissa pidämme yksityisyydestä ja turvallisuudesta. Olemme HIPAA- ja SOC2-sertifioitu, ja tarjoamme turvallisen VPC- ja VPN-yhteyden. Yritykset luottavat Fireworksiin omien tietojensa ja malliensa kanssa liiketoimintansa kehittämiseksi.

Mikä on visiosi siitä, miten AI kehittyy?

Juuri kun AlphaGo osoitti autonomian oppimalla shakin itse, luulen, että näemme enemmän autonomiaa genAI-sovelluksissa. Sovellukset ohjaavat automaattisesti pyynnöt oikeaan agenttiin tai API:hin ja korjaavat kurssia, kunnes ne saavat oikean tuloksen. Ja sen sijaan, että yksi funktio kutsuu toista mallia ohjaajana, näemme enemmän itsejärjestäytyviä, itsekoordinoivia agenteja, jotka työskentelevät yhdessä ratkaisemaan ongelmia.

Fireworksin salamannopea inference, funktio-kutsuva mallit ja fine-tuning-palvelu ovat luoneet tien tälle todellisuudelle. Nyt on innovatiivisten kehittäjien vuoro tehdä se todeksi.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla Fireworks AI:ssa.