Lin Qiao, Fireworks AI tegevjuht ja kaasasutaja – intervjuusari

Lin Qiao oli varem Meta PyTorchi juht ning Fireworks AI kaasasutaja ja tegevjuht. Ilutulestiku AI on tootmis-AI-platvorm, mis on loodud arendajatele, Fireworksi koostööpartneritele maailma juhtivate tehisintellekti teadlastega, et pakkuda parimaid mudeleid kõige kiiremal kiirusel. Fireworks AI tõstatas hiljuti a 25 miljonit dollarit A-seeria.

Mis teid arvutiteaduse juures alguses köitis?

Mu isa oli väga vanem mehaanikainsener laevatehases, kus ta ehitas kaubalaevu nullist. Õppisin väikesest peale lugema laevaplaanide täpseid nurki ja mõõte ning see meeldis mulle.

Alates keskkoolist meeldis mulle väga STEM – kõik matemaatika, füüsika ja keemia, mida ma sõin. Üks mu keskkooliülesannetest oli õppida BASIC programmeerimist ja ma kodeerisin mängu madu, kes sööb oma saba. Pärast seda teadsin, et arvutiteadus on minu tulevik.

Metas olles juhtisite 300+ maailmatasemel inseneri tehisintellekti raamistike ja platvormide alal, kus lõite ja juurutasite Caffe2 ja hiljem PyTorchi. Millised olid teie peamised väljavõtted sellest kogemusest?

Suured tehnoloogiaettevõtted nagu Meta on alati viis või enam aastat kõverast ees. Kui ma 2015. aastal Metaga liitusin, olime oma tehisintellekti teekonna alguses – liikusime protsessoritelt GPU-dele. Pidime tehisintellekti infrastruktuuri algusest peale kavandama. Sellised mudelid nagu Caffe2 olid loomise ajal murrangulised, kuid tehisintellekt arenes nii kiiresti, et vananes kiiresti. Lahendusena arendasime PyTorchi ja kogu seda ümbritseva süsteemi.

PyTorch on koht, kus sain teada suurimatest teetõketest, millega arendajad AI loomise võidujooksul silmitsi seisavad. Esimene väljakutse on leida stabiilne ja usaldusväärne mudeliarhitektuur, mis on madala latentsusajaga ja paindlik, et mudeleid saaks skaleerida. Teine väljakutse on kogu omamiskulu, et ettevõtted ei läheks pankrotti, püüdes oma mudeleid kasvatada.

Minu aeg Metas näitas mulle, kui oluline on hoida mudeleid ja raamistikke, nagu PyTorch, avatud lähtekoodiga. See soodustab innovatsiooni. Ilma avatud lähtekoodiga iteratsioonivõimalusteta poleks me nii palju kasvanud kui PyTorchis. Lisaks on võimatu ilma koostööta olla kursis kõigi viimaste teadusuuringutega.

Kas saate arutada, mis viis teid Fireworksi AI käivitamiseni?

Olen olnud tehnoloogiatööstuses üle 20 aasta ja olen näinud laine teise järel nihkeid tööstuse tasandil – pilvest mobiilirakendustele. Kuid see AI nihe on täielik tektooniline ümberjoondumine. Nägin paljusid ettevõtteid, kes selle muudatusega hädas on. Kõik tahtsid liikuda kiiresti ja seada tehisintellekti esikohale, kuid neil puudus infrastruktuur, vahendid ja talent selle teoks tegemiseks. Mida rohkem ma nende ettevõtetega rääkisin, seda rohkem mõistsin, et suudan selle turulünka lahendada.

Käivitasin Fireworks AI nii selle probleemi lahendamiseks kui ka PyTorchis saavutatud uskumatu töö laienduseks. See inspireeris isegi meie nime! PyTorch on tõrvik, mis hoiab tuld, kuid me tahame, et see tuli leviks kõikjale. Seega: ilutulestik.

Olen alati olnud kirglik tehnoloogia demokratiseerimise vastu ning selle vastu, et arendajatele oleks nende ressurssidest sõltumata taskukohane ja lihtne uuendusi teha. Seetõttu on meil nii kasutajasõbralik liides ja tugevad tugisüsteemid, mis annavad ehitajatele võimaluse oma visioone ellu viia.

Kas saaksite arutada, mis on arendajakeskne AI ja miks see nii oluline on?

See on lihtne: „arendajakeskne” tähendab tehisintellekti arendajate vajaduste tähtsustamist. Näiteks: tööriistade, kogukondade ja protsesside loomine, mis muudavad arendajad tõhusamaks ja autonoomsemaks.

Arendajakesksed tehisintellekti platvormid, nagu Fireworks, peaksid integreeruma olemasolevatesse töövoogudesse ja tehnilistesse pinudesse. Need peaksid muutma arendajatel katsetamise, vigade tegemise ja oma töö täiustamise lihtsaks. Nad peaksid julgustama tagasisidet, sest selle arendajad ise mõistavad, mida nad vajavad, et olla edukad. Lõpuks on see rohkem kui lihtsalt platvorm. See on kogukonnaks olemine – selline, kus koostööd tegevad arendajad saavad nihutada tehisintellektiga võimaliku piire.

Teie välja töötatud GenAI platvorm on suurte keelemudelitega (LLM) töötavate arendajate jaoks oluline edasiminek. Kas saate kirjeldada oma platvormi ainulaadseid funktsioone ja eeliseid, eriti võrreldes olemasolevate lahendustega?

Kogu meie lähenemisviis AI tootmisplatvormina on ainulaadne, kuid mõned meie parimad omadused on järgmised:

Tõhus järeldus – lõime Fireworks AI tõhususe ja kiiruse tagamiseks. Meie platvormi kasutavad arendajad saavad oma LLM-rakendusi käitada võimalikult madala latentsusaja ja kuludega. Me saavutame selle uusimate mudelite ja teenuste optimeerimise tehnikatega, sealhulgas kiire vahemällu salvestamine, kohandatav killustamine, kvantimine, pidev komplekteerimine, FireAttention ja palju muud.

Taskukohane tugi LoRA-häälestatud mudelitele – pakume madala asetusega kohandamise (LoRA) peenhäälestatud mudelite taskukohast teenust põhimudelite mitme rendilepingu kaudu. See tähendab, et arendajad saavad katsetada sama mudeli paljude erinevate kasutusjuhtude või variatsioonidega, ilma et see peaks panka rikkuma.

Lihtsad liidesed ja API-d – meie liidesed ja API-d on lihtsad ja arendajatel hõlpsasti oma rakendustesse integreeritavad. Meie API-d on migratsiooni hõlbustamiseks ka OpenAI-ga ühilduvad.

Valmismudelid ja peenhäälestatud mudelid – pakume enam kui 100 eelkoolitatud mudelit, mida arendajad saavad kastist väljas kasutada. Pakume parimaid LLM-e, piltide genereerimise mudeleid, manustamismudeleid jne. Kuid arendajad saavad valida ka oma kohandatud mudelite hostimise ja teenindamise. Pakume ka iseteenindusega peenhäälestusteenuseid, mis aitavad arendajatel kohandada neid kohandatud mudeleid oma varaliste andmetega.

Kogukonna koostöö: usume kogukonna koostöö avatud lähtekoodiga eetosse. Meie platvorm julgustab (kuid ei nõua) arendajaid jagama oma peenhäälestatud mudeleid ja panustama tehisintellekti varade ja teadmiste kasvavasse panka. Meie kollektiivse asjatundlikkuse kasvatamisest võidavad kõik.

Kas saaksite arutada hübriidset lähenemist, mida pakutakse mudelite paralleelsuse ja andmete paralleelsuse vahel?

Masinõppemudelite paralleelsus parandab mudelikoolituse tõhusust ja kiirust ning aitab arendajatel käsitleda suuremaid mudeleid, mida üks GPU ei suuda töödelda.

Mudeli paralleelsus hõlmab mudeli jagamist mitmeks osaks ja iga osa koolitamist eraldi protsessoritel. Teisest küljest jagab andmete paralleelsus andmestikud alamhulkadeks ja treenib iga alamhulga mudeli korraga erinevate protsessorite vahel. Hübriidne lähenemisviis ühendab need kaks meetodit. Mudelid on jagatud eraldi osadeks, millest igaüks on koolitatud erinevate andmete alamhulkade kohta, parandades tõhusust, mastaapsust ja paindlikkust.

Fireworks AI-d kasutab üle 20,000 60 arendaja ja see teenindab praegu üle XNUMX miljardi märgi iga päev. Milliseid väljakutseid olete oma tegevuse sellisele tasemele suurendamisel silmitsi seisnud ja kuidas olete neist üle saanud?

Ütlen ausalt, et pärast Fireworksi AI asutamist 2022. aastal on olnud palju kõrgeid mägesid, mida ületada.

Meie kliendid otsisid esmalt meie poole väga madala latentsusajaga tuge, kuna nad loovad rakendusi kas tarbijatele, protarbijatele või teistele arendajatele – kõigile vaatajaskondadele, kes vajavad kiireid lahendusi. Siis, kui meie klientide rakendused hakkasid kiiresti skaleerima, mõistsid nad, et ei saa endale lubada selle ulatusega seotud tüüpilisi kulusid. Seejärel palusid nad meil aidata alandada kogu omamiskulusid (TCO), mida me ka tegime. Seejärel soovisid meie kliendid OpenAI-lt OSS-i mudelitele üle minna ja nad palusid meil pakkuda OpenAI-st samaväärset või isegi paremat kvaliteeti. Meie tegime ka selle teoks.

Iga samm meie toote arengus oli keeruline probleem, mida lahendada, kuid see tähendas, et meie klientide vajadused muutsid ilutulestiku selliseks, nagu see praegu on: välkkiire järeldusmootor madala TCO-ga. Lisaks pakume nii valikut kvaliteetseid valmismudeleid, mille vahel valida, kui ka peenhäälestusteenuseid, mille abil arendajad saavad ise luua.

Tehisintellekti ja masinõppe kiire arengu tõttu on eetilised kaalutlused olulisemad kui kunagi varem. Kuidas lahendab Fireworks AI probleeme, mis on seotud tehisintellekti eelarvamuste, privaatsuse ja eetilise kasutamisega?

Mul on kaks teismelist tütart, kes kasutavad sageli genAI rakendusi, nagu ChatGPT. Emana muretsen selle pärast, et nad leiavad eksitavat või sobimatut sisu, sest tööstus alles hakkab tegelema sisu ohutuse kriitilise probleemiga. Meta teeb Purple Llama projektiga palju ja Stability AI uued SD3 režiimid on suurepärased. Mõlemad ettevõtted teevad kõvasti tööd, et pakkuda oma uutele mitmekihiliste filtritega Llama3 ja SD3 mudelitele ohutust. Sisend-väljund kaitsemudelit Llama Guard kasutatakse meie platvormil küllaldaselt, kuid selle kasutuselevõtt ei ole veel võrdne teiste LLM-idega. Tööstusharul tervikuna on sisuohutuse ja tehisintellekti eetika esiplaanile toomiseks veel palju teha.

Meie ettevõttes Fireworks hoolime privaatsusest ja turvalisusest väga. Oleme HIPAA- ja SOC2-ühilduvad ning pakume turvalist VPC- ja VPN-ühendust. Ettevõtted usaldavad Fireworksi oma ärivalli ehitamiseks oma varalisi andmeid ja mudeleid.

Milline on teie nägemus sellest, kuidas AI areneb?

Nii nagu AlphaGo demonstreeris autonoomiat, kui õppis ise malet mängima, arvan, et me näeme, et genAI rakendused muutuvad üha autonoomsemaks. Rakendused suunavad ja suunavad päringud automaatselt õigele agendile või API-le, et neid töödelda ja korrigeerida, kuni nad toovad õige väljundi. Ja selle asemel, et üks funktsioonide kutsumise mudel küsitleks teistelt kontrolleritelt, näeme rohkem iseorganiseerunud, ise koordineerivaid agente, kes töötavad probleemide lahendamisel üheskoos.

Ilutulestiku välkkiire järeldus, funktsiooni kutsuvad mudelid ja peenhäälestusteenus on selle reaalsuse jaoks tee sillutanud. Nüüd on uuenduslike arendajate ülesanne see teoks teha.

Täname suurepärase intervjuu eest, lugejad, kes soovivad rohkem teada saada, peaksid külastama Ilutulestiku AI.