Lin Qiao, CEO dhe bashkë-themelues i Fishekzjarreve AI – Seria e Intervistave

Lin Qiao, ishte më parë kreu i PyTorch të Meta-s dhe është Bashkëthemelues dhe CEO i Fireworks AI. Fishekzjarret AI është një platformë prodhimi e inteligjencës artificiale që është ndërtuar për zhvilluesit, Fireworks bashkëpunon me studiuesit kryesorë gjenerues të AI në botë për t'i shërbyer modeleve më të mira, me shpejtësitë më të shpejta. Fishekzjarret AI së fundmi ngriti një 25 milion dollarë Seria A.

Çfarë ju tërhoqi fillimisht nga shkenca kompjuterike?

Babai im ishte një inxhinier mekanik shumë i lartë në një kantier detar, ku ndërtoi anije mallrash nga e para. Që në moshë të re, mësova të lexoja këndet dhe matjet e sakta të planeve të anijeve dhe më pëlqeu.

Isha shumë në STEM që nga shkolla e mesme e tutje – gëlltitja gjithçka nga matematika, fizika dhe kimia. Një nga detyrat e mia të shkollës së mesme ishte të mësoja programimin BASIC dhe kodova një lojë për një gjarpër që ha bishtin e tij. Pas kësaj, e dija se shkenca kompjuterike ishte në të ardhmen time.

Ndërsa në Meta ju drejtuat mbi 300 inxhinierë të klasit botëror në kornizat dhe platformat e AI ku ndërtuat dhe vendosët Caffe2, dhe më vonë PyTorch. Cilat ishin disa nga përfitimet tuaja kryesore nga kjo përvojë?

Kompanitë e mëdha të teknologjisë si Meta janë gjithmonë pesë ose më shumë vjet përpara kurbës. Kur iu bashkua Metës në 2015, ne ishim në fillim të rrugëtimit tonë të AI – duke bërë kalimin nga CPU në GPU. Ne duhej të dizajnonim infrastrukturën e AI nga themeli. Modele si Caffe2 ishin novator kur u krijuan, por AI evoluoi aq shpejt sa shpejt u vjetëruan. Ne zhvilluam PyTorch dhe të gjithë sistemin rreth tij si një zgjidhje.

PyTorch është vendi ku mësova për pengesat më të mëdha me të cilat përballen zhvilluesit në garën për të ndërtuar AI. Sfida e parë është gjetja e arkitekturës së modelit të qëndrueshëm dhe të besueshëm, me vonesë të ulët dhe fleksibël në mënyrë që modelet të mund të shkallëzohen. Sfida e dytë është kostoja totale e pronësisë, kështu që kompanitë nuk falimentojnë duke u përpjekur të rritin modelet e tyre.

Koha ime në Meta më tregoi se sa e rëndësishme është të mbash modele dhe korniza si PyTorch me burim të hapur. Ai inkurajon inovacionin. Ne nuk do të ishim rritur aq shumë sa në PyTorch pa mundësitë me burim të hapur për përsëritje. Plus, është e pamundur të qëndrosh i përditësuar për të gjitha kërkimet më të fundit pa bashkëpunim.

A mund të diskutoni se çfarë ju çoi në lëshimin e Fishekzjarreve AI?

Unë kam qenë në industrinë e teknologjisë për më shumë se 20 vjet dhe kam parë valë pas valë ndryshimesh në nivel industrie – nga cloud te aplikacionet celulare. Por ky ndryshim i AI është një riorganizim i plotë tektonik. Pashë shumë kompani që po luftonin me këtë ndryshim. Të gjithë donin të lëviznin shpejt dhe të vendosnin AI në vend të parë, por atyre u mungonte infrastruktura, burimet dhe talenti për ta realizuar atë. Sa më shumë që flisja me këto kompani, aq më shumë kuptova se mund ta zgjidhja këtë boshllëk në treg.

Unë lansova Fireworks AI për të zgjidhur këtë problem dhe për të shërbyer si një zgjatje e punës së jashtëzakonshme që arritëm në PyTorch. Madje na frymëzoi edhe emrin! PyTorch është pishtari që mban zjarrin – por ne duam që ai zjarr të përhapet kudo. Prandaj: Fishekzjarret.

Unë kam qenë gjithmonë i apasionuar pas demokratizimit të teknologjisë dhe duke e bërë atë të përballueshme dhe të thjeshtë për zhvilluesit që të inovojnë pavarësisht nga burimet e tyre. Kjo është arsyeja pse ne kemi një ndërfaqe të tillë miqësore për përdoruesit dhe sisteme të forta mbështetëse për të fuqizuar ndërtuesit për të sjellë në jetë vizionet e tyre.

A mund të diskutoni se çfarë është AI në qendër të zhvilluesve dhe pse është kaq e rëndësishme?

Është e thjeshtë: “i përqendruar te zhvilluesi” nënkupton prioritizimin e nevojave të zhvilluesve të AI. Për shembull: krijimi i mjeteve, komuniteteve dhe proceseve që i bëjnë zhvilluesit më efikas dhe autonom.

Platformat e inteligjencës artificiale të përqendruara te zhvilluesit si Fireworks duhet të integrohen në rrjedhat ekzistuese të punës dhe grupet e teknologjisë. Ata duhet ta bëjnë të thjeshtë për zhvilluesit që të eksperimentojnë, të bëjnë gabime dhe të përmirësojnë punën e tyre. Ata duhet të inkurajojnë reagimet, sepse vetë zhvilluesit e saj të cilët e kuptojnë se çfarë u nevojitet për të qenë të suksesshëm. Së fundi, bëhet fjalë për më shumë sesa thjesht të qenit një platformë. Bëhet fjalë për të qenë një komunitet - një komunitet ku zhvilluesit bashkëpunues mund të shtyjnë kufijtë e asaj që është e mundur me AI.

Platforma GenAI që keni zhvilluar është një përparim i rëndësishëm për zhvilluesit që punojnë me modele të mëdha gjuhësore (LLM). A mund të shtjelloni veçoritë dhe përfitimet unike të platformës suaj, veçanërisht në krahasim me zgjidhjet ekzistuese?

E gjithë qasja jonë si një platformë e prodhimit të AI është unike, por disa nga veçoritë tona më të mira janë:

Konkluzionet efikase – Ne projektuam Fishekzjarret AI për efikasitet dhe shpejtësi. Zhvilluesit që përdorin platformën tonë mund të ekzekutojnë aplikacionet e tyre LLM me vonesën dhe koston më të ulët të mundshme. Ne e arrijmë këtë me teknikat më të fundit të optimizimit të modeleve dhe shërbimeve, duke përfshirë ruajtjen e shpejtë të memories, ndarjen e adaptueshme, kuantizimin, grumbullimin e vazhdueshëm, FireAttention dhe më shumë.

Mbështetje e përballueshme për modelet e akorduara me LoRA – Ne ofrojmë shërbim të përballueshëm të modeleve të përshtatjes së nivelit të ulët (LoRA) të akorduara mirë nëpërmjet modeleve bazë me shumë qira. Kjo do të thotë që zhvilluesit mund të eksperimentojnë me shumë raste të përdorimit ose variacione të ndryshme në të njëjtin model pa prishur bankën.

Ndërfaqet dhe API-të e thjeshta – Ndërfaqet dhe API-të tona janë të drejtpërdrejta dhe të lehta për zhvilluesit për t'u integruar në aplikacionet e tyre. API-të tona janë gjithashtu të pajtueshme me OpenAI për lehtësinë e migrimit.

Modele jashtë raftit dhe modele të rregulluara mirë – Ne ofrojmë më shumë se 100 modele të trajnuara paraprakisht që zhvilluesit mund t'i përdorin jashtë kutisë. Ne mbulojmë LLM-të më të mira, modelet e gjenerimit të imazheve, modelet e futjes, etj. Por zhvilluesit gjithashtu mund të zgjedhin të presë dhe të shërbejnë modelet e tyre të personalizuara. Ne ofrojmë gjithashtu shërbime të akordimit të vetë-shërbimit për t'i ndihmuar zhvilluesit të përshtatin këto modele të personalizuara me të dhënat e tyre të pronarit.

Bashkëpunimi në komunitet: Ne besojmë në etikën me burim të hapur të bashkëpunimit në komunitet. Platforma jonë inkurajon (por nuk kërkon) zhvilluesit të ndajnë modelet e tyre të rregulluara mirë dhe të kontribuojnë në një bankë në rritje të aseteve dhe njohurive të AI. Të gjithë përfitojnë nga rritja e ekspertizës sonë kolektive.

A mund të diskutoni për qasjen hibride që ofrohet midis paralelizmit të modelit dhe paralelizmit të të dhënave?

Paralelizimi i modeleve të mësimit të makinerive përmirëson efikasitetin dhe shpejtësinë e trajnimit të modeleve dhe i ndihmon zhvilluesit të trajtojnë modele më të mëdha që një GPU e vetme nuk mund t'i përpunojë.

Paralelizmi i modelit përfshin ndarjen e një modeli në pjesë të shumta dhe trajnimin e secilës pjesë në procesorë të veçantë. Nga ana tjetër, paralelizmi i të dhënave ndan grupet e të dhënave në nëngrupe dhe trajnon një model në secilën nëngrup në të njëjtën kohë nëpër procesorë të veçantë. Një qasje hibride kombinon këto dy metoda. Modelet ndahen në pjesë të veçanta, të cilat secila janë trajnuar për nëngrupe të ndryshme të dhënash, duke përmirësuar efikasitetin, shkallëzueshmërinë dhe fleksibilitetin.

Fishekzjarret AI përdoret nga mbi 20,000 zhvillues dhe aktualisht po shërben mbi 60 miliardë argumente çdo ditë. Me çfarë sfidash jeni përballur në shkallëzimin e operacioneve tuaja në këtë nivel dhe si i keni kapërcyer ato?

Do të jem i sinqertë, ka pasur shumë male të larta për të kaluar që kur themeluam Fireworks AI në 2022.

Klientët tanë fillimisht erdhën tek ne duke kërkuar mbështetje me vonesë shumë të ulët, sepse ata po ndërtojnë aplikacione ose për konsumatorët, për klientët ose për zhvilluesit e tjerë - të gjithë audiencat që kanë nevojë për zgjidhje të shpejta. Më pas, kur aplikacionet e klientëve tanë filluan të rriteshin shpejt, ata kuptuan se nuk mund të përballonin kostot tipike që lidhen me atë shkallë. Më pas ata na kërkuan të ndihmonim me uljen e kostos totale të pronësisë (TCO), gjë që ne e bëmë. Më pas, klientët tanë donin të migronin nga modelet OpenAI në OSS dhe ata na kërkuan të ofrojmë cilësi të barabartë ose edhe më të mirë se OpenAI. Ne e bëmë edhe atë të ndodhë.

Çdo hap në evolucionin e produktit tonë ishte një problem sfidues për t'u trajtuar, por kjo do të thoshte se nevojat e klientëve tanë e formuan vërtet Fishekzjarret në atë që është sot: një motor konkluzionesh rrufe të shpejtë me TCO të ulët. Plus, ne ofrojmë si një shumëllojshmëri modelesh me cilësi të lartë, të disponueshme për të zgjedhur, ose shërbime të rregullimit të imët për zhvilluesit për të krijuar të tyren.

Me përparimet e shpejta në AI dhe mësimin e makinerive, konsideratat etike janë më të rëndësishme se kurrë. Si i trajton AI Fireworks shqetësimet që lidhen me paragjykimet, privatësinë dhe përdorimin etik të AI?

Unë kam dy vajza adoleshente që përdorin shpesh aplikacione genAI si ChatGPT. Si nënë, shqetësohem që ata të gjejnë përmbajtje mashtruese ose të papërshtatshme, sepse industria sapo ka filluar të trajtojë problemin kritik të sigurisë së përmbajtjes. Meta po bën shumë me projektin Purple Llama dhe modalitetet e reja SD3 të Stability AI janë të shkëlqyera. Të dyja kompanitë po punojnë shumë për të sjellë siguri në modelet e tyre të reja Llama3 dhe SD3 me shtresa të shumta filtrash. Modeli mbrojtës i hyrje-daljeve, Llama Guard, ka një përdorim të mirë në platformën tonë, por miratimi i tij nuk është ende në të njëjtin nivel me LLM-të e tjera. Industria në tërësi ka ende një rrugë të gjatë për të bërë për të sjellë në plan të parë sigurinë e përmbajtjes dhe etikën e AI.

Ne në Fireworks kujdesemi thellësisht për privatësinë dhe sigurinë. Ne jemi në përputhje me HIPAA dhe SOC2 dhe ofrojmë lidhje të sigurta VPC dhe VPN. Kompanitë i besojnë Fireworks të dhënat dhe modelet e tyre të pronarit për të ndërtuar hendekun e biznesit të tyre.

Cili është vizioni juaj për mënyrën se si do të evoluojë AI?

Ashtu si AlphaGo demonstroi autonomi ndërsa mësoi të luante shah vetë, mendoj se do të shohim që aplikacionet genAI të bëhen gjithnjë e më autonome. Aplikacionet do të drejtojnë automatikisht dhe do t'i drejtojnë kërkesat tek agjenti ose API i duhur për t'i përpunuar dhe do të korrigjojnë kursin derisa të marrin rezultatin e duhur. Dhe në vend që një model që thërret funksionin që të anketohet nga të tjerët si kontrollues, do të shohim më shumë agjentë të vetëorganizuar dhe të vetëkoordinuar që punojnë në unison për të zgjidhur problemet.

Konkluzioni i shpejtë i fishekzjarrëve, modelet e thirrjes së funksionit dhe shërbimi i rregullimit të imët kanë hapur rrugën për këtë realitet. Tani i takon zhvilluesve novatorë ta realizojnë atë.

Faleminderit për intervistën e mrekullueshme, lexuesit që dëshirojnë të mësojnë më shumë duhet ta vizitojnë Fishekzjarret AI.