Лин Цяо, Fireworks AI-ийн гүйцэтгэх захирал, үүсгэн байгуулагчдын нэг. Цуврал ярилцлага

Лин Цяо нь өмнө нь Meta's PyTorch-ийн дарга байсан бөгөөд Fireworks AI-ийн үүсгэн байгуулагч, гүйцэтгэх захирал юм. Салют AI нь хөгжүүлэгчдэд зориулан бүтээгдсэн үйлдвэрлэлийн хиймэл оюуны платформ бөгөөд Fireworks нь дэлхийн тэргүүлэгч хиймэл оюун ухааны судлаачидтай хамтран ажилладаг бөгөөд шилдэг загваруудад хамгийн хурдан хурдтайгаар үйлчилдэг. Fireworks AI саяхан өсгөсөн a 25 сая доллар А цуврал.

Таныг компьютерийн шинжлэх ухаанд юу татсан бэ?

Аав маань усан онгоцны үйлдвэрт ахлах механик инженер байсан бөгөөд ачааны хөлөг онгоцыг эхнээс нь үйлдвэрлэдэг байв. Би багаасаа хөлөг онгоцны зургийн өнцөг, хэмжилтийг нарийн уншиж сурсан бөгөөд надад их таалагдсан.

Би дунд сургуулиасаа эхлэн STEM-д маш их дуртай байсан - математик, физик, хими бүгдийг нь залгисан. Ахлах сургуулийн нэг даалгавар бол BASIC програмчлалд суралцах явдал байсан бөгөөд би могой сүүлээ идэж байгаа тухай тоглоомыг кодлосон. Үүний дараа би компьютерийн шинжлэх ухаан миний ирээдүй гэдгийг мэдсэн.

Meta-д байхдаа та Caffe300, дараа нь PyTorch-ийг бүтээж, байршуулсан хиймэл оюун ухаан, платформ дээр дэлхийн хэмжээний 2 гаруй инженерүүдийг удирдаж байсан. Энэ туршлагаас таны авсан гол зүйл юу байсан бэ?

Мета зэрэг томоохон технологийн компаниуд үргэлж тав буюу түүнээс дээш жилийн өмнө байдаг. Намайг 2015 онд Meta-д элсэх үед бид хиймэл оюун ухааны аялалынхаа эхэнд байсан бөгөөд CPU-ээс GPU руу шилжсэн. Бид хиймэл оюун ухааны дэд бүтцийг эхнээс нь төлөвлөх ёстой байсан. Caffe2 гэх мэт загварууд бүтээгдэх үедээ шинэлэг зүйл байсан ч хиймэл оюун ухаан маш хурдан хөгжсөн тул тэд хурдан хуучирсан. Бид PyTorch болон түүний эргэн тойрон дахь бүх системийг шийдэл болгон боловсруулсан.

PyTorch бол хиймэл оюун ухаан бүтээх уралдаанд хөгжүүлэгчид тулгардаг хамгийн том саад бэрхшээлийн талаар олж мэдсэн газар юм. Эхний сорилт бол загваруудыг масштаблахын тулд хоцролт багатай, уян хатан тогтвортой, найдвартай загварын архитектурыг олох явдал юм. Хоёр дахь сорилт бол өмчлөлийн нийт зардал учраас компаниуд загвараа өсгөх гэж дампуурдаггүй.

Мета дахь миний цаг хугацаа надад PyTorch шиг нээлттэй эхийн загвар, хүрээг хадгалах нь хичнээн чухал болохыг харуулсан. Энэ нь инновацийг дэмждэг. Нээлттэй эхийн давталт хийх боломж байгаагүй бол бид PyTorch дээр байсан шиг өсөхгүй байх байсан. Нэмж дурдахад хамтын ажиллагаагүйгээр сүүлийн үеийн бүх судалгааны талаар мэдээлэлтэй байх боломжгүй юм.

Fireworks AI-г гаргахад юу нөлөөлсөн талаар ярилцаж болох уу?

Би технологийн салбарт 20 гаруй жил ажилласан бөгөөд үүлнээс гар утасны програм руу чиглэсэн салбарын түвшний шилжилтийн давалгааг харсан. Гэхдээ энэ хиймэл оюун ухааны шилжилт нь бүрэн тектоник өөрчлөлт юм. Энэ өөрчлөлттэй тэмцэж буй олон компаниудыг би харсан. Хүн бүр хурдан хөдөлж, хиймэл оюун ухааныг нэгдүгээрт тавихыг хүссэн ч үүнийг хэрэгжүүлэх дэд бүтэц, нөөц, авъяас чадвар дутмаг байв. Би эдгээр компаниудтай ярилцах тусам зах зээл дээрх энэ цоорхойг шийдэж чадна гэдгийг ойлгосон.

Энэ асуудлыг шийдэхийн тулд би Fireworks AI-г эхлүүлсэн бөгөөд бидний PyTorch дээр хийсэн гайхалтай ажлын өргөтгөл болж өгдөг. Энэ нь бидний нэрийг хүртэл урамшуулсан! PyTorch бол галыг барьж буй бамбар боловч бид энэ галыг хаа сайгүй тархахыг хүсч байна. Тиймээс: салют буудуулна.

Би технологийг ардчилах, хөгжүүлэгчдийн нөөц бололцооноос үл хамааран шинийг санаачлахад хүртээмжтэй, хялбар болгохыг үргэлж эрмэлзсээр ирсэн. Тийм ч учраас бид барилгачдад алсын хараагаа бодитоор хэрэгжүүлэх боломжийг олгох үүднээс хэрэглэгчдэд ээлтэй интерфэйс, хүчирхэг дэмжлэгийн системтэй болсон.

Хөгжүүлэгч төвтэй AI гэж юу вэ, яагаад энэ нь тийм чухал болохыг ярилцаж болох уу?

Энэ нь энгийн: "хөгжүүлэгч төвтэй" гэдэг нь AI хөгжүүлэгчдийн хэрэгцээг эрэмбэлэх гэсэн үг юм. Жишээ нь: хөгжүүлэгчдийг илүү үр ашигтай, бие даасан болгох хэрэгсэл, нийгэмлэг, үйл явцыг бий болгох.

Fireworks гэх мэт хөгжүүлэгчид төвлөрсөн AI платформууд нь одоо байгаа ажлын урсгалууд болон технологийн стекүүдэд нэгтгэх ёстой. Тэд хөгжүүлэгчдэд туршилт хийх, алдаа гаргах, ажлаа сайжруулахад хялбар болгох хэрэгтэй. Амжилтанд хүрэхийн тулд юу хэрэгтэйг ойлгодог хөгжүүлэгчид өөрсдөө учраас тэд санал хүсэлтийг дэмжих ёстой. Эцэст нь хэлэхэд, энэ нь зөвхөн платформ байхаас илүү чухал зүйл юм. Хамтран ажилладаг хөгжүүлэгчид хиймэл оюун ухаантай байж болох зүйлийн хил хязгаарыг давж чадах нийгэмлэг байх тухай юм.

Таны бүтээсэн GenAI платформ нь том хэлний загвар (LLM) дээр ажилладаг хөгжүүлэгчдэд чухал дэвшил юм. Та өөрийн платформын өвөрмөц онцлог, ашиг тусыг, ялангуяа одоо байгаа шийдлүүдтэй харьцуулж тайлбарлаж болох уу?

AI үйлдвэрлэлийн платформ болох бидний арга барил бүхэлдээ өвөрмөц боловч бидний хамгийн сайн шинж чанарууд нь:

Үр дүнтэй дүгнэлт – Бид Fireworks AI-г үр ашигтай, хурдтай байлгах үүднээс зохион бүтээсэн. Манай платформыг ашигладаг хөгжүүлэгчид LLM програмуудаа хамгийн бага саатал, зардлаар ажиллуулах боломжтой. Шуурхай кэш хийх, дасан зохицох боломжтой хуваах, хэмжигдэхүүн, тасралтгүй багцлах, FireAttention гэх мэт хамгийн сүүлийн үеийн загвар, үйлчилгээг оновчтой болгох арга техникийг ашиглан бид үүнд хүрдэг.

LoRA тохируулсан загваруудад боломжийн дэмжлэг үзүүлэх – Бид үндсэн загварууд дээр олон түрээслэх замаар бага зэрэглэлийн дасан зохицох (LoRA) нарийн тохируулсан загваруудын хямд үйлчилгээг санал болгож байна. Энэ нь хөгжүүлэгчид банк эвдрэлгүйгээр нэг загвар дээр олон төрлийн хэрэглээний тохиолдол эсвэл хувилбаруудыг туршиж үзэх боломжтой гэсэн үг юм.

Энгийн интерфэйсүүд болон API-ууд – Манай интерфэйсүүд болон API-ууд нь энгийн бөгөөд хөгжүүлэгчид өөрсдийн программдаа нэгтгэхэд хялбар байдаг. Манай API нь шилжихэд хялбар болгох үүднээс OpenAI-тэй нийцдэг.

Бэлэн загварууд болон нарийн тохируулсан загварууд - Бид хөгжүүлэгчид ашиглах боломжтой 100 гаруй урьдчилан бэлтгэгдсэн загваруудыг санал болгож байна. Бид хамгийн шилдэг LLM, зураг үүсгэх загвар, шигтгэсэн загвар гэх мэтийг хамардаг. Гэхдээ хөгжүүлэгчид өөрсдийн захиалгат загваруудыг байршуулж, үйлчлэхийг сонгох боломжтой. Мөн бид хөгжүүлэгчдэд эдгээр захиалгат загваруудыг өөрсдийн өмчлөлийн өгөгдөлд тохируулахад туслах өөрөө өөртөө үйлчлэх нарийн тохируулах үйлчилгээг санал болгодог.

Олон нийтийн хамтын ажиллагаа: Бид олон нийтийн хамтын ажиллагааны нээлттэй эхийн ёс зүйд итгэдэг. Манай платформ нь хөгжүүлэгчид өөрсдийн нарийн тохируулсан загваруудаа хуваалцаж, өсөн нэмэгдэж буй AI хөрөнгө, мэдлэгийн банкинд хувь нэмрээ оруулахыг дэмждэг (гэхдээ шаардлагагүй). Бидний хамтын мэдлэгийг нэмэгдүүлэх нь хүн бүрт ашигтай байдаг.

Загварын параллелизм ба өгөгдлийн параллелизмын хооронд санал болгож буй эрлийз хандлагын талаар ярилцаж болох уу?

Машин сургалтын загваруудыг зэрэгцүүлэх нь загварын сургалтын үр ашиг, хурдыг сайжруулж, нэг GPU боловсруулах боломжгүй том загваруудыг боловсруулахад хөгжүүлэгчдэд тусалдаг.

Загварын параллелизм нь загварыг олон хэсэгт хувааж, хэсэг бүрийг тусдаа процессор дээр сургах явдал юм. Нөгөөтэйгүүр, өгөгдлийн параллелизм нь өгөгдлийн багцыг дэд олонлогт хувааж, тус тусад нь процессоруудад нэгэн зэрэг дэд багц тус бүр дээр загварыг сургадаг. Гибрид арга нь эдгээр хоёр аргыг хослуулсан байдаг. Загваруудыг тусдаа хэсгүүдэд хуваадаг бөгөөд тэдгээр нь тус бүрдээ өөр өөр дэд өгөгдлүүд дээр сургагдсан бөгөөд үр ашиг, өргөтгөх чадвар, уян хатан байдлыг сайжруулдаг.

Fireworks AI-г 20,000 гаруй хөгжүүлэгчид ашигладаг бөгөөд одоогоор өдөр бүр 60 тэрбум гаруй жетоноор үйлчилж байна. Та үйл ажиллагаагаа энэ түвшинд хүргэхэд ямар бэрхшээл тулгарсан бэ, тэдгээрийг хэрхэн даван туулсан бэ?

Би үнэнийг хэлье, бид 2022 онд Fireworks AI-ийг үүсгэн байгуулснаас хойш гатлах олон өндөр уулс байсан.

Үйлчлүүлэгчид маань хэрэглэгчид, худалдан авагчид эсвэл бусад хөгжүүлэгчдийн аль алинд нь - хурдан шийдэл хэрэгтэй бүх үзэгчдэд зориулсан программуудыг бүтээж байгаа тул хоцролт багатай дэмжлэг хайж бидэн дээр анх ирсэн. Дараа нь манай үйлчлүүлэгчдийн хэрэглээний программууд хурдацтай хөгжиж эхлэхэд тэд энэ масштабтай холбоотой ердийн зардлыг төлж чадахгүй гэдгээ ойлгосон. Дараа нь тэд биднээс өмчлөлийн нийт өртгийг (TCO) бууруулахад туслахыг хүссэн бөгөөд бид үүнийг хийсэн. Дараа нь манай үйлчлүүлэгчид OpenAI-аас OSS загвар руу шилжихийг хүссэн бөгөөд тэд биднээс OpenAI-ээс илүү чанартай эсвэл бүр илүү чанартай үйлчилгээ үзүүлэхийг хүссэн. Бид ч үүнийг бий болгосон.

Манай бүтээгдэхүүний хувьслын алхам бүр нь шийдвэрлэхэд хэцүү асуудал байсан ч энэ нь манай үйлчлүүлэгчдийн хэрэгцээ шаардлагад нийцсэн Fireworks-ийг өнөөгийн байдал руу чиглүүлж байсан юм: бага TCO-той аянгын хурдан дүгнэлт гаргах хөдөлгүүр. Нэмж дурдахад бид өндөр чанартай, бэлэн болсон загваруудаас сонгох эсвэл хөгжүүлэгчид өөрсдөө бий болгох нарийн тохируулгын үйлчилгээг үзүүлдэг.

Хиймэл оюун ухаан, машин сургалтын хурдацтай дэвшлийн хувьд ёс зүйн асуудал урьд өмнөхөөсөө илүү чухал болж байна. Fireworks AI нь хиймэл оюун ухааныг хэвийх, хувийн нууцлал, ёс зүйн хэрэглээтэй холбоотой асуудлыг хэрхэн шийдвэрлэх вэ?

Надад ChatGPT гэх мэт genAI программыг байнга ашигладаг өсвөр насны хоёр охин бий. Ээж хүний ​​хувьд би тэднийг төөрөгдүүлсэн эсвэл зохисгүй контент олж байгаад санаа зовдог, учир нь энэ салбар агуулгын аюулгүй байдлын нэн чухал асуудлыг дөнгөж шийдэж эхэлж байна. Мета нь Purple Llama төслөөр маш их зүйлийг хийж байгаа бөгөөд Stability AI-ийн шинэ SD3 горимууд нь гайхалтай юм. Хоёр компани хоёулаа олон давхар шүүлтүүр бүхий шинэ Llama3 болон SD3 загварууддаа аюулгүй байдлыг хангахын тулд шаргуу ажиллаж байна. Оролт-гаралтын хамгаалалтын загвар болох Llama Guard нь манай платформ дээр сайн ашиглагдаж байгаа боловч түүнийг нэвтрүүлэх нь бусад LLM-тэй эн зэрэгцээгүй байна. Агуулгын аюулгүй байдал, хиймэл оюун ухааны ёс зүйг тэргүүн эгнээнд гаргахын тулд энэ салбар бүхэлдээ урт замыг туулах ёстой.

Fireworks-д бид хувийн нууцлал, аюулгүй байдлын талаар маш их анхаардаг. Бид HIPAA болон SOC2 стандартын дагуу ажилладаг бөгөөд аюулгүй VPC болон VPN холболтыг санал болгодог. Компаниуд өөрсдийн хувийн өгөгдөл, загвараараа Fireworks-т итгэж бизнесийн шуудуугаа босгодог.

AI хэрхэн хөгжих талаар та ямар төсөөлөлтэй байна вэ?

AlphaGo өөрөө шатар тоглож сурах явцдаа бие даасан байдлаа харуулсан шиг бид genAI программууд улам бүр бие даасан болохыг харах болно гэж би бодож байна. Аппликешн нь хүсэлтийг зөв агент эсвэл API руу автоматаар чиглүүлж, боловсруулж, зөв ​​гаралтыг авах хүртэл залруулах болно. Хянагчаар бусдаас нэг функц дууддаг загвар санал асуулга явуулахын оронд асуудлыг шийдвэрлэхийн тулд илүү бие даан зохион байгуулалттай, бие даан зохицуулсан агентууд хамтран ажиллахыг бид харах болно.

Fireworks-ийн аянга шиг хурдан дүгнэлт, функцийг дуудах загварууд, нарийн тааруулах үйлчилгээ нь энэ бодит байдалд хүрэх замыг зассан. Одоо үүнийг хэрэгжүүлэх нь шинэлэг хөгжүүлэгчдээс хамаарна.

Сайхан ярилцлага өгсөнд баярлалаа, илүү ихийг мэдэхийг хүссэн уншигчид маань зочлоорой Салют AI.