Лин Киао, извршни директор и суоснивач Фиреворкс АИ – Интервиев Сериес

Лин Киао, раније је био шеф Мета'с ПиТорцх-а и суоснивач је и извршни директор Фиреворкс АИ. Фиреворкс АИ је производна АИ платформа која је направљена за програмере, Фиреворкс је партнер са водећим светским истраживачима генеративне вештачке интелигенције како би служио најбољим моделима, при највећим брзинама. Ватромет АИ недавно је покренуо а Серија А од 25 милиона долара.

Шта вас је на почетку привукло информатици?

Мој тата је био веома виши машински инжењер у бродоградилишту, где је градио теретне бродове од нуле. Од малих ногу сам научио да читам прецизне углове и мере нацрта бродова и то ми се допало.

Веома сам се бавио СТЕМ од средње школе па надаље – све што сам прождирао математику, физику и хемију. Један од мојих средњошколских задатака био је да научим БАСИЦ програмирање, а кодирао сам игру о змији која једе реп. После тога сам знао да је информатика у мојој будућности.

Док сте радили у Мета-и, водили сте 300+ инжењера светске класе у оквиру АИ оквира и платформи где сте изградили и применили Цаффе2, а касније и ПиТорцх. Који су били неки од ваших кључних закључака из овог искуства?

Велике технолошке компаније као што је Мета су увек пет или више година испред криве. Када сам се придружио Мета-и 2015. године, били смо на почетку нашег АИ путовања – прелазећи са ЦПУ-а на ГПУ-ове. Морали смо да дизајнирамо АИ инфраструктуру из темеља. Модели као што је Цаффе2 били су револуционарни када су створени, али АИ је еволуирао тако брзо да су брзо застарели. Развили смо ПиТорцх и цео систем око њега као решење.

ПиТорцх је место где сам сазнао о највећим препрекама са којима се програмери суочавају у трци за прављење вештачке интелигенције. Први изазов је проналажење стабилне и поуздане архитектуре модела која има малу латенцију и флексибилност тако да се модели могу скалирати. Други изазов је укупна цена власништва, тако да компаније не банкротирају покушавајући да развијају своје моделе.

Моје време у Мета-и ми је показало колико је важно држати моделе и оквире као што је ПиТорцх отвореним. Подстиче иновације. Не бисмо порасли онолико колико смо имали у ПиТорцх-у без могућности отвореног кода за итерацију. Осим тога, немогуће је остати у току са свим најновијим истраживањима без сарадње.

Можете ли да разговарате о томе шта вас је довело до покретања Фиреворкс АИ?

У технолошкој индустрији сам више од 20 година и видео сам талас за таласом промена на нивоу индустрије – од облака до мобилних апликација. Али ова промена вештачке интелигенције је потпуно тектонско престројавање. Видео сам многе компаније које се боре са овом променом. Сви су желели да се крећу брзо и да АИ ставе на прво место, али им је недостајала инфраструктура, ресурси и таленат да то остваре. Што сам више разговарао са овим компанијама, више сам схватао да могу да решим овај јаз на тржишту.

Покренуо сам Фиреворкс АИ да бих решио овај проблем и послужио као продужетак невероватног посла који смо постигли у ПиТорцх-у. Чак је инспирисало и наше име! ПиТорцх је бакља која држи ватру – али желимо да се та ватра шири свуда. Отуда: Ватромет.

Одувек сам био страствен у демократизацији технологије и омогућавању приступачности и једноставности за програмере за иновације без обзира на њихове ресурсе. Зато имамо интерфејс прилагођен кориснику и јаке системе подршке да оснажимо градитеље да оживе своје визије.

Можете ли да продискутујете шта је АИ усмерена на програмере и зашто је то толико важно?

Једноставно је: „оријентисан на програмере“ значи давање приоритета потребама програмера вештачке интелигенције. На пример: креирање алата, заједница и процеса који програмере чине ефикаснијим и аутономнијим.

Платформе вештачке интелигенције усмерене на програмере, као што је Фиреворкс, требало би да се интегришу у постојеће токове посла и технолошке стекове. Требало би да олакшају програмерима да експериментишу, праве грешке и побољшавају свој рад. Требало би да подстичу повратне информације, јер сами програмери разумеју шта им је потребно да би били успешни. На крају, ради се о више од тога да будете само платформа. Ради се о заједници – оној у којој програмери који сарађују могу да помере границе онога што је могуће са АИ.

ГенАИ платформа коју сте развили представља значајан напредак за програмере који раде са великим језичким моделима (ЛЛМ). Можете ли детаљније објаснити јединствене карактеристике и предности ваше платформе, посебно у поређењу са постојећим решењима?

Цео наш приступ као платформе за производњу АИ је јединствен, али неке од наших најбољих карактеристика су:

Ефикасно закључивање – конструисали смо Фиреворкс АИ за ефикасност и брзину. Програмери који користе нашу платформу могу покренути своје ЛЛМ апликације уз најмању могућу латенцију и цену. Ово постижемо најновијим техникама оптимизације модела и услуга, укључујући брзо кеширање, прилагодљиво дијељење, квантизацију, континуирано батцхинг, ФиреАттентион и још много тога.

Приступачна подршка за моделе прилагођене ЛоРА-у – Нудимо приступачну услугу фино подешених модела ниског ранга (ЛоРА) путем мулти-тананци на основним моделима. То значи да програмери могу да експериментишу са много различитих случајева употребе или варијација на истом моделу, а да притом не наруше.

Једноставни интерфејси и АПИ-ји – Наши интерфејси и АПИ-ји су једноставни и лаки за програмере за интеграцију у своје апликације. Наши АПИ-ји су такође компатибилни са ОпенАИ-ом за лакшу миграцију.

Стандардни модели и фино подешени модели – Пружамо више од 100 унапред обучених модела које програмери могу да користе „ван-из кутије“. Покривамо најбоље ЛЛМ-ове, моделе за генерисање слика, моделе за уграђивање итд. Али програмери такође могу да изаберу да хостују и опслужују сопствене прилагођене моделе. Такође нудимо самоуслужне услуге финог подешавања како бисмо помогли програмерима да прилагоде ове прилагођене моделе својим власничким подацима.

Сарадња у заједници: Верујемо у опен-соурце етос сарадње у заједници. Наша платформа подстиче (али не захтева) програмере да поделе своје фино подешене моделе и допринесу растућој банци АИ средстава и знања. Сви имају користи од повећања наше колективне стручности.

Можете ли да разговарате о хибридном приступу који се нуди између паралелизма модела и паралелизма података?

Паралелизовање модела машинског учења побољшава ефикасност и брзину обуке модела и помаже програмерима да рукују већим моделима које један ГПУ не може да обради.

Паралелизам модела укључује поделу модела на више делова и обуку сваког дела на одвојеним процесорима. С друге стране, паралелизам података дели скупове података на подскупове и обучава модел на сваком подскупу у исто време у различитим процесорима. Хибридни приступ комбинује ове две методе. Модели су подељени у засебне делове, од којих је сваки обучен на различитим подскуповима података, побољшавајући ефикасност, скалабилност и флексибилност.

Фиреворкс АИ користи преко 20,000 програмера и тренутно опслужује преко 60 милијарди токена дневно. Са којим изазовима сте се суочили у скалирању својих операција на овај ниво и како сте их превазишли?

Бићу искрен, било је много високих планина које треба прећи откако смо основали Фиреворкс АИ 2022.

Наши клијенти су нам прво дошли тражећи подршку са веома малим кашњењем јер праве апликације за потрошаче, кориснике или друге програмере—све публике којима су потребна брза решења. Затим, када су апликације наших купаца почеле да се брзо повећавају, схватили су да не могу приуштити типичне трошкове повезане са том скалом. Затим су нас замолили да помогнемо у смањењу укупних трошкова власништва (ТЦО), што смо и урадили. Затим су наши купци желели да пређу са ОпенАИ на ОСС моделе и тражили су од нас да обезбедимо једнак или чак бољи квалитет од ОпенАИ. И ми смо то остварили.

Сваки корак у еволуцији нашег производа био је изазован проблем за решавање, али је то значило да су потребе наших купаца заиста обликовале Фиреворкс у оно што је данас: муњевито брз механизам за закључивање са ниским ТЦО. Поред тога, нудимо и асортиман висококвалитетних, готових модела које можете изабрати, или услуге финог подешавања за програмере како би креирали сопствене.

Уз брз напредак у вештачкој интелигенцији и машинском учењу, етичка разматрања су важнија него икад. Како Фиреворкс АИ решава проблеме везане за пристрасност, приватност и етичку употребу вештачке интелигенције?

Имам две ћерке тинејџерке које често користе генАИ апликације као што је ЦхатГПТ. Као мама, бринем да ли ће пронаћи обмањујући или неприкладан садржај, јер индустрија тек почиње да се бави критичним проблемом безбедности садржаја. Мета много ради са пројектом Пурпле Ллама, а нови СД3 режими Стабилити АИ су одлични. Обе компаније напорно раде на обезбеђивању својих нових Ллама3 и СД3 модела са више слојева филтера. Улазно-излазни заштитни модел, Ллама Гуард, има добру употребу на нашој платформи, али његово усвајање још није у рангу са другим ЛЛМ-овима. Индустрија као целина још увек мора да пређе дуг пут како би безбедност садржаја и етику вештачке интелигенције поставили у први план.

Ми у Фиреворкс-у дубоко бринемо о приватности и безбедности. Усаглашени смо са ХИПАА и СОЦ2 и нудимо сигурну ВПЦ и ВПН везу. Компаније верују Фиреворкс-у са својим власничким подацима и моделима за изградњу свог пословног јарка.

Која је ваша визија како ће АИ еволуирати?

Баш као што је АлпхаГо показао аутономију док је сам учио да игра шах, мислим да ћемо видети да апликације генАИ постају све аутономније. Апликације ће аутоматски усмеравати и усмеравати захтеве правом агенту или АПИ-ју за обраду и исправљање курса док не добију прави излаз. И уместо једног модела за позивање функција које анкетирају други као контролор, видећемо више самоорганизованих, самокоординираних агената који раде унисоно на решавању проблема.

Фиреворкс-ов муњевито закључивање, модели позивања функција и услуга финог подешавања утрли су пут овој стварности. Сада је на иновативним програмерима да то остваре.

Хвала вам на одличном интервјуу, читаоци који желе да сазнају више треба да посете Фиреворкс АИ.