Лин Цяо, главен изпълнителен директор и съосновател на Fireworks AI – Серия интервюта

Lin Qiao, бивш ръководител на PyTorch на Meta и е съосновател и главен изпълнителен директор на Fireworks AI. Фойерверки AI е производствена AI платформа, създадена за разработчици, Fireworks си партнира с водещите в света изследователи на генеративния AI, за да обслужва най-добрите модели при най-бързи скорости. Фойерверки AI наскоро повдигна a $25 милиона Серия А.

Какво те привлече първоначално в компютърните науки?

Баща ми беше много старши машинен инженер в корабостроителница, където строеше товарни кораби от нулата. От малък се научих да разчитам точните ъгли и размери на чертежите на кораби и това ми хареса.

Бях много запален по STEM от средното училище нататък – всичко по математика, физика и химия, което поглъщах. Една от задачите ми в гимназията беше да науча програмиране на BASIC и кодирах игра за змия, която яде опашката си. След това знаех, че компютърните науки са в бъдещето ми.

Докато сте в Meta, вие ръководихте 300+ инженери от световна класа в AI рамки и платформи, където изградихте и внедрихте Caffe2, а по-късно и PyTorch. Какви бяха някои от вашите ключови изводи от това преживяване?

Големи технологични компании като Meta винаги са пет или повече години пред кривата. Когато се присъединих към Meta през 2015 г., бяхме в началото на нашето пътуване с изкуствен интелект – преминавайки от процесори към графични процесори. Трябваше да проектираме AI инфраструктура от самото начало. Модели като Caffe2 бяха новаторски, когато бяха създадени, но AI се разви толкова бързо, че бързо остаряха. Разработихме PyTorch и цялата система около него като решение.

PyTorch е мястото, където научих за най-големите препятствия, пред които са изправени разработчиците в надпреварата за изграждане на AI. Първото предизвикателство е намирането на стабилна и надеждна моделна архитектура, която е с ниска латентност и гъвкава, така че моделите да могат да се мащабират. Второто предизвикателство е общата цена на притежание, така че компаниите да не фалират, опитвайки се да развиват своите модели.

Времето ми в Meta ми показа колко е важно да поддържам модели и рамки като PyTorch с отворен код. Насърчава иновациите. Нямаше да пораснем толкова, колкото имахме в PyTorch, без възможности с отворен код за итерация. Освен това е невъзможно да сте в крак с всички най-нови изследвания без сътрудничество.

Можете ли да обсъдите какво ви накара да стартирате Fireworks AI?

Аз съм в технологичната индустрия повече от 20 години и съм виждал вълна след вълна от промени на ниво индустрия – от облака към мобилните приложения. Но тази промяна на AI е пълно тектонично пренареждане. Видях много компании, които се борят с тази промяна. Всички искаха да се движат бързо и да поставят ИИ на първо място, но им липсваше инфраструктурата, ресурсите и таланта, за да се случи това. Колкото повече разговарях с тези компании, толкова повече осъзнавах, че мога да разреша тази празнина на пазара.

Пуснах Fireworks AI, за да разреша този проблем и да послужа като продължение на невероятната работа, която постигнахме в PyTorch. Дори вдъхнови името ни! PyTorch е факлата, която държи огъня – но ние искаме този огън да се разпространи навсякъде. Следователно: Фойерверки.

Винаги съм бил страстен за демократизирането на технологията и за това да я направя достъпна и лесна за разработчиците да правят иновации, независимо от техните ресурси. Ето защо имаме толкова удобен за потребителя интерфейс и силни системи за поддръжка, за да дадем възможност на строителите да вдъхнат живот на своите визии.

Бихте ли обсъдили какво е AI, ориентиран към разработчиците и защо това е толкова важно?

Просто е: „ориентирано към разработчиците“ означава приоритизиране на нуждите на разработчиците на AI. Например: създаване на инструменти, общности и процеси, които правят разработчиците по-ефективни и автономни.

Ориентираните към разработчиците AI платформи като Fireworks трябва да се интегрират в съществуващи работни потоци и технически стекове. Те трябва да улеснят разработчиците да експериментират, да правят грешки и да подобряват работата си. Те трябва да насърчават обратната връзка, защото самите разработчици разбират какво им е необходимо, за да бъдат успешни. И накрая, това е нещо повече от това да бъдеш платформа. Става въпрос за общност – такава, в която сътрудничещите разработчици могат да прокарат границите на това, което е възможно с AI.

Платформата GenAI, която разработихте, е значителен напредък за разработчиците, работещи с големи езикови модели (LLM). Можете ли да разкажете по-подробно за уникалните характеристики и предимства на вашата платформа, особено в сравнение със съществуващите решения?

Целият ни подход като платформа за производство на AI е уникален, но някои от най-добрите ни характеристики са:

Ефективно заключение – Създадохме Fireworks AI за ефективност и бързина. Разработчиците, използващи нашата платформа, могат да изпълняват своите LLM приложения при възможно най-ниската латентност и цена. Ние постигаме това с най-новите техники за оптимизиране на модели и услуги, включително бързо кеширане, адаптивно шардинг, квантуване, непрекъснато пакетиране, FireAttention и др.

Достъпна поддръжка за модели, настроени с LoRA – Ние предлагаме достъпна услуга за фино настроени модели за адаптация от нисък ранг (LoRA) чрез мултинаемане на базови модели. Това означава, че разработчиците могат да експериментират с много различни случаи на употреба или вариации на един и същ модел, без да развалят банката.

Опростени интерфейси и API – Нашите интерфейси и API са ясни и лесни за разработчиците за интегриране в техните приложения. Нашите API също са съвместими с OpenAI за лесна миграция.

Готови модели и фино настроени модели – Ние предоставяме повече от 100 предварително обучени модела, които разработчиците могат да използват готови. Ние покриваме най-добрите LLMs, модели за генериране на изображения, модели за вграждане и т.н. Но разработчиците могат също да изберат да хостват и обслужват свои собствени персонализирани модели. Ние също така предлагаме услуги за фина настройка на самообслужване, за да помогнем на разработчиците да приспособят тези потребителски модели с техните собствени данни.

Сътрудничество на общността: Ние вярваме в духа на сътрудничеството на общността с отворен код. Нашата платформа насърчава (но не изисква) разработчиците да споделят своите фино настроени модели и да допринасят за нарастваща банка от AI активи и знания. Всички печелят от увеличаването на нашия колективен опит.

Бихте ли обсъдили хибридния подход, който се предлага между паралелизма на модела и паралелизма на данните?

Паралелизиране на модели за машинно обучение подобрява ефективността и скоростта на обучението на модели и помага на разработчиците да се справят с по-големи модели, които един GPU не може да обработи.

Паралелизмът на модела включва разделяне на модел на множество части и обучение на всяка част на отделни процесори. От друга страна, паралелизмът на данните разделя наборите от данни на подмножества и обучава модел на всяко подмножество едновременно в отделни процесори. Хибридният подход съчетава тези два метода. Моделите са разделени на отделни части, всяка от които е обучена на различни подгрупи от данни, подобрявайки ефективността, скалируемостта и гъвкавостта.

Fireworks AI се използва от над 20,000 60 разработчици и в момента обслужва над XNUMX милиарда токена дневно. С какви предизвикателства се сблъскахте при мащабирането на операциите си до това ниво и как ги преодолехте?

Ще бъда честен, имаше много високи планини за преминаване, откакто основахме Fireworks AI през 2022 г.

Нашите клиенти първо дойдоха при нас, търсейки поддръжка с много ниска латентност, защото изграждат приложения или за потребители, и за професионалисти, или за други разработчици – всички аудитории, които се нуждаят от бързи решения. След това, когато приложенията на нашите клиенти започнаха да се мащабират бързо, те осъзнаха, че не могат да си позволят типичните разходи, свързани с този мащаб. След това ни помолиха да помогнем с намаляването на общата цена на притежание (TCO), което направихме. След това нашите клиенти искаха да мигрират от OpenAI към OSS модели и те ни помолиха да предоставим равностойно или дори по-добро качество от OpenAI. Направихме и това да се случи.

Всяка стъпка в еволюцията на нашия продукт беше предизвикателен проблем за справяне, но това означаваше, че нуждите на нашите клиенти наистина оформиха Fireworks в това, което е днес: светкавично бърза машина за изводи с ниска TCO. Плюс това, ние предоставяме както асортимент от висококачествени, готови модели, от които да избирате, така и услуги за фина настройка, за да могат разработчиците да създадат свои собствени.

С бързия напредък в ИИ и машинното обучение етичните съображения са по-важни от всякога. Как Fireworks AI адресира опасенията, свързани с пристрастията, поверителността и етичното използване на AI?

Имам две дъщери тийнейджърки, които често използват genAI приложения като ChatGPT. Като майка се притеснявам, че ще намерят подвеждащо или неподходящо съдържание, защото индустрията тепърва започва да се справя с критичния проблем с безопасността на съдържанието. Meta прави много с проекта Purple Llama и новите SD3 режими на Stability AI са страхотни. И двете компании работят усилено, за да осигурят безопасност на своите нови модели Llama3 и SD3 с множество слоеве филтри. Моделът за защита на входно-изходните данни, Llama Guard, се използва доста на нашата платформа, но приемането му все още не е наравно с други LLMs. Индустрията като цяло все още има да извърви дълъг път, за да изведе безопасността на съдържанието и етиката на ИИ на преден план.

Ние от Fireworks държим много на поверителността и сигурността. Ние сме съвместими с HIPAA и SOC2 и предлагаме сигурна VPC и VPN свързаност. Компаниите се доверяват на Fireworks с техните собствени данни и модели, за да изградят своя бизнес ров.

Каква е вашата визия за това как ще се развива AI?

Точно както AlphaGo демонстрира автономност, докато се учи да играе шах сам, мисля, че ще видим как приложенията на genAI стават все по-автономни. Приложенията автоматично ще насочват и насочват заявките към правилния агент или API за обработка и коригиране на курса, докато извлекат правилния резултат. И вместо един модел за извикване на функция, избиращ от други като контролер, ще видим повече самоорганизирани, самокоординирани агенти, работещи в унисон за решаване на проблеми.

Светкавичните изводи на Fireworks, моделите за извикване на функции и услугата за фина настройка проправиха пътя за тази реалност. Сега зависи от иновативните разработчици да го направят.

Благодаря ви за страхотното интервю, читателите, които искат да научат повече, трябва да го посетят Фойерверки AI.