Линь Цяо, генеральный директор и соучредитель Fireworks AI – серия интервью

Линь Цяо ранее возглавлял PyTorch компании Meta, а также является соучредителем и генеральным директором Fireworks AI. Фейерверк ИИ — это производственная платформа искусственного интеллекта, созданная для разработчиков. Fireworks сотрудничает с ведущими мировыми исследователями генеративного искусственного интеллекта, чтобы обслуживать лучшие модели на самых высоких скоростях. AI Fireworks недавно поднял вопрос $ 25 млн, серия A.

Что изначально привлекло вас в информатике?

Мой отец был очень старшим инженером-механиком на верфи, где он с нуля строил грузовые корабли. С юных лет я научился читать точные углы и размеры чертежей кораблей, и мне это нравилось.

Я очень увлекался STEM, начиная со средней школы – всю математику, физику и химию я поглощал. Одним из моих школьных заданий было изучение программирования на языке BASIC, и я написал игру о змее, пожирающей свой хвост. После этого я понял, что в моем будущем — информатика.

Работая в Meta, вы руководили более чем 300 инженерами мирового класса в области ИИ-фреймворков и платформ, где вы создали и развернули Caffe2, а затем и PyTorch. Какие основные выводы вы сделали из этого опыта?

Крупные технологические компании, такие как Meta, всегда опережают события на пять или более лет. Когда я присоединился к Meta в 2015 году, мы были в начале пути развития искусственного интеллекта — переходили от процессоров к графическим процессорам. Нам пришлось проектировать инфраструктуру искусственного интеллекта с нуля. Такие модели, как Caffe2, были новаторскими на момент своего создания, но ИИ развивался так быстро, что быстро устарел. Мы разработали PyTorch и всю систему на его основе как решение.

PyTorch — это место, где я узнал о крупнейших препятствиях, с которыми сталкиваются разработчики на пути к созданию ИИ. Первая задача — найти стабильную и надежную архитектуру модели с низкой задержкой и гибкостью, чтобы модели можно было масштабировать. Вторая проблема — это совокупная стоимость владения, чтобы компании не обанкротились, пытаясь развивать свои модели.

Время, проведенное в Meta, показало мне, насколько важно сохранять модели и фреймворки, такие как PyTorch, открытыми. Это поощряет инновации. Мы бы не выросли так сильно, как в PyTorch, без возможностей итерации с открытым исходным кодом. Кроме того, без сотрудничества невозможно быть в курсе всех последних исследований.

Можете ли вы рассказать, что привело вас к запуску Fireworks AI?

Я работаю в технологической отрасли более 20 лет и видел волну за волной изменений на отраслевом уровне — от облачных технологий до мобильных приложений. Но этот сдвиг ИИ представляет собой полную тектоническую перестройку. Я видел множество компаний, которые боролись с этими изменениями. Все хотели действовать быстро и поставить искусственный интеллект на первое место, но им не хватало инфраструктуры, ресурсов и таланта, чтобы добиться этого. Чем больше я разговаривал с этими компаниями, тем больше понимал, что могу устранить этот пробел на рынке.

Я запустил Fireworks AI как для решения этой проблемы, так и для продолжения невероятной работы, которую мы проделали в PyTorch. Это даже послужило вдохновением для нашего названия! PyTorch — это факел, поддерживающий огонь, но мы хотим, чтобы этот огонь распространился повсюду. Отсюда: Фейерверк.

Я всегда был увлечен демократизацией технологий и обеспечением доступности и простоты внедрения инноваций для разработчиков независимо от их ресурсов. Вот почему у нас такой удобный интерфейс и мощные системы поддержки, которые дают строителям возможность воплотить свои идеи в жизнь.

Не могли бы вы обсудить, что такое ИИ, ориентированный на разработчиков, и почему это так важно?

Все просто: «ориентация на разработчиков» означает приоритетность потребностей разработчиков ИИ. Например: создание инструментов, сообществ и процессов, которые делают разработчиков более эффективными и автономными.

Платформы искусственного интеллекта, ориентированные на разработчиков, такие как Fireworks, должны интегрироваться в существующие рабочие процессы и технологические стеки. Они должны облегчить разработчикам возможность экспериментировать, совершать ошибки и улучшать свою работу. Им следует поощрять обратную связь, потому что сами разработчики понимают, что им нужно для успеха. Наконец, это больше, чем просто платформа. Речь идет о сообществе, в котором сотрудничающие разработчики могут раздвинуть границы возможного с помощью ИИ.

Разработанная вами платформа GenAI является значительным достижением для разработчиков, работающих с большими языковыми моделями (LLM). Можете ли вы рассказать об уникальных функциях и преимуществах вашей платформы, особенно по сравнению с существующими решениями?

Весь наш подход в качестве производственной платформы искусственного интеллекта уникален, но некоторые из наших лучших особенностей:

Эффективный вывод. Мы разработали искусственный интеллект Fireworks для эффективности и скорости. Разработчики, использующие нашу платформу, могут запускать свои приложения LLM с минимально возможными задержками и затратами. Мы достигаем этого с помощью новейших методов оптимизации моделей и сервисов, включая быстрое кэширование, адаптируемое сегментирование, квантование, непрерывную пакетную обработку, FireAttention и многое другое.

Доступная поддержка моделей с настройкой LoRA. Мы предлагаем доступную услугу точной настройки моделей низкого ранга (LoRA) посредством многопользовательской аренды на базовых моделях. Это означает, что разработчики могут экспериментировать с множеством различных вариантов использования или вариаций одной и той же модели, не тратя при этом денег.

Простые интерфейсы и API. Наши интерфейсы и API просты и легко интегрируются разработчиками в свои приложения. Наши API также совместимы с OpenAI, что упрощает миграцию.

Готовые модели и модели с точной настройкой. Мы предоставляем более 100 предварительно обученных моделей, которые разработчики могут использовать в готовом виде. Мы рассматриваем лучшие LLM, модели создания изображений, модели внедрения и т. д. Но разработчики также могут размещать и обслуживать свои собственные модели. Мы также предлагаем услуги по самостоятельной тонкой настройке, которые помогут разработчикам адаптировать эти пользовательские модели с использованием собственных данных.

Сотрудничество сообщества: Мы верим в дух сотрудничества сообщества с открытым исходным кодом. Наша платформа поощряет (но не требует) разработчиков делиться своими отточенными моделями и вносить свой вклад в растущий банк активов и знаний в области ИИ. Все выигрывают от роста нашего коллективного опыта.

Не могли бы вы обсудить гибридный подход, который предлагается между параллелизмом моделей и параллелизмом данных?

Распараллеливание моделей машинного обучения повышает эффективность и скорость обучения моделей и помогает разработчикам обрабатывать более крупные модели, которые не может обработать один графический процессор.

Параллелизм моделей предполагает разделение модели на несколько частей и обучение каждой части на отдельных процессорах. С другой стороны, параллелизм данных делит наборы данных на подмножества и обучает модель на каждом подмножестве одновременно на отдельных процессорах. Гибридный подход объединяет эти два метода. Модели разделены на отдельные части, каждая из которых обучается на разных подмножествах данных, что повышает эффективность, масштабируемость и гибкость.

Fireworks AI используется более чем 20,000 60 разработчиками и в настоящее время ежедневно обслуживает более XNUMX миллиардов токенов. С какими проблемами вы столкнулись при масштабировании своей деятельности до этого уровня и как вы их преодолели?

Честно говоря, с тех пор, как мы основали Fireworks AI в 2022 году, нам пришлось преодолеть немало высоких гор.

Наши клиенты впервые обратились к нам в поисках поддержки с очень низкой задержкой, поскольку они создают приложения для потребителей, полупользователей или других разработчиков — всех аудиторий, которым нужны быстрые решения. Затем, когда приложения наших клиентов начали быстро масштабироваться, они поняли, что не могут позволить себе типичные затраты, связанные с этим масштабированием. Затем они попросили нас помочь снизить совокупную стоимость владения (TCO), что мы и сделали. Затем наши клиенты захотели перейти с моделей OpenAI на модели OSS и попросили нас обеспечить качество на уровне OpenAI или даже лучше, чем OpenAI. Мы сделали это тоже возможным.

Каждый шаг в эволюции нашего продукта представлял собой сложную задачу, которую нужно было решить, но это означало, что потребности наших клиентов действительно превратили Fireworks в то, чем он является сегодня: молниеносный механизм вывода с низкой совокупной стоимостью владения. Кроме того, мы предоставляем как ассортимент высококачественных готовых моделей на выбор, так и услуги по тонкой настройке для разработчиков для создания своих собственных.

В условиях быстрого развития искусственного интеллекта и машинного обучения этические соображения становятся более важными, чем когда-либо. Как Fireworks AI решает проблемы, связанные с предвзятостью, конфиденциальностью и этичным использованием ИИ?

У меня две дочери-подростка, которые часто используют приложения genAI, такие как ChatGPT. Как мама, я беспокоюсь о том, что они найдут вводящий в заблуждение или неприемлемый контент, потому что индустрия только начинает решать критическую проблему безопасности контента. Meta много работает над проектом Purple Llama, и новые режимы SD3 Stability AI великолепны. Обе компании прилагают все усилия, чтобы обеспечить безопасность своих новых моделей Llama3 и SD3 с помощью многоуровневых фильтров. Модель защиты ввода-вывода, Llama Guard, широко используется на нашей платформе, но ее внедрение пока не соответствует другим LLM. Отрасли в целом еще предстоит пройти долгий путь, чтобы вывести безопасность контента и этику искусственного интеллекта на первый план.

Мы в Fireworks глубоко заботимся о конфиденциальности и безопасности. Мы совместимы с HIPAA и SOC2 и предлагаем безопасное подключение VPC и VPN. Компании доверяют Fireworks свои собственные данные и модели, чтобы построить ров для своего бизнеса.

Каково ваше видение того, как будет развиваться ИИ?

Точно так же, как AlphaGo продемонстрировала автономность, самостоятельно обучаясь игре в шахматы, я думаю, мы увидим, как приложения genAI становятся все более и более автономными. Приложения будут автоматически маршрутизировать и направлять запросы нужному агенту или API для обработки и корректировать курс, пока не получат правильный результат. И вместо того, чтобы одна функция опрашивала модель у других в качестве контроллера, мы увидим больше самоорганизованных, самокоординируемых агентов, работающих в унисон для решения проблем.

Молниеносный вывод, модели вызова функций и сервис тонкой настройки Fireworks проложили путь к этой реальности. Теперь задача разработчиков-новаторов сделать это возможным.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Фейерверк ИИ.