Линь Цяо, генеральный директор и сооснователь Fireworks AI – Серия интервью

Линь Цяо ранее был руководителем Meta’s PyTorch и является сооснователем и генеральным директором Fireworks AI. Fireworks AI – это платформа для разработки искусственного интеллекта, предназначенная для разработчиков, Fireworks сотрудничает с ведущими исследователями в области генеративного ИИ, чтобы предоставлять лучшие модели с самой высокой скоростью. Fireworks AI недавно привлекла $25M Series A.

Что изначально привлекло вас к информатике?

Мой отец был очень опытным механическим инженером на верфи, где он строил грузовые корабли с нуля. С раннего возраста я научился читать точные углы и измерения чертежей кораблей, и мне это очень нравилось.

Я был очень заинтересован в STEM с середины школы – все, что связано с математикой, физикой и химией, я поглощал. Одним из моих школьных заданий было изучить программирование на BASIC, и я написал игру о змее, которая ест свой хвост. После этого я знал, что информатика – это мое будущее.

Когда вы работали в Meta, вы руководили более чем 300 лучшими инженерами в области ИИ и платформ. Какие были ваши основные выводы из этого опыта?

Большие технологические компании, такие как Meta, всегда находятся на 5-7 лет впереди кривой. Когда я присоединился к Meta в 2015 году, мы были в начале нашего пути в ИИ – мы переходили от ЦП к ГП. Нам пришлось проектировать инфраструктуру ИИ с нуля. Модели, такие как Caffe2, были революционными, когда они были созданы, но ИИ развивался так быстро, что они быстро стали устаревшими. Мы разработали PyTorch и всю систему вокруг него как решение.

PyTorch – это где я узнал о самых больших препятствиях, с которыми сталкиваются разработчики при построении ИИ. Первым препятствием является поиск стабильной и надежной архитектуры модели, которая имеет низкую задержку и гибкость, чтобы модели могли масштабироваться. Вторым препятствием является общая стоимость владения, чтобы компании не обанкротились, пытаясь вырастить свои модели.

Мое время в Meta показало мне, насколько важно сохранять модели и платформы, такие как PyTorch, открытыми. Это поощряет инновации. Мы не смогли бы вырасти так, как мы выросли в PyTorch, без возможностей для итерации в открытом доступе. Кроме того, невозможно оставаться в курсе всех последних исследований без сотрудничества.

Можете ли вы рассказать о том, что привело вас к запуску Fireworks AI?

Я работаю в технологической отрасли более 20 лет и видел волна за волной отраслевых сдвигов – от облака до мобильных приложений. Но этот сдвиг в ИИ – это полное тектоническое смещение. Я видел, как многие компании борются с этим изменением. Все хотели двигаться быстро и ставить ИИ на первое место, но у них не было инфраструктуры, ресурсов и талантов, чтобы сделать это. Чем больше я говорил с этими компаниями, тем больше я понимал, что я могу решить эту проблему на рынке.

Я запустил Fireworks AI, чтобы решить эту проблему и служить продолжением невероятной работы, которую мы выполнили в PyTorch. Это даже вдохновило наше название! PyTorch – это факел, держащий огонь – но мы хотим, чтобы этот огонь распространился повсюду. Следовательно: Fireworks.

Я всегда был увлечен демократизацией технологий и делал их доступными и простыми для разработчиков, чтобы они могли инновировать, независимо от своих ресурсов. Поэтому у нас есть такой удобный интерфейс и сильные системы поддержки, чтобы дать возможность строителям воплотить свои видения в жизнь.

Можете ли вы рассказать о том, что такое ориентированный на разработчика ИИ?

Это просто: “ориентированный на разработчика” означает приоритетность потребностей разработчиков ИИ. Например: создание инструментов, сообществ и процессов, которые делают разработчиков более эффективными и автономными.

Платформы ИИ, ориентированные на разработчика, такие как Fireworks, должны интегрироваться в существующие рабочие процессы и технологические стеки. Они должны делать простым для разработчиков экспериментировать, совершать ошибки и улучшать свою работу. Они должны поощрять обратную связь, потому что это сами разработчики, которые понимают, что им нужно, чтобы быть успешными. Наконец, это не только платформа, но и сообщество – где сотрудничающие разработчики могут расширить границы того, что возможно с ИИ.

Платформа GenAI, которую вы разработали, является значительным достижением для разработчиков, работающих с большими языковыми моделями (LLM). Можете ли вы рассказать о уникальных функциях и преимуществах вашей платформы, особенно по сравнению с существующими решениями?

Наш подход в качестве платформы для разработки ИИ уникален, но некоторые из наших лучших функций – это:

Эффективное вывод – Мы разработали Fireworks AI для эффективности и скорости. Разработчики, использующие нашу платформу, могут запускать свои приложения LLM с самой низкой возможной задержкой и стоимостью. Мы достигаем этого с помощью последних методов оптимизации модели и сервиса, включая кэширование запросов, адаптивное шардирование, квантование, непрерывную пакетную обработку, FireAttention и многое другое.

Доступная поддержка моделей LoRA – Мы предлагаем доступную услугу по низкоранговой адаптации (LoRA) моделей с помощью мультиаренды на базовых моделях. Это означает, что разработчики могут экспериментировать с множеством разных случаев использования или вариаций одной и той же модели без разорения.

Простые интерфейсы и API – Наши интерфейсы и API просты и легко интегрируются в приложения разработчиков. Наши API также совместимы с OpenAI для простоты миграции.

Готовые модели и модели с тонкой настройкой – Мы предоставляем более 100 предварительно обученных моделей, которые разработчики могут использовать сразу. Мы покрываем лучшие LLM, модели генерации изображений, модели вложений и т. д. Но разработчики также могут выбрать размещение и обслуживание своих собственных пользовательских моделей. Мы также предлагаем услуги по самообслуживанию для тонкой настройки, чтобы помочь разработчикам адаптировать эти пользовательские модели с помощью своих собственных данных.

Сотрудничество в сообществе – Мы верим в этику открытого сотрудничества в сообществе. Наша платформа поощряет (но не требует) разработчиков делиться своими тонко настроенными моделями и вносить свой вклад в растущий банк активов и знаний ИИ. Все выигрывают от роста нашего коллективного опыта.

Можете ли вы рассказать о гибридном подходе, который предлагается между параллелизмом моделей и параллелизмом данных?

Параллелизация моделей машинного обучения улучшает эффективность и скорость обучения моделей и помогает разработчикам справляться с более крупными моделями, которые не могут быть обработаны одним ГП. Параллелизм моделей включает в себя разделение модели на несколько частей и обучение каждой части на отдельных процессорах. С другой стороны, параллелизм данных включает в себя разделение наборов данных на подмножества и обучение модели на каждом подмножестве одновременно на отдельных процессорах. Гибридный подход объединяет эти два метода. Модели делятся на отдельные части, которые обучаются на разных подмножествах данных, что улучшает эффективность, масштабируемость и гибкость.

Fireworks AI используется более чем 20 000 разработчиками и в настоящее время обслуживает более 60 миллиардов токенов в день. Какие проблемы вы столкнулись при масштабировании операций до этого уровня, и как вы их преодолели?

Я буду честен, было много высоких гор, которые нужно было преодолеть с момента основания Fireworks AI в 2022 году.

Наши клиенты сначала обратились к нам, чтобы получить очень низкую задержку поддержки, потому что они строят приложения для потребителей, профессионалов или других разработчиков – все аудитории, которым нужны быстрые решения. Затем, когда приложения наших клиентов начали быстро расти, они поняли, что не могут позволить себе типичные затраты, связанные с этим масштабом. Затем они попросили нас помочь снизить общую стоимость владения (TCO), что мы и сделали. Затем наши клиенты хотели перейти от OpenAI к открытым моделям и попросили нас предоставить качество, сравнимое или даже лучше, чем у OpenAI. Мы сделали это тоже.

Каждый шаг в эволюции нашего продукта был сложной проблемой, но это означало, что потребности наших клиентов действительно сформировали Fireworks в том, что она является сегодня: молниеносно-быстрый двигатель вывода с низкой TCO. Кроме того, мы предоставляем как набор высококачественных, готовых моделей для выбора, так и услуги по тонкой настройке для разработчиков, чтобы они могли создавать свои собственные.

С учетом быстрого развития ИИ и машинного обучения этические соображения более важны, чем когда-либо. Как Fireworks AI решает проблемы, связанные с предвзятостью, конфиденциальностью и этическим использованием ИИ?

У меня есть две дочери-подростка, которые часто используют приложения генеративного ИИ, такие как ChatGPT. Как мама, я беспокоюсь о том, что они могут найти вводящую в заблуждение или неуместную информацию, потому что отрасль только начинает решать критическую проблему безопасности контента. Meta делает многое с проектом Purple Llama, и новые режимы SD3 от Stability AI отличны. Обе компании работают усердно, чтобы привнести безопасность в свои новые модели Llama3 и SD3 с несколькими слоями фильтров. Модель Input-Output Guard, Llama Guard, получает некоторое использование на нашей платформе, но ее принятие еще не соответствует другим LLM. Отрасль в целом еще имеет долгий путь, чтобы привнести безопасность контента и этику ИИ на передний план.

Мы в Fireworks заботимся о конфиденциальности и безопасности. Мы соответствуем HIPAA и SOC2, и предлагаем безопасное подключение VPC и VPN. Компании доверяют Fireworks своей конфиденциальной информацией и моделями, чтобы построить свой бизнес-мост.

Каково ваше видение того, как ИИ будет развиваться?

Как и AlphaGo продемонстрировала автономность, учась играть в шахматы самостоятельно, я думаю, мы увидим приложения генеративного ИИ, которые становятся все более автономными. Приложения будут автоматически направлять и направлять запросы к правильному агенту или API для обработки и корректировать курс, пока они не получат правильный вывод. И вместо одного моделирующего контроллера, опрашивающего другие, мы увидим более самоорганизованные, самокоординируемые агенты, работающие вместе, чтобы решить проблемы.

Молниеносно-быстрый вывод Fireworks, моделирующие вызовы функций и услуги тонкой настройки проложили путь для этой реальности. Теперь все зависит от инновационных разработчиков, чтобы сделать это реальностью.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить Fireworks AI.