Lin Qiao, CEO & Co-Founder of Fireworks AI – Інтерв’ю Серія

Lin Qiao, раніше очолював PyTorch у Meta та є співзасновником і генеральним директором Fireworks AI. Fireworks AI – це платформа штучного інтелекту для виробництва, створена для розробників, Fireworks партнерує з провідними дослідниками генеративного штучного інтелекту світу, щоб надавати найкращі моделі при найшвидших швидкостях. Fireworks AI недавно залучив $25M Серія А.

Що спочатку привернуло вашу увагу до комп’ютерних наук?

Мій тато був дуже старшим механічним інженером на судноверфі, де він будував вантажні судна з нуля. З молодого віку я навчився читати точні кути та виміри креслень суден, і мені це сподобалося.

Я дуже цікавився STEM з середньої школи – все, що пов’язано з математикою, фізикою та хімією, я поглинав. Одне з моїх завдань у школі полягало в тому, щоб вивчити програмування на мові BASIC, і я написав гру про змію, яка їсть свій хвіст. Після цього я знав, що комп’ютерні науки будуть у моєму майбутньому.

Під час роботи у Meta ви очолювали 300+ інженерів світового класу в галузі штучного інтелекту та платформ, де ви створили та розгорнули Caffe2, а пізніше PyTorch. Які були деякі з ваших ключових висновків з цього досвіду?

Біг-тех компанії, такі як Meta, завжди на 5 або більше років попереду за рівнем розвитку. Коли я приєднався до Meta у 2015 році, ми були на початку нашої подорожі у сфері штучного інтелекту – переходили від ЦП до ГП. Нам довелося розробити інфраструктуру штучного інтелекту з нуля. Моделі, такі як Caffe2, були революційними, коли вони були створені, але штучний інтелект розвивався так швидко, що вони швидко стали застарілими. Ми розробили PyTorch та всю систему навколо нього як рішення.

PyTorch – це місце, де я дізнався про найбільші перешкоди, з якими стикаються розробники у гонці за створення штучного інтелекту. Перша проблема полягає в тому, щоб знайти стабільну та надійну архітектуру моделі, яка має низьку затримку та гнучкість, щоб моделі могли масштабуватися. Друга проблема полягає в загальній вартості володіння, щоб компанії не збанкрутували, намагаючись зростати свої моделі.

Мій час у Meta показав мені, наскільки важливо зберігати моделі та платформи, такі як PyTorch, відкритими. Це сприяє інноваціям. Ми не змогли б розвинутися так сильно, як ми мали у PyTorch, без відкритих можливостей для ітерації. Крім того, це неможливо залишатися в курсі всіх останніх досліджень без співробітництва.

Чи можете ви обговорити, що спонукало вас до запуску Fireworks AI?

Я працюю в галузі технологій понад 20 років, і я бачив хвилю за хвилею промислових зрушень – від хмари до мобільних додатків. Але це зрушення штучного інтелекту – це повна тектонічна переорієнтація. Я бачив, як багато компаній борються з цією зміною. Кожна компанія хотіла рухатися швидко та ставити штучний інтелект на перше місце, але їм бракувало інфраструктури, ресурсів та талантів, щоб зробити це можливим. Чим більше я розмовляв з цими компаніями, тим більше я усвідомлював, що можу вирішити цю прогалину на ринку.

Я запустив Fireworks AI, щоб вирішити цю проблему та служити продовженням видатної роботи, яку ми здійснили у PyTorch. Це навіть надихнуло нашу назву! PyTorch – це факел, який тримає вогонь, але ми хочемо, щоб цей вогонь поширювався скрізь. Отже: Fireworks.

Я завжди був пристрасним щодо демократизації технологій та зробити їх доступними та простими для розробників інновувати, незалежно від їхніх ресурсів. Тому у нас є такий простий інтерфейс та потужні системи підтримки, щоб дати можливість будівельникам втілювати свої бачення в життя.

Чи можете ви обговорити, що таке орієнтований на розробника штучний інтелект і чому це так важливо?

Все просто: “орієнтований на розробника” означає пріоритетність потреб розробників штучного інтелекту. Наприклад: створення інструментів, спільнот та процесів, які роблять розробників більш ефективними та автономними.

Платформи штучного інтелекту, орієнтовані на розробника, такі як Fireworks, повинні інтегруватися в існуючі робочі процеси та технологічні стеки. Вони повинні зробити простим для розробників експериментувати, робити помилки та покращувати свою роботу. Вони повинні заохочувати відгук, оскільки саме розробники розуміють, чого їм потрібно, щоб бути успішними. Ось чому це не лише про платформу, а про спільноту – спільноту, де співпрацюють розробники, які можуть розширити межі того, що можливе з штучним інтелектом.

Платформа GenAI, яку ви розробили, є значним кроком вперед для розробників, які працюють з великими мовними моделями (LLM). Чи можете ви розповісти про унікальні функції та переваги вашої платформи, особливо у порівнянні з існуючими рішеннями?

Наш підхід як платформи штучного інтелекту для виробництва є унікальним, але деякі з наших найкращих функцій:

Ефективне висновок – Ми розробили Fireworks AI для ефективності та швидкості. Розробники, які використовують нашу платформу, можуть запускати свої додатки LLM з найнижчою можливою затримкою та витратами. Ми досягаємо цього за допомогою останніх технік оптимізації моделей та послуг, включаючи кешування запитів, адаптивне шардування, квантування, безперервне пакетування, FireAttention та інше.

Доступна підтримка моделей LoRA – Ми пропонуємо доступну службу низькорангових адаптованих (LoRA) моделей з багатомісткістю на базових моделях. Це означає, що розробники можуть експериментувати з багатьма різними випадками використання або варіантами однієї моделі без розорення.

Прості інтерфейси та API – Наші інтерфейси та API прості та легкі для розробників інтегрувати в свої додатки. Наші API також сумісні з OpenAI для легкої міграції.

Готові моделі та моделі з тонкою настройкою – Ми пропонуємо понад 100 попередньо навчених моделей, які розробники можуть використовувати безпосередньо. Ми покриваємо найкращі LLM, моделі генерації зображень, моделі вкладення тощо. Але розробники також можуть вибирати самостійно розміщувати та обслуговувати свої власні моделі. Ми також пропонуємо послуги з тонкої настройки, щоб допомогти розробникам налаштувати ці моделі з їхніми власними даними.

Спільна робота: Ми віримо в етос відкритого джерела щодо спільної роботи. Наша платформа заохочує (але не вимагає) розробників спільно використовувати свої моделі з тонкою настройкою та внесок у зростаючий банк активів та знань штучного інтелекту. Кожен виграє від зростання нашої колективної експертизи.

Чи можете ви обговорити гібридний підхід, який пропонується між паралелізмом моделей та паралелізмом даних?

Паралелізм машинного навчання покращує ефективність та швидкість навчання моделей та допомагає розробникам обробляти більші моделі, які не можуть обробити один ГП. Паралелізм моделей полягає в тому, щоб розділити модель на окремі частини та навчати кожну частину на окремих процесорах. Паралелізм даних полягає в тому, щоб розділити набори даних на підмножини та навчати модель на кожній підмножині одночасно на окремих процесорах. Гібридний підхід поєднує ці два методи. Моделі розділяються на окремі частини, які кожна навчається на різних підмножинах даних, покращуючи ефективність, масштабованість та гнучкість.

Fireworks AI використовується понад 20 000 розробниками та зараз обслуговує понад 60 мільярдів токенів щодня. Які виклики ви зустріли при масштабуванні операцій до цього рівня, і як ви їх подолали?

Я буду чесним, було багато високих гір, які потрібно було подолати з моменту заснування Fireworks AI у 2022 році.

Наші клієнти спочатку прийшли до нас, шукаючи дуже низьку затримку підтримки, оскільки вони будують додатки для споживачів, профіспоживачів або інших розробників – усіх аудиторій, які потребують швидких рішень. Потім, коли додатки наших клієнтів почали швидко зростати, вони зрозуміли, що не можуть собі дозволити звичайні витрати, пов’язані з цим зростанням. Тоді вони попросили нас допомогти знизити загальну вартість володіння (TCO), що ми й зробили. Потім наші клієнти хотіли мігрувати з OpenAI до моделей з відкритим джерелом, і вони попросили нас надати послуги на рівні або навіть кращі, ніж OpenAI. Ми зробили це можливим.

Кожний крок у нашому продукті був складною проблемою, яку потрібно було вирішити, але це означало, що наші клієнти真正но сформували Fireworks у те, чим вона є сьогодні: дуже швидкий інференційний двигун з низькою TCO. Крім того, ми пропонуємо якісні моделі, готові до використання, або послуги з тонкої настройки для розробників, щоб створити свої власні.

З швидким розвитком штучного інтелекту та машинного навчання питання етики стають дедалі важливішими. Як Fireworks AI звертається до проблем, пов’язаних з упередженням, приватністю та етичним використанням штучного інтелекту?

У мене є дві підліткові дочки, які часто використовують додатки генеративного штучного інтелекту, такі як ChatGPT. Як мати, я турбуюся про те, що вони можуть знайти невірну або неприйнятну інформацію, оскільки індустрія лише починає вирішувати критичну проблему безпеки контенту. Meta робить багато чого з проєктом Purple Llama, а новий проєкт Stability AI – SD3 – також чудовий. Обидві компанії працюють над тим, щоб зробити свій Llama3 та SD3 моделі безпечними за допомогою кількох шарів фільтрів. Модель захисту вводу-виводу, Llama Guard, також використовується на нашій платформі, але її прийняття ще не на рівні інших LLM. Індустрія в цілому ще має довгий шлях, щоб привести безпеку контенту та етику штучного інтелекту на перший план.

Ми в Fireworks глибоко турбуємося про приватність та безпеку. Ми відповідаємо вимогам HIPAA і SOC2, і пропонуємо безпечне підключення VPC та VPN. Компанії довіряють Fireworks свої власні дані та моделі, щоб побудувати свій бізнес-фортецю.

Яке ваше бачення того, як штучний інтелект буде розвиватися?

Як і AlphaGo продемонстрував автономність під час навчання грати в шахи самостійно, я думаю, що ми побачимо, як додатки генеративного штучного інтелекту стануть дедалі більш автономними. Додатки автоматично направлятимуть та контролюватимуть запити до правильного агента або API для обробки, і виправлятимуть курс, поки не отримають правильний вивід. І замість одного функційного моделювання, яке опитує інші моделі як контролер, ми побачимо більш самоорганізовані, самокоординовані агенти, які працюють у єдності, щоб вирішувати проблеми.

Блискавично швидке висновок Fireworks, функціональне моделювання та послуги з тонкої настройки проклали шлях для цієї реальності. Тепер усе залежить від інноваційних розробників, щоб зробити це можливим.

Дякую за чудове інтерв’ю. Читачам, які бажають дізнатися більше, слід відвідати Fireworks AI.