Лін Цяо, генеральний директор та співзасновник Fireworks AI – Серія інтерв’ю

Лін Цяо раніше був керівником Meta’s PyTorch і є співзасновником та генеральним директором Fireworks AI. Fireworks AI – це платформа штучного інтелекту для виробництва, створена для розробників, Fireworks партнерує з провідними дослідниками генеративного штучного інтелекту світу, щоб надавати найкращі моделі за найшвидшими швидкостями. Fireworks AI недавно залучила $25M Series A.

Що спочатку привернуло вашу увагу до комп’ютерних наук?

Мій батько був дуже досвідченим інженером-механіком на судноверфі, де він будував вантажні судна з нуля. З молодого віку я навчився читати точні кути та виміри суднових креслень, і мені це сподобалося.

Я був дуже зацікавлений у STEM з середньої школи – все, що пов’язано з математикою, фізикою та хімією, я поглинав. Одним з моїх шкільних завдань було вивчити програмування на мові BASIC, і я написав гру про змію, яка їсть свій хвіст. Після цього я знав, що комп’ютерні науки будуть моєю майбутньою професією.

Під час роботи в Meta ви керували понад 300 інженерами світового рівня в галузі штучного інтелекту та платформ. Які були ваші основні висновки з цього досвіду?

Більші технологічні компанії, як-от Meta, завжди знаходяться на 5-10 років попереду інших. Коли я приєднався до Meta у 2015 році, ми були на початку нашої подорожі в галузі штучного інтелекту – переходили від процесорів до графічних процесорів. Нам довелося розробляти інфраструктуру штучного інтелекту з нуля. Моделі, такі як Caffe2, були революційними, коли вони були створені, але штучний інтелект розвивався так швидко, що вони швидко застаріли. Ми розробили PyTorch та всю систему навколо нього як рішення.

PyTorch – це місце, де я дізнався про найбільші перешкоди, з якими стикаються розробники при створенні штучного інтелекту. Першою перешкодою є пошук стабільної та надійної моделі архітектури, яка має низьку затримку та гнучкість, щоб моделі могли масштабуватися. Другою перешкодою є загальна вартість володіння, щоб компанії не збанкрутували, намагаючись розширити свої моделі.

Мій досвід роботи в Meta показав мені, наскільки важливо зберігати моделі та платформи, такі як PyTorch, відкритими. Це сприяє інноваціям. Ми не змогли б досягти такого зростання в PyTorch без відкритих можливостей для ітерації. Крім того, без співробітництва неможливо бути в курсі всіх останніх досліджень.

Чим було мотивовано створення Fireworks AI?

Я працюю в технологічній галузі понад 20 років і бачив хвилю за хвилею промислових змін – від хмарних технологій до мобільних додатків. Але ця зміна в галузі штучного інтелекту – це повна тектонічна перебудова. Я бачив, як багато компаній борються з цією зміною. Кожна компанія хотіла рухатися швидко та ставити штучний інтелект на перше місце, але їм бракувало інфраструктури, ресурсів та талантів, щоб зробити це можливим. Чим більше я розмовляв з цими компаніями, тим більше я розумів, що можу вирішити цю проблему на ринку.

Я створив Fireworks AI, щоб вирішити цю проблему та продовжити інкубаторську роботу, яку ми досягли в PyTorch. Це навіть надихнуло нас на вибір назви! PyTorch – це факел, який тримає вогонь, але ми хочемо, щоб цей вогонь поширився скрізь. Отже – Fireworks.

Я завжди був пристрасний щодо демократизації технологій та зробити їх доступними та простими для розробників, незалежно від їхніх ресурсів. Тому ми маємо такий зручний інтерфейс та потужні системи підтримки, щоб дати можливість розробникам реалізувати свої бачення.

Чим є орієнтований на розробників штучний інтелект і чому це так важливо?

Все просто: “орієнтований на розробників” означає пріоритетність потреб розробників штучного інтелекту. Наприклад, створення інструментів, спільнот та процесів, які роблять розробників більш ефективними та автономними.

Платформи штучного інтелекту, орієнтовані на розробників, такі як Fireworks, повинні інтегруватися в існуючі робочі процеси та технологічні стеки. Вони повинні зробити простим для розробників експериментувати, робити помилки та покращувати свою роботу. Вони повинні заохочувати зворотний зв’язок, оскільки саме розробники розуміють, чого їм потрібно, щоб бути успішними. Крім того, це не лише платформа, а й спільнота – спільнота, в якій розробники можуть співпрацювати та розширювати межі того, що можливо з допомогою штучного інтелекту.

Платформа генерації штучного інтелекту, яку ви розробили, є суттєвим кроком вперед для розробників, які працюють з великими мовними моделями (LLM). Чи можете ви розповісти про унікальні особливості та переваги вашої платформи, особливо у порівнянні з існуючими рішеннями?

Наш підхід як платформи штучного інтелекту для виробництва є унікальним, але деякі з наших найкращих особливостей включають:

Ефективне висновок – Ми розробили Fireworks AI для ефективності та швидкості. Розробники, які використовують нашу платформу, можуть запускати свої додатки LLM з найнижчою можливою затримкою та витратами. Ми досягаємо цього за допомогою останніх технік оптимізації моделей та сервісів, включаючи кешування запитів, адаптивне шардування, квантування, безперервне пакетування, FireAttention та інше.

Доступна підтримка моделей LoRA – Ми пропонуємо доступну службу низькорангової адаптації (LoRA) тонко налаштованих моделей за допомогою багатокористувацької підтримки базових моделей. Це означає, що розробники можуть експериментувати з багатьма різними випадками використання або варіантами однієї моделі без значних витрат.

Прості інтерфейси та API – Наші інтерфейси та API прості та легкі для розробників у інтеграції в свої додатки. Наші API також сумісні з OpenAI для легкої міграції.

Готові моделі та тонко налаштовані моделі – Ми пропонуємо понад 100 попередньо натренованих моделей, які розробники можуть використовувати безпосередньо. Ми покриваємо найкращі LLM, моделі генерації зображень, моделі вкладення тощо. Але розробники також можуть вибрати розміщення та надання своїх власних моделей. Ми також пропонуємо послуги самонавчання для допомоги розробникам у налаштуванні цих моделей з їхніми власними даними.

Спільнота та співробітництво – Ми віримо в відкритий дух спільноти та співробітництва. Наша платформа заохочує (але не вимагає) розробників ділитися своїми тонко налаштованими моделями та сприяти зростанню банку активів та знань штучного інтелекту. Кожен виграє від зростання нашої колективної експертизи.

Чи можете ви розповісти про гібридний підхід, який пропонується між паралелізмом моделей та паралелізмом даних?

Паралелізм машинного навчання покращує ефективність та швидкість навчання моделей та допомагає розробникам обробляти більші моделі, які не можуть бути оброблені одним графічним процесором.

Паралелізм моделей включає розділення моделі на кілька частин та навчання кожної частини на окремих процесорах. Паралелізм даних включає розділення наборів даних на підмножини та навчання моделі на кожній підмножині одночасно на окремих процесорах. Гібридний підхід поєднує ці два методи. Моделі розділяються на окремі частини, які навчаються на різних підмножинах даних, покращуючи ефективність, масштабованість та гнучкість.

Fireworks AI використовується понад 20 000 розробниками та зараз обслуговує понад 60 мільярдів токенів щодня. Які проблеми ви зустріли при масштабуванні операцій до цього рівня, і як ви їх подолали?

Я буду чесним, було багато високих гір, які потрібно було подолати з моменту заснування Fireworks AI у 2022 році.

Наші клієнти спочатку прийшли до нас, шукаючи дуже низької затримки підтримки, оскільки вони будують додатки для споживачів, профспілок або інших розробників – усіх аудиторій, які потребують швидких рішень. Потім, коли додатки наших клієнтів почали швидко зростати, вони зрозуміли, що не можуть собі дозволити типові витрати, пов’язані з цим зростанням. Вони тоді попросили нас допомогти знизити загальну вартість володіння (TCO), що ми й зробили. Потім наші клієнти хотіли міґрувати з OpenAI до моделей з відкритим кодом, і вони попросили нас надати їм якості, не гіршу за OpenAI. Ми зробили це можливим.

Кожний крок у нашому продукті був складною проблемою, яку потрібно було вирішити, але це означало, що наші клієнти сформували Fireworks у те, чим вона є сьогодні: дуже швидкий двигун висновку з низькою TCO. Крім того, ми пропонуємо вибір високоякісних моделей, готових до використання, або послуги тонкого налаштування для розробників, щоб вони могли створити свої власні моделі.

З швидким розвитком штучного інтелекту та машинного навчання питання етики стають дедалі важливішими. Як Fireworks AI звертається до проблем, пов’язаних з упередженням, конфіденційністю та етичним використанням штучного інтелекту?

У мене є дві підліткові дочки, які часто використовують додатки генеративного штучного інтелекту, такі як ChatGPT. Як мати, я турбуюсь про них, бо вони можуть знайти помилкові або нецільові дані, оскільки галузь тільки починає вирішувати проблему безпеки контенту. Meta робить багато роботи над проєктом Purple Llama, а новий SD3 від Stability AI – це велика робота. Обидві компанії працюють над тим, щоб привести безпеку до своїх нових моделей Llama3 та SD3 з кількома шарами фільтрів. Модель безпеки вводу-виводу, Llama Guard, використовується на нашій платформі, але її прийняття ще не на рівні з іншими LLM. Галузь ще має багато роботи, щоб привести безпеку контенту та етику штучного інтелекту на перший план.

Ми в Fireworks дуже турбуємося про конфіденційність та безпеку. Ми відповідаємо вимогам HIPAA та SOC2, пропонуємо безпечне підключення VPC та VPN. Компанії довіряють Fireworks свої власні дані та моделі, щоб побудувати свій бізнес.

Яка ваша бачення майбутнього розвитку штучного інтелекту?

Як AlphaGo продемонстрував автономність під час гри в шахи, я думаю, що ми побачимо, як додатки генеративного штучного інтелекту стануть все більш автономними. Додатки автоматично направлятимуть та контролюватимуть запити до правильного агента або API для обробки, і будуть коригувати свій шлях до отримання правильного виводу. І замість одного моделі, яка опитує інші як контролер, ми побачимо більше самоорганізованих, самокоординованих агентів, які працюватимуть разом, щоб вирішувати проблеми.

Fireworks’ швидкий висновок, моделі з викликом функцій та послуги тонкого налаштування проклали шлях для цієї реальності. Тепер усе залежить від інноваційних розробників, щоб зробити це можливим.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, рекомендуємо відвідати Fireworks AI.