Лінь Цяо, генеральний директор і співзасновник Fireworks AI – Серія інтерв’ю

Лінь Цяо, раніше очолював PyTorch компанії Meta, а також є співзасновником і генеральним директором Fireworks AI. Феєрверк А.І це робоча платформа штучного інтелекту, створена для розробників, Fireworks співпрацює з провідними світовими дослідниками генеративного штучного інтелекту, щоб обслуговувати найкращі моделі на найшвидших швидкостях. Fireworks AI нещодавно підняв a 25 мільйонів доларів Серія A.

Що вас спочатку привабило в інформатиці?

Мій тато був старшим інженером-механіком на верфі, де він будував вантажні кораблі з нуля. З дитинства я навчився читати точні кути та розміри креслень кораблів, і мені це сподобалося.

Починаючи з середньої школи, я дуже захоплювався STEM – математика, фізика та хімія, які я поглинав. Одним із моїх завдань у середній школі було вивчення програмування BASIC, і я написав гру про змію, яка їсть свій хвіст. Після цього я зрозумів, що інформатика — це моє майбутнє.

Під час роботи в Meta ви очолили понад 300 інженерів світового класу в фреймворках і платформах штучного інтелекту, де створили та розгорнули Caffe2, а пізніше PyTorch. Які основні висновки ви зробили з цього досвіду?

Такі великі технологічні компанії, як Meta, завжди випереджають ринок на п’ять або більше років. Коли я приєднався до Meta у 2015 році, ми були на початку нашого шляху штучного інтелекту – робили перехід від центральних процесорів до графічних процесорів. Нам довелося розробити інфраструктуру ШІ з нуля. Такі моделі, як Caffe2, були новаторськими, коли їх створювали, але ШІ розвивався настільки швидко, що швидко застарів. Ми розробили PyTorch і всю систему навколо нього як рішення.

PyTorch – це місце, де я дізнався про найбільші перепони, з якими стикаються розробники в гонці за створення ШІ. Перше завдання полягає в пошуку стабільної та надійної архітектури моделі з низькою затримкою та гнучкості, щоб моделі могли масштабуватися. Друга проблема — загальна вартість володіння, щоб компанії не збанкрутували, намагаючись розвивати свої моделі.

Мій час у Meta показав мені, наскільки важливо зберігати моделі та фреймворки, такі як PyTorch, відкритими. Це заохочує інновації. Ми б не виросли так сильно, як у PyTorch, без відкритих можливостей для ітерації. Крім того, неможливо бути в курсі всіх останніх досліджень без співпраці.

Чи можете ви обговорити, що спонукало вас до запуску Fireworks AI?

Я працюю в індустрії технологій більше 20 років і бачу хвилю за хвилею змін на рівні галузі – від хмари до мобільних додатків. Але ця зміна ШІ є повною тектонічною перебудовою. Я бачив багато компаній, які борються з цією зміною. Усі хотіли рухатися швидко та поставити штучний інтелект на перше місце, але їм бракувало інфраструктури, ресурсів і таланту, щоб це зробити. Чим більше я спілкувався з цими компаніями, тим більше розумів, що можу вирішити цю прогалину на ринку.

Я запустив Fireworks AI, щоб вирішити цю проблему та служити продовженням неймовірної роботи, яку ми досягли в PyTorch. Це навіть надихнуло нашу назву! PyTorch — це факел, який тримає вогонь, але ми хочемо, щоб цей вогонь поширився всюди. Звідси: Феєрверк.

Я завжди пристрасно прагнув демократизувати технології та зробити доступними та простими для розробників інновації незалежно від їхніх ресурсів. Ось чому ми маємо такий зручний інтерфейс і потужні системи підтримки, які дають змогу будівельникам втілювати свої бачення в життя.

Чи могли б ви обговорити, що таке ШІ, орієнтований на розробників, і чому це так важливо?

Все просто: «орієнтований на розробника» означає пріоритетність потреб розробників ШІ. Наприклад: створення інструментів, спільнот і процесів, які роблять розробників більш ефективними та автономними.

Орієнтовані на розробників платформи штучного інтелекту, такі як Fireworks, повинні інтегруватися в існуючі робочі процеси та стеки технологій. Вони повинні полегшити розробникам експерименти, робити помилки та вдосконалювати свою роботу. Вони повинні заохочувати зворотний зв'язок, тому що його розробники самі розуміють, що їм потрібно для успіху. Нарешті, це не просто платформа. Йдеться про те, щоб бути спільнотою – спільнотою, де співпрацюючі розробники можуть розширити межі того, що можливо за допомогою ШІ.

Платформа GenAI, яку ви розробили, є значним прогресом для розробників, які працюють із великими мовними моделями (LLM). Чи можете ви детальніше розповісти про унікальні функції та переваги вашої платформи, особливо порівняно з існуючими рішеннями?

Весь наш підхід як виробничої платформи штучного інтелекту є унікальним, але деякі з наших найкращих функцій:

Ефективний висновок – ми розробили Fireworks AI для ефективності та швидкості. Розробники, які використовують нашу платформу, можуть запускати свої LLM програми з найменшою можливою затримкою та вартістю. Ми досягаємо цього за допомогою найновіших моделей і методів оптимізації послуг, включаючи оперативне кешування, адаптивне сегментування, квантування, безперервне пакетування, FireAttention тощо.

Доступна підтримка моделей, налаштованих за LoRA. Ми пропонуємо доступні послуги з тонко налаштованих моделей низького рангу адаптації (LoRA) через багатокористування базовими моделями. Це означає, що розробники можуть експериментувати з багатьма різними варіантами використання або варіаціями однієї моделі, не витрачаючи гроші.

Прості інтерфейси та API – наші інтерфейси та API прості та прості для розробників, які можна інтегрувати у свої програми. Наші API також сумісні з OpenAI для спрощення міграції.

Готові та налаштовані моделі – ми надаємо понад 100 попередньо навчених моделей, які розробники можуть використовувати готові. Ми розглядаємо найкращі LLM, моделі генерації зображень, моделі вбудовування тощо. Але розробники також можуть вибрати розміщення та обслуговування власних моделей. Ми також пропонуємо послуги самостійного тонкого налаштування, щоб допомогти розробникам адаптувати ці спеціальні моделі за допомогою їхніх власних даних.

Співпраця спільноти: ми віримо в принцип співпраці спільноти з відкритим кодом. Наша платформа заохочує (але не вимагає) розробників ділитися своїми точно налаштованими моделями та робити внесок у зростаючий банк активів і знань ШІ. Усі виграють від зростання нашого колективного досвіду.

Чи можете ви обговорити гібридний підхід, який пропонується між паралелізмом моделей і паралелізмом даних?

Розпаралелювання моделей машинного навчання підвищує ефективність і швидкість навчання моделей і допомагає розробникам працювати з більшими моделями, які не може обробити один графічний процесор.

Паралелізм моделі передбачає поділ моделі на кілька частин і навчання кожної частини на окремих процесорах. З іншого боку, паралелізм даних розділяє набори даних на підмножини та тренує модель на кожній підмножині одночасно на різних процесорах. Гібридний підхід поєднує ці два методи. Моделі поділені на окремі частини, кожна з яких навчається на різних підмножинах даних, покращуючи ефективність, масштабованість і гнучкість.

Fireworks AI використовується понад 20,000 60 розробниками, і наразі він обслуговує понад XNUMX мільярдів токенів щодня. З якими труднощами ви зіткнулися, виходячи на цей рівень, і як ви їх подолали?

Скажу чесно, відтоді, як ми заснували Fireworks AI у 2022 році, нам довелося подолати багато високих гір.

Наші клієнти вперше звернулися до нас, шукаючи підтримку з дуже низькою затримкою, оскільки вони створюють програми для споживачів, професіоналів або інших розробників — для всіх аудиторій, яким потрібні швидкі рішення. Потім, коли програми наших клієнтів почали швидко масштабуватися, вони зрозуміли, що не можуть дозволити собі типові витрати, пов’язані з таким масштабом. Потім вони попросили нас допомогти зі зниженням загальної вартості володіння (TCO), що ми й зробили. Тоді наші клієнти захотіли перейти з моделей OpenAI на OSS і попросили нас забезпечити таку ж або навіть кращу якість, ніж OpenAI. Ми зробили це теж.

Кожен крок в еволюції нашого продукту був складною проблемою для вирішення, але це означало, що потреби наших клієнтів справді сформували Fireworks у те, чим він є сьогодні: блискавичний механізм логічного висновку з низькою загальною вартістю володіння. Крім того, ми надаємо як асортимент високоякісних готових моделей на вибір, так і послуги з тонкого налаштування, щоб розробники могли створити власні.

Зі стрімким прогресом ШІ та машинного навчання етичні міркування важливіші, ніж будь-коли. Як Fireworks AI вирішує проблеми, пов’язані з упередженістю, конфіденційністю та етичним використанням AI?

У мене є дві доньки-підлітки, які часто користуються такими додатками genAI, як ChatGPT. Як мама, я хвилююся, що вони знайдуть оманливий або невідповідний вміст, оскільки галузь тільки починає вирішувати критичну проблему безпеки вмісту. Meta робить багато з проектом Purple Llama, і нові режими SD3 Stability AI чудові. Обидві компанії наполегливо працюють над забезпеченням безпеки своїх нових моделей Llama3 і SD3 з кількома шарами фільтрів. Модель захисту вводу-виводу, Llama Guard, дійсно добре використовується на нашій платформі, але її впровадження поки що не на одному рівні з іншими LLM. Галузь загалом ще має пройти довгий шлях, щоб вивести безпеку контенту та етику ШІ на перший план.

Ми у Fireworks дуже дбаємо про конфіденційність і безпеку. Ми відповідаємо стандартам HIPAA та SOC2 і пропонуємо безпечне з’єднання VPC та VPN. Компанії довіряють Fireworks свої власні дані та моделі, щоб побудувати свій бізнес.

Яке ваше бачення розвитку ШІ?

Подібно до того, як AlphaGo продемонстрував автономність під час навчання грі в шахи, я думаю, ми побачимо, що додатки genAI стають все більш і більш автономними. Програми автоматично маршрутизуватимуть і спрямовуватимуть запити до потрібного агента чи API для обробки та коригування курсу, доки не отримають правильний результат. І замість того, щоб одна модель виклику функцій опитувала інших як контролер, ми побачимо більше самоорганізованих, самокоординованих агентів, які працюють в унісон для вирішення проблем.

Блискавичний висновок Fireworks, моделі виклику функцій і служба тонкого налаштування проклали шлях до цієї реальності. Тепер справа за інноваційними розробниками, щоб це сталося.

Дякую за чудове інтерв’ю, читачі, які хочуть дізнатися більше, повинні відвідати Феєрверк А.І.