Джейсон Найт є співзасновником і віце-президентом з питань машинного навчання в OctoAI – Серія інтерв’ю

Джейсон Найт є співзасновником і віце-президентом з питань машинного навчання в OctoAI, платформа, яка надає повний стек для розробників додатків для запуску, налаштування та масштабування своїх додатків штучного інтелекту в хмарі або на локальних серверах.

OctoAI була створена в університеті Вашингтона оригінальними творцями Apache TVM, відкритої системи для переносимості та продуктивності машинного навчання. TVM дозволяє моделям машинного навчання працювати ефективно на будь-якому апаратному забезпеченні, і швидко стала ключовою частиною архітектури популярних споживчих пристроїв, таких як Amazon Alexa.

Чи можете Ви поділитися натхненням, яке спонукало Вас заснувати OctoAI, та ядром проблеми, яку Ви намагалися вирішити?

Штучний інтелект традиційно був складною галуззю, доступною лише тим, хто комфортно почувається з математикою та високопродуктивними обчисленнями, необхідними для створення чогось з його допомогою. Але штучний інтелект відкриває кінцевий інтерфейс обчислень, тобто текст, голос та зображення, програмовані за допомогою прикладів та зворотного зв’язку, і приносить повну силу обчислень кожній людині на Землі. До штучного інтелекту тільки програмісти могли змусити комп’ютери робити те, що вони хочуть, написавши текст арканної мови програмування.

OctoAI була створена, щоб прискорити наш шлях до цієї реальності, щоб більше людей могли використовувати та отримувати вигоду від штучного інтелекту. І люди, в свою чергу, можуть використовувати штучний інтелект для створення ще більшої вигоди, прискорюючи науку, медицину, мистецтво та інше.

Оглядаючись на Ваш досвід у Intel, як Ваші попередні ролі підготували Вас до співзаснування та керівництва розробкою в OctoAI?

Intel та стартапи штучного інтелекту та біотехнологій перед цим дали мені перспективу побачити, наскільки складним є штучний інтелект навіть для найбільш просунутих технологічних компаній, і водночас, наскільки цінним він може бути для тих, хто вже знайшов спосіб його використання. І побачити, що розрив між тими, хто вже отримує вигоду від штучного інтелекту, та тими, хто ще не отримує, в першу чергу є розривом інфраструктури, обчислень та найкращих практик – а не магії.

Що відрізняє OctoStack від інших рішень для розгортання штучного інтелекту, доступних на ринку сьогодні?

OctoStack є першою в галузі повною технологічною стеком, спеціально розробленою для підтримки моделей генеративного штучного інтелекту будь-де. Вона пропонує повністю готову платформу виробництва, яка забезпечує високооптимізовану інференцію, налаштування моделей та управління активами на рівні підприємства.

OctoStack дозволяє організаціям досягти автономності штучного інтелекту, запускаючи будь-яку модель у своєму бажаному середовищі з повним контролем над даними, моделями та апаратним забезпеченням. Вона також забезпечує неперевершену продуктивність та ефективність витрат, з економією до 12 разів у порівнянні з іншими рішеннями, такими як GPT-4.

Чи можете Ви пояснити переваги розгортання моделей штучного інтелекту в приватному середовищі за допомогою OctoStack?

Моделі зараз є повсюдними, але збірка правильної інфраструктури для запуску цих моделей та застосування їх з власними даними – це те місце, де колесо бізнес-цінності починає обертатися. Використання цих моделей з вашими найбільш чутливими даними, а потім перетворення їх у знання, кращу інженерію запиту, трубопроводи RAG та тонке налаштування – це те місце, де Ви можете отримати найбільшу вигоду від генеративного штучного інтелекту. Але це все ще складно для всіх, крім найбільш просунутих компаній, зробити це самостійно, і саме тут рішення, таке як OctoStack, може прискорити Вас та об’єднати найкращі практики в одному місці для ваших фахівців.

Розгортання моделей штучного інтелекту в приватному середовищі за допомогою OctoStack пропонує кілька переваг, включаючи підвищену безпеку та контроль над даними та моделями. Клієнти можуть запускати додатки генеративного штучного інтелекту всередині своїх власних VPC або на локальних серверах, забезпечуючи, що їхні дані залишаються в безпеці та в обраному середовищі. Цій підхід також надає підприємствам гнучкість запуску будь-якої моделі, будь то відкрита, настраївана або власна, при цьому отримуючи вигоду від зниження витрат та покращення продуктивності.

Які виклики Ви зустріли при оптимізації OctoStack для підтримки широкого спектра апаратного забезпечення, та як Ви подолали ці виклики?

Оптимізація OctoStack для підтримки широкого спектра апаратного забезпечення полягала в забезпеченні сумісності та продуктивності на різних пристроях, таких як NVIDIA та AMD GPU та AWS Inferentia. OctoAI подолала ці виклики, використовуючи свій глибокий досвід систем штучного інтелекту, розвинений через роки досліджень та розробок, для створення платформи, яка постійно оновлює та підтримує додаткові типи апаратного забезпечення, випадки використання GenAI та найкращі практики. Це дозволяє OctoAI забезпечувати лідерську продуктивність та ефективність витрат.

Крім того, отримання останніх можливостей генеративного штучного інтелекту, таких як багатомодальність, виклик функцій, суворе дотримання схеми JSON, ефективне розміщення тонкого налаштування та інше, в руки ваших внутрішніх розробників прискорить вашу точку злету штучного інтелекту.

OctoAI має багату історію використання Apache TVM. Як цей каркас вплинув на можливості Вашої платформи?

Ми створили Apache TVM, щоб зробити простим для просунутих розробників писати ефективні бібліотеки штучного інтелекту для GPU та прискорювачів. Ми зробили це, оскільки отримання найбільшої продуктивності з апаратного забезпечення GPU та прискорювачів було критично важливим для інференсу штучного інтелекту тоді, як і зараз.

Ми використали той же самий погляд та досвід для всього стеку подачі Gen AI, щоб забезпечити автоматизацію для ширшого кола розробників.

Чи можете Ви обговорити будь-які суттєві покращення продуктивності, які пропонує OctoStack, такі як 10-кратне підвищення продуктивності у великомасштабних розгортаннях?

OctoStack пропонує суттєві покращення продуктивності, включаючи до 12-кратну економію порівняно з іншими моделями, такими як GPT-4, без втрати швидкості чи якості. Вона також забезпечує на 4 рази кращу використання GPU та 50-відсоткове зниження операційних витрат, дозволяючи організаціям запускати великомасштабні розгортання ефективно та з економією.

Чи можете Ви поділитися будь-якими помітними випадками використання, де OctoStack суттєво покращив розгортання штучного інтелекту для ваших клієнтів?

Помітним випадком використання є Apate.ai, глобальна служба, яка бореться з телефонними шахрайствами за допомогою генеративного розмовного штучного інтелекту. Apate.ai використала OctoStack для ефективного запуску своєї колекції мовних моделей по різних географіях, отримуючи вигоду від гнучкості, масштабу та безпеки OctoStack. Це розгортання дозволило Apate.ai доставляти настраївані моделі, які підтримують кілька мов та регіональні діалекти, задовольняючи їх вимоги до продуктивності та безпеки.

Крім того, ми обслуговуємо сотні тонких налаштувань для нашого клієнта OpenPipe. Якби вони запустили спеціальні екземпляри для кожного з них, випадки використання їх клієнтів були б недосяжними, оскільки вони зростають та еволюціонують свої випадки використання та безперервно повторно тренують свої параметрично-ефективні тонкі налаштування для максимальної якості виходу за ефективними цінами.

Дякуємо за велике інтерв’ю, читачам, які бажають дізнатися більше, повинні відвідати OctoAI.