Джейсон Найт – співзасновник і віце-президент з питань машинного навчання в OctoAI – Серія інтерв’ю

Джейсон Найт – співзасновник і віце-президент з питань машинного навчання в OctoAI, платформа, яка пропонує повний стек для розробників застосунків, щоб запускати, налаштовувати і масштабувати свої застосунки штучного інтелекту в хмарі або на локальних серверах.

OctoAI була створена на базі університету Вашингтону оригінальними розробниками Apache TVM, відкритої платформи для переносимості і продуктивності машинного навчання. TVM дозволяє моделям машинного навчання працювати ефективно на будь-якому апаратному забезпеченні, і швидко стала ключовою частиною архітектури популярних споживчих пристроїв, таких як Amazon Alexa.

Чи можете Ви поділитися ідеєю створення OctoAI і ядром проблеми, яку Ви намагалися вирішити?

Штучний інтелект традиційно був складною галуззю, доступною лише тим, хто комфортно почувається з математикою і високопродуктивним обчислюванням, необхідним для створення чогось з його допомогою. Але штучний інтелект розблоковує кінцеві інтерфейси обчислень, тих, що програмуються текстом, голосом і зображеннями, і приносить повну силу обчислень кожній людині на Землі. До штучного інтелекту лише програмісти могли змусити комп’ютери робити те, що вони хотіли, написавши тексти арканної програмної мови.

OctoAI була створена, щоб прискорити наш шлях до цієї реальності, щоб більше людей могли використовувати і отримувати користь від штучного інтелекту. І люди, в свою чергу, можуть використовувати штучний інтелект, щоб створити ще більше користі, прискорюючи науки, медицину, мистецтво і більше.

Оглянувшись на Ваш досвід в Intel (INTC ), як Ваші попередні ролі підготували Вас до співзаснування і керівництва розробкою в OctoAI?

Intel і штучний інтелект, апаратне забезпечення і біотехнологічні стартапи до цього дали мені перспективу побачити, наскільки складним є штучний інтелект навіть для найбільш складних технологічних компаній, і тим же часом, наскільки цінним він може бути для тих, хто знає, як ним користуватися. І бачити, що розрив між тими, хто користується штучним інтелектом, і тими, хто ще не користується ним, в першу чергу складається з інфраструктури, обчислень і найкращих практик – а не магії.

Чим відрізняється OctoStack від інших рішень з розгортання штучного інтелекту, доступних на ринку сьогодні?

OctoStack – це перша в галузі повна технологічна платформа, спеціально розроблена для підтримки моделей генеративного штучного інтелекту будь-де. Вона пропонує повністю готову платформу для виробництва, яка забезпечує високоефективну інференцію, налаштування моделей і управління активами на рівні підприємства.

OctoStack дозволяє організаціям досягти автономії штучного інтелекту, запускаючи будь-яку модель у своїй бажаній середовищі з повним контролем над даними, моделями і апаратним забезпеченням. Вона також забезпечує неперевершену продуктивність і ефективність витрат, з економією до 12 разів порівняно з іншими рішеннями, такими як GPT-4.

Чи можете Ви пояснити переваги розгортання моделей штучного інтелекту в приватному середовищі за допомогою OctoStack?

Моделі сьогодні є повсюдними, але збір інфраструктури для запуску цих моделей і застосування їх з вашими власними даними – це місце, де бізнес-цінність починає обертатися. Використання цих моделей з вашими найбільш чутливими даними, а потім перетворення їх у знання, кращу інженерію запитів, трубопроводи RAG і тонке налаштування – це місце, де Ви можете отримати найбільшу користь від генеративного штучного інтелекту. Але це все ще складно для всіх, крім найбільш складних компаній, зробити це самостійно, тому рішення, таке як OctoStack, може прискорити вас і зібрати найкращі практики в одному місці для ваших практиків.

Розгортання моделей штучного інтелекту в приватному середовищі за допомогою OctoStack пропонує кілька переваг, включаючи підвищену безпеку і контроль над даними і моделями. Клієнти можуть запускати застосунки генеративного штучного інтелекту всередині своїх власних VPC або на локальних серверах, забезпечуючи, що їхні дані залишаються безпечними і в їхньому вибраному середовищі. Це підхід також забезпечує бізнесу гнучкість запуску будь-якої моделі, відкритої, настраїваної або власної, при цьому користуючись зниженням витрат і покращенням продуктивності.

Які виклики Ви зустріли при оптимізації OctoStack для підтримки широкого спектра апаратного забезпечення, і як Ви подолали ці виклики?

Оптимізація OctoStack для підтримки широкого спектра апаратного забезпечення полягала в забезпеченні сумісності і продуктивності на різних пристроях, таких як графічні процесори NVIDIA (NVDA ) і AMD, а також AWS Inferentia. OctoAI подолала ці виклики, використовуючи свій глибокий досвід у сфері систем штучного інтелекту, розроблений за роки досліджень і розробок, для створення платформи, яка постійно оновлює і підтримує додаткові типи апаратного забезпечення, випадки використання генеративного штучного інтелекту і найкращі практики. Це дозволяє OctoAI забезпечувати лідерську продуктивність і ефективність витрат.

Крім того, отримання останніх можливостей генеративного штучного інтелекту, таких як багатомодальність, виклик функцій, суворе дотримання схеми JSON, ефективне розміщення тонкого налаштування і більше, у руки ваших внутрішніх розробників прискорить ваш стартовий пункт штучного інтелекту.

OctoAI має багату історію використання Apache TVM. Як ця платформа вплинула на можливості вашої платформи?

Ми створили Apache TVM, щоб зробити простим для складних розробників написання ефективних бібліотек штучного інтелекту для графічних процесорів і прискорювачів. Ми зробили це, оскільки отримання найбільшої продуктивності з апаратного забезпечення графічних процесорів і прискорювачів було критично важливим для інференції штучного інтелекту тоді, як і зараз.

Ми використали той же самий погляд і досвід для всього стека генерації штучного інтелекту, щоб доставити автоматизацію для більш широкого кола розробників.

Чи можете Ви обговорити будь-які суттєві покращення продуктивності, які пропонує OctoStack, такі як 10-кратне покращення продуктивності у великомасштабних розгортаннях?

OctoStack пропонує суттєві покращення продуктивності, включаючи до 12-разову економію порівняно з іншими моделями, такими як GPT-4, без жертвування швидкістю або якістю. Вона також забезпечує 4-кратне покращення використання графічних процесорів і 50-відсоткове зниження операційних витрат, дозволяючи організаціям запускати великомасштабні розгортання ефективно і з економією.

Чи можете Ви поділитися будь-якими помітними випадками використання, де OctoStack суттєво покращив розгортання штучного інтелекту для ваших клієнтів?

Помітним випадком використання є Apate.ai, глобальна служба, яка бореться з телефонними шахрайствами за допомогою генеративного конверсаційного штучного інтелекту. Apate.ai використала OctoStack для ефективного запуску свого набору мовних моделей у декількох географіях, користуючись гнучкістю, масштабованістю і безпекою OctoStack. Це розгортання дозволило Apate.ai доставити настраївані моделі, які підтримують декілька мов і регіональних діалектів, задовольняючи їх вимоги до продуктивності і безпеки.

Крім того, ми обслуговуємо сотні тонких налаштувань для нашого клієнта OpenPipe. Якби вони створили окремі інстанси для кожного з них, випадки використання їх клієнтів були б недосяжними, оскільки вони зростають і розвивають свої випадки використання і безперервно повторно тренують свої параметрично-ефективні тонкі налаштування для максимальної якості виходу за ефективними цінами.

Дякуємо за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати OctoAI.