Ніту Патхак, співзасновник і генеральний директор Skymel – Серія інтерв’ю

Ніту Патхак, співзасновник і генеральний директор Skymel, очолює компанію в революціонуванні висновків штучного інтелекту за допомогою своєї інноваційної технології NeuroSplit™. Разом з технічним директором Сушантом Тріпаті він керує місією Skymel щодо підвищення продуктивності застосунків штучного інтелекту, одночасно знижуючи витрати на обчислення.

NeuroSplit™ – це адаптивна технологія висновків, яка динамічно розподіляє навантаження штучного інтелекту між пристроями кінцевих користувачів і серверами хмарних обчислень. Цій підхід використовує неактивні обчислювальні ресурси на пристроях користувачів, скорочуючи витрати на інфраструктуру хмарних обчислень до 60%, прискорюючи швидкість висновків, забезпечуючи конфіденційність даних і дозволяючи безперебійне масштабування.

Оптимізуючи локальну обчислювальну потужність, NeuroSplit™ дозволяє застосункам штучного інтелекту працювати ефективно навіть на старих графічних процесорах, суттєво знижуючи витрати при одночасному покращенні досвіду користувача.

Що надихнуло вас на створення Skymel, і які ключові проблеми інфраструктури штучного інтелекту ви намагалися вирішити за допомогою NeuroSplit?

Ідея створення Skymel виникла з конвергенції наших взаємодоповнюваних досвідів. Під час роботи в Google (GOOGL ) мій співзасновник, Сушант Тріпаті, розгортав моделі штучного інтелекту на основі мови на мільярдах пристроїв Android. Він виявив, що на пристроях кінцевих користувачів є величезна кількість неактивної обчислювальної потужності, але більшість компаній не могли ефективно використовувати її через складні інженерні проблеми доступу до цих ресурсів без порушення досвіду користувача.

Тим часом мій досвід роботи з підприємствами та стартапами в Redis дав мені глибокі знання про те, як критично ставиться затримка для бізнесу. Коли застосунки штучного інтелекту стали більш поширеними, стало зрозуміло, що нам потрібно перенести обробку ближче до місця створення даних, а не постійно перевозити дані туди й назад до центрів даних.

Тоді Сушант і я зрозуміли, що майбутнє не полягає у виборі між локальною або хмарною обробкою – а у створенні інтелектуальної технології, яка могла б безперебійно адаптуватися між локальною, хмарною або гібридною обробкою на основі кожного окремого запиту висновку. Це розуміння привело нас до створення Skymel і розробки NeuroSplit, виходячи за рамки традиційних обмежень інфраструктури, які стримували інновації штучного інтелекту.

Можете пояснити, як NeuroSplit динамічно оптимізує обчислювальні ресурси, зберігаючи конфіденційність користувача та продуктивність?

Однією з найбільших проблем локального висновку штучного інтелекту було статичне обчислювальне навантаження – традиційно, виконання моделі штучного інтелекту вимагало однакових обчислювальних ресурсів незалежно від умов пристрою чи поведінки користувача. Цей універсальний підхід ігнорує реальність, що пристрої мають різні апаратні можливості, від різних чіпів (GPU, NPU, CPU, XPU) до різної мережевої смуги пропускання, і користувачі мають різну поведінку щодо використання застосунків та заряджання.

NeuroSplit безперебійно моніторить різні телеметричні дані пристрою – від апаратних можливостей до поточного використання ресурсів, стану батареї та мережевих умов. Ми також враховуємо поведінкові моделі користувачів, наприклад, кількість інших запущених застосунків та звичайні моделі використання пристрою. Це комплексне моніторинг дозволяє NeuroSplit динамічно визначати, яку частку висновку можна безпечно виконати на пристрої кінцевого користувача, одночасно оптимізуючи ключові показники продуктивності для розробників.

Коли конфіденційність даних є першочерговою, NeuroSplit забезпечує, щоб сирі дані ніколи не залишали пристрій, обробляючи чутливі дані локально при одночасному збереженні оптимальної продуктивності. Наша здатність розумно розділяти, обрізати або від’єднувати моделі штучного інтелекту дозволяє нам помістити 50-100 моделей штучного інтелекту в пам’яті одного квантованого моделі на пристрої кінцевого користувача. У практичному сенсі це означає, що користувачі можуть запускати значно більше застосунків, керованих штучним інтелектом, одночасно обробляючи чутливі дані локально порівняно з традиційними статичними підходами до обчислень.

Які основні переваги адаптивних висновків NeuroSplit для компаній штучного інтелекту, особливо тих, які працюють зі старими технологіями GPU?

NeuroSplit пропонує три трансформаційні переваги для компаній штучного інтелекту. По-перше, вона суттєво знижує витрати на інфраструктуру через два механізми: компанії можуть ефективно використовувати дешевші, старіші GPU, а наша унікальна можливість помістити як повні, так і моделі-stub на хмарні GPU дозволяє суттєво підвищити рівень використання GPU. Наприклад, застосунок, який зазвичай вимагає декілька NVIDIA A100 за $2,74 на годину, тепер може працювати як на одному A100, так і на декількох V100 за лише 83 центи на годину.

По-друге, ми суттєво покращуємо продуктивність, обробляючи початкові сирі дані безпосередньо на пристроях користувачів. Це означає, що дані, які в кінцевому підсумку передаються до хмарних обчислень, суттєво менші за розміром, суттєво знижуючи мережеву затримку при збереженні точності. Цей гібридний підхід надає компаніям найкраще з двох світів – швидкість локальної обробки з потужністю хмарних обчислень.

По-третє, обробляючи чутливі початкові дані на пристрої кінцевого користувача, ми допомагаємо компаніям зберегти сильні захисти конфіденційності користувача без жертвування продуктивністю. Це стає дедалі важливішим, оскільки нормативні акти щодо конфіденційності стають суворішими, а користувачі стають більш обізнаними щодо конфіденційності.

Як рішення Skymel знижує витрати на висновок штучного інтелекту без компромісу щодо складності або точності моделі?

По-перше, розділяючи окремі моделі штучного інтелекту, ми розподіляємо обчислення між пристроєм користувача та хмарними обчисленнями. Перша частина виконується на пристрої кінцевого користувача, обробляючи 5% до 100% від загального обчислення залежно від наявних ресурсів пристрою.

Це розділення означає, що хмарні GPU обробляють зменшене обчислювальне навантаження – якщо модель зазвичай вимагала повного GPU A100, то після розділення це навантаження може потребувати лише 30-40% потужності GPU.

По-друге, NeuroSplit оптимізує використання GPU у хмарі. Ефективно розміщуючи як повні моделі, так і моделі-stub на одному хмарному GPU, ми досягаємо суттєво вищого рівня використання порівняно з традиційними підходами. Це означає, що більше моделей можуть працювати одночасно на одному хмарному GPU, ще більше знижуючи витрати на висновок.

Які особливості відрізняють гібридний (локальний + хмарний) підхід Skymel від інших рішень інфраструктури штучного інтелекту на ринку?

Ландшафт штучного інтелекту знаходиться на цікавому етапі інфлексії. Хоча компанії, такі як Apple (AAPL ), Samsung та Qualcomm (QCOM ), демонструють потужність гібридного штучного інтелекту через свої функції екосистеми, ці екосистеми залишаються закритими садами. Але штучний інтелект не повинен бути обмежений тим, який пристрій використовує користувач.

NeuroSplit є фундаментально незалежним від пристрою, хмарним і незалежним від архітектури нейронної мережі. Це означає, що розробники можуть нарешті забезпечити послідовний досвід штучного інтелекту незалежно від того, чи користується користувач iPhone, пристроєм Android чи ноутбуком – або чи використовує AWS, Azure чи Google Cloud.

Розмірйте, що це означає для розробників. Вони можуть створити свій застосунок штучного інтелекту один раз і знати, що він адаптується інтелектуально на будь-якому пристрої, в будь-якій хмарі та під будь-якою архітектурою нейронної мережі. Більше немає необхідності створювати різні версії для різних платформ або компромісу щодо функцій на основі можливостей пристрою.

Ми виводимо можливості гібридного штучного інтелекту підприємства з закритих садів і робимо їх універсально доступними. Коли штучний інтелект стає центральним для кожного застосунку, така гнучкість і послідовність не просто перевага – це необхідність для інновацій.

Як агент Orchestrator доповнює NeuroSplit, і яку роль він грає у трансформації стратегій розгортання штучного інтелекту?

Агент Orchestrator (OA) та NeuroSplit працюють разом, щоб створити самопідтверджуючу систему розгортання штучного інтелекту:

1. Розробники встановлюють межі:

• Обмеження: дозволені моделі, версії, постачальники хмарних послуг, зони, правила відповідності
• Метою: цільова затримка, ліміт витрат, вимоги до продуктивності, потреби у конфіденційності

2. OA працює в межах цих обмежень для досягнення цілей:

• Визначає, які моделі/API використовувати для кожного запиту
• Адаптує стратегії розгортання на основі реальної продуктивності
• Робить компроміси для оптимізації заданих цілей
• Може бути переконфігурований миттєво, якщо змінюються потреби

3. NeuroSplit виконує рішення OA:

• Використовує телеметричні дані пристрою в режимі реального часу для оптимізації виконання
• Розділяє обробку між пристроєм та хмарою, коли це вигідно
• Забезпечує, щоб кожен висновок виконувався оптимально з урахуванням поточних умов

Це подібно до того, як система штучного інтелекту автономно оптимізує себе всередині ваших визначених правил та цілей, а не вимагає ручної оптимізації для кожного сценарію.

Як, на вашу думку, агент Orchestrator змінить спосіб розгортання штучного інтелекту в різних галузях?

Він вирішує три критичні проблеми, які стримували прийняття та інновації штучного інтелекту.

По-перше, це дозволяє компаніям легко слідувати за останніми досягненнями у сфері штучного інтелекту. З агентом Orchestrator ви можете миттєво використовувати новітні моделі та техніки без перепроектування інфраструктури. Це суттєва конкурентна перевага у світі, де інновації штучного інтелекту розвиваються з величезною швидкістю.

По-друге, воно дозволяє динамічно оптимізувати вибір моделей штучного інтелекту для кожного запиту. Агент Orchestrator може інтелектуально поєднувати моделі з величезної екосистеми варіантів для надання найкращих можливих результатів для кожної взаємодії з користувачем. Наприклад, система штучного інтелекту для обслуговування клієнтів могла б використовувати спеціалізовану модель для технічних питань та іншу модель для запитів щодо оплати, забезпечуючи кращі результати для кожного типу взаємодії.

По-третє, воно максимізує продуктивність при одночасному зниженні витрат. Агент автоматично балансує між виконанням штучного інтелекту на пристрої користувача або в хмарі на основі того, що має найбільший сенс в цей момент. Коли конфіденційність є важливою, воно обробляє дані локально. Коли потрібна додаткова обчислювальна потужність, воно використовує хмару. Все це відбувається безперебійно, створюючи гладкий досвід для користувачів при одночасній оптимізації ресурсів для бізнесу.

Але те, що真正ньо відрізняє агент Orchestrator, – це можливість дозволити бізнесу створювати наступне покоління гіперперсоналізованих досвідів для своїх користувачів. Розгляньте платформу електронного навчання – з нашою технологією вони можуть створити систему, яка автоматично адаптує свій підхід до навчання на основі рівня розуміння кожного студента. Коли користувач шукає “машинне навчання”, платформа не просто показує загальні результати – вона миттєво оцінює його поточне розуміння та налаштовує пояснення, використовуючи поняття, які він вже знає.

У кінцевому підсумку агент Orchestrator представляє майбутнє розгортання штучного інтелекту – перехід від статичної, монолітної інфраструктури штучного інтелекту до динамічної, адаптивної, самопідтверджуючої оркестрації штучного інтелекту. Це не просто полегшення розгортання штучного інтелекту – це дозволяє створювати цілком нові класи застосунків штучного інтелекту.

Який відгук ви отримали від компаній, які беруть участь у приватному бета-тестуванні агента Orchestrator?

Відгук від учасників нашого приватного бета-тестування був чудовим! Компанії у захваті від того, що вони можуть нарешті звільнитися від інфраструктурної залежності, незалежно від того, чи це власні моделі, чи послуги хостингу. Можливість майбутнього безперебійного розгортання стала справжнім проривом, ліквідуючи місяці перепроектування при зміні підходу.

Наші результати продуктивності NeuroSplit були просто видатними – ми не можемо дочекатися, щоб поділитися цими даними публічно скоро. Що особливо цікаво, так це те, як сама концепція адаптивного розгортання штучного інтелекту захопила уяви. Той факт, що штучний інтелект розгортається сам собою, звучить футуристично і не як щось, чого вони очікували зараз, тому просто з технологічного прогресу люди збуджені можливостями та новими ринками, які це може створити в майбутньому.

З швидкими досягненнями у сфері генеративного штучного інтелекту, які наступні великі перешкоди для інфраструктури штучного інтелекту ви бачите, і як Skymel планує їх вирішити?

Ми рухаємося до майбутнього, яке більшість людей ще не повністю зрозуміли: не буде одного панівного моделі штучного інтелекту, а мільярди з них. Навіть якщо ми створимо найпотужнішу модель загального штучного інтелекту, нам усе одно потрібно буде персоналізовані версії для кожного людини на Землі, кожна з яких адаптована до унікальних контекстів, уподобань та потреб. Це означає принаймні 8 мільярдів моделей, заснованих на населення світу.

Це революційний перехід від сучасного універсального підходу. Майбутнє вимагає інтелектуальної інфраструктури, яка може обробляти мільярди моделей. В Skymel ми не просто вирішуємо сьогоднішні проблеми розгортання – наш технологічний шлях вже будує основу для того, що прийде наступним.

Як ви бачите розвиток інфраструктури штучного інтелекту за наступні п’ять років, і яку роль Skymel відіграватиме в цій еволюції?

Ландшафт інфраструктури штучного інтелекту ось-ось пройде фундаментальну трансформацію. Хоча зараз основна увага прикута до масштабування загальних великих моделей мови у хмарі, наступні п’ять років побачать штучний інтелект, який стає глибоко персоналізованим і контекстно-чутливим. Це не просто про тонке налаштування – це про штучний інтелект, який адаптується до конкретних користувачів, пристроїв та ситуацій в режимі реального часу.

Цей перехід створює дві великі інфраструктурні проблеми. По-перше, традиційний підхід до виконання всього у центральних центрах даних стає технічно та економічно нецільовим. По-друге, зростаюча складність застосунків штучного інтелекту означає, що нам потрібно інфраструктуру, яка може динамічно оптимізуватися через декілька моделей, пристроїв та місць обчислень.

В Skymel ми будуємо інфраструктуру, яка конкретно вирішує ці проблеми. Наша технологія дозволяє штучному інтелекту працювати там, де це має найбільший сенс – чи то на пристрої, де створюються дані, чи у хмарі, де доступна більша обчислювальна потужність, чи інтелектуально розділяючи рішення між ними. Що більш важно, вона адаптує ці рішення в режимі реального часу на основі змінних умов та вимог.

Оглядаючи майбутнє, успішні застосунки штучного інтелекту не будуть визначатися розміром своїх моделей чи кількістю доступної обчислювальної потужності. Вони будуть визначатися своєю здатністю забезпечувати персоналізовані, реактивні досвіди при ефективному управлінні ресурсами. Наша мета – зробити цей рівень інтелектуальної оптимізації доступним для кожного застосунку штучного інтелекту, незалежно від масштабу чи складності.

Дякую за чудове інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати Skymel.