Крішна Рангасає, засновник та генеральний директор SiMa.ai – Серія інтерв’ю

Крішна Рангасає – засновник і генеральний директор SiMa.ai. Раніше Крішна був операційним директором Groq і працював у Xilinx протягом 18 років, де обіймав різні керівні посади, включаючи старшого віце-президента та генерального менеджера всього бізнесу, а також виконавчого віце-президента глобальних продажів. Під час роботи у Xilinx Крішна збільшив бізнес до 2,5 млрд доларів США доходу при валовій маржі 70%, створивши основу для 10+ кварталів послідовного зростання та розширення частки ринку. До того, як приєднатися до Xilinx, він обіймав різні інженерні та бізнес-посади в Altera Corporation і Cypress Semiconductor. Він володіє понад 25 міжнародними патентами та входив до складу ради директорів публічних і приватних компаній.

Що спочатку привернуло вашу увагу до машинного навчання?

Я вивчав ринки вбудованих периферійних систем та хмари протягом останніх 20 років. Я бачив багато інновацій у хмарі, але дуже мало для забезпечення машинного навчання на периферії мережі. Це величезний недопоставлений ринок вартістю понад 40 млрд доларів США, який виживає на старій технології протягом десятиліть.

Тому ми почали щось, чого ніхто раніше не робив – надали можливість простого у впровадженні машинного навчання для вбудованих периферійних систем.

Чи можете ви поділитися історією створення SiMa?

За свою 20-річну кар’єру я ще не бачив архітектурних інновацій, які відбувалися на ринку вбудованих периферійних систем. Однак потреба в машинному навчанні у вбудованих периферійних системах зростала у хмарі та елементах Інтернету речей. Це доводить, що компанії вимагають машинного навчання на периферії мережі, але технологія для реалізації цього реальності є застарілою.

Отже, до того, як SiMa.ai почала розробку нашої конструкції, нам було важливо зрозуміти найбільші проблеми наших клієнтів. Однак отримати від них час для ранньої стадії стартапу, щоб отримати значимі та чесні відгуки, було своєю власною проблемою. На щастя, наша команда та я змогли використати нашу мережу з попередніх відносин, щоб закріпити бачення SiMa.ai з правильними цільовими компаніями.

Ми зустрілися з понад 30 клієнтами та поставили два базових питання: “Які найбільші проблеми при масштабуванні машинного навчання до вбудованих периферійних систем?” та “Як ми можемо допомогти?” Після багатьох обговорень про те, як вони хочуть змінити галузь та слухаючи їхні проблеми для досягнення цього, ми отримали глибоке розуміння їхніх болісних точок та розробили ідеї про те, як їх вирішити. Серед них:

• Отримання переваг машинного навчання без складного процесу освоєння.
• Збереження спадкових застосунків разом із підготовкою впроваджень ML до майбутніх вимог.
• Робота з високопродуктивним рішенням із низьким енергоспоживанням у дружньому середовищі.

Швидко ми зрозуміли, що нам потрібно надати поетапний підхід зі зниженням ризиків, щоб допомогти нашим клієнтам. Як стартап, нам потрібно було принести щось настільки привабливе та відрізняється від усіх інших. Жодна інша компанія не займалася цим явним потребою, тому ми обрали цей шлях.

SiMa.ai досягла цього рідкісного подвигу, архітектурно створивши першу в галузі програмно-орієнтовану, спеціально розроблену платформу систем на кристалі (MLSoC). За допомогою поєднання кремнію та програмного забезпечення машинне навчання тепер можна додати до застосунків вбудованих периферійних систем одним натисканням кнопки.

Чи можете ви поділитися своїм баченням того, як машинне навчання змінить все на периферії мережі?

Більшість компаній з машинного навчання зосереджені на ринках із високими темпами зростання, таких як хмарні обчислення та автономне водіння. Однак це робототехніка, дрони, безшовна торгівля, розумні міста та промислова автоматизація вимагають останньої технології машинного навчання для підвищення ефективності та зниження витрат.

Ці зростаючі сектори разом із поточними розчаруваннями при розгортанні машинного навчання у вбудованих периферійних системах пояснюють, чому ми вважаємо, що час сповнений можливостями. SiMa.ai підходить до цієї проблеми зовсім інакше; ми хочемо зробити масове впровадження реальністю.

Що досі заважало масштабуванню машинного навчання на периферії мережі?

Машинне навчання повинно легко інтегруватися з спадковими системами. Компанії Fortune 500 та стартапи вклали великі кошти у свої поточні технологічні платформи, але більшість з них не переписуватимуть весь свій код або повністю змінюватимуть свою основну інфраструктуру, щоб інтегрувати машинне навчання. Для мінімізації ризику та отримання переваг машинного навчання потрібно створити технологію, яка дозволить безшовну інтеграцію спадкового коду разом із машинним навчанням у їхніх системах. Це створює легкий шлях для розробки та розгортання цих систем для задоволення потреб застосунків та отримання переваг від інтелекту, який приносить машинне навчання.

Не існує великих роз’ємів, немає одного великого клієнта, який би зміг змінити ситуацію, тому нам не було іншого вибору, як підтримувати понад тисячу клієнтів, щоб по-справжньому масштабувати машинне навчання та принести цей досвід їм. Ми виявили, що ці клієнти мають бажання використовувати машинне навчання, але вони не мають можливості отримати досвід навчання, оскільки їм бракує внутрішньої можливості створити та не мають внутрішньої бази знань. Тому їм хочеться реалізувати досвід машинного навчання, але зробити це без складного процесу освоєння у вбудованих периферійних системах, і що це швидко призводить до того, що нам потрібно зробити цей досвід машинного навчання дуже зручним для клієнтів.

Як SiMA може так драматично зменшити споживання енергії порівняно з конкурентами?

Наша MLSoC — основний механізм, який уможливлює все це. Важливо розрізняти: ми створюємо не просто прискорювач машинного навчання. Реакцією галузі на 2 мільярди доларів інвестицій у стартапи периферійних ML-систем на кристалі здебільшого був блок ML-прискорення як ядро або окрема мікросхема. Але для переходу від класичної SoC до машинного навчання потрібне середовище MLSoC. Воно дає змогу з першого дня запускати наявний код і поступово, поетапно знижуючи ризики, додавати ML-компоненти. Наприклад, сьогодні семантичну сегментацію можна виконувати класичними методами комп’ютерного зору, а завтра — методами машинного навчання. Ми дозволяємо клієнтам розгортати й розподіляти своє завдання так, як вони вважають за потрібне, використовуючи класичний комп’ютерний зір, звичайну обробку на ARM або гетерогенні ML-обчислення. Для нас ML — не кінцевий продукт, тому сам по собі ML-прискорювач не буде успішним. Це можливість і набір інструментів на додачу до інших засобів, які ми надаємо клієнтам. Методологія натискання кнопки дозволяє ітеративно змінювати попередню й подальшу обробку, аналітику та ML-прискорення на єдиній платформі, отримуючи найвищу продуктивність застосунку на рівні всієї системи за найнижчого енергоспоживання.

Які деякі з основних пріоритетів ринку для SiMa?

Ми визначили кілька ключових ринків, деякі з яких швидше доходять до доходу, ніж інші. Найшвидший час до доходу – це розумний зір, робототехніка, промисловість 4.0 та дрони. Ринки, які потребують трохи більше часу через кваліфікації та стандартні вимоги, – це автомобільні та медичні застосування. Ми почали роботу у всіх цих напрямках, співпрацюючи з провідними гравцями кожної категорії.

Знімання зображень зазвичай відбувається на периферії мережі, а аналіз – у хмарі. Які переваги зміщення цієї стратегії розгортання?

Застосунки на периферії мережі потребують локальної обробки, для багатьох застосунків немає достатнього часу для передачі даних у хмару та назад. Можливості машинного навчання фундаментальні для застосунків на периферії мережі, оскільки рішення повинні прийматися в режимі реального часу, наприклад, у автомобільних застосунках та робототехніці, де рішення повинні оброблятися швидко та ефективно.

Чому підприємства повинні розглянути рішення SiMa замість ваших конкурентів?

Наша відмінність — програмно-орієнтований підхід у поєднанні з повним апаратним рішенням. Ми зосередилися на комплексному розв’язанні ключових проблем клієнтів, які називаємо Any, 10x і Pushbutton. Початкова ідея компанії: натискаєш кнопку й отримуєш «Вау!». Досвід роботи має бути абстрагований настільки, щоб ним могли користуватися тисячі розробників, не будучи геніями ML і не налаштовуючи вручну кожен шар заради бажаної продуктивності. Вони мають залишатися на найвищому рівні абстракції та швидко й практично впроваджувати ML без зайвих зусиль. Ми обрали цю ідею через її тісний зв’язок із масштабуванням: простий досвід роботи з ML не повинен вимагати постійної індивідуальної допомоги та залучення сервісних фахівців, що заважало б масштабуванню.

Перший рік ми відвідали понад 50 клієнтів у світі, намагаючись зрозуміти: якщо всі хочуть ML, чому не впроваджують його? Що заважає практичному застосуванню і що потрібно для масштабного розгортання? Відповідь зводиться до трьох засад. Перша — Any, тобто підтримка різноманітності. Ми маємо вирішувати завдання широкого кола клієнтів і сценаріїв використання з різними ML-мережами, сенсорами, частотами кадрів і роздільними здатностями. Кожний ринок має відмінні вхідні системи. Якщо обмежитися вузьким сегментом, економічно життєздатної компанії не побудувати. Потрібна «воронка», яка приймає дуже широкий спектр застосувань — своєрідний острів Елліс для всього комп’ютерного зору. Хтось працює з TensorFlow, хтось використовує Python, сенсор камери може мати роздільну здатність 1080 або 4K. Це не має значення, якщо ми можемо уніфікувати ці варіанти й об’єднати їх. Без такої вхідної частини компанія не зможе масштабуватися.

Друга засада — 10x. Клієнти не можуть легко розгортати й створювати похідні платформи, якщо кожна нова модель або конвеєр потребує починати все заново. Крім того, стартап повинен запропонувати настільки переконливу перевагу, щоб клієнти погодилися ризикнути, — десятикратний приріст продуктивності. Ключовий технічний показник, який ми прагнемо поліпшити для комп’ютерного зору, — кількість кадрів за секунду на ват. Ми маємо суттєво випереджати інших, щоб залишатися на одне-два покоління попереду, тому заклали це у програмно-орієнтований підхід. Так виникла гетерогенна обчислювальна платформа, яка дозволяє виконати весь конвеєр комп’ютерного зору на одній мікросхемі та забезпечити десятикратну перевагу над іншими рішеннями.

Третя засада — Pushbutton, або робота одним натисканням кнопки. Вона випливає з потреби справді масштабувати ML у вбудованих периферійних системах. Ланцюжки ML-інструментів ще незрілі й часто не працюють належним чином; жодна компанія не створила по-справжньому світового рівня досвіду роботи з ML-програмами. Для вбудованого ринку важливо приховати складність коду й водночас забезпечити ітеративний процес швидкого оновлення та оптимізації платформ. Клієнтам потрібні відповідь або рішення за хвилини, а не за місяці, щоб упровадження ML не вимагало зайвих зусиль. Any, 10x і Pushbutton стали ключовими ціннісними пропозиціями: якщо ми відмінно реалізуємо ці три речі, то зможемо суттєво спростити ML і його масштабування у вбудованих периферійних системах.

Чи є щось ще, що ви хотіли б поділитися про SiMa?

На ранній стадії розробки платформи MLSoC ми штовхали межі технологій та архітектури. Ми йшли всередину програмно-орієнтованої платформи, яка була зовсім новим підходом, що йшло проти всіх традиційних знань. Подорож у розумінні цього та подальшу реалізацію була важкою.

Нещодавня визначна перемога підтверджує силу та унікальність технології, яку ми створили. SiMa.ai досягла значної віхи у квітні 2023 року, обігнавши лідера індустрії у нашому дебютному показнику продуктивності MLPerf Benchmark у категорії Closed Edge Power. Ми пишаємося тим, що стали першою стартап-компанією, яка взяла участь та досягла переможних результатів у найбільш популярному та визнаному бенчмарку MLPerf ResNet-50 за продуктивністю та енергоспоживанням.

Ми почали з високих прагнень і до цього дня я пишаюсь тим, що бачення залишилося незмінним. Наша платформа MLSoC була спеціально створена для порушення галузевих норм щодо надання революційного рішення машинного навчання ринку вбудованих периферійних систем.

Дякуємо за чудове інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати SiMa.ai.