Елад Раз, генеральний директор NextSilicon – Серія інтерв’ю

Елад Раз, генеральний директор NextSilicon, є досвідченим підприємцем і технологічним лідером, широко відомим за свою глибоку експертизу в галузі низькорівневих систем, безпеки, мереж та розробки файлових систем. За свою кар’єру, яка охоплює елітні інженерні ролі в військовій сфері, керівні посади в галузі програмного забезпечення, створення компаній та довгострокові інвестиції, Раз очолював складні, критично важливі проекти в галузі внутрішньої організації операційних систем та інтеграції апаратного та програмного забезпечення. До заснування NextSilicon він створив і продав кілька технологічних компаній, обіймав керівні посади в одному з провідних виробників напівпровідників та інвестував у різноманітний портфель стартапів, поєднуючи практичну інженерну глибину з сильною виконавчою та довгостроковою стратегічною візією.

NextSilicon – це ізраїльська компанія з високопродуктивних обчислень та виробництва напівпровідників, заснована у 2017 році, яка переосмислює архітектуру обчислень для вимогливих завдань, таких як штучний інтелект та наукові обчислення. Компанія розробила програмно-визначену інтелектуальну платформу обчислень, призначену для забезпечення високої продуктивності та ефективності без потреби переписування програм від розробників. Зосереджуючись на адаптивності на рівні апаратури, NextSilicon спрямована на вирішення фундаментальних瓶ячків сучасних центрів даних та суперкомп’ютерних середовищ, позиціонуючи себе як наступне покоління альтернатив традиційним прискорювачам.

Розкажіть нам про свій шлях до заснування NextSilicon? Що спонукало вас до появи первинної ідеї, і як ваші ранні досвіди з обчисленнями сформували вашу бачення?

Я був зачарований комп’ютерами з дитинства. Ця зачарованість привела мене від експериментів зі старими Commodore 64 та Atari (які я досі збираю) до спільного заснування стартапів, а згодом до продажу моєї попередньої компанії компанії Mellanox. Але навіть з цими ранніми успіхами я постійно бачив одну й ту ж проблему в цій галузі. Коли обчислювальні завдання стали більш складними, традиційні архітектури ЦП та ГПУ досягли меж продуктивності, енергоефективності та масштабованості. Чи то оптимізація алгоритмів, чи виконання великомасштабних симуляцій, стало очевидним, що поточні архітектури змушували завдання адаптуватися до апаратури, а не навпаки.

Ідея NextSilicon виникла з цієї повторюваної проблеми і поставила питання: Що якщо ми могли б змінити все і створити архітектуру обчислень, яка адаптується до завдань, а не змушує завдання адаптуватися до апаратури? Мій ранні досвід з проектування алгоритмів та апаратури вчив мене, що справжній прорив прийде з поєднання цих двох в реальному часі. Це є основою нашої Інтелектуальної Архітектури Обчислень (ICA) та керівної візії NextSilicon з самого початку.

Maverick-2 описується як Інтелектуальний Прискорювач Обчислень, який адаптується до завдань в реальному часі. Як його архітектура відрізняється від традиційних ГПУ чи ФПГА, і що забезпечує такий рівень адаптивності?

ЦП та ГПУ революціонізували наш світ і добре послужили нам. Але вони ніколи не були розроблені для задоволення вимог сучасних завдань штучного інтелекту та високопродуктивних обчислень (ВПО) в галузях, таких як наука, погода, енергетика та оборона. Ці завдання мають складні залежності даних, шаблони доступу до пам’яті та обчислювальні шаблони, з якими сучасні процесори не були розроблені для роботи. Результатом є瓶ячки, які сповільнюють інновації.

Ключова відмінність Maverick-2 полягає в його новому підході, який поєднує реконфігурований двигун потоку даних з оптимізацією програмного забезпечення в реальному часі. Ключова архітектурна відмінність полягає в тому, що апаратура конфігурується на основі завдання, а не навпаки. Для Maverick-2 доступність даних керує обчисленнями, а не програмний лічильник, який керує виконання інструкцій, як у традиційних процесорах. Це дозволяє нам створювати програмно-визначені віртуальні одиниці обробки, які можуть бути конфігуровані та реконфігуровані в реальному часі для відповідності конкретним шаблонам завдань.

Результати говорять самі за себе: Maverick-2 забезпечує продуктивність на ват більше ніж у 4 рази порівняно з ГПУ та більше ніж у 20 разів порівняно з високопродуктивними ЦП, а також скорочує операційні витрати більш ніж на половину. Таким чином, дослідники та інженери можуть виконувати великомасштабні, нерівномірні симуляції швидше та ефективніше, відкриваючи нові знання та прориви за частку часу.

Ви повідомили про досягнення продуктивності на ват більше ніж у 4 рази порівняно з ГПУ та більше ніж у 20 разів порівняно з високопродуктивними ЦП. Які ключові інновації забезпечують ці підвищення продуктивності в реальних завданнях?

Повышення продуктивності забезпечується кількома ключовими інноваціями, які працюють разом.

По-перше, ми відійшли від моделі фон Неймана, яка домінувала в обчисленнях протягом 80 років. Замість послідовного виконання інструкцій Maverick-2 використовує архітектуру потоку даних, де обчислення відбуваються за доступністю даних. Це фундаментально краще підходить для нерівномірних, інтенсивних завдань з пам’яттю.

По-друге, наша самооптимізована архітектура генерує програмно-визначені процесорні ядра в реальному часі. Апаратура адаптується до потреб кожної програми без необхідності переписування коду – ви отримуєте оптимізацію без накладних витрат.

По-третє, і це критично: ми зосереджуємося на підтриманні реальної продуктивності в реальному світі, а не теоретичних піків. Багато архітектур виглядають добре на папері, але слабшають на реальних завданнях. Maverick-2 підтримує ефективність у завданнях штучного інтелекту, ВПО та векторних баз даних, продовжуючи адаптуватися до потреб завдань.

Maverick-2 підтримує C/C++, Fortran, OpenMP та Kokkos без потреби змін коду. Як розробники відповіли на цю сумісність, і які ваші плани щодо підтримки CUDA, ROCm чи популярних фреймворків штучного інтелекту?

Розробники люблять, що Maverick-2 є справжнім «drop-in replacement». Вони можуть виконувати свої існуючі програми негайно без бар’єрів перенесення, які переслідують цю галузь. Ми зараз підтримуємо C/C++, Fortran, OpenMP та Kokkos, а CUDA, ROCm та основні фреймворки штучного інтелекту, такі як TensorFlow, JAX, PyTorch та ONNX, знаходяться в активній розробці. Це усуває залежність від виробників та дорогі переписування коду, дозволяючи клієнтам оцінювати та приймати нові архітектури без порушення їхніх робочих процесів.

Як працює система оптимізації Maverick-2 за допомогою телеметрії? Що включено в профайлінг та реконфігурацію чипа в реальному часі?

Підумайте про нашу систему оптимізації як про безперервний цикл: під час виконання наша система телеметрії вимірює сотні показників продуктивності (наприклад, пропускну здатність пам’яті, використання, глибину черги). Всі ці дані подаються в оптимізатор часу виконання, який визначає, чи залишається поточна конфігурація апаратури оптимальною для завдання та його очікуваних потреб. Якщо ні, він може перерозподіляти ресурси, змінювати порядок даних, регулювати обчислювальні потоки безперервно, що означає, що застосування не зупиняється. Це відбувається протягом мілісекунд, тому застосування підтримує сталу пікову ефективність, коли його обчислювальний профіль змінюється.

Чи існують певні типи завдань або крайні випадки, де адаптивна оптимізація продуктивності в реальному часі менш ефективна або вводить компроміси в затримці чи потужності?

Будь-яка архітектура матиме компроміси. Maverick-2 excels у складних, нерівномірних завданнях з зміщуваними обчислювальними та шаблонами доступу до даних. Для високопередбачуваних, фіксованих завдань добре налаштований ГПУ може бути дуже ефективним без накладних витрат на адаптацію. У таких випадках наша адаптивність все ж забезпечує солідну продуктивність, але відносна перевага може бути меншою.

Дизайн NextSilicon зосереджений на універсальності та конкурентоспроможності в прямолінійних випадках, але трансформаційний у складних.

Чому ви вирішили пріоритезувати ринок ВПО на ранній стадії, коли більшість стартапів спішали в штучний інтелект? Як це сформувало вашу продуктивність та бізнес-стратегію?

ВПО представляє собою передовий край обчислювальної складності та вирішення проблем для величезних наборів даних, нерівномірного доступу до пам’яті та непередбачуваних обчислювальних шаблонів. Якщо ви можете створити архітектуру, яка успішно працює там – наприклад, виконання симуляцій у масштабі ексабайт у кліматичному моделюванні чи фізиці частинок, вона буде успішною і в штучному інтелекті.

Зосередившись на ВПО спочатку, ми довели ефективність Maverick-2 на найбільш вимогливих завданнях у кліматичному моделюванні, фізиці та біологічних науках. Це дало нам авторитет, реальні дані про продуктивність та зрілий продукт до того, як ми перейшли глибше в ринки штучного інтелекту. Тепер ми займаємо позицію, щоб служити обом, не компрометуючи нашу архітектуру для короткострокових тенденцій чи потреб.

Тепер, коли Maverick-2 знаходиться у виробництві та розгорнутому серед десятків клієнтів, можете ви поділитися прикладами того, як він використовується? Чи є конкретні результати чи бенчмарки з флагманських розгортувань?

Одним з флагманських прикладів є наш розгортання в Національній лабораторії Сандія, де Maverick-2 забезпечує потужність їхнього суперкомп’ютера Spectra в рамках програми Vanguard-II. Ми спостерігаємо вражаючі результати продуктивності без потреби змін коду. Ми також працюємо з ODISSEE (Онлайн-дані інтенсивних рішень для науки в ексабайтах), яке об’єднує провідні дослідницькі установи для обробки даних у масштабі ексабайт з ЦЕРНівського Великого адронного колайдера та обсерваторії Square Kilometre Array. Роль Maverick-2 буде полягати у вирішенні проблеми обробки петабайт сирих експериментальних даних за частку часу та енергії, раніше необхідних. Кінцевою метою є забезпечення швидшого фізичного аналізу та астрономічних відкриттів.

Ви зібрали понад 300 мільйонів доларів, з великими раундами, оголошеними в 2021 році та нещодавно. Чи можете ви поділитися тим, як це фінансування прискорило розвиток вашого продукту та ринку?

Фінансування дозволило нам зробити три речі. По-перше, ми могли просунути архітектуру вперед, не тільки інкрементальні поліпшення, а фундаментальні прориви, які зробили Maverick-2 готовим до виробництва. По-друге, ми масштабували нашу виробництво та ланцюжок постачання, щоб задовольнити зростаючий попит, який є не тривіальною задачею для нової апаратури. По-третє, ми розширили наш екосистему програмного забезпечення, щоб дозволити клієнтам інтегрувати та розгортати швидше.

Це також дозволило нам створити стратегічні партнерства з центрами суперкомп’ютерів та постачальниками хмарних послуг, що дозволило нам прискорити наш процес концепції до розгортання та розширення набагато швидше, ніж традиційні стартапи з апаратного забезпечення.

У ландшафті, який включає Cerebras (CBRS ), SambaNova та Nvidia (NVDA ), як ви бачите позиціонування NextSilicon? Яка ваша стратегія виходу на ринок як челенджера?

Ми бачимо NextSilicon як технологічну компанію, а не просто ще одну компанію з виробництва чипів. Ми оптимізуємо кожне завдання, забезпечуємо адаптивність та не змушуємо клієнтів використовувати пропрієтарне програмування чи апаратуру. Наші клієнти можуть принести свій існуючий код та досягти негайного прискорення без тривалих циклів перенесення чи залежності від певної екосистеми, chẳng hạn як CUDA. Це особливо важливо, коли завдання штучного інтелекту еволюціонують за межі чистого навчання. Моделі висновків, розширений висновок та великі контекстні вікна вимагають фундаментально різних шаблонів обчислень: більш динамічного доступу до пам’яті, змінної тривалості обчислень та адаптивної розподілу ресурсів. Це не проблеми, які можна вирішити за допомогою більшої кількості фіксованої архітектури.

Наша стратегія виходу на ринок зосереджена на вирішенні найскладніших проблем спочатку: роботі з дослідницькими установами, національними лабораторіями та підприємствами, де продуктивність, енергоефективність та гнучкість є критично важливими. Звідти ми розширюємося на ширші ринки штучного інтелекту та інтенсивних даних. Галузь домінується фіксованими архітектурами. Ми пропонуємо щось інше – адаптивність, закладену з самого початку. Штучний інтелект переходить від чистого масштабу до інтелекту. Більші моделі забезпечують розумніші висновки, від коротких запитів до довгих контекстних розумінь. У цьому переході адаптивні архітектури не тільки будуть новими; вони будуть необхідними.

Дякуємо за велике інтерв’ю, читачам, які бажають дізнатися більше, рекомендуємо відвідати NextSilicon.