Моше Танах, генеральний директор і співзасновник компанії NeuReality – Інтерв’ю

Моше Танах є генеральним директором і співзасновником компанії NeuReality. До заснування компанії NeuReality Моше обіймав посаду директора з інженерії в компанії Marvell і Intel (INTC ), де він керував розробкою складних бездротових і мережевих продуктів для масового виробництва. Він також обіймав посаду віце-президента з досліджень і розробок в компанії DesignArt Networks (пізніше придбаної компанією Qualcomm (QCOM )), де він внес свій внесок у розробку продуктів базових станцій 4G.

NeuReality має на меті спростити采用 штучного інтелекту. За допомогою системного підходу до штучного інтелекту команда компанії NeuReality доставляє висновки штучного інтелекту в цілісному вигляді, ідентифікуючи болючі місця і надаючи спеціально розроблені рішення для висновків штучного інтелекту, які роблять штучний інтелект доступним і доступним.

З вашим великим досвідом керівництва інженерними проектами в компаніях Marvell, Intel і DesignArt-Networks, що спонукало вас заснувати компанію NeuReality, і як ваш попередній досвід вплинув на бачення і напрямок компанії?

Компанія NeuReality була створена з самого початку для вирішення майбутніх проблем зі вартістю, складністю і кліматом, які будуть неминучими при висновках штучного інтелекту – тобто розгортанні навчених моделей і програмного забезпечення штучного інтелекту у виробничих центрах даних. Там, де навчання штучного інтелекту – це створення штучного інтелекту; висновки штучного інтелекту – це використання штучного інтелекту та його взаємодія з мільярдами людей і пристроїв у світі.

Ми є командою системних інженерів, тому ми розглядаємо всі аспекти, всі багаторічні аспекти висновків штучного інтелекту, включаючи графічні процесори і всі класи спеціально розроблених прискорювачів штучного інтелекту. Стало ясно нам, починаючи з 2015 року, що чипи і системи штучного інтелекту, що залежать від процесора – тобто кожен графічний процесор, ТПУ, ЛПУ, НРУ, АСІК і ФПГА – зіштовхнуться з суттєвою стіною до 2020 року. Системні обмеження, де прискорювач штучного інтелекту став краще і швидшим за сурову продуктивність, але базова інфраструктура не збігалася.

В результаті ми вирішили відокремитися від великих гігантів, які розділені бюрократією, що захищають успішний бізнес, як виробники процесорів і мережевих інтерфейсів, і порушити галузь кращою архітектурою штучного інтелекту, яка є відкритою, агностичною і спеціально розробленою для висновків штучного інтелекту. Одним з висновків переосмислення ідеальної архітектури висновків штучного інтелекту є те, що при підвищенні використання графічних процесорів і системної ефективності наша нова інфраструктура обчислення і мережі – потужна наша нова мікросхема NR1, яка замінює процесор і мережеві інтерфейси. Як інгредієнт-бренд і компаньйон до будь-якого графічного процесора або прискорювача штучного інтелекту, ми можемо усунути ринкові бар’єри, які стримують 65% організацій від інновацій і прийняття штучного інтелекту сьогодні – недооцінка графічних процесорів, що призводить до покупки більшого, ніж дійсно потрібно (оскільки вони працюють в режимі очікування понад 50% часу) – при цьому знижуючи енергоспоживання, проблему центрів даних штучного інтелекту і операційні витрати.

Це єдиний у своєму роді шанс дійсно перетворити архітектуру системи штучного інтелекту на краще, засновану на всьому, що я вивчив і практикував протягом 30 років, відкриваючи двері для нових інноваторів штучного інтелекту в різних галузях і усунення обмежень процесора, складності і вуглецевого сліду.

Місія компанії NeuReality полягає у демократизації штучного інтелекту. Чи можете ви роз’яснити, що означає “Штучний інтелект для всіх” для вас, і як компанія NeuReality планує досягти цієї мети?

Наша місія полягає у демократизації штучного інтелекту, роблячи його більш доступним і доступним для всіх організацій, великих і малих – шляхом звільнення максимальної потужності будь-якого графічного процесора або будь-якого прискорювача штучного інтелекту, так що ви отримуєте більше від ваших інвестицій; іншими словами, отримуйте БІЛЬШЕ від графічних процесорів, які ви купуєте, а не КУПУЄТЕ більше графічних процесорів, які працюють в режимі очікування понад 50% часу. Ми можемо підвищити прискорювачі штучного інтелекту до 100% повної потужності, доставляючи при цьому до 15-кратної енергоефективності і скорочуючи системні витрати до 90%. Це порядку величини покращення. Ми плануємо досягти цієї мети за допомогою нашого рішення NR1 для висновків штучного інтелекту, першої архітектури системи центру даних, розробленої для епохи штучного інтелекту. Вона працює з високим об’ємом, різноманіттям потоків даних штучного інтелекту доступно і ефективно з додатковою перевагою зменшеного вуглецевого сліду.

Досягнення штучного інтелекту для всіх також означає зробити його легким у використанні. У компанії NeuReality ми спрощуємо розгортання, управління і масштабування інфраструктури штучного інтелекту, підвищуємо бізнес-процеси і прибутковість, і просунуємо галузі, такі як громадське здоров’я, безпека, правоохоронна діяльність і обслуговування клієнтів. Наш вплив поширюється на галузі, такі як медична візуалізація, клінічні дослідження, виявлення шахрайства, створення контенту штучного інтелекту і багато іншого.

На даний момент наші перші комерційно доступні пристрої NR1-S для висновків штучного інтелекту доступні з прискорювачами Qualcomm Cloud AI 100 Ultra і через Cirrascale, постачальника хмарних послуг.

Рішення NR1 для висновків штучного інтелекту позиціонується як перша архітектура системи центру даних, розроблена для епохи штучного інтелекту, і спеціально розроблена для висновків штучного інтелекту. Які були ключові інновації і прориви, які привели до розробки NR1?

NR1™ є назвою цілої системи архітектури “від кремнію до програмного забезпечення”, яку ми розробили і доставили галузі штучного інтелекту – як відкриту, повністю сумісну інфраструктуру обчислень і мережі, яка повністю доповнює будь-який прискорювач штучного інтелекту і графічні процесори. Якщо я мав би розбити це на найбільш унікальні і цікаві інновації, які привели до цього комплексного рішення NR1 і відрізняють нас, я сказав би:

• Оптимізовані графічні обчислення штучного інтелекту: Наша команда розробила програмований прискорювач виконання графів для оптимізації обробки графів обчислень, які є важливими для штучного інтелекту і різних інших робочих навантажень, таких як обробка медіа, бази даних і багато іншого. Графи обчислень представляють собою серію операцій з залежностями, і ця ширша застосовність позиціонує NR1 як потенційно революційний за межами простого підвищення графічних процесорів і інших прискорювачів штучного інтелекту. Він спрощує розгортання моделей штучного інтелекту, генеруючи оптимізовані графи обчислень (ГО) на основі попередньо оброблених даних штучного інтелекту і програмних інтерфейсів API, що призводить до суттєвих підвищень продуктивності.
• NR1 NAPU™ (мережевий адресований процесорний блок): Наша архітектура висновків штучного інтелекту потужна NR1 NAPU™ – 7-нанометровий сервер-на-чипі, який забезпечує прямий мережевий доступ для попередньої і після обробки штучного інтелекту. Ми упаковуємо 6,5-кратну потужність на меншому чипі NR1, ніж типовий загальний процесор. Традиційно, завдання попередньої обробки (як очистка даних, форматування і витягування ознак) і завдання після обробки (як інтерпретація результатів і форматування) обробляються процесором. Віддавши ці завдання на NR1 NAPU™, ми заміняємо процесори і мережеві інтерфейси. Це знижує обмеження, дозволяючи швидшу загальну обробку, блискавичні часи відповіді і нижчу вартість на запит штучного інтелекту. Це знижує обмеження і дозволяє швидшу загальну обробку.
• Технологія гіпервізора штучного інтелекту NR1™: Патентованій апаратній основі гіпервізора штучного інтелекту NR1 оптимізує оркестрацію завдань штучного інтелекту і використання ресурсів, підвищуючи ефективність і знижуючи обмеження.
• Двигун мережі AI-over-Fabric™ NR1: NR1 включає унікальний двигун мережі AI-over-Fabric, який забезпечує безшовне мережеве підключення і ефективне масштабування ресурсів штучного інтелекту на декілька чипів NR1 – які поєднуються з будь-яким графічним процесором або прискорювачем штучного інтелекту – в рамках одного сервера висновків штучного інтелекту або пристрою NR1-S.

Недавні дані про продуктивність компанії NeuReality підкреслюють суттєві економії витрат і енергоспоживання. Чи можете ви надати більше подробиць про те, як NR1 досягає економії витрат до 90% і 15-кратної енергоефективності порівняно з традиційними системами?

Рішення NR1 компанії NeuReality скорочує витрати і енергоспоживання висновків штучного інтелекту до 90% і 15-кратної енергоефективності відповідно. Це досягається завдяки:

• Спеціалізований кремній: Наша спеціально розроблена інфраструктура висновків штучного інтелекту потужна сервер-на-чипі NR1 NAPU, який поглинає функціональність процесора і мережевого інтерфейсу в одному – і усуває необхідність процесорів у висновках. В кінцевому підсумі NR1 максимізує вихід будь-якого прискорювача штучного інтелекту або графічного процесора найбільш ефективним чином.
• Оптимізована архітектура: За рахунок оптимізації потоку даних штучного інтелекту і включення попередньої і після обробки штучного інтелекту безпосередньо в NR1 NAPU, ми вивантажуємо і замінюємо процесор. Це призводить до зниження затримки, лінійної масштабованості і нижчої вартості на запит штучного інтелекту.
• Гнучке розгортання: Ви можете купити NR1 двома основними способами: 1) всередині модуля NR1-M, який є карткою PCIe, що містить кілька NR1 NAPU (зазвичай 10), розроблену для парування з вашими існуючими картами прискорювачів штучного інтелекту. 2) всередині пристрою NR1-S, який поєднує NR1 NAPU з рівною кількістю прискорювачів штучного інтелекту (графічні процесори, АСІК, ФПГА тощо) як готову систему висновків штучного інтелекту.

На суперкомп’ютерній конференції 2024 року в листопаді ви побачите, як ми демонструємо пристрій NR1-S з 4 чипами NR1 на 16 прискорювачів Qualcomm Cloud AI 100 Ultra. Ми протестували те ж саме з чипами висновків штучного інтелекту Nvidia (NVDA ). Компанія NeuReality революціонізує висновки штучного інтелекту своєю відкритою, спеціально розробленою архітектурою.

 Як пристрій NR1-S для висновків штучного інтелекту, поєднаний з прискорювачами Qualcomm Cloud AI 100, порівнюється з традиційними серверами висновків штучного інтелекту, що базуються на процесорах, з графічними процесорами Nvidia H100 або L40S у реальних застосуваннях?

NR1, поєднаний з прискорювачами Qualcomm Cloud AI 100 або графічними процесорами Nvidia H100 або L40S, доставляє суттєвий імпульс продуктивності над традиційними серверами висновків штучного інтелекту, що базуються на процесорах, у реальних застосуваннях штучного інтелекту по великим мовним моделям, таких як Llama 3, комп’ютерному зорі, обробці природної мови і розпізнаванні мови. Інакше кажучи, виконання вашої системи висновків штучного інтелекту з NR1 оптимізує продуктивність, системну вартість, енергоефективність і часи відповіді по зображенням, звуку, мові і тексту – як окремо (одна модальність), так і разом (багатомодальна).

Кінцевий результат? Коли поєднаний з NR1, клієнт отримує БІЛЬШЕ від дорогих інвестицій у графічні процесори, а не КУПУЄ більше графічних процесорів для досягнення бажаної продуктивності.

Поза максимізацією використання графічних процесорів NR1 доставляє виняткову ефективність, що призводить до 50-90% кращої ціни і продуктивності і до 13-15-кратної енергоефективності. Це перекладується у суттєві економії витрат і зниження екологічного сліду для вашої інфраструктури штучного інтелекту.

Пристрій NR1-S демонструє лінійну масштабованість без зниження продуктивності. Чи можете ви пояснити технічні аспекти, які дозволяють таку безшовну масштабованість?

Пристрій NR1-S, поєднуючи наші чипи NR1 з прискорювачами штучного інтелекту будь-якого типу або кількості, переозначає інфраструктуру штучного інтелекту. Ми вийшли за межі обмежень, що базуються на процесорах, і досягли нового рівня продуктивності і ефективності.

Натомість традиційного обмеження NIC-до-процесора-до-прискорювача, NR1-S інтегрує прямий мережевий доступ, попередню обробку і після обробку штучного інтелекту в наших мережевих адресованих процесорних блоках (NAPU). Зазвичай 10 NAPU на систему, кожен з яких обробляє завдання, такі як обробка зору, аудіо і сигналів, і наш гіпервізор штучного інтелекту, який оркеструє робочі навантаження, оптимізований потік даних штучного інтелекту досягається. Це перекладується у лінійну масштабованість: додайте більше прискорювачів, отримайте пропорційно більше продуктивності.

Результат? 100% використання прискорювачів штучного інтелекту постійно спостерігається. Хоча загальна вартість і енергоефективність варіюються залежно від конкретних чипів штучного інтелекту, використовуваних, максимізована інвестиція в апаратне забезпечення і покращена продуктивність постійно доставляються. Коли потреби висновків штучного інтелекту зростають, NR1-S пропонує переконливу альтернативу традиційним архітектурам.

Компанія NeuReality має на меті усунути бар’єри для широкого прийняття штучного інтелекту. Які є найбільш суттєвіми викликами, з якими стикаються підприємства при прийнятті штучного інтелекту, і як ваша технологія допомагає подолати ці виклики?

Коли погано реалізовані, програмне забезпечення і рішення штучного інтелекту можуть стати проблематичними. Багато підприємств не можуть прийняти штучний інтелект через вартість і складність побудови і масштабування систем штучного інтелекту. Сучасні рішення штучного інтелекту не оптимізовані для висновків, з навчальними модулями, які мають погану ефективність, і серверами висновків, які мають високі обмеження. Для подолання цього виклику і зробити штучний інтелект більш доступним, ми розробили перше повне рішення для висновків штучного інтелекту – інфраструктуру обчислень і мережі, потужну нашим процесорним блоком NAPU, який робить最大 використання свого компаньйона-прискорювача штучного інтелекту і знижує ринкові бар’єри навколо надмірної вартості і енергоспоживання.

Наш системний підхід до висновків штучного інтелекту – на відміну від спроби розробити кращий графічний процесор або прискорювач штучного інтелекту, де вже є багато інновацій і конкуренції – означає, що ми заповнюємо суттєву прогалину в галузі для десятків інновацій чипів і систем висновків штучного інтелекту. Наша команда атакувала недоліки висновків штучного інтелекту системно і цілісно, визначаючи болючі місця, архітектурні прогалини і прогнози робочих навантажень штучного інтелекту – для доставки першої спеціально розробленої, кремній-до-програмного забезпечення, безпроцесорної архітектури висновків штучного інтелекту. І розробивши верхній до нижнього стек програмного забезпечення штучного інтелекту з відкритими стандартами від Python і Kubernetes, поєднаний з інструментами, забезпеченням і API висновків штучного інтелекту компанії NeuReality, наш інтегрований набір програмних інструментів поєднує всі компоненти в єдиний високоякісний інтерфейс користувача.

У конкурентному ринку штучного інтелекту, що відрізняє компанію NeuReality від інших постачальників рішень для висновків штучного інтелекту?

Щоб сказати просто, ми відкриті і агностичні до прискорювачів. Наша інфраструктура висновків штучного інтелекту NR1 суперзаряджає БУДЬ-ЯКИЙ прискорювач штучного інтелекту – графічний процесор, ТПУ, ЛПУ, АСІК, ви назовите – створюючи真正у оптимізовану кінцеву систему. Прискорювачі штучного інтелекту були спочатку введені для ПОМОЩІ процесорам обробляти вимоги нейронних мереж і машинного навчання у великому масштабі, але тепер прискорювачі штучного інтелекту стали так потужними, що вони зараз обмежені процесорами, яким вони мали допомогти.

Наше рішення? NR1. Це комплексна, переосмислена архітектура висновків штучного інтелекту. Наш секретний зброя – NR1 NAPU був розроблений як співінгредієнт для максимізації продуктивності прискорювача штучного інтелекту без надмірного енергоспоживання або розорення. Ми побудували відкриту екосистему, безшовно інтегруючи з будь-яким чипом висновків штучного інтелекту і популярними програмними фреймворками, такими як Kubernetes, Python, TensorFlow і багато іншого.

Відкритий підхід компанії NeuReality означає, що ми не конкуруємо з ландшафтом штучного інтелекту; ми тут, щоб доповнити його через стратегічні партнерства і технологічну співпрацю. Ми доставляємо відсутню частину пазла: спеціально розроблену, БЕЗПРОЦЕСОРНУ архітектуру висновків, яка не тільки розблокує прискорювачі штучного інтелекту до бенчмаркової продуктивності, але і робить його легшим для підприємств і урядів приймати штучний інтелект. Представьте собі, звільняючи повну потужність графічних процесорів Nvidia H100, Google (GOOGL ) TPUs або AMD MI300s – надаючи їм інфраструктуру, яку вони заслуговують.

Відкрита і ефективна архітектура компанії NeuReality рівняє гру, роблячи штучний інтелект більш доступним і доступним для всіх. Я пристрасно ставлюся до того, щоб побачити різні галузі – фінтех, біотех, хелс-тех – пережити переваги NR1 вперше. Порівняйте свої рішення штучного інтелекту на традиційних системах, що базуються на процесорах, з сучасною інфраструктурою NR1 і свідчіть різницю. Сьогодні лише 35% підприємств і урядів прийняли штучний інтелект, і це засновано на надзвичайно низьких критеріях кваліфікації. Давайте зробимо можливим для більш ніж 50% клієнтів підприємства прийняти штучний інтелект до цього часу в наступному році без шкоди для планети або розорення.

Оглядаючи вперед, яка довгострокова мета компанії NeuReality щодо ролі штучного інтелекту в суспільстві, і як ви бачите свій внесок у це майбутнє?

Я бачу майбутнє, де штучний інтелект приносить користь кожному, сприяючи інноваціям і покращенню життя. Ми не просто будемо технологію; ми будемо будувати основу для кращого майбутнього.

Наш NR1 є ключем до цього бачення. Це комплексне рішення для висновків штучного інтелекту, яке починає зруйнувати бар’єри вартості і складності, що обмежують масове прийняття бізнесом штучного інтелекту. Ми переосмислили як інфраструктуру, так і архітектуру, доставляючи революційну систему, яка максимізує вихід будь-якого графічного процесора, будь-якого прискорювача штучного інтелекту, без збільшення операційних витрат або енергоспоживання.

Бізнес-модель справді важлива для масштабування і надання кінцевим клієнтам справжніх виборів над концентрованою автократією штучного інтелекту, як я писав раніше. Тому ми будемо будувати відкриту екосистему, де наш кремній працює ВМІСТЕ з іншими кремнієм, а не проти нього. Тому ми розробили NR1 для інтеграції безшовно з усіма прискорювачами штучного інтелекту і з відкритими моделями і програмним забезпеченням, роблячи його так легко встановити, керувати і масштабувати.

Але ми не зупиняємося там. Ми співпрацюємо з партнерами для перевірки нашої технології по різних робочих навантаженнях штучного інтелекту і доставки “висновків як послуги” і “моделей мови як послуги” через постачальників хмарних послуг, гіперскейлерів і безпосередньо з компаньйонами-чипами. Ми хочемо зробити передовий штучний інтелект доступним і доступним для всіх.

Представьте собі можливості, якщо ми могли б підвищити продуктивність висновків штучного інтелекту, енергоефективність і доступність на двозначні відсотки. Представьте собі сильне, штучно-інтелектне суспільство з більшими голосами і виборами, яке стає реальністю. Тому ми всі повинні зробити важчу роботу з доказу бізнес-впливу і ROI, коли штучний інтелект реалізований у щоденних операціях центрів даних. Давайте зосередимося на революційній реалізації штучного інтелекту, а не тільки на можливостях моделі штучного інтелекту.

Це саме той спосіб, яким ми внесемо свій внесок у майбутнє, де штучний інтелект приносить користь кожному – перемога для маржі прибутку, людей і планети.

Дякую за велике інтерв’ю, читачам, які бажають дізнатися більше, слід відвідати NeuReality.