Элад Раз, генеральный директор NextSilicon – Интервью

Элад Раз, генеральный директор NextSilicon, – опытный предприниматель и технологический лидер, широко уважаемый за свою глубокую экспертизу в области низкоуровневых систем, безопасности, сетей и разработки файловых систем. На протяжении своей карьеры, которая включает в себя элитные инженерные роли в военной сфере, руководящие должности в области программного обеспечения, создание компаний и долгосрочные инвестиции, Раз возглавлял сложные, критически важные проекты в области внутренней структуры операционных систем и интеграции программного и аппаратного обеспечения. До основания NextSilicon он создал и продал несколько технологических компаний, занимал руководящие должности в ведущей полупроводниковой фирме и инвестировал в разнообразный портфель стартапов, сочетая глубокую инженерную экспертизу с сильным исполнением и долгосрочным стратегическим видением.

NextSilicon – израильская компания высокопроизводительных вычислений и полупроводников, основанная в 2017 году, которая переопределяет архитектуру вычислений для требовательных задач, таких как ИИ и научные вычисления. Компания разработала программно-определяемую, интеллектуальную платформу вычислений, предназначенную для обеспечения высоких показателей производительности и эффективности без необходимости переписывать приложения. Сосредоточившись на адаптивности на уровне аппаратуры, NextSilicon стремится устранить фундаментальные узкие места в современных центрах обработки данных и суперкомпьютерных средах, позиционируя себя как следующее поколение альтернатив традиционным ускорителям.

Расскажите нам о вашем пути, который привел к основанию NextSilicon? Что вызвало первоначальную идею, и как ваши ранние опыт с вычислениями сформировали ваше видение?

Я увлекался компьютерами с детства. Это увлечение привело меня от экспериментов со старыми Commodore 64 и Atari (которые я до сих пор коллекционирую) до сооснования стартапов и, в конечном итоге, к продаже моей предыдущей компании Mellanox. Но даже с этими ранними успехами я постоянно видел одну и ту же проблему в этой отрасли. По мере того, как вычислительные задачи становились более сложными, традиционные архитектуры ЦП и ГП достигали пределов производительности, энергетической эффективности и масштабируемости. Будь то оптимизация алгоритмов или выполнение крупномасштабных симуляций, стало ясно, что текущие архитектуры заставляют задачи адаптироваться к аппаратному обеспечению – а не наоборот.

Идея NextSilicon возникла из этой повторяющейся проблемы и поставила вопрос: что если мы сможем изменить ситуацию и создать вычислительные архитектуры, которые адаптируются к задачам, а не заставляют задачи адаптироваться к аппаратному обеспечению? Мой ранний опыт с проектированием алгоритмов и аппаратным обеспечением научил меня, что настоящий прорыв придет от сочетания этих двух элементов в реальном времени. Это является основой нашей Интеллектуальной Архитектуры Вычислений (ICA) и руководящим видением NextSilicon с самого начала.

Maverick-2 описывается как Интеллектуальный Ускоритель Вычислений, который адаптируется к задачам в реальном времени. Как его архитектура отличается от традиционных ГП или ФПГ, и что обеспечивает такой уровень адаптивности?

ЦП и ГП преобразовали наш мир и хорошо послужили нам. Но они никогда не были разработаны для удовлетворения требований современных задач ИИ и высокопроизводительных вычислений (HPC) в таких областях, как наука, погода, энергетика и оборона. Эти задачи имеют сложные зависимости данных, модели доступа к памяти и вычислительные модели, с которыми современные процессоры не были рассчитаны на работу. В результате возникают узкие места, которые замедляют инновации.

Ключевое отличие Maverick-2 заключается в его новом подходе, который сочетает в себе реконфигурируемый движок потока данных с оптимизацией программного обеспечения в реальном времени. Ключевое архитектурное отличие заключается в том, что аппаратное обеспечение настраивается на основе вашей задачи, а не наоборот. Для Maverick-2 доступность данных управляет вычислениями, а не программный счетчик, управляющий выполнением инструкций, как в традиционных процессорах. Это позволяет нам создавать программно-определяемые виртуальные единицы обработки, которые можно настраивать и перестраивать в реальном времени для соответствия конкретным моделям задач.

Результаты говорят сами за себя: Maverick-2 обеспечивает более чем в 4 раза большую производительность на ватт по сравнению с ГП и более чем в 20 раз по сравнению с высококлассными ЦП, при этом снижая эксплуатационные затраты более чем на половину. Благодаря этому исследователи и инженеры могут выполнять крупномасштабные, нерегулярные симуляции быстрее и более эффективно, открывая новые знания и прорывы за долю времени.

Вы сообщили, что достигли более чем 4-кратного увеличения производительности на ватт по сравнению с ГП и более чем 20-кратного увеличения по сравнению с высококлассными ЦП. Какие ключевые инновации обеспечивают эти приросты производительности в реальных задачах?

Приросты производительности обусловлены несколькими ключевыми инновациями, работающими вместе.

Во-первых, мы отклонились от модели фон Неймана, которая доминировала в вычислениях в течение 80 лет. Вместо последовательного выполнения инструкций Maverick-2 использует архитектуру потока данных, где вычисления следуют за доступностью данных. Это фундаментально лучше подходит для нерегулярных, интенсивных задач, связанных с памятью.

Во-вторых, наша самооптимизирующая архитектура генерирует программно-определяемые ядра процессора в реальном времени. Аппаратное обеспечение адаптируется к каждому приложению без необходимости переписывать код – вы получаете оптимизацию без накладных расходов.

В-третьих, и это критически важно: мы фокусируемся на устойчивой реальной производительности, а не на теоретических пиках. Многие архитектуры выглядят хорошо на бумаге, но спотыкаются о реальные задачи. Maverick-2 поддерживает эффективность на протяжении задач ИИ, HPC и векторных баз данных, постоянно адаптируясь к потребностям задач.

Maverick-2 поддерживает C/C++, Fortran, OpenMP и Kokkos без необходимости изменений в коде. Как разработчики отреагировали на эту совместимость, и какие у вас планы по поддержке CUDA, ROCm или популярных фреймворков ИИ?

Разработчики любят, что Maverick-2 является настоящей “заменой без изменений”. Они могут запускать свои существующие приложения сразу же без барьеров переноса, которые мучают эту отрасль. Мы в настоящее время поддерживаем C/C++, Fortran, OpenMP и Kokkos, а CUDA, ROCm и основные фреймворки ИИ, такие как TensorFlow, JAX, PyTorch и ONNX, находятся в активной разработке. Это устраняет блокировку поставщиков и дорогостоящие переписывания кода, позволяя клиентам оценивать и принимать новые архитектуры без нарушения своих рабочих процессов.

Как работает система оптимизации Maverick-2 на основе телеметрии? Что включает в себя профилирование и перестановка чипа в реальном времени?

Представьте себе нашу систему оптимизации как непрерывный цикл: во время выполнения наша система телеметрии измеряет сотни показателей производительности (например, пропускную способность памяти, использование, глубину очередей). Все эти данные передаются в оптимизатор времени выполнения, который определяет, остается ли текущая конфигурация аппаратного обеспечения оптимальной для задачи и ее прогнозируемых потребностей. Если нет, он может переставить ресурсы, переупорядочить пути данных и скорректировать вычислительные трубопроводы непрерывно, что означает, что приложение не останавливается. Это происходит в течение миллисекунд, поэтому приложение поддерживает постоянную пиковую эффективность, когда его вычислительный профиль меняется.

Есть ли определенные типы задач или граничные случаи, где адаптивная оптимизация производительности в реальном времени менее эффективна или вносит компромиссы в задержку или энергопотребление?

Любая архитектура будет иметь компромиссы. Maverick-2 превосходно справляется с сложными, нерегулярными задачами с меняющимися вычислительными и моделями доступа к данным. Для высоко предсказуемых, фиксированных задач хорошо настроенный ГП может быть очень эффективным без накладных расходов на адаптацию. В этих случаях наша адаптивность все равно обеспечивает солидную производительность, но относительное преимущество может быть меньше.

Дизайн NextSilicon – это все о универсальности и конкурентоспособности в прямых случаях, но трансформирующий в сложных.

Почему вы решили отдать приоритет рынку HPC на ранней стадии, когда большинство стартапов спешили в ИИ? Как это сформировало вашу продукцию и бизнес-стратегию?

HPC представляет собой передовой вычислительной сложности и решения проблем для массивных наборов данных, нерегулярного доступа к памяти и непредсказуемых вычислительных моделей. Если вы можете построить архитектуру, которая преуспевает там – например, запускает симуляции эксабайта в моделировании климата или физике, она также преуспеет в ИИ.

Сосредоточившись на HPC сначала, мы доказали Maverick-2 на самых требовательных задачах в моделировании климата, физике и生命ных науках. Это дало нам авторитет, реальные данные о производительности и зрелый продукт до того, как мы глубже вошли на рынки ИИ. Теперь мы позиционируемся для обслуживания обоих, не компрометируя нашу архитектуру, чтобы воспользоваться краткосрочными тенденциями или потребностями.

Теперь, когда Maverick-2 находится в производстве и развернут у десятков клиентов, можете ли вы поделиться примерами того, как он используется? Есть ли какие-либо конкретные результаты или бенчмарки из флагманских развертываний?

Флагманский пример – наш развертывание в Sandia National Labs, где Maverick-2 обеспечивает питание их суперкомпьютера Spectra в рамках программы Vanguard-II. Мы видим впечатляющие результаты производительности без необходимости изменений в коде. Мы также работаем с ODISSEE (Online Data Intensive Solutions for Science in the Exabytes Era), которая объединяет ведущие исследовательские учреждения для обработки данных эксабайта из ЦЕРНского Большого адронного коллайдера и обсерватории Square Kilometre Array. Роль Maverick-2 будет заключаться в решении проблемы обработки петабайтов сырых экспериментальных данных за долю времени и энергии, ранее требовавшихся. Конечной целью является обеспечение более быстрого анализа физики и астрономических открытий.

Вы привлекли более 300 миллионов долларов, с крупными раундами, объявленными в 2021 году и более недавно. Можете ли вы поделиться, как это финансирование ускорilo разработку продукта и рыночную доступность?

Финансирование позволило нам сделать три вещи. Во-первых, мы могли толкнуть архитектуру дальше, не только инкрементные улучшения, но и фундаментальные прорывы, которые сделали Maverick-2 готовым к производству. Во-вторых, мы масштабировали нашу производство и цепочку поставок, чтобы удовлетворить растущий спрос, что является нетривиальной задачей для новой полупроводниковой продукции. В-третьих, мы расширили наш экосистему программного обеспечения, чтобы клиенты могли интегрировать и развертывать быстрее.

Это также позволило нам заключить стратегические партнерства с центрами суперкомпьютерных вычислений и облачными провайдерами, что позволяет нам упростить наш процесс от концепции до развертывания и расширять намного быстрее, чем традиционные стартапы в области аппаратного обеспечения.

В ландшафте, который включает Cerebras (CBRS ), SambaNova и Nvidia (NVDA ), как вы видите позиционирование NextSilicon? Какой ваш подход на рынок как претендента?

Мы видим NextSilicon как более технологическую компанию, чем просто еще одну компанию по производству чипов. Мы оптимизируем каждую задачу, обеспечиваем адаптивность и не блокируем клиентов в проприетарном программировании или аппаратном обеспечении. Наши клиенты могут привнести свой существующий код и добиться немедленного ускорения без длительных циклов переноса или блокировки в единой экосистеме, такой как CUDA. Это имеет значение, особенно когда задачи ИИ эволюционируют за пределы чистой тренировки. Модели рассуждений, расширенного вывода и большие контекстные окна требуют фундаментально разных моделей вычислений: более динамичного доступа к памяти, переменной длины вычислений и адаптивной аллокации ресурсов. Это не проблемы, которые можно решить, добавив больше одной и той же фиксированной архитектуры.

Наша стратегия выхода на рынок фокусируется на решении самых сложных проблем сначала: работе с исследовательскими учреждениями, национальными лабораториями и предприятиями, где производительность, энергетическая эффективность и гибкость имеют решающее значение. Оттуда мы расширяемся на более широкие рынки ИИ и интенсивных данных. Отрасль доминируется фиксированными архитектурами. Мы предлагаем что-то другое – адаптивность, построенную с самого начала. ИИ переходит от чистой масштабируемости к интеллекту. Большие модели позволяют более умному рассуждению, от коротких подсказок до понимания длинного контекста. В этом переходе адаптивные архитектуры не будут просто новыми; они будут необходимыми.

Спасибо за отличное интервью, читателям, которые хотят узнать больше, следует посетить NextSilicon.