Интервью
Эндрю Фельдман, сооснователь и генеральный директор Cerebras Systems – Интервью

Ключевые моментыCerebras создала движок пластинчатого масштаба, чтобы избавиться от проблем…
Показать больше
- Cerebras создала движок пластинчатого масштаба, чтобы избавиться от проблем распределённых вычислений, характерных для кластеров GPU.
- Andromeda продемонстрировала почти идеальное линейное масштабирование, которого с трудом достигают устаревшие суперкомпьютеры.
- Исследования разреженности нацелены на эффективные вычисления за счёт избегания бесполезной работы с нулевыми значениями.
Эндрю является сооснователем и генеральным директором Cerebras Systems (CBRS ). Он является предпринимателем, посвятившим себя расширению границ в области вычислений. До Cerebras он соосновал и был генеральным директором SeaMicro, пионера в области энергоэффективных, микросерверов с высокой пропускной способностью. SeaMicro была приобретена AMD в 2012 году за $357M. До SeaMicro Эндрю был вице-президентом по управлению продуктами, маркетингу и бизнес-развитию в Force10 Networks, которая позже была продана Dell Computing за $800M. До Force10 Networks Эндрю был вице-президентом по маркетингу и корпоративному развитию в RiverStone Networks с момента основания компании до ее первичного публичного предложения в 2001 году. Эндрю имеет степень бакалавра и магистра делового администрирования в Стэнфордском университете.
Cerebras Systems разрабатывает новый класс компьютерных систем, спроектированных с нуля для единственной цели – ускорения ИИ и изменения будущего работы ИИ.
Расскажите нам о истории создания Cerebras Systems?
Мои сооснователи и я все работали вместе в предыдущей компании, которую мой технический директор Гэри и я основали в 2007 году, под названием SeaMicro (которая была продана AMD в 2012 году за $334 миллиона; примечание: во вступлении английского оригинала указана другая сумма — $357 миллионов). Мои сооснователи – это некоторые из ведущих компьютерных архитекторов и инженеров в отрасли – Гэри Лотербах, Шон Ли, Джей Пи Фрикер и Майкл Джеймс. Когда мы собрались вместе в 2015 году, мы написали две вещи на доске – что мы хотим работать вместе и что мы хотим построить что-то, что изменит отрасль и будет в Музее компьютерной истории, который является эквивалентом Зала славы вычислений. Для нас было большой честью, когда Музей компьютерной истории признал наши достижения и добавил процессор WSE-2 в свою коллекцию в прошлом году, сославшись на то, как он изменил ландшафт искусственного интеллекта.
Cerebras Systems – это команда пионерских компьютерных архитекторов, компьютерных ученых, исследователей глубокого обучения и инженеров всех типов, которые любят делать бесстрашную инженерию. Наша миссия, когда мы собрались вместе, заключалась в том, чтобы построить новый класс компьютеров для ускорения глубокого обучения, которое стало одной из наиболее важных вычислительных задач нашего времени.
Мы поняли, что глубокое обучение имеет уникальные, массивные и растущие вычислительные требования. И оно не хорошо сочетается с устаревшими машинами, такими как графические процессоры (GPU), которые были фундаментально спроектированы для другой работы. В результате ИИ сегодня ограничен не приложениями или идеями, а доступностью вычислений. Проверка одной новой гипотезы – обучение новой модели – может занять дни, недели или даже месяцы и стоить сотен тысяч долларов в вычислительном времени. Это серьезное препятствие для инноваций.
Итак, генезис Cerebras заключался в том, чтобы построить новый тип компьютера, оптимизированного исключительно для глубокого обучения, начиная с чистого листа бумаги. Чтобы удовлетворить огромные вычислительные требования глубокого обучения, мы спроектировали и изготовили самый большой чип, когда-либо построенный – Wafer-Scale Engine (WSE). При создании первого в мире процессора на уровне кремниевой пластины мы преодолели проблемы в области проектирования, производства и упаковки – все, что считалось невозможным за всю 70-летнюю историю компьютеров. Каждый элемент WSE предназначен для обеспечения исследований глубокого обучения на беспрецедентных скоростях и масштабах, питая самый быстрый суперкомпьютер ИИ в отрасли, Cerebras CS-2.
С каждым компонентом, оптимизированным для работы ИИ, CS-2 обеспечивает более высокую производительность вычислений при меньшем пространстве и меньшей мощности, чем любая другая система. Он делает это, радикально снижая сложность программирования, время вычислений и время решения. В зависимости от рабочей нагрузки, от ИИ до высокопроизводительных вычислений, CS-2 обеспечивает производительность, в сотни или тысячи раз превышающую производительность устаревших альтернатив. CS-2 обеспечивает вычислительные ресурсы для глубокого обучения, эквивалентные сотням GPU, при этом обеспечивая легкость программирования, управления и развертывания одного устройства.
За последние несколько месяцев Cerebras Systems, кажется, находится во всех новостях, что вы можете рассказать нам о новом суперкомпьютере ИИ Andromeda?
Мы объявили об Andromeda в ноябре прошлого года, и это один из самых крупных и мощных суперкомпьютеров ИИ, когда-либо построенных. Обеспечивая более 1 ЭксаФЛОПС вычислений ИИ и 120 Петафлопс плотных вычислений, Andromeda имеет 13,5 миллиона ядер по 16 системам CS-2 и является единственным суперкомпьютером ИИ, который когда-либо демонстрировал почти идеальное линейное масштабирование на рабочих нагрузках крупных языковых моделей. Он также очень прост в использовании.
Для сравнения, самый большой суперкомпьютер на Земле – Frontier – имеет 8,7 миллиона ядер. По количеству ядер Andromeda более чем в полтора раза больше. Он выполняет другую работу, конечно, но это дает представление о масштабе: почти 100 терабит внутренней полосы пропускания, почти 20 000 ядер AMD Epyc питают его, и – в отличие от гигантских суперкомпьютеров, которые занимают годы на развертывание – мы развернули Andromeda за три дня и сразу после этого он обеспечивал почти идеальное линейное масштабирование ИИ.
Аргоннская национальная лаборатория была нашим первым клиентом, использовавшим Andromeda, и они применили ее к проблеме, которая ломала их кластер из 2000 GPU под названием Polaris. Проблема заключалась в запуске очень крупных, генеративных моделей GPT-3XL, помещая весь геном Covid в окно последовательности, так что можно проанализировать каждый ген в контексте всего генома Covid. Andromeda запустила уникальную генетическую рабочую нагрузку с длинными последовательностями (MSL 10K) на 1, 2, 4, 8 и 16 узлах, с почти идеальным линейным масштабированием. Линейное масштабирование является одним из наиболее востребованных характеристик крупного кластера. Andromeda обеспечила рост пропускной способности в 15,87 раза на 16 системах CS-2 по сравнению с одной системой CS-2 и соответствующее сокращение времени обучения.
Можете ли вы рассказать нам о партнерстве с Jasper, которое было объявлено в конце ноября, и что оно значит для обеих компаний?
Jasper – это очень интересная компания. Они являются лидерами в области генеративного ИИ-контента для маркетинга, и их продукты используются более чем 100 000 клиентов по всему миру для написания маркетинговых и рекламных текстов, книг и многого другого. Это, очевидно, очень интересная и быстро растущая область сейчас. В прошлом году мы объявили о партнерстве с ними для ускорения принятия и улучшения точности генеративного ИИ в корпоративных и потребительских приложениях. Jasper использует наш суперкомпьютер Andromeda для обучения своих чрезвычайно вычислительно интенсивных моделей за значительно меньшее время. Это позволит распространить модели генеративного ИИ на массы.
С помощью мощности суперкомпьютера Cerebras Andromeda Jasper может значительно продвинуть работу ИИ, включая обучение сетей GPT для адаптации результатов ИИ к различным требованиям конечных пользователей по сложности и степени детализации. Это улучшает контекстную точность генеративных моделей и позволит Jasper персонализировать контент по нескольким классам клиентов быстро и легко.
Наше партнерство позволяет Jasper изобрести будущее генеративного ИИ, делая вещи, которые являются непрактичными или просто невозможными с традиционной инфраструктурой, и ускорять потенциал генеративного ИИ, принося его выгоды нашей быстро растущей клиентской базе по всему миру.
В недавнем пресс-релизе Национальная лаборатория энергетических технологий и Центр суперкомпьютерных вычислений Питтсбурга объявили о первой компьютерной симуляции гидродинамики на процессоре Cerebras Wafer-Scale. Можете ли вы описать, что именно является процессором Wafer-Scale и как он работает?
Наш процессор Wafer-Scale Engine (WSE) – это революционный процессор ИИ для нашей системы глубокого обучения, CS-2. В отличие от устаревших, общего назначения процессоров, WSE был построен с нуля для ускорения глубокого обучения: он имеет 850 000 ядер, оптимизированных для операций с разреженными тензорами, большой объем памяти на кристалле с высокой пропускной способностью и соединения, которые на несколько порядков быстрее, чем традиционный кластер мог бы достичь. Все вместе это дает вам вычислительные ресурсы для глубокого обучения, эквивалентные кластеру устаревших машин, все в одном устройстве, легко программируемом как один узел – радикально снижая сложность программирования, время вычислений и время решения.
Наш процессор второго поколения WSE-2, на котором работает система CS-2, может решать проблемы чрезвычайно быстро. Достаточно быстро, чтобы строить высокоточные модели интересующих нас инженерных систем в реальном времени. Это редкий пример успешного “сильного масштабирования”, которое является использованием параллелизма для снижения времени решения с фиксированным размером проблемы.
И это то, для чего Национальная лаборатория энергетических технологий и Центр суперкомпьютерных вычислений Питтсбурга используют его. Мы только что объявили о некоторых очень интересных результатах компьютерной симуляции гидродинамики, состоящей из примерно 200 миллионов ячеек, со скоростью, близкой к реальному времени. Это видео показывает высокоразрешающую симуляцию конвекции Рейли-Бенара, которая возникает, когда слой жидкости нагревается снизу и охлаждается сверху. Эти термически обусловленные потоки жидкости встречаются повсюду – от ветреных дней до снежных бурь, от движения магмы в ядре Земли до плазменного движения в Солнце. Как говорит рассказчик, это не только визуальная красота симуляции, которая важна: это скорость, с которой мы можем рассчитать ее. Впервые, используя наш процессор Wafer-Scale, NETL может манипулировать сеткой из почти 200 миллионов ячеек в почти реальном времени.
Какой тип данных симулируется?
Тестируемая рабочая нагрузка была термически обусловленными потоками жидкости, также известными как естественная конвекция, которая является применением компьютерной гидродинамики (CFD). Потоки жидкости возникают естественным образом повсюду – от ветреных дней до снежных бурь, от движения тектонических плит. Эта симуляция, состоящая из примерно 200 миллионов ячеек, фокусируется на явлении, известном как “конвекция Рейли-Бенара”, которое возникает, когда жидкость нагревается снизу и охлаждается сверху. В природе это явление может привести к сильным погодным явлениям, таким как нисходящие шквалы, микрошквалы и деречо. Этот же процесс вызывает движение магмы в ядре Земли и плазменное движение в Солнце.
В ноябре 2022 года NETL представила новый API для моделирования полевых уравнений, работающий на системе CS-2, который был до 470 раз быстрее, чем было возможно на суперкомпьютере NETL Joule. Это означает, что он может обеспечить скорости, которые не могут достичь кластеры любого количества CPU или GPU. Используя простой Python API, который позволяет обрабатывать данные на уровне кремниевой пластины для большей части вычислительной науки, WFA обеспечивает выигрыши в производительности и удобстве использования, которые не могут быть получены на традиционных компьютерах и суперкомпьютерах – фактически, он превосходит OpenFOAM на суперкомпьютере NETL Joule 2.0 более чем в два порядка в времени решения.
Благодаря простоте API WFA результаты были достигнуты всего за несколько недель и продолжают тесное сотрудничество между NETL, PSC и Cerebras Systems.
Преобразуя скорость CFD (которая всегда была медленной, офлайн-задачей) на нашем WSE, мы можем открыть целый ряд новых сценариев работы в реальном времени для этого и многих других основных приложений высокопроизводительных вычислений. Наша цель заключается в том, чтобы, обеспечивая больше вычислительной мощности, наши клиенты смогут проводить больше экспериментов и изобретать лучшую науку. Директор лаборатории NETL Брайан Андерсон сказал нам, что это значительно ускорит и улучшит процесс проектирования для некоторых очень крупных проектов, над которыми работает NETL, связанных с смягчением последствий изменения климата и обеспечением безопасного энергетического будущего – проектов, таких как улавливание углерода и производство синего водорода.
Cerebras Systems последовательно превосходит конкурентов в выпуске суперкомпьютеров, какие есть проблемы за строительством суперкомпьютеров нового поколения?
Иронично, одной из самых сложных задач большого ИИ является не сам ИИ. Это распределенные вычисления.
Для обучения современных нейронных сетей исследователи часто используют сотни или тысячи графических процессоров (GPU). И это не легко. Масштабирование обучения крупных языковых моделей на кластере GPU требует распределения рабочей нагрузки по многим небольшим устройствам, борьбы с ограничениями объема памяти устройств и ее пропускной способности, а также тщательного управления накладными расходами на связь и синхронизацию.
Мы выбрали совершенно другой подход к проектированию наших суперкомпьютеров через разработку кластера Cerebras Wafer-Scale и режима выполнения Cerebras Weight Streaming. С помощью этих технологий Cerebras предлагает новый подход к масштабированию на основе трех ключевых моментов:
Замена процессоров CPU и GPU на процессоры на уровне кремниевой пластины, такие как система Cerebras CS-2. Это изменение снижает количество необходимых единиц вычислений для достижения приемлемой скорости вычислений.
Для решения проблемы размера модели мы используем систему архитектуры, которая разделяет вычисления и хранилище модели. Сервис вычислений, основанный на кластере систем CS-2 (предоставляющий достаточную пропускную способность вычислений), тесно связан с сервисом памяти (с большой емкостью памяти), который предоставляет части модели кластеру вычислений по требованию. Как обычно, сервис данных обслуживает партии обучающих данных для сервиса вычислений по мере необходимости.
Инновационная модель для планирования и координации обучения по кластеру CS-2, которая использует параллелизм данных, обучение слоя за слоем с разреженными весами, передаваемыми по требованию, и сохранение активаций в сервисе вычислений.
Были опасения по поводу конца закона Мура уже почти десятилетие, сколько еще лет отрасль может выжать и какие инновации необходимы для этого?
Я думаю, что вопрос, с которым мы все боремся, заключается в том, является ли закон Мура – как написано Муром – мертвым. Это не занимает два года, чтобы получить больше транзисторов. Теперь это занимает четыре или пять лет. И эти транзисторы не приходят по той же цене – они приходят по значительно более высокой цене. Итак, вопрос становится, получаем ли мы все еще те же выгоды от перехода от семи до пяти до трех нанометров? Выгоды меньше, и они стоят больше, и поэтому решения становятся более сложными, чем просто чип.
Джек Донгарра, ведущий компьютерный архитектор, недавно прочитал лекцию и сказал: “Мы стали намного лучше в производстве ФЛОПС и в производстве ввода/вывода”. Это действительно так. Наша способность перемещать данные вне чипа отстает от нашей способности увеличивать производительность на чипе на большую величину. В Cerebras мы были счастливы, когда он сказал это, потому что это подтверждает наш выбор сделать более крупный чип и переместить меньше вещей вне чипа. Это также дает некоторое руководство для будущих способов сделать системы с чипами работать лучше. Там есть работа, которую нужно сделать, не только в сжатии ФЛОПС, но и в техниках их перемещения и перемещения данных с чипа на чип – даже с очень большого чипа на очень большой чип.
Есть ли что-то еще, что вы хотели бы поделиться о Cerebras Systems?
Хорошо это или плохо, люди часто помещают Cerebras в эту категорию “парней с очень большим чипом”. Мы смогли предоставить убедительные решения для очень крупных нейронных сетей, тем самым исключив необходимость в болезненном распределенном вычислении. Я считаю, что это чрезвычайно интересно и является сердцем того, почему наши клиенты любят нас. Интересная область для 2023 года будет заключаться в том, как делать большие вычисления на более высоком уровне точности, используя меньше ФЛОПС.
Наша работа по разреженности обеспечивает чрезвычайно интересный подход. Мы не делаем работу, которая не приближает нас к финишной черте, и умножение на ноль – это плохая идея. Мы скоро выпустим очень интересную статью о разреженности, и я думаю, что будет больше усилий, направленных на то, как мы доберемся до этих эффективных точек, и как мы сделаем это для меньшей мощности. И не только для меньшей мощности и обучения; как мы минимизируем затраты и энергопотребление при инференсе? Я думаю, что разреженность помогает на обоих фронтах.
Спасибо за эти глубокие ответы, читатели, которые хотят узнать больше, должны посетить Cerebras Systems.












