Ендру Фелдман, суоснивач и извршни директор компаније Церебрас Системс – серија интервјуа

Андрев је суоснивач и извршни директор Церебрас Системс. Он је предузетник посвећен померању граница у рачунарском простору. Пре Церебраса, био је суоснивач и био извршни директор компаније СеаМицро, пионира енергетски ефикасних микросервера високог пропусног опсега. СеаМицро је купио АМД 2012. за 357 милиона долара. Пре СеаМицро-а, Ендру је био потпредседник за управљање производима, маркетинг и БД у компанији Форце10 Нетворкс која је касније продата компанији Делл Цомпутинг за 800 милиона долара. Пре Форце10 Нетворкс, Ендру је био потпредседник маркетинга и корпоративног развоја у РиверСтоне Нетворкс од оснивања компаније до ИПО-а 2001. Ендру је дипломирао и магистрирао на Универзитету Станфорд.

Церебрас Системс гради нову класу рачунарског система, дизајнираног од првих принципа за јединствени циљ убрзања АИ и промене будућности рада АИ.

Можете ли поделити причу о настанку која стоји иза Церебрас Системс?

Моји суоснивачи и ја сви смо радили заједно у претходном стартуп-у који смо мој ЦТО Гери и ја покренули још 2007. године, под називом СеаМицро (који је продат АМД-у 2012. за 334 милиона долара). Моји суоснивачи су неки од водећих компјутерских архитеката и инжењера у индустрији – Гери Лаутербах, Шон Ли, ЈП Фрикер и Мајкл Џејмс. Када смо поново окупили бенд 2015., написали смо две ствари на табли – да желимо да радимо заједно и да желимо да изградимо нешто што ће трансформисати индустрију и бити у Музеју историје компјутера, што је еквивалент Цомпуте Халл оф Фаме. Били смо почаствовани када је Музеј историје компјутера препознао наша достигнућа и додао процесор ВСЕ-2 у своју колекцију прошле године, наводећи како је трансформисао пејзаж вештачке интелигенције.

Церебрас Системс је тим пионирских компјутерских архитеката, компјутерских научника, истраживача дубоког учења и инжењера свих типова који воле да се баве неустрашивим инжењерингом. Наша мисија када смо се окупили била је да направимо нову класу рачунара за убрзање дубоког учења, које је постало једно од најважнијих оптерећења нашег времена.

Схватили смо да дубоко учење има јединствене, масивне и растуће рачунарске захтеве. И није добро усклађен са старим машинама као што су јединице за обраду графике (ГПУ), које су у основи дизајниране за друге послове. Као резултат тога, АИ данас није ограничена апликацијама или идејама, већ доступношћу рачунара. Тестирање једне нове хипотезе – обучавање новог модела – може потрајати данима, недељама или чак месецима и коштати стотине хиљада долара у времену рачунања. То је главна препрека на путу ка иновацијама.

Тако је настанак Церебраса био да направи нову врсту рачунара оптимизованог искључиво за дубоко учење, почевши од чистог листа папира. Да бисмо испунили огромне рачунарске захтеве дубоког учења, дизајнирали смо и произвели највећи чип икада направљен – Вафер-Сцале Енгине (ВСЕ). У стварању првог процесора величине плочице на свету, превазишли смо изазове у дизајну, производњи и паковању – што се све сматрало немогућим током целе 70-годишње историје рачунара. Сваки елемент ВСЕ-а је дизајниран да омогући истраживање дубоког учења на невиђеним брзинама и размерама, напајајући најбржи АИ суперкомпјутер у индустрији, Церебрас ЦС-2.

Са сваком компонентом оптимизованом за рад са вештачком интелигенцијом, ЦС-2 пружа више рачунарских перформанси на мање простора и мање енергије него било који други систем. То чини док радикално смањује сложеност програмирања, време рачунања на зидном сату и време до решења. У зависности од радног оптерећења, од АИ до ХПЦ-а, ЦС-2 пружа стотине или хиљаде пута више перформанси од застарелих алтернатива. ЦС-2 обезбеђује рачунарске ресурсе дубоког учења који су еквивалентни стотинама ГПУ-а, истовремено пружајући једноставност програмирања, управљања и примене једног уређаја.

Чини се да је у последњих неколико месеци Церебрас свуда новости, шта нам можете рећи о новом Андромеда АИ суперкомпјутеру?

Најавили смо Андромеду у новембру прошле године, и то је један од највећих и најмоћнијих суперкомпјутера са вештачком интелигенцијом икада направљених. Испоручујући више од 1 Екафлоп АИ израчунавања и 120 Петафлопс густог рачунара, Андромеда има 13.5 милиона језгара у 16 ​​ЦС-2 система и једини је АИ суперкомпјутер који је икада показао скоро савршено линеарно скалирање на великим радним оптерећењима модела језика. Такође је веома једноставан за употребу.

Подсећања ради, највећи суперкомпјутер на Земљи – Фронтиер – има 8.7 милиона језгара. У броју сирових језгара, Андромеда је више од један и по пута већа. Очигледно ради другачије, али ово даје представу о опсегу: скоро 100 терабита интерног пропусног опсега, скоро 20,000 АМД Епиц језгара га напаја, и – за разлику од гигантских суперкомпјутера којима су потребне године да се успоставе – Андромеду смо издржали за три дана и одмах након тога, испоручивао је скоро савршено линеарно скалирање АИ.

Аргонне Натионал Лабс је био наш први купац који је користио Андромеду и применили су је на проблем који је разбијао њихов кластер од 2,000 ГПУ-а под називом Поларис. Проблем је био покретање веома великих, ГПТ-3КСЛ генеративних модела, док се цео Цовид геном ставља у прозор секвенце, тако да можете анализирати сваки ген у контексту целог генома Цовида. Андромеда је извршила јединствено генетско оптерећење са дугим дужинама секвенце (МСЛ од 10К) преко 1, 2, 4, 8 и 16 чворова, са скоро савршеним линеарним скалирањем. Линеарно скалирање је међу најтраженијим карактеристикама великог кластера. Андромеда је испоручила 15.87Кс протока кроз 16 ЦС-2 система, у поређењу са једним ЦС-2, и смањено време тренинга.

Можете ли нам рећи о партнерство са Јаспером који је представљен крајем новембра и шта то значи за обе компаније?

Јаспер је заиста занимљива компанија. Они су лидер у генеративном АИ садржају за маркетинг, а њихове производе користи више од 100,000 купаца широм света за писање копија за маркетинг, рекламе, књиге и још много тога. Ово је очигледно веома узбудљив простор који се брзо развија. Прошле године смо најавили партнерство са њима како бисмо убрзали усвајање и побољшали тачност генеративне АИ у апликацијама за предузећа и потрошаче. Јаспер користи наш Андромеда суперкомпјутер за обуку својих изузетно интензивних рачунарских модела у делићу времена. Ово ће проширити домет генеративних АИ модела на масе.

Са снагом суперкомпјутера Церебрас Андромеда, Јаспер може драматично унапредити рад са вештачком интелигенцијом, укључујући обуку ГПТ мрежа како би се АИ излази прилагодили свим нивоима сложености и грануларности крајњег корисника. Ово побољшава контекстуалну тачност генеративних модела и омогућиће Јасперу да брзо и лако персонализује садржај за више класа купаца.

Наше партнерство омогућава Јасперу да измисли будућност генеративне вештачке интелигенције, радећи ствари које су непрактичне или једноставно немогуће са традиционалном инфраструктуром, и да убрза потенцијал генеративне вештачке интелигенције, доносећи њене предности нашој брзо растућој бази клијената широм света.

У недавном Саопштење, Национална лабораторија за енергетску технологију и Питсбуршки суперкомпјутерски центар Пионеер најавили су прву икада рачунарску симулацију динамике флуида на систему Церебрас вафер-скале. Да ли бисте могли да опишете шта је конкретно мотор величине плочице и како функционише?

Naša Вафер-Сцале Енгине (ВСЕ) је револуционарни АИ процесор за наш компјутерски систем дубоког учења, ЦС-2. За разлику од наслијеђених процесора опште намене, ВСЕ је направљен од темеља да убрза дубоко учење: има 850,000 језгара оптимизованих за вештачку интелигенцију за ретке тензорске операције, огромну меморију на чипу великог пропусног опсега и интерконекцију за редове величине брже од традиционалног кластер би евентуално могао постићи. Све у свему, даје вам рачунарске ресурсе за дубоко учење еквивалентне групи старих машина у једном уређају, који се лако програмира као један чвор – радикално смањује сложеност програмирања, време рачунања на зидном сату и време до решења.

Наша друга генерација ВСЕ-2, која покреће наш ЦС-2 систем, може решити проблеме изузетно брзо. Довољно брзо да омогући моделе пројектованих система од интереса у реалном времену, високе верности. То је редак пример успешног „снажног скалирања“, што је употреба паралелизма за смањење времена решавања са проблемом фиксне величине.

И за то га користе Национална лабораторија за енергетску технологију и Суперкомпјутерски центар у Питсбургу. Управо смо најавили неке заиста узбудљиве резултате симулације рачунарске динамике флуида (ЦФД), која се састоји од око 200 милиона ћелија, брзином скоро у реалном времену.  Овај видео приказује симулацију Рејли-Бенардове конвекције високе резолуције, која се јавља када се слој флуида загрева одоздо и охлади одозго. Ови термички вођени токови флуида су свуда око нас – од ветровитих дана, до снежних олуја са ефектом језера, до струјања магме у језгру Земље и кретања плазме на сунцу. Како наратор каже, није важна само визуелна лепота симулације: већ и брзина којом можемо да је израчунамо. По први пут, користећи наш Вафер-Сцале Енгине, НЕТЛ је у стању да манипулише мрежом од скоро 200 милиона ћелија у скоро реалном времену.

Која врста података се симулира?

Тестирано радно оптерећење су били термички вођени токови флуида, такође познати као природна конвекција, што је примена рачунарске динамике флуида (ЦФД). Токови течности се природно јављају свуда око нас - од ветровитих дана, преко снежних олуја са ефектом језера, до кретања тектонских плоча. Ова симулација, састављена од око 200 милиона ћелија, фокусира се на феномен познат као "Раилеигх-Бенард" конвекција, која се јавља када се течност загрева одоздо и охлади одозго. У природи, ова појава може довести до озбиљних временских појава попут налета, микропровале и дерехоса. Такође је одговоран за кретање магме у Земљином језгру и кретање плазме на сунцу.

У новембру 2022. године, НЕТЛ је представио нови АПИ за моделирање једначине поља, покретан ЦС-2 системом, који је био чак 470 пута бржи од онога што је било могуће на НЕТЛ-овом Јоуле суперкомпјутеру. То значи да би могао да испоручи брзине изнад оних које могу постићи било који кластер било ког броја ЦПУ-а или ГПУ-а. Користећи једноставан Питхон АПИ који омогућава обраду величине вафер-а за већи део рачунарске науке, ВФА доноси добитке у перформансама и употребљивости које се не могу постићи на конвенционалним рачунарима и суперкомпјутерима – у ствари, надмашио је ОпенФОАМ на НЕТЛ-овом Јоуле 2.0 суперкомпјутеру за више од два налога величине у времену до решења.

Због једноставности ВФА АПИ-ја, резултати су постигнути за само неколико недеља и настављају блиску сарадњу између НЕТЛ-а, ПСЦ-а и Церебрас Системс-а.

Трансформисањем брзине ЦФД-а (који је увек био спор, офф-лине задатак) на нашем ВСЕ-у, можемо отворити читав низ нових случајева коришћења у реалном времену за ову и многе друге основне ХПЦ апликације. Наш циљ је да омогућавањем веће рачунарске снаге наши купци могу да изводе више експеримената и измисле бољу науку. Директор лабораторије НЕТЛ-а Брајан Андерсон рекао нам је да ће ово драстично убрзати и побољшати процес дизајна за неке заиста велике пројекте на којима НЕТЛ ради у вези са ублажавањем климатских промена и омогућавањем сигурне енергетске будућности — пројеката попут секвестрације угљеника и производње плавог водоника.

Церебрас константно надмашује конкуренцију када је у питању издавање суперкомпјутера, који су неки од изазова иза изградње врхунских суперкомпјутера?

Иронично, један од најтежих изазова велике вештачке интелигенције није АИ. То је дистрибуирано рачунање.

Да би обучили данашње најсавременије неуронске мреже, истраживачи често користе стотине до хиљаде графичких процесорских јединица (ГПУ). И није лако. Скалирање тренинга великог језичког модела у групи ГПУ-а захтева расподелу радног оптерећења на много малих уређаја, бављење величинама меморије уређаја и ограничењима меморијског пропусног опсега и пажљиво управљање трошковима комуникације и синхронизације.

Заузели смо потпуно другачији приступ дизајнирању наших суперкомпјутера кроз развој Церебрас Вафер-Сцале Цлустер, i Церебрас Веигхт Стреаминг начин извршења. Са овим технологијама, Церебрас се бави новим начином скалирања заснованом на три кључне тачке:

Замена ЦПУ и ГПУ обраде акцелераторима величине вафер-а као што је Церебрас ЦС-2 систем. Ова промена смањује број рачунарских јединица потребних за постизање прихватљиве брзине рачунања.

Да бисмо одговорили на изазов величине модела, користимо архитектуру система која раздваја израчунавање од складишта модела. Рачунски сервис заснован на групи ЦС-2 система (обезбеђујући адекватан рачунарски пропусни опсег) је чврсто повезан са меморијском услугом (са великим меморијским капацитетом) која обезбеђује подскупове модела рачунарском кластеру на захтев. Као и обично, сервис података испоручује групе података за обуку рачунарском сервису по потреби.

Иновативни модел за распоређивање и координацију рада на обуци у ЦС-2 кластеру који користи паралелизам података, тренинг по слојевима са ретким тежинама које се преносе на захтев и задржавање активација у рачунарској услузи.

Страхови од краја Муровог закона су постојали скоро деценију, колико још година индустрија може да се угура и које врсте иновација су потребне за то?

Мислим да је питање са којим се сви боримо да ли је Муров закон – како га је Мур написао – мртав. Није потребно две године да се набави више транзистора. Сада је потребно четири или пет година. А ти транзистори не долазе по истој цени – они долазе по знатно вишим ценама. Дакле, поставља се питање, да ли и даље добијамо исте предности преласка са седам на пет до три нанометра? Предности су мање и коштају више, тако да решења постају компликованија од самог чипа.

Џек Донгара, водећи компјутерски архитекта, недавно је одржао говор и рекао: „Постали смо много бољи у прављењу ФЛОП-ова и у прављењу И/О.“ То је заиста истина. Наша способност да преместимо податке ван чипа заостаје за нашом способношћу да повећамо перформансе на чипу за много. У Церебрасу смо били срећни када је то рекао, јер то потврђује нашу одлуку да направимо већи чип и померимо мање ствари ван чипа. Такође пружа неке смернице о будућим начинима да системи са чиповима раде боље. Има посла који треба да се уради, не само са исцеђивањем више ФЛОП-ова, већ и у техникама за њихово померање и премештање података са чипа на чип — чак и са веома великог чипа на веома велики чип.

Постоји ли још нешто што бисте желели да поделите о Церебрас системима?

У добру и злу, људи често стављају Церебрас у ову категорију „стварно великих момака“. Били смо у могућности да обезбедимо убедљива решења за веома, веома велике неуронске мреже, чиме смо елиминисали потребу за болним дистрибуираним рачунарством. Верујем да је то изузетно интересантно и у срцу зашто нас наши купци воле. Занимљив домен за 2023. биће како направити велике прорачуне на вишем нивоу тачности, користећи мање ФЛОП-а.

Наш рад на реткости пружа изузетно занимљив приступ. Не радимо посао који нас не помера ка гол-линији, а множење са нулом је лоша идеја. Ускоро ћемо објавити заиста интересантан рад о реткости, и мислим да ће бити више труда да се погледа како да дођемо до ових ефикасних тачака, и како да то урадимо за мање енергије. И не само због мање снаге и обуке; како да минимизирамо трошкове и снагу која се користи у закључивању? Мислим да оскудност помаже на оба фронта.

Хвала вам на овим детаљним одговорима, читаоци који желе да сазнају више треба да посете Церебрас Системс.