Jay Dawani является сооснователем и CEO Lemurian Labs – Серия интервью

Jay Dawani является сооснователем и CEO Lemurian Labs. Lemurian Labs ставит своей миссией доставку доступных, доступных и эффективных компьютеров с искусственным интеллектом, руководствуясь убеждением, что ИИ не должен быть роскошью, а инструментом, доступным каждому. Основная команда Lemurian Labs объединяет опыт в области ИИ, компиляторов, численных алгоритмов и компьютерной архитектуры, объединенных единой целью: переосмыслить ускоренную вычислительную технику.

Можете ли вы рассказать нам о вашем прошлом и о том, что привело вас к ИИ?

Конечно. Я начал программировать с 12 лет и создавать свои собственные игры и т. д., но я действительно увлекся ИИ, когда мне было 15 лет, благодаря другу моего отца, который был увлечен компьютерами. Он разбудил мое любопытство и дал мне книги для чтения, такие как “Компьютер и мозг” Вон Неймана, “Перцептроны” Минского, “Искусственный интеллект: современный подход” Рассела и Норвига. Эти книги сильно повлияли на мое мышление, и тогда казалось почти очевидным, что ИИ будет трансформативным, и я просто должен был быть частью этого.

Когда пришло время поступать в университет, я действительно хотел изучать ИИ, но не нашел университетов, предлагающих это, поэтому я решил специализироваться в прикладной математике. Позже, когда я уже был в университете, я узнал о результатах AlexNet на ImageNet, что было действительно интересно. Тогда у меня произошел момент “сейчас или никогда”, и я полностью погрузился в чтение каждой статьи и книги, которую мог найти, связанной с нейронными сетями, и искал лидеров в этой области, чтобы учиться у них, потому что как часто вы можете быть там при рождении новой отрасли и учиться у ее пионеров?

Очень быстро я понял, что не люблю исследования, но мне нравится решать проблемы и создавать продукты, основанные на ИИ. Это привело меня к работе над автономными автомобилями и роботами, ИИ для открытия материалов, генеративными моделями для симуляций мультифизики, симуляторами на основе ИИ для обучения профессиональных гонщиков и помощи в настройке автомобилей, роботами для космоса, алгоритмической торговлей и многим другим.

Теперь, после всего этого, я пытаюсь сдержать стоимость обучения и развертывания ИИ, потому что это будет самой большой проблемой, с которой мы столкнемся на нашем пути к созданию мира, где каждый человек и компания могут иметь доступ к ИИ и получать от него пользу в наиболее экономически эффективной форме.

Многие компании, работающие в области ускоренной вычислительной техники, имеют основателей, которые построили карьеру в области полупроводников и инфраструктуры. Как, по вашему мнению, ваш прошлый опыт в области ИИ и математики влияет на ваше понимание рынка и конкуренцию?

Я действительно думаю, что не быть из этой отрасли дает мне преимущество постороннего. Я часто обнаруживаю, что не имея знаний об отраслевых нормах или общепринятой мудрости, дает мне свободу исследовать более свободно и глубже, чем большинство других, потому что я не обременен предубеждениями.

У меня есть свобода задавать “глупые” вопросы и проверять предположения таким образом, каким большинство других не сделали бы, потому что многие вещи принимаются как данность. За последние два года у меня было несколько разговоров с людьми в отрасли, которые очень догматичны в отношении чего-то, но они не могут мне сказать, откуда взялась эта идея, что я нахожу очень удивительным. Мне нравится понимать, почему были сделаны определенные выборы и какие предположения или условия были в то время и сохраняются ли они.

Приходя из области ИИ, я склонен рассматривать программную точку зрения, глядя на то, где находятся рабочие нагрузки сегодня и как они могут измениться со временем, и моделируя весь ML-пipeline для обучения и вывода, чтобы понять узкие места, что говорит мне, где есть возможности для доставки ценности. И поскольку я прихожу из математического фона, мне нравится моделировать вещи, чтобы приблизиться к истине как можно ближе, и руководствоваться ею. Например, мы построили модели для расчета системной производительности для общей стоимости владения и можем измерить пользу, которую мы можем принести клиентам с помощью программного или аппаратного обеспечения, и лучше понять наши ограничения и различные рычаги, доступные нам, и десятки других моделей для различных вещей. Мы очень зависим от данных, и используем идеи из этих моделей, чтобы руководить нашими усилиями и компромиссами.

Кажется, что прогресс в ИИ в основном обусловлен масштабированием, которое требует экспоненциально больше вычислительных ресурсов и энергии. Кажется, что мы находимся в гонке вооружений, где каждая компания пытается построить самую большую модель, и не видно конца этому. Думаете ли вы, что есть выход из этой ситуации?

Всегда есть способы. Масштабирование оказалось非常 полезным, и я не думаю, что мы видели его конец. Мы очень скоро увидим модели, обученные за стоимость не менее миллиарда долларов. Если вы хотите быть лидером в области генеративного ИИ и создать передовые фундаментальные модели, вам нужно тратить не менее нескольких миллиардов долларов в год на вычислительные ресурсы. Теперь есть естественные пределы масштабированию, такие как возможность создания достаточно большого набора данных для модели такого размера, получение доступа к людям с необходимыми знаниями и получение доступа к достаточному количеству вычислительных ресурсов.

Продолжение масштабирования размера модели неизбежно, но мы также не можем превратить всю поверхность Земли в планетарный суперкомпьютер для обучения и обслуживания больших языковых моделей по очевидным причинам. Чтобы получить контроль над этим, у нас есть несколько рычагов, с которыми мы можем работать: лучшие наборы данных, новые архитектуры моделей, новые методы обучения, лучшие компиляторы, алгоритмические улучшения и эксплуатация, лучшие компьютерные архитектуры и т. д. Если мы сделаем все это, то есть примерно три порядка величины улучшения, которое можно найти. Это лучший выход.

Вы являетесь сторонником мышления на основе первых принципов, как это формирует ваше мышление о том, как вы управляете Lemurian Labs?

Мы определенно применяем много мышления на основе первых принципов в Lemurian. Я всегда находил общепринятую мудрость вводящей в заблуждение, потому что это знание было сформировано в определенный момент времени, когда определенные предположения были верны, но все всегда меняется, и вам нужно часто проверять предположения, особенно в таком быстром мире.

Я часто задаю себе вопросы типа “это кажется очень хорошей идеей, но почему это может не сработать”, или “что должно быть истинным, чтобы это работало”, или “что мы знаем, что являются абсолютными истинами, и какие предположения мы делаем и почему?”, или “почему мы считаем, что этот подход является лучшим способом решения этой проблемы”. Цель – опровергнуть и уничтожить идеи как можно быстрее и дешевле. Мы хотим попытаться максимизировать количество вещей, которые мы пробуем в любой момент времени. Это о том, чтобы быть одержимым проблемой, которую нужно решить, и не быть слишком мнительным о том, какая технология лучше. Слишком многие люди склонны слишком сильно фокусироваться на технологии, и они в итоге неправильно понимают проблемы клиентов и пропускают переходы, происходящие в отрасли, которые могут сделать их подход недействительным, в результате чего они не могут адаптироваться к новому состоянию мира.

Но мышление на основе первых принципов само по себе не очень полезно. Мы склонны сочетать его с обратным прогнозированием, которое по сути означает представление желаемого будущего результата и работу назад, чтобы определить различные шаги или действия, необходимые для его реализации. Это гарантирует, что мы сход ourselves к значимому решению, которое не только инновационно, но и основано на реальности. Не имеет смысла тратить время на создание идеального решения, только чтобы понять, что оно неосуществимо из-за различных реальных ограничений, таких как ресурсы, время, регулирование или создание казалось бы идеального решения, но позже обнаружить, что вы сделали его слишком сложным для клиентов, чтобы его принять.

Периодически мы находимся в ситуации, когда нам нужно принять решение, но у нас нет данных, и в этом сценарии мы применяем минимально тестируемые гипотезы, которые дают нам сигнал о том, имеет ли смысл что-то преследовать с наименьшим расходом энергии.

Все это вместе дает нам гибкость, быстрые циклы итерации, чтобы быстро минимизировать риски, и помогло нам скорректировать стратегии с высокой уверенностью и добиться значительного прогресса в решении очень сложных проблем за очень короткое время.

Первоначально вы были сосредоточены на edge AI, что заставило вас переключиться и перейти к облачным вычислениям?

Мы начали с edge AI, потому что в то время я был очень сосредоточен на решении очень конкретной проблемы, с которой я столкнулся, пытаясь ввести мир общего назначения автономной робототехники. Автономная робототехника обещает быть самым большим сдвигом платформы в нашей коллективной истории, и казалось, что у нас есть все, что нужно, чтобы построить фундаментальную модель для робототехники, но нам не хватало идеального чипа для вывода с правильным балансом пропускной способности, задержки, энергоэффективности и программирования, чтобы запустить эту фундаментальную модель.

Я не думал о центре обработки данных в то время, потому что там было достаточно компаний, фокусирующихся на этом, и я ожидал, что они все устроят. Мы разработали очень мощную архитектуру для этого применения и были готовы к выпуску, и тогда стало совершенно ясно, что мир изменился, и проблема действительно заключалась в центре обработки данных. Темп, с которым масштабируются большие языковые модели и потребляют вычислительные ресурсы, намного опережает темп прогресса в вычислительной технике, и когда вы учитываете принятие, это начинает рисовать тревожную картину.

Казалось, что это то место, где мы должны сосредоточить наши усилия, чтобы снизить энергоэффективность ИИ в центрах обработки данных как можно больше, не налагая ограничений на то, где и как ИИ должен развиваться. Итак, мы приступили к решению этой проблемы.

Можете ли вы рассказать историю о создании Lemurian Labs?

История начинается в начале 2018 года. Я работал над обучением фундаментальной модели для общего назначения автономности, а также модели для генеративной мультифизической симуляции, чтобы обучить агента и донастроить его для разных приложений, и некоторых других вещей, чтобы помочь масштабировать в мультиагентные среды. Но очень быстро я исчерпал количество вычислительных ресурсов, которые у меня были, и я оценил, что мне нужно более 20 000 GPU V100. Я попытался привлечь достаточно средств, чтобы получить доступ к вычислительным ресурсам, но рынок еще не был готов к такому масштабу. Это, однако, заставило меня подумать о стороне развертывания и я сел, чтобы рассчитать, какую производительность мне нужно для обслуживания этой модели в целевых средах, и я понял, что нет чипа, который мог бы мне помочь.

Пару лет спустя, в 2020 году, я встретился с Вассилом – моим будущим сооснователем – чтобы пообщаться, и я поделился проблемами, с которыми я столкнулся при построении фундаментальной модели для автономности, и он предложил построить чип для вывода, который мог бы запустить фундаментальную модель, и он поделился тем, что он много думал о форматах чисел и лучших представлениях, которые помогут не только сохранить точность нейронных сетей при более низкой битовой ширине, но и создать более мощные архитектуры.

Это была интригующая идея, но она была далеко за пределами моей зоны знаний. Но она не оставила меня, что заставило меня провести месяцы, изучая тонкости компьютерной архитектуры, наборов инструкций, runtime, компиляторов и моделей программирования. В конце концов, строительство полупроводниковой компании начало иметь смысл, и я сформировал тезис о том, что была проблема и как ее решить. И затем, к концу года, мы начали Lemurian.

Вы говорили ранее о необходимости решить проблему программного обеспечения сначала при построении аппаратного обеспечения, можете ли вы подробнее рассказать о своем взгляде на то, почему проблема аппаратного обеспечения прежде всего является проблемой программного обеспечения?

Что многие люди не понимают, так это то, что сторона программного обеспечения полупроводников намного сложнее, чем сама аппаратура. Построение полезного компьютерного архитектурного решения для клиентов, чтобы они могли использовать и получить от него пользу, является полной задачей стека, и если вы не понимаете и не готовы к этому, вы в итоге получите красивую архитектуру, которая очень производительна и эффективна, но совершенно не пригодна для разработчиков, что на самом деле важно.

Есть другие преимущества подхода “программное обеспечение сначала”, такие как более быстрый выход на рынок. Это крайне важно в сегодняшнем быстро меняющемся мире, где быть слишком оптимистичным в отношении архитектуры или функции может означать, что вы полностью упустите рынок.

Не принимая программный подход, обычно получается, что не были минимизированы важные вещи, необходимые для принятия продукта на рынке, не имеется возможности быстро реагировать на изменения рынка, например, когда рабочие нагрузки эволюционируют неожиданным образом, и аппаратура недоиспользуется. Все это не очень хорошие вещи. Это большая причина, по которой мы заботимся о том, чтобы быть программно-ориентированными, и почему наше мнение заключается в том, что вы не можете быть полупроводниковой компанией, не будучи при этом программной компанией.

Можете ли вы обсудить ваши ближайшие цели стека программного обеспечения?

Когда мы проектировали нашу архитектуру и думали о перспективном плане и где были возможности для доставки большей производительности и энергоэффективности, стало ясно, что мы увидим гораздо больше гетерогенности, что создаст много проблем с программным обеспечением. И нам не нужно только уметь продуктивно программировать гетерогенные архитектуры, нам нужно иметь дело с ними в масштабе центров обработки данных, что является проблемой, с которой мы не сталкивались раньше.

Это заставило нас беспокоиться, потому что в последний раз, когда нам пришлось пройти через значительный переход, отрасль перешла от одноядерных к многоядерным архитектурам, и в то время потребовалось 10 лет, чтобы программное обеспечение заработало и люди начали им пользоваться. Мы не можем позволить себе ждать 10 лет, чтобы понять программное обеспечение для гетерогенности в масштабе, это должно быть решено сейчас. Итак, мы приступили к пониманию проблемы и того, что должно существовать, чтобы этот стек программного обеспечения существовал.

Мы сейчас взаимодействуем с многими ведущими полупроводниковыми компаниями и гиперскалерами/провайдерами облачных услуг и выпустим наш стек программного обеспечения в течение следующих 12 месяцев. Это унифицированная модель программирования с компилятором и runtime, способным целиться в любую архитектуру, и оркестрировать работу на кластерах, состоящих из разных типов аппаратуры, и способным масштабироваться от одного узла до кластера из 1000 узлов для самой высокой производительности.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить Lemurian Labs.