Джей Давани – сооснователь и CEO Lemurian Labs – Интервью

Джей Давани – сооснователь и CEO Lemurian Labs. Lemurian Labs стремится предоставить доступные, эффективные и доступные компьютеры с искусственным интеллектом, руководствуясь убеждением, что ИИ не должен быть роскошью, а инструментом, доступным каждому. Основная команда Lemurian Labs объединяет экспертизу в области ИИ, компиляторов, численных алгоритмов и компьютерной архитектуры, объединенную единой целью – переосмыслить ускоренную вычислительную технику.

Можете ли вы рассказать нам о своем прошлом и о том, что привело вас к ИИ?

Конечно. Я начал программировать в 12 лет и создавать свои собственные игры и т. д., но я действительно увлекся ИИ, когда мне было 15 лет, благодаря другу моего отца, который был увлечен компьютерами. Он разбудил мое любопытство и дал мне книги для чтения, такие как “Компьютер и мозг” фон Неймана, “Перцептроны” Минского, “Искусственный интеллект: современный подход” Рассела и Норвига. Эти книги сильно повлияли на мое мышление, и тогда казалось почти очевидным, что ИИ будет трансформационным, и я просто должен был быть частью этой области.

Когда пришло время поступать в университет, я действительно хотел изучать ИИ, но не нашел университетов, которые предлагали это, поэтому я решил специализироваться в прикладной математике вместо этого, и немного позже, когда я уже был в университете, я узнал о результатах AlexNet на ImageNet, что было действительно интересно. В то время у меня произошел момент “сейчас или никогда”, и я полностью погрузился в чтение каждой статьи и книги, которые я мог найти, связанные с нейронными сетями, и искал лидеров в этой области, чтобы учиться у них, потому что как часто вам удается быть там при рождении новой отрасли и учиться у ее пионеров?

Очень быстро я понял, что мне не нравится исследовательская работа, но мне нравится решать проблемы и создавать продукты, основанные на ИИ. Это привело меня к работе над автономными автомобилями и роботами, ИИ для открытия материалов, генеративными моделями для многомерных симуляций, ИИ-симуляторами для обучения профессиональных гонщиков и помощи в настройке автомобилей, космическими роботами, алгоритмической торговлей и многим другим.

Теперь, после всего этого, я пытаюсь сдержать стоимость обучения и развертывания ИИ, потому что это будет самой большой проблемой, с которой мы столкнемся на нашем пути к созданию мира, где каждый человек и компания могут иметь доступ к ИИ и извлечь из него пользу в наиболее экономически эффективной форме.

Многие компании, работающие в области ускоренной вычислительной техники, имеют основателей, которые построили карьеру в области полупроводников и инфраструктуры. Как, по вашему мнению, ваш прошлый опыт в ИИ и математике влияет на ваше понимание рынка и конкуренцию?

Я думаю, что не来自 отрасли дает мне преимущество постороннего. Я часто находил, что не имея знаний об отраслевых нормах или общепринятой мудрости, дает свободу исследовать более свободно и глубже, чем большинство других, потому что вы не обременены предубеждениями.

У меня есть свобода задавать “глупые” вопросы и проверять предположения таким образом, каким большинство других не сделали бы, потому что многие вещи принимаются как данность. За последние два года у меня было несколько разговоров с людьми в отрасли, которые очень догматичны в отношении чего-то, но они не могут мне сказать, откуда взялась эта идея, что я нахожу очень удивительным. Мне нравится понимать, почему были сделаны определенные выборы и какие предположения или условия были в то время и сохраняются ли они.

Приходя из области ИИ, я склонен рассматривать программное обеспечение, глядя на то, где нагрузки сегодня и все возможные способы, которыми они могут измениться со временем, и моделируя весь ML-пipeline для обучения и вывода, чтобы понять узкие места, что говорит мне, где есть возможности для предоставления ценности. И потому что я прихожу из математического фона, я люблю моделировать вещи, чтобы получить как можно ближе к истине, и иметь это, чтобы руководить мной. Например, мы построили модели для расчета системной производительности для общей стоимости владения и можем измерить выгоду, которую мы можем принести клиентам с помощью программного обеспечения и/или аппаратного обеспечения, и лучше понять наши ограничения и различные рычаги, доступные нам, и десятки других моделей для различных вещей. Мы очень зависим от данных и используем идеи из этих моделей, чтобы руководить нашими усилиями и компромиссами.

Кажется, что прогресс в ИИ в основном обусловлен масштабированием, которое требует экспоненциально больше вычислительных ресурсов и энергии. Кажется, что мы находимся в гонке вооружений, когда каждая компания пытается построить самую большую модель, и не видно конца этому. Думаете ли вы, что есть выход из этого?

Всегда есть способы. Масштабирование оказалось非常 полезным, и я не думаю, что мы видели конец еще. Мы скоро увидим модели, обученные с затратами не менее миллиарда долларов. Если вы хотите быть лидером в области генеративного ИИ и создать передовые фундаментальные модели, вам нужно тратить не менее нескольких миллиардов долларов в год на вычислительные ресурсы.

Продолжение масштабирования размера модели неизбежно, но мы также не можем превратить всю поверхность Земли в планетарный суперкомпьютер, чтобы обучать и обслуживать модели LLM для очевидных причин. Чтобы получить контроль над этим, у нас есть несколько рычагов, с которыми мы можем работать: лучшие наборы данных, новые архитектуры моделей, новые методы обучения, лучшие компиляторы, алгоритмические улучшения и эксплуатация, лучшие компьютерные архитектуры и т. д. Если мы сделаем все это, есть примерно три порядка величины улучшения, которые можно найти. Это лучший выход.

Вы верите в мышление, основанное на первых принципах, как это влияет на ваш подход к управлению Lemurian Labs?

Мы определенно используем много мышления, основанного на первых принципах, в Lemurian. Я всегда находил, что общепринятая мудрость вводит в заблуждение, потому что это знания, сформированные в определенный момент времени, когда определенные предположения были верны, но все всегда меняется, и вам нужно часто проверять предположения, особенно в таком быстро меняющемся мире.

Я часто задаю вопросы типа “это кажется очень хорошей идеей, но почему это может не сработать” или “что должно быть истинным, чтобы это сработало” или “что мы знаем, что являются абсолютными истинами, и какие предположения мы делаем и почему?” или “почему мы считаем, что этот подход является лучшим способом решения этой проблемы”. Цель – опровергнуть и убить идеи как можно быстрее и дешевле. Мы хотим попробовать как можно больше вещей в любой момент времени. Это о том, чтобы быть одержимым проблемой, которую нужно решить, и не быть слишком мнительным о том, какая технология лучше.

Но мышление, основанное на первых принципах, само по себе не очень полезно. Мы склонны сочетать его с обратным прогнозированием, что означает представление идеального или желаемого будущего результата и работу назад, чтобы определить различные шаги или действия, необходимые для его реализации. Это гарантирует, что мы сход ourselves на значимое решение, которое не только инновационно, но и основано на реальности.

Иногда мы находимся в ситуации, когда нам нужно принять решение, но у нас нет данных, и в этом сценарии мы используем минимально тестируемые гипотезы, которые дают нам сигнал о том, имеет ли смысл что-то преследовать с наименьшими затратами энергии.

Все это вместе дает нам гибкость, быстрые циклы итерации, чтобы быстро снизить риски, и помогло нам скорректировать стратегии с высокой уверенностью и добиться значительного прогресса в очень сложных проблемах за очень короткое время.

Изначально вы были сосредоточены на ИИ на краю сети, что заставило вас переключиться и сосредоточиться на облачных вычислениях?

Мы начали с ИИ на краю сети, потому что в то время я был очень сосредоточен на решении очень конкретной проблемы, с которой я столкнулся, пытаясь ввести в мир общую платформу автономной робототехники. Автономная робототехника обещает быть самым большим сдвигом платформы в нашей коллективной истории, и казалось, что у нас есть все, чтобы построить фундаментальную модель для робототехники, но нам не хватало идеального чипа для вывода с правильным балансом пропускной способности, задержки, энергетической эффективности и программирования, чтобы запустить эту фундаментальную модель.

Я не думал о центре обработки данных в то время, потому что там было достаточно компаний, которые сосредоточились на этом, и я ожидал, что они разберутся. Мы разработали очень мощную архитектуру для этого приложения и были готовы запустить ее, и тогда стало совершенно ясно, что мир изменился, и проблема действительно была в центре обработки данных. Темп, с которым модели LLM масштабируются и потребляют вычислительные ресурсы, намного опережает темп прогресса в вычислительной технике, и когда вы учитываете принятие, это начинает рисовать тревожную картину.

Казалось, что это то место, где мы должны сосредоточить наши усилия, чтобы снизить энергетические затраты на ИИ в центрах обработки данных как можно больше, не налагая ограничений на то, где и как ИИ должен развиваться. Итак, мы приступили к решению этой проблемы.

Можете ли вы рассказать нам историю о создании Lemurian Labs?

История начинается в начале 2018 года. Я работал над обучением фундаментальной модели для общей автономности, а также над моделью для генеративной многомерной симуляции для обучения агента и его доработки для различных приложений, и некоторых других вещей, чтобы помочь масштабироваться в многомерные среды. Но очень быстро я исчерпал количество вычислительных ресурсов, которые у меня были, и я оценил, что мне нужно более 20 000 GPU V100. Я попытался привлечь достаточно средств, чтобы получить доступ к вычислительным ресурсам, но рынок еще не был готов к такому масштабу. Однако это заставило меня подумать о стороне развертывания и я сел, чтобы рассчитать, какую производительность мне нужно для обслуживания этой модели в целевой среде, и я понял, что не существует чипа, который мог бы мне помочь.

Через пару лет, в 2020 году, я встретился с Вассилом – моим будущим сооснователем – чтобы пообщаться, и я поделился проблемами, с которыми я столкнулся при построении фундаментальной модели для автономности, и он предложил построить чип для вывода, который мог бы запустить эту фундаментальную модель, и он поделился тем, что он много думал о форматах чисел и лучших представлениях, которые помогут не только сохранить точность нейронных сетей при более низкой битовой ширине, но и создать более мощные архитектуры.

Это была интригующая идея, но она была далеко за пределами моей зоны комфорта. Но она не оставила меня, что заставило меня провести месяцы, изучая тонкости компьютерной архитектуры, наборов инструкций, runtime, компиляторов и моделей программирования. В конце концов, построение полупроводниковой компании начало иметь смысл, и я сформировал тезис о том, что была проблема и как ее решить. И тогда, к концу года, мы начали Lemurian.

Вы говорили ранее о необходимости решить программную проблему сначала при построении аппаратного обеспечения, можете ли вы подробнее рассказать о своем взгляде на то, почему аппаратная проблема в первую очередь является программной проблемой?

Что многие люди не понимают, так это то, что программная сторона полупроводников намного сложнее, чем сама аппаратная часть. Построение полезной компьютерной архитектуры для клиентов, чтобы они могли использовать и получить пользу, является полной задачей стека, и если у вас нет этого понимания и готовности, вы закончите красивой архитектурой, которая очень производительна и эффективна, но совершенно не пригодна для использования разработчиками, что на самом деле важно.

Есть также другие преимущества от подхода “программное обеспечение сначала”, такие как более быстрый выход на рынок. Это крайне важно в сегодняшнем быстро меняющемся мире, где быть слишком оптимистичным в отношении архитектуры или функции может означать, что вы полностью пропустите рынок.

Не принимая программный подход, вы обычно не снимаете с себя риски, связанные с принятием продукта на рынке, не можете реагировать на изменения на рынке, когда нагрузки эволюционируют неожиданным образом, и имеете неиспользуемое оборудование. Все это не очень хорошие вещи. Это большая причина, по которой мы заботимся о том, чтобы быть программно-ориентированными, и почему наше мнение заключается в том, что вы не можете быть полупроводниковой компанией, не будучи в то же время программной компанией.

Можете ли вы рассказать о ваших ближайших целях в программном обеспечении?

Когда мы проектировали нашу архитектуру и думали о перспективном плане и о том, где есть возможности для предоставления большей производительности и энергетической эффективности, стало ясно, что мы увидим гораздо больше разнообразия, что создаст много проблем с программным обеспечением. И мы не только должны быть в состоянии продуктивно программировать гетерогенные архитектуры, но и иметь дело с ними в масштабе центров обработки данных, что является проблемой, с которой мы не сталкивались раньше.

Это заставило нас беспокоиться, потому что в последний раз, когда нам пришлось пройти через значительный переход, была смена от одноядерных до многоядерных архитектур, и в то время потребовалось 10 лет, чтобы программное обеспечение заработало и люди начали им пользоваться. Мы не можем ждать 10 лет, чтобы разобраться с программным обеспечением для гетерогенных систем в масштабе, это должно быть решено сейчас. Итак, мы приступили к пониманию проблемы и того, что должно существовать, чтобы этот программный стек существовал.

Мы в настоящее время взаимодействуем с многими ведущими полупроводниковыми компаниями и гиперскелерами/поставщиками облачных услуг и выпустим наш программный стек в течение следующих 12 месяцев. Это унифицированная модель программирования с компилятором и runtime, способным нацеливаться на любой тип архитектуры, и оркестрировать работу в кластерах, состоящих из разных типов оборудования, и способным масштабироваться от одного узла до кластера из тысячи узлов для максимальной производительности.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, могут посетить Lemurian Labs.