Кирилл Солодских, сооснователь и CEO TheStage AI – Интервью

Кирилл Солодских, PhD, является сооснователем и CEO TheStage AI, а также опытным исследователем и предпринимателем в области искусственного интеллекта с более чем десятилетним опытом оптимизации нейронных сетей для реальных бизнес-приложений. В 2024 году он стал сооснователем TheStage AI, которая получила 4,5 миллиона долларов финансирования для полной автоматизации ускорения нейронных сетей на любой аппаратной платформе.

Ранее, в качестве руководителя команды в Huawei, Кирилл возглавлял ускорение приложений камер искусственного интеллекта для Qualcomm (QCOM ) NPUs, что способствовало повышению производительности смартфонов P50 и P60 и принесло ему несколько патентов на свои инновации. Его исследования были представлены на ведущих конференциях, таких как CVPR и ECCV, где они получили награды и широкое признание в отрасли. Он также ведет подкаст об оптимизации и выводе искусственного интеллекта.

Что вдохновило вас стать сооснователем TheStage AI, и как вы перешли от академии и исследований к решению задач оптимизации вывода как основатель стартапа?

Основы для того, что в конечном итоге стало TheStage AI, начались с моей работы в Huawei, где я глубоко занимался автоматизацией развертывания и оптимизацией нейронных сетей. Эти инициативы стали основой для некоторых наших прорывных инноваций, и именно там я увидел реальную проблему. Обучение модели – это одно, но сделать ее работать эффективно в реальном мире и сделать ее доступной для пользователей – это другое. Развертывание – это узкое место, которое задерживает многие хорошие идеи от реализации. Чтобы сделать что-то такое же простое в использовании, как ChatGPT, есть много задач на стороне сервера. С технической точки зрения, оптимизация нейронных сетей заключается в минимизации параметров, сохраняя при этом высокую производительность. Это сложная математическая задача с большим потенциалом для инноваций.

Ручная оптимизация вывода давно является узким местом в искусственном интеллекте. Можете ли вы объяснить, как TheStage AI автоматизирует этот процесс и почему это прорыв?

TheStage AI решает одну из основных проблем искусственного интеллекта: ручное сжатие и ускорение нейронных сетей. Нейронные сети имеют миллиарды параметров, и определить, какие из них удалить для лучшей производительности, практически невозможно вручную. ANNA (Автоматический анализатор нейронных сетей) автоматизирует этот процесс, определяя, какие слои исключить из оптимизации, подобно тому, как сжатие ZIP было впервые автоматизировано.

Это меняет игру, делая внедрение искусственного интеллекта быстрее и более доступным. Вместо того, чтобы полагаться на дорогостоящие ручные процессы, стартапы могут оптимизировать модели автоматически. Технология дает бизнесу четкое представление о производительности и стоимости, обеспечивая эффективность и масштабируемость без предположений.

TheStage AI утверждает, что снижает затраты на вывод до 5 раз – что делает вашу технологию оптимизации такой эффективной по сравнению с традиционными методами?

TheStage AI снижает затраты на вывод до 5 раз с помощью подхода к оптимизации, который выходит за рамки традиционных методов. Вместо применения одного и того же алгоритма ко всей нейронной сети ANNA разбивает ее на более мелкие слои и решает, какой алгоритм применить к каждой части, чтобы достичь желаемого сжатия, сохраняя при этом качество модели. Объединив умные математические эвристики с эффективными приближениями, наш подход высоко масштабируем и делает внедрение искусственного интеллекта проще для бизнеса любого размера. Мы также интегрируем гибкие настройки компилятора для оптимизации сетей для конкретного оборудования, такого как iPhone или NVIDIA (NVDA ) GPU. Это дает нам больше контроля для тонкой настройки производительности, увеличивая скорость без потери качества.

Как ускорение вывода TheStage AI сравнивается с родным компилятором PyTorch, и какие преимущества оно предлагает разработчикам искусственного интеллекта?

TheStage AI ускоряет вывод далеко за пределами родного компилятора PyTorch. PyTorch использует метод компиляции “just-in-time”, который компилирует модель каждый раз, когда она запускается. Это приводит к длительным временам запуска, иногда занимающим минуты или даже дольше. В масштабируемых средах это может создать неэффективности, особенно когда новые GPU необходимо подключить для обработки увеличенной нагрузки пользователей, что может повлиять на опыт пользователя.

Напротив, TheStage AI позволяет моделям быть предварительно скомпилированными, поэтому как только модель готова, ее можно сразу же развернуть. Это приводит к более быстрому выводу, улучшению эффективности обслуживания и экономии средств. Разработчики могут развертывать и масштабировать модели искусственного интеллекта быстрее, без неэффективностей традиционной компиляции, что делает его более эффективным и отзывчивым для случаев высокого спроса.

Можете ли вы рассказать больше о наборе инструментов QLIP TheStage AI и о том, как он улучшает производительность модели, сохраняя при этом качество?

QLIP, набор инструментов TheStage AI, является библиотекой Python, которая предоставляет необходимый набор примитивов для быстрого создания новых алгоритмов оптимизации, адаптированных к различному оборудованию, такому как GPU и NPU. Набор инструментов включает компоненты, такие как квантование, обрезка, спецификация, компиляция и обслуживание, все из которых являются важными для разработки эффективных и масштабируемых систем искусственного интеллекта.

То, что отличает QLIP, – это его гибкость. Он позволяет инженерам искусственного интеллекта создавать и реализовывать новые алгоритмы всего за несколько строк кода. Например, недавняя статья о квантовых нейронных сетях может быть преобразована в рабочий алгоритм с помощью примитивов QLIP всего за несколько минут. Это делает его легко для разработчиков интегрировать последние исследования в свои модели без ограничений жесткими рамками.

В отличие от традиционных открытых рамок, которые ограничивают вас фиксированным набором алгоритмов, QLIP позволяет любому добавлять новые методы оптимизации. Эта адаптируемость помогает командам оставаться впереди быстро развивающегося ландшафта искусственного интеллекта, улучшая производительность, сохраняя при этом гибкость для будущих инноваций.

Вы внесли вклад в рамки квантования искусственного интеллекта, используемые в камерах P50 и P60 Huawei. Как этот опыт повлиял на ваш подход к оптимизации искусственного интеллекта?

Мой опыт работы над рамками квантования искусственного интеллекта для камер P50 и P60 Huawei дал мне ценные знания о том, как оптимизацию можно упростить и масштабировать. Когда я впервые начал работать с PyTorch, работа с полным графом выполнения нейронных сетей была жесткой, и алгоритмы квантования необходимо было реализовывать вручную, слой за слоем. В Huawei я создал рамку, которая автоматизировала этот процесс. Вы просто вводите модель, и она автоматически генерирует код для квантования, исключая ручную работу.

Это привело меня к пониманию того, что автоматизация в оптимизации искусственного интеллекта заключается в обеспечении скорости без жертвования качеством. Один из алгоритмов, который я разработал и запатентовал, стал важным для Huawei, особенно когда им пришлось перейти от процессоров Kirin к Qualcomm из-за санкций. Это позволило команде быстро адаптировать нейронные сети к архитектуре Qualcomm без потери производительности или точности.

Автоматизируя и упрощая процесс, мы сократили время разработки с более чем года до нескольких месяцев. Это оказало большое влияние на продукт, используемый миллионами, и сформировало мой подход к оптимизации, сосредоточенный на скорости, эффективности и минимальных потерях качества. Это тот же подход, который я привношу в ANNA сегодня.

Ваши исследования были представлены на CVPR и ECCV – какие из прорывов в эффективности искусственного интеллекта вы наиболее гордитесь?

Когда меня спрашивают об моих достижениях в области эффективности искусственного интеллекта, я всегда думаю о нашей статье, которая была выбрана для устного доклада на CVPR 2023. Быть выбранным для устного доклада на такой конференции – это редкость, поскольку только 12 статей выбираются. Это добавляет к тому, что генеративный искусственный интеллект обычно доминирует в центре внимания, и наша статья подошла к этому с другой стороны, сосредоточившись на математической стороне, в частности, на анализе и сжатии нейронных сетей.

Мы разработали метод, который помог нам понять, сколько параметров действительно необходимо нейронной сети для эффективной работы. Применяя методы функционального анализа и переходя от дискретного к непрерывному представлению, мы смогли добиться хороших результатов сжатия, сохраняя при этом возможность интегрировать эти изменения обратно в модель. Статья также представила несколько новых алгоритмов, которые не были использованы сообществом и нашли дальнейшее применение.

Это была одна из моих первых статей в области искусственного интеллекта, и важно, что это было результатом коллективных усилий нашей команды, включая моих сооснователей. Это был значительный рубеж для всех нас.

Можете ли вы объяснить, как работают интегральные нейронные сети (INN) и почему они являются важным инновационным решением в глубоком обучении?

Традиционные нейронные сети используют фиксированные матрицы, подобные таблицам Excel, где размер и параметры предопределены. INN, однако, описывают сети как непрерывные функции, предлагая гораздо больше гибкости. Подумайте об этом как о одеяле с булавками на разных высотах, и это представляет собой непрерывную волну.

То, что делает INN интересными, – это их способность динамически “сжимать” или “расширять” в зависимости от доступных ресурсов, подобно тому, как аналоговый сигнал преобразуется в звук. Вы можете уменьшить сеть без жертвования качеством, и когда это необходимо, расширить ее обратно без повторной тренировки.

Мы протестировали это, и хотя традиционные методы сжатия приводят к значительной потере качества, INN сохраняют качество, близкое к оригинальному, даже при экстремальном сжатии. Математика за этим более необычна для сообщества искусственного интеллекта, но реальная ценность заключается в ее способности обеспечить прочные, практические результаты с минимальными усилиями.

TheStage AI работал над алгоритмами квантового анализа – как вы видите роль квантовых вычислений в оптимизации искусственного интеллекта в ближайшем будущем?

Когда речь идет о квантовых вычислениях и их роли в оптимизации искусственного интеллекта, главное заключение заключается в том, что квантовые системы предлагают совершенно другой подход к решению задач, таких как оптимизация. Хотя мы не изобрели алгоритмы квантового анализа с нуля, компании, такие как D-Wave, предоставляют библиотеки Python для построения квантовых алгоритмов, специально предназначенных для дискретных задач оптимизации, которые идеально подходят для квантовых компьютеров.

Идея заключается в том, что мы не загружаем нейронную сеть напрямую в квантовый компьютер. Это невозможно с текущей архитектурой. Вместо этого мы приближаем, как нейронные сети ведут себя при различных видах деградации, делая их пригодными для системы, которую может обработать квантовый чип.

В будущем квантовые системы потенциально могут оптимизировать и масштабировать сети с точностью, которую традиционные системы с трудом могут сравнить. Преимущество квантовых систем заключается в их встроенной параллелизме, что классические системы могут имитировать только с помощью дополнительных ресурсов. Это означает, что квантовые вычисления потенциально могут значительно ускорить процесс оптимизации, особенно когда мы узнаем, как эффективно моделировать более крупные и сложные сети.

Реальный потенциал заключается в использовании квантовых вычислений для решения огромных, сложных задач оптимизации и разбиения параметров на более мелкие, более управляемые группы. С технологиями, такими как квантовые и оптические вычисления, есть огромные возможности для оптимизации искусственного интеллекта, которые далеко выходят за рамки того, что может предложить традиционное вычисление.

Каково ваше долгосрочное видение для TheStage AI? Где вы видите оптимизацию вывода, направляющуюся в течение следующих 5-10 лет?

В долгосрочной перспективе TheStage AI стремится стать глобальным Хабом моделей, где любой может легко получить доступ к оптимизированной нейронной сети с желаемыми характеристиками, будь то для смартфона или любого другого устройства. Цель – предложить опыт перетаскивания, где пользователи вводят свои параметры, и система автоматически генерирует сеть. Если сеть еще не существует, она будет создана автоматически с помощью ANNA.

Наша цель – сделать нейронные сети, которые могут работать напрямую на устройствах пользователей, снижая затраты на 20-30 раз. В будущем это потенциально может почти полностью исключить затраты, поскольку устройство пользователя будет обрабатывать вычисления, а не полагаться на сервера в облаке. Это, в сочетании с достижениями в сжатии моделей и аппаратном ускорении, может сделать развертывание искусственного интеллекта значительно более эффективным.

Мы также планируем интегрировать нашу технологию с аппаратными решениями, такими как датчики, чипы и робототехника, для применения в таких областях, как автономное вождение и робототехника. Например, мы стремимся построить камеры искусственного интеллекта, которые могут функционировать в любой среде, будь то в космосе или в экстремальных условиях, таких как темнота или пыль. Это сделает искусственный интеллект пригодным для широкого спектра приложений и позволит нам создавать индивидуальные решения для конкретного оборудования и случаев использования.

Благодарим за отличное интервью, читатели, которые хотят узнать больше, могут посетить TheStage AI.