ARIA выбрала оптические серверы Lumai для испытаний ИИ-инференса в масштабе серверной стойки

Lumai выводит свое оптическое оборудование для ИИ на новый этап оценки: в лаборатории масштабирования инференса, которую поддерживает британское Агентство передовых исследований и изобретений (ARIA). Лаборатория планирует развернуть серверы инференса Lumai Iris в качестве своей первой платформы оптических вычислений, чтобы исследователи могли испытать эту архитектуру в масштабе стойки в коммерческом центре обработки данных.

Лабораторией руководит CommonAI CIC. Она призвана помочь преодолеть серьезный разрыв в сфере нового оборудования для ИИ: продемонстрировать работу нового процессора — это одно, а заставить его работать в составе интегрированной системы с реальными моделями и стандартными требованиями к электропитанию, охлаждению и размещению в стойке — совсем другое.

Это объявление стало продолжением апрельского запуска Iris Nova. Следующий этап — испытания системы с несколькими узлами на публично финансируемом испытательном стенде, а не выпуск завершенного независимого бенчмарка, подтверждающего заявленные Lumai высокие показатели энергоэффективности.

Матричные вычисления с помощью света

Lumai, компания, выделившаяся из Оксфордского университета и основанная в 2021 году, разрабатывает гибридную оптико-цифровую архитектуру. Ее оптический вычислительный модуль предназначен для выполнения сложных математических операций, используемых при инференсе ИИ, а электронные компоненты по-прежнему отвечают за остальные функции системы.

В техническом описании компании информация кодируется в световых пучках и обрабатывается оптическими компонентами в трехмерном пространстве. Цель — выполнять множество математических операций параллельно за счет распространения света, а не производить каждое вычисление путем переключения транзисторов.

Это не означает, что весь сервер работает пассивно или не потребляет энергию. Полной системе по-прежнему нужны источники света, преобразование данных, память, цифровая обработка и управление. Важный инженерный вопрос заключается в том, какая часть энергоэффективности оптического модуля сохраняется с учетом этих сопутствующих затрат при запуске практически полезной модели.

По словам Lumai, архитектура включает широкую шину данных, призванную распределять накладные расходы на преобразование данных по крупным рабочим нагрузкам, трехуровневую структуру памяти для кеша ключей и значений модели, а также квантование с учетом особенностей аппаратного обеспечения. Это практические составляющие архитектуры: перемещение данных, сохранение приемлемой числовой точности и обеспечение ускорителя работой — все это влияет на производительность за пределами лабораторной демонстрации.

Почему Lumai сосредоточилась на этапе предварительной обработки входных данных

Инференс больших языковых моделей состоит из двух отдельных этапов. На этапе предварительной обработки система анализирует входные данные и формирует внутреннее состояние, необходимое для генерации ответа. На этапе декодирования она последовательно создает выходные токены, многократно обращаясь к весам модели и сохраненному контексту.

На этапе предварительной обработки обычно преобладают крупные матричные операции, тогда как декодирование может ограничиваться пропускной способностью памяти, особенно при небольшом размере пакета. Соотношение меняется в зависимости от размера модели, длины запроса, размера пакета и конфигурации обслуживания запросов. Lumai специализируется на этапе с высокой вычислительной нагрузкой, а не пытается оптимизировать весь конвейер с помощью процессора одного типа.

В документации к продуктам Iris оптический ускоритель представлен как компонент гетерогенных вычислительных систем, в том числе используемый для предварительной обработки входных данных совместно с оборудованием, оптимизированным для декодирования. По данным Lumai, Iris Nova поддерживает модели Llama с 8 и 70 миллиардами параметров и доступна для оценки в центрах обработки данных. Семейство продуктов разработано для стандартной инфраструктуры серверных стоек и воздушного охлаждения.

«Запуск мног узловой системы в коммерческом центре обработки данных позволяет проверить, готовы ли новые вычислительные архитектуры к реальному развертыванию», — сказал Сяньсинь Гуо, соучредитель и генеральный директор Lumai. В рамках работы с ARIA именно вопрос интеграции окажется в центре внимания на следующем этапе.

Испытательный стенд для комплексных систем

ARIA — британское государственное агентство, финансирующее исследования и разработки и поддерживающее перспективные технологии, способные принести пользу обществу. В рамках программы «Вычислительные системы нового масштаба» изучаются альтернативы устоявшимся подходам к вычислениям, включая новые вычислительные примитивы, сетевые технологии и проектирование систем.

На поддержку лаборатории масштабирования инференса ARIA выделила 50 млн фунтов стерлингов. По описанию ARIA, работа лаборатории включает серию структурированных пилотных проектов на уровне серверных стоек, в каждом из которых непроверенная технология внедряется в систему, готовую к развертыванию и позволяющую конечным пользователям запускать модели. Цель — сравнить производительность системы в целом с коммерческими альтернативами и быстро вносить улучшения; новую стойку планируется устанавливать каждые шесть месяцев.

Некоммерческая членская организация CommonAI, базирующаяся в Кембридже и обеспечивающая работу лаборатории, объединяет компании, государственные организации и представителей академической среды для совместной инженерной работы. В описании программы говорится о более чем пяти системах на уровне серверных стоек; особое внимание уделяется независимой проверке, которая поможет новым аппаратным решениям продемонстрировать реальные эксплуатационные характеристики.

Такая структура важна, поскольку ускоритель может показывать высокую производительность при выполнении отдельной операции, но обеспечивать гораздо меньший выигрыш с учетом перемещения данных, планирования задач, программной поддержки и остальных этапов конвейера обслуживания запросов. Общая испытательная среда позволяет выявить как преимущества, так и узкие места.

Что показывают заявления об энергоэффективности — и чего они не доказывают

По словам Lumai, эта архитектура потенциально способна сократить энергопотребление дата-центров до 90% и снизить совокупную стоимость владения примерно до одной десятой от показателя для традиционных архитектур на базе GPU. На сайте компании описана дорожная карта, предусматривающая повышение производительности в 50 раз. В пресс-релизе отдельно указано, что при сочетании оптического предварительного заполнения контекста с декодированием на кремниевых чипах энергоэффективность на один инференс повышается как минимум в 16 раз.

Эти цифры относятся к разным сравнениям, поэтому их не следует считать взаимозаменяемыми показателями или результатами, уже прошедшими независимую проверку ARIA. В объявлении не приводятся единая конфигурация тестирования, сравнение качества моделей или опубликованный набор результатов на уровне стойки, которые подтверждали бы эти преимущества для коммерческих рабочих нагрузок.

Таким образом, основное событие — оценка системы лабораторией. К полезным показателям относятся энергопотребление на один выполненный запрос, время до выдачи первого токена, стабильная пропускная способность при генерации, точность модели и стоимость эксплуатации всей системы. Для содержательного сравнения необходимо использовать одну и ту же модель, одинаковую длину контекста, одинаковые предположения о пакетной обработке и одинаковые требования к обслуживанию.

Для Великобритании, стремящейся нарастить внутренние мощности ИИ при ограниченных лимитах энергопотребления, успешная оптическая система могла бы стать еще одним вычислительным решением. Развертывание системы Lumai — шаг к проверке такой возможности в коммерческих условиях. Сможет ли это преимущество привести к снижению затрат на инференс при масштабировании, будет зависеть от результатов оценки всей системы.