Infineon Technologies и d-Matrix сотрудничают в области низко-задержной инфраструктуры ИИ

Infineon Technologies объявила о сотрудничестве с d-Matrix с целью улучшения производительности и энергетической эффективности систем вывода ИИ, используемых в современных центрах обработки данных. Сотрудничество сосредоточено вокруг платформы ускорения вывода ИИ Corsair от d-Matrix и двухфазных модулей питания OptiMOS от Infineon, которые предназначены для поддержки высокоплотных вычислительных сред для интерактивных рабочих нагрузок ИИ.

Объявление подчеркивает растущую тенденцию в индустрии аппаратного обеспечения ИИ. Хотя большая часть бума инфраструктуры в последние годы была сосредоточена на обучении все более крупных моделей ИИ, отрасль теперь быстро расширяется в сторону вывода — процесса фактического запуска моделей в реальных приложениях, таких как чат-боты, агентные системы ИИ, ко-пилоты, поиск, финансовый анализ и поддержка принятия решений в здравоохранении. Эти рабочие нагрузки предъявляют разные требования к аппаратному обеспечению, особенно в отношении задержки, отзывчивости и потребления энергии.

Почему вывод ИИ становится важной битвой в аппаратном обеспечении

Вывод ИИ стал одним из самых быстрорастущих сегментов рынка инфраструктуры ИИ, поскольку интерактивные системы ИИ требуют ответов в миллисекундах, а не в секундах. d-Matrix позиционировала Corsair именно для этих рабочих нагрузок, подчеркивая сверхнизкую задержку и энергоэффективный вывод для крупных языковых моделей и агентов ИИ.

Согласно d-Matrix, Corsair была разработана на основе цифровой вычислительной архитектуры в памяти, предназначенной для снижения проблем с памятью, которые часто замедляют вывод генеративного ИИ. Компания утверждает, что платформа может значительно снизить задержку и улучшить пропускную способность по сравнению с традиционными системами вывода на основе GPU, особенно для интерактивных приложений.

Сотрудничество с Infineon решает еще одну все более критическую проблему: поставку питания.

По мере того, как серверы ИИ продолжают увеличиваться в плотности, эффективная поставка питания к ускорителям становится ограничивающим фактором для масштабирования инфраструктуры. Модули OptiMOS TDM2254xx от Infineon предназначены для вертикальных архитектур питания, которые помогают снизить электрические потери и улучшить плотность питания внутри компактных серверных систем.

Сдвиг в сторону систем ИИ в реальном времени

Компании обрамили сотрудничество вокруг роста “интерактивного ИИ”, где системы вывода должны непрерывно генерировать выходные данные с крайне низкой задержкой. Это включает в себя разговорный ИИ, агентов ИИ, системы реального времени и приложения, требующие быстрого генерации токенов из крупных языковых моделей.

Основатель и генеральный директор d-Matrix Сид Шетх сказал, что архитектура Corsair была построена специально для задержки токена менее 2 миллисекунд, метрики, которая стала все более важной, поскольку предприятия перемещают системы ИИ из экспериментальной фазы в клиентские среды.

Более широкая индустрия ИИ также начинает осознавать, что инфраструктура вывода может эволюционировать по-другому, чем инфраструктура обучения. Хотя кластеры GPU доминировали в первой фазе расширения генеративного ИИ, вывод все больше вознаграждает архитектуры, оптимизированные для пропускной способности памяти, задержки, сетей и энергоэффективности, а не только сырой вычислительной мощности.

Энергоэффективность становится центральной для масштабирования ИИ

Одним из самых больших ограничений, с которыми сталкиваются гипермасштаберы и провайдеры облачного ИИ, является спрос на электроэнергию. Рабочие нагрузки вывода ИИ могут работать непрерывно в течение миллионов запросов в день, что делает операционную эффективность критической для развертывания.

Infineon активно расширяет свою позицию в инфраструктуре ИИ через полупроводниковые технологии на основе кремния, карбида кремния (SiC) и нитрида галлия (GaN). Компания все больше фокусируется на поставке слоя питания под ускорителями ИИ и серверной инфраструктурой.

Сотрудничество с d-Matrix отражает, как полупроводниковые фирмы становятся более тесно интегрированными с стартапами-ускорителями ИИ, поскольку отрасль ищет альтернативы традиционным архитектурам, ориентированным на GPU.

Инфраструктура ИИ расширяется за пределы традиционных GPU

Сотрудничество также происходит во время более широкой волны экспериментов в аппаратном обеспечении ИИ. Растущее число стартапов разрабатывает специализированные ускорители, ориентированные конкретно на вывод, вычисления, ориентированные на память, или сетевую связь ИИ.

d-Matrix отличается своим акцентом на технологиях вычислений в памяти и системах вывода с низкой задержкой, адаптированных для генеративного ИИ. Компания также расширила свою стратегию инфраструктуры за пределы ускорителей отдельных чипов, недавно подчеркивая сетевую связь, составную инфраструктуру и оптимизацию системы для кластеров вывода.

По мере того, как приложения ИИ становятся все более агентными и интерактивными, провайдеры инфраструктуры, как ожидается, будут уделять больше внимания снижению задержки, снижению потребления энергии и улучшению системной эффективности на уровне всего стека центров обработки данных, а не сосредотачиваться исключительно на сырой вычислительной мощности.