Инфинейон Технолоджис и d-Матрикс Партнеры в области Инфраструктуры ИИ с Пониженной Латентностью

Инфинейон Технолоджис объявила о сотрудничестве с d-Матрикс с целью улучшения производительности и энергетической эффективности систем вывода ИИ, используемых в современных центрах обработки данных. Партнерство сосредоточено вокруг платформы Corsair от d-Матрикс для ускорения вывода ИИ и двухфазных модулей питания OptiMOS от Инфинейон, которые предназначены для поддержки высокоплотных вычислительных сред для интерактивных рабочих нагрузок ИИ.

Объявление подчеркивает растущую тенденцию в индустрии аппаратного обеспечения ИИ. Хотя большая часть бума инфраструктуры за последние несколько лет была сосредоточена на обучении все более крупных моделей ИИ, отрасль сейчас быстро расширяется в сторону вывода – процесса фактического запуска моделей в реальных приложениях, таких как чат-боты, агентные системы ИИ, ко-пилоты, поиск, финансовый анализ и поддержка принятия решений в здравоохранении. Эти рабочие нагрузки предъявляют разные требования к аппаратному обеспечению, особенно в отношении задержки, отзывчивости и потребления энергии.

Почему вывод ИИ становится важной битвой в аппаратном обеспечении

Вывод ИИ стал одним из самых быстрорастущих сегментов рынка инфраструктуры ИИ, поскольку интерактивные системы ИИ требуют ответов в миллисекундах, а не в секундах. d-Матрикс позиционировала Corsair специально для этих рабочих нагрузок, подчеркивая сверхнизкую задержку и энергоэффективный вывод для крупных языковых моделей и агентов ИИ.

По словам d-Матрикс, Corsair была разработана на основе цифровой вычислительной архитектуры в памяти, предназначенной для снижения проблем с памятью, которые часто замедляют вывод генеративного ИИ. Компания утверждает, что платформа может значительно снизить задержку и улучшить пропускную способность по сравнению с традиционными системами вывода, ориентированными на GPU, особенно для интерактивных приложений.

Партнерство с Инфинейон решает еще одну все более критическую проблему: доставку энергии.

По мере того, как серверы ИИ продолжают увеличиваться в плотности, эффективная доставка энергии к ускорителям стала ограничивающим фактором для масштабирования инфраструктуры. Модули OptiMOS TDM2254xx от Инфинейон предназначены для вертикальных архитектур доставки энергии, которые помогают снизить электрические потери и улучшить плотность энергии внутри компактных серверных систем.

Сдвиг в сторону реальных систем ИИ

Компании обрамили сотрудничество вокруг роста “интерактивного ИИ”, где системы вывода должны непрерывно генерировать выходы с крайне низкой задержкой. Это включает в себя разговорный ИИ, агентов ИИ, системы реального времени и приложения, требующие быстрого генерации токенов из крупных языковых моделей.

Основатель и генеральный директор d-Матрикс Сид Шетх сказал, что архитектура Corsair была разработана специально для задержки токена менее 2 миллисекунд, метрики, которая стала все более важной, поскольку предприятия перемещают системы ИИ из экспериментальной фазы в клиентские среды.

Более широкая индустрия ИИ также начинает осознавать, что инфраструктура вывода может эволюционировать по-другому, чем инфраструктура обучения. Хотя кластеры GPU доминировали в первой фазе расширения генеративного ИИ, вывод все больше вознаграждает архитектуры, оптимизированные для пропускной способности памяти, задержки, сетей и энергоэффективности, а не только сырой вычислительной мощности.

Энергоэффективность становится центральной для масштабирования ИИ

Одним из самых больших ограничений, с которыми сталкиваются гиперскалеры и провайдеры облачного ИИ, является спрос на электроэнергию. Рабочие нагрузки вывода ИИ могут работать непрерывно в течение миллионов запросов в день, что делает операционную эффективность критически важной для затрат на развертывание.

Инфинейон активно расширяет свое положение в инфраструктуре ИИ через полупроводниковые технологии на основе кремния, карбида кремния (SiC) и нитрида галлия (GaN). Компания все больше фокусируется на поставке слоя доставки энергии под ускорителями ИИ и серверной инфраструктурой.

Сотрудничество с d-Матрикс отражает, как полупроводниковые фирмы становятся все более тесно интегрированными с стартапами-ускорителями ИИ, поскольку отрасль ищет альтернативы традиционным архитектурам, ориентированным на GPU.

Инфраструктура ИИ расширяется за пределы традиционных GPU

Партнерство также происходит во время более широкой волны экспериментов в аппаратном обеспечении ИИ. Растущее число стартапов разрабатывает специализированные ускорители, ориентированные конкретно на вывод, вычисления, ориентированные на память, или сети ИИ.

d-Матрикс отличается своим акцентом на технологиях вычислений в памяти и системах вывода с низкой задержкой, адаптированных для генеративного ИИ. Компания также расширила свою стратегию инфраструктуры за пределы ускорителей отдельных чипов, недавно подчеркивая сети, составную инфраструктуру и оптимизацию системы для кластеров вывода.

По мере того, как приложения ИИ становятся все более агентными и интерактивными, провайдеры инфраструктуры, как ожидается, будут уделять больше внимания снижению задержки, снижению потребления энергии и улучшению системной эффективности на уровне всего стека центров обработки данных, а не сосредотачиваться исключительно на сырой вычислительной мощности.