Infineon Technologies і d-Matrix партнерують щодо низьколатентної інфраструктури штучного інтелекту

Infineon Technologies оголосили про партнерство з d-Matrix, яке зосереджено на покращенні продуктивності та енергоефективності систем інференсу штучного інтелекту, що використовуються в сучасних центрах даних. Партнерство центрується навколо платформи інференсу штучного інтелекту Corsair від d-Matrix та двофазних модулів живлення OptiMOS від Infineon, які розроблені для підтримки високої щільності обчислень для інтерактивних завантажень штучного інтелекту.

Оголошення підкреслює зростаючий зсув у сфері апаратного забезпечення штучного інтелекту. Хоча більша частина буму інфраструктури за останні кілька років була зосереджена на тренуванні все більших моделей штучного інтелекту, галузь тепер швидко розширюється в напрямку інференсу — процесу виконання моделей у реальних додатках, таких як чат-боти, агентні системи штучного інтелекту, копілоти, пошук, фінансовий аналіз та підтримка прийняття рішень у сфері охорони здоров’я. Ці завантаження ставлять інші вимоги до апаратного забезпечення, особливо щодо затримки, реакції та споживання енергії.

Чому інференсу штучного інтелекту стає великим полем битви апаратного забезпечення

Інференсу штучного інтелекту став одним із найшвидше зростаючих сегментів ринку інфраструктури штучного інтелекту, оскільки інтерактивні системи штучного інтелекту вимагають відповідей за мілісекунди, а не секунди. d-Matrix позиціонував Corsair конкретно для цих завантажень, підкреслюючи надзвичайно низьку затримку та енергоефективний інференсу для великих мовних моделей та агентів штучного інтелекту.

За даними d-Matrix, Corsair був розроблений навколо цифрової архітектури обчислень у пам’яті, призначеної для зменшення проблем з пам’яттю, які часто сповільнюють генерацію інференсу штучного інтелекту. Компанія стверджує, що платформа може суттєво знизити затримку та покращити пропускну здатність порівняно з традиційними системами інференсу, заснованими на GPU, особливо для інтерактивних додатків.

Партнерство з Infineon вирішує іншу все більш критичну проблему: доставку енергії.

Як сервери штучного інтелекту продовжують збільшуватися в щільності, ефективна доставка енергії до прискорювачів стала обмежувальним фактором для масштабування інфраструктури. Модулі OptiMOS TDM2254xx від Infineon розроблені для вертикальних архітектур живлення, які допомагають зменшити електричні втрати та покращити щільність енергії всередині компактних серверних систем.

Зсув у напрямку систем штучного інтелекту в реальному часі

Компанії сформулювали партнерство навколо зростання «інтерактивного штучного інтелекту», де системи інференсу повинні безперервно генерувати виходи з надзвичайно низькою затримкою. Це включає розмовний штучний інтелект, агентів штучного інтелекту, системи прийняття рішень у реальному часі та додатки, які вимагають швидкої генерації токенів з великих мовних моделей.

Засновник і генеральний директор d-Matrix Сід Шет сказав, що архітектура Corsair була розроблена конкретно для субмілісекундної затримки токенів, метрики, яка стала все більш важливою, оскільки підприємства переміщують системи штучного інтелекту з експериментів у середовища, орієнтовані на клієнтів.

Ширша галузь штучного інтелекту також починає визнавати, що інфраструктура інференсу може розвиватися інакше, ніж інфраструктура тренування. Хоча кластери GPU домінували у першій фазі розширення генерації штучного інтелекту, інференсу все частіше винагороджує архітектури, оптимізовані навколо пропускної здатності пам’яті, затримки, мережі та енергоефективності, а не суто обчислювальної потужності.

Енергоефективність стає центральною для масштабування штучного інтелекту

Одним із найбільших обмежень, з якими стикаються гіперсเกลери та постачальники хмарних послуг штучного інтелекту, є попит на електроенергію. Завантаження інференсу штучного інтелекту можуть працювати безперервно протягом мільйонів запитів на добу, роблячи операційну ефективність критичною для витрат на розгортання.

Infineon активно розширює свою позицію в інфраструктурі штучного інтелекту через напівпровідникові технології на основі кремнію, карбіду кремнію (SiC) та нітриду галлію (GaN). Компанія все більше зосереджується на постачанні шару живлення під прискорювачами штучного інтелекту та серверною інфраструктурою.

Партнерство з d-Matrix відображає, як напівпровідникові компанії стають все більш тісно інтегрованими з стартапами прискорювачів штучного інтелекту, оскільки галузь шукає альтернативи традиційним архітектурам, заснованим на GPU.

Інфраструктура штучного інтелекту розширюється за межі традиційних GPU

Партнерство також відбувається під час більшої хвилі експериментів з апаратним забезпеченням штучного інтелекту. Все більша кількість стартапів розробляє спеціалізовані прискорювачі, орієнтовані конкретно на інференсу, обчислення, орієнтоване на пам’ять, або мережевий штучний інтелект.

d-Matrix виділився своєю акцентом на технологіях обчислень у пам’яті та низьколатентних системах інференсу, адаптованих для генерації штучного інтелекту. Компанія також розширила свою стратегію інфраструктури за межі самих прискорювачів, недавно підкреслюючи мережу, інфраструктуру, скомпоновану з різних компонентів, та оптимізацію системи для кластерів інференсу.

Як додатки штучного інтелекту стають все більш агентними та інтерактивними, постачальники інфраструктури очікується будуть приділяти більшу увагу зменшенню затримки, зниженню споживання енергії та покращенню системної ефективності на рівні всього стеку центру даних, а не зосереджуватися виключно на суто обчислювальній потужності.