Infineon Technologies та d-Matrix_partner на низьколатентній інфраструктурі штучного інтелекту

Infineon Technologies оголосила про партнерство з d-Matrix, яке спрямоване на покращення продуктивності та енергоефективності систем інференсу штучного інтелекту, що використовуються в сучасних дата-центрах. Партнерство зосереджено навколо платформи Corsair AI компанії d-Matrix та двофазних модулів живлення OptiMOS компанії Infineon, які призначені для підтримки високої щільності обчислень для інтерактивних завантажень штучного інтелекту.

Оголошення підкреслює зростаючий зсув у сфері апаратного забезпечення штучного інтелекту. Хоча більша частина інфраструктурного буму за останні кілька років зосереджувалася на тренуванні все більших моделей штучного інтелекту, галузь зараз швидко розширюється в напрямку інференсу – процесу виконання моделей у реальних додатках, таких як чат-боти, агентні системи штучного інтелекту, копілоти, пошук, фінансовий аналіз та підтримка прийняття рішень у сфері охорони здоров’я. Ці завантаження ставлять інші вимоги до апаратного забезпечення, особливо щодо затримки, реакції та споживання енергії.

Чому інференс штучного інтелекту стає великим полем битви апаратного забезпечення

Інференс штучного інтелекту став одним з найшвидше зростаючих сегментів ринку інфраструктури штучного інтелекту, оскільки інтерактивні системи штучного інтелекту вимагають відповідей у мілісекундах, а не секундах. Компанія d-Matrix позиціонує Corsair конкретно для цих завантажень, підкреслюючи наднизьку затримку та енергоефективний інференс для великих мовних моделей та агентів штучного інтелекту.

За словами компанії d-Matrix, Corsair була розроблена навколо цифрової архітектури обчислень у пам’яті, яка призначена для зменшення проблем з пам’яттю, які часто сповільнюють генерацію штучного інтелекту. Компанія стверджує, що платформа може суттєво знижувати затримку та покращувати пропускну здатність порівняно з традиційними системами інференсу, заснованими на GPU, особливо для інтерактивних додатків.

Партнерство з компанією Infineon вирішує іншу все більш критичну проблему: доставку енергії.

Як сервери штучного інтелекту продовжують збільшуватися в щільності, ефективна доставка енергії до прискорювачів стала обмежувальним фактором для масштабування інфраструктури. Модулі OptiMOS TDM2254xx компанії Infineon призначені для вертикальних архітектур доставки енергії, які допомагають зменшити електричні втрати та покращувати щільність енергії всередині компактних серверних систем.

Зсув у бік систем штучного інтелекту в реальному часі

Компанії сформулювали партнерство навколо зростання “інтерактивного штучного інтелекту”, де системи інференсу повинні безперервно генерувати виводи з наднизькою затримкою. Це включає в себе розмовний штучний інтелект, агентів штучного інтелекту, системи реального часу та додатки, які вимагають швидкої генерації токенів з великих мовних моделей.

Засновник та генеральний директор компанії d-Matrix Сід Шетх сказав, що архітектура Corsair була розроблена конкретно для затримки генерації токенів менше 2 мілісекунд, метрики, яка стала все більш важливою, оскільки підприємства переміщують системи штучного інтелекту з експериментів у середовища, орієнтовані на клієнтів.

Ширша галузь штучного інтелекту також починає визнавати, що інфраструктура інференсу може розвиватися інакше, ніж інфраструктура тренування. Хоча кластери GPU домінували у першій фазі розширення генерації штучного інтелекту, інференсу все частіше винагороджують архітектури, оптимізовані для пропускної здатності пам’яті, затримки, мережі та енергоефективності, а не суто обчислювальної потужності.

Енергоефективність стає центральною для масштабування штучного інтелекту

Одним з найбільших обмежень, з якими стикаються гіперсเกลери та постачальники хмарних послуг штучного інтелекту, є попит на електроенергію. Завантаження інференсу штучного інтелекту можуть працювати безперервно протягом мільйонів запитів на день, що робить операційну ефективність критичною для витрат на розгортання.

Компанія Infineon активно розширює свою позицію в інфраструктурі штучного інтелекту через напівпровідникові технології на основі кремнію, карбіду кремнію (SiC) та нітриду галлію (GaN). Компанія все більше зосереджується на постачанні шару доставки енергії під прискорювачами штучного інтелекту та серверною інфраструктурою.

Партнерство з компанією d-Matrix відображає, як напівпровідникові компанії стають все більш тісно інтегрованими з стартапами прискорювачів штучного інтелекту, оскільки галузь шукає альтернативи традиційним архітектурам, заснованим на GPU.

Інфраструктура штучного інтелекту розширюється за межі традиційних GPU

Партнерство також відбувається під час хвилі експериментів з апаратним забезпеченням штучного інтелекту. Все більша кількість стартапів розробляє спеціалізовані прискорювачі, орієнтовані конкретно на інференс, обчислення, орієнтоване на пам’ять, або мережевий штучний інтелект.

Компанія d-Matrix виділилася завдяки своєму акценту на технологіях обчислень у пам’яті та системах інференсу з низькою затримкою, адаптованих для генерації штучного інтелекту. Компанія також розширила свою стратегію інфраструктури за межі самих прискорювачів, недавно підкреслюючи мережу, інфраструктуру, що складається з окремих компонентів, та оптимізацію системи для кластерів інференсу.

Як додатки штучного інтелекту стають все більш агентними та інтерактивними, постачальники інфраструктури очікується будуть ставити більший акцент на зниженні затримки, зниженні споживання енергії та покращенні системної ефективності на рівні всього стеку дата-центрів, а не зосереджуватися виключно на суто обчислювальній потужності.