Meridian Cloud обирає Aria Networks для розроблення готових до інференсу конфігурацій кластерів ШІ

Meridian Cloud обрала Aria Networks мережевим партнером для своєї спеціалізованої хмарної платформи для інференсу ШІ, запуск якої заплановано на другий квартал 2027 року. Компанії планують розробити стандартизовані й перевірені мережеві конфігурації, що дадуть змогу зробити розгортання кластерів більш відтворюваним і забезпечити чіткіші інженерні специфікації, оцінки витрат і графіки запуску в роботу.

Про партнерство оголосили 5 листопада; Aria долучається до планування ще до встановлення обладнання. Робота охоплюватиме визначення параметрів внутрішньої мережі GPU, мереж для зовнішніх з’єднань і систем зберігання даних, розроблення топологій і схем прокладання кабелів, а також координацію постачання й доставки відповідно до графіка розгортання Meridian.

Очікується, що перші спільні еталонні конфігурації стануть доступними клієнтам і партнерам Meridian, які керують об’єктами, у II кварталі 2027 року. В оголошенні йдеться про програму розроблення та розгортання, а не про завершене розгортання нової хмарної платформи Meridian для інференсу.

Як зробити кожен новий кластер менш масштабним інженерним проєктом

Meridian планує працювати з невеликою центральною командою, якій допомагатимуть профільні партнери в питаннях інженерії, обчислень, розгортання та мереж. Aria допоможе перетворити цю роботу на бібліотеку еталонних конфігурацій, кожну з яких буде адаптовано до певного класу об’єктів.

Ідея полягає в тому, щоб виходити з доступної на об’єкті потужності електроживлення й добирати конфігурацію, мережеві вимоги якої вже перевірено. Це дало б Meridian змогу визначити специфікації та витрати ще до початку будівництва, замість того щоб щоразу на кожному майданчику переробляти мережеву інфраструктуру як окреме інженерне завдання.

Для клієнта виділеної хмарної платформи перевага такої стандартизації — передбачуваність. Для кластера важлива не лише кількість замовлених прискорювачів: на те, коли система зможе розпочати корисну роботу, впливають маршрути прокладання кабелів, пропускна здатність комутаторів, підключення хостів, трафік систем зберігання даних і строки доставки обладнання.

«Інженери Aria з підтримки розгортання безпосередньо на об’єктах працюють разом із нашою командою від самого початку: допомагають нам проєктувати мережу, планувати постачання й розгортання, а також перевіряють кожен кабель, з’єднання та конфігурацію до запуску будь-якого завдання клієнта», — сказав Вік Роуз, генеральний директор Meridian Cloud.

Чому для інференсу мережа стає критично важливою ланкою

Інференс — це процес використання навченої моделі для формування відповіді. У розподіленій системі частини обчислень і дані, що їх підтримують, можуть передаватися між машинами, тож час обміну даними впливає на швидкість відповіді, яку відчуває користувач.

Один із прикладів — розділений інференс, коли обробка запиту й генерація токенів виконуються на окремих ресурсах. Системі може знадобитися передавати між ними кеш ключів і значень моделі — проміжні дані механізму уваги, пов’язані із запитом. Перевантаження на цьому шляху може затримати роботу, навіть коли самі GPU доступні.

У технічному огляді мереж для інференсу Aria наголошує на важливості зіставлення активності хостів із телеметричними даними мережі. Порт, який на панелі моніторингу з періодичним оновленням видається справним, усе одно може зазнавати короткочасних збоїв, що впливають на продуктивність застосунку.

В оголошенні про партнерство згадано випадки перевантаження, погіршення роботи оптичних компонентів і проблеми на стороні хостів, які можуть залишитися непоміченими інструментами, що опитують систему кожні кілька секунд. Для виявлення таких подій потрібен значно глибший рівень видимості, ніж просте визначення того, чи активне з’єднання.

Для бізнесу, що надає послуги інференсу, наслідки мають не лише технічний, а й комерційний характер. Очікування на дані зменшує корисну віддачу обладнання, яке й далі споживає електроенергію та спричиняє витрати на володіння. До важливих операційних показників належать затримка відповіді, корисна пропускна здатність і вартість на мільйон токенів, а не лише швидкість з’єднання.

Що дає Deep Networking від Aria

Aria описує Deep Networking як спільно спроєктовану систему, що поєднує комутаційне обладнання, Aria Operating System, детальну телеметрію та спеціалізованих агентів. В оголошенні Meridian зазначено платформи комутаторів Aria 800G і Ethernet-мережу на основі стандартів, яка має залишатися відкритою для різних виробників прискорювачів.

Компанія заявляє, що телеметрія має у 100–10 000 разів вищу роздільну здатність, ніж традиційні інструменти, і охоплює комутатори, оптичні компоненти та хости. Це твердження стосується роздільної здатності вимірювань, а не того, що застосунки Meridian працюватимуть у 100–10 000 разів швидше.

В огляді продукту Aria наведено додаткові відомості про обладнання: її комутатор 800G має 64 порти 800GbE у корпусі висотою два юніти, підтримує RoCEv2 і мережі рівнів 2 та 3, а також оснащений спеціалізованим процесором телеметрії. RoCEv2 забезпечує віддалений прямий доступ до пам’яті через Ethernet — функцію, що дає змогу ефективно передавати дані між машинами у високопродуктивних кластерах.

На цій самій сторінці продукту описано зіставлення даних від хостів із GPU та комутаторів, вибір діагностичних інструментів спеціалізованими агентами й виконання керованих процесів усунення проблем. Отже, поряд із проєктуванням обладнання важлива й операційна видимість: після введення мережі в експлуатацію її стан має бути доступним для спостереження, а саму мережу — можливо обслуговувати.

Компанії не оприлюднили спільних показників продуктивності розгортань Meridian або виміряного зниження вартості токена в межах цього партнерства. Ці результати залежатимуть від розгорнутих робочих навантажень і конфігурацій, а також від того, як мережа працюватиме під виробничим навантаженням.

Модель Meridian із виділеними потужностями для інференсу

На своєму вебсайті Meridian описує свою пропозицію як зарезервовані потужності, підібрані відповідно до робочого навантаження клієнта, з варіантами на базі обладнання NVIDIA й AMD, а також спеціалізованих прискорювачів для інференсу. Компанія також згадує керовану оркестрацію та моделі роботи на фізичних серверах без віртуалізації.

Це описи ширшої пропозиції послуг, а не підтвердження того, що кожна рекламована конфігурація увійде до початкової бібліотеки типових проєктів Aria. В оголошенні про партнерство не зазначено перші місця розташування об’єктів, фіксовані розміри кластерів чи ціни для клієнтів.

Орієнтація Meridian на виділені потужності також змінює підхід до планування. Замість того щоб покладатися лише на доступність спільних ресурсів, клієнтові потрібна система, спроєктована з урахуванням очікуваного трафіку, характеристик моделі та вимог до обслуговування. Типові мережеві проєкти можуть спростити таке планування, водночас залишаючи простір для рішень, пристосованих до конкретних робочих навантажень.

Партнерство, зосереджене на відтворюваному впровадженні

Роль Aria охоплює шлях від проєктування до безпосереднього розгортання; досвід, отриманий на окремих майданчиках, має враховуватися під час наступних інсталяцій і вдосконалення програмного забезпечення. Мета — зробити мережеву інженерію повторно використовуваною складовою розгортання Meridian, а не постійним джерелом невизначеності.

Найближчий ключовий етап має чіткі обриси: спільні типові проєкти та запланований запуск хмарної платформи у Q2 2027 року. Надалі партнерство покаже свою ефективність, якщо затверджені проєкти й детальніша операційна видимість дадуть змогу вчасно запускати кластери, які забезпечуватимуть стабільну продуктивність інференсу після початку виконання клієнтських робочих навантажень.