ScaleOps залучила 130 мільйонів доларів у серії C для автономної інфраструктури в операціях AI

ScaleOps зібрала $130 мільйонів у рамках фінансування Серії C при оцінці понад $800 мільйонів, оскільки зростає попит на системи, які можуть керувати дедалі більш складними хмарними та AI робочими навантаженнями без постійного втручання людини.

Раунд був очолений компанією Insight Partners, за подальшої підтримки від Lightspeed Venture Partners, NFX, Glilot Capital Partners та Picture Capital. Компанія зараз зібрала понад $210 мільйонів усього.

Від оптимізації Kubernetes до автономної інфраструктури

ScaleOps з’явилася у 2022 році з фокусом на автоматизації одного з найбільш постійних викликів сучасної інфраструктури: розподілу ресурсів у середовищі Kubernetes. Замість того, щоб покладатися на статичні конфігурації, платформа безперервно регулює обчислювальні ресурси, такі як CPU та пам’ять, на основі поведінки робочих навантажень у реальному часі.

У своєму ядрі система працює як механізм оптимізації із замкненим контуром зворотного зв’язку. Вона спостерігає за потребами робочих навантажень у ресурсах, оцінює сигнали продуктивності та виконує зміни автоматично. Це включає динамічну зміну розміру робочих навантажень, регулювання кількості реплік та оптимізацію використання вузлів у кластерах.

З часом це розширилося за межі традиційної оптимізації хмарних середовищ у середовища, пов’язані з AI, де інтенсивно використовуються GPU. Платформа тепер застосовує подібні принципи до розподілу GPU, де неефективне використання може швидко стати серйозним вузьким місцем.

Чому цей рівень стає критично важливим

Сучасні системи AI вводять рівень змінності, з яким традиційні інструменти інфраструктури не були спроектовані для роботи. Робочі навантаження непередбачувано різко зростають, моделі конкурують за обмежену ємність GPU, а вимоги до продуктивності змінюються в реальному часі.

Історично команди керували цим за допомогою ручної настройки або автоматизації на основі правил. Але ці підходи мають труднощі при масштабуванні. Kubernetes сам по собі, хоча й призначений для оркестрування, все ще сильно залежить від статичних конфігурацій, які інженери повинні постійно регулювати, щоб уникнути недостатнього або надмірного виділення ресурсів.

Це створює структурну неефективність. Інженерні команди витрачають значний час на реакцію на проблеми продуктивності, настройку розподілу ресурсів та вирішення порушень SLO, а не на будівництво нових систем.

Підхід ScaleOps замінює цю реактивну модель на безперервну, контекстно-чутливу автоматизацію. Замість визначення порогових значень заздалегідь, система адаптується в реальному часі на основі спостережуваної поведінки у всьому кластері.

Рух до систем, що самостійно оптимізуються

Те, що робить цю категорію помітною, це не тільки оптимізація витрат, а й зміна того, як інфраструктура поводиться.

У традиційних середовищах інфраструктура конфігурується. У нових системах очікується, що вона адаптується.

ScaleOps відображає цей перехід, розглядаючи інфраструктуру як щось, що може безперервно ребалансуватися. Платформа застосовує політики, спостерігає за результатами та регулює розподіл ресурсів без потреби втручання інженерів. У середовищах виробництва це може охоплювати майже повну автоматизацію рішень щодо ресурсів.

Ця модель вже показала вимірний вплив у реальних розгортуваннях. У одному випадку автоматичне регулювання розміру робочих навантажень дозволило їм динамічно регулюватися відповідно до коливань трафіку, зберігаючи цілі продуктивності та зменшуючи марнування ресурсів у кластерах.

За межами оптимізації витрат

Ранні інструменти оптимізації хмарних середовищ зосереджувалися в основному на зниженні витрат. ScaleOps все ще підкреслює ефективність витрат, з твердженнями про значні заощадження, досягнуті шляхом усунення надмірного виділення ресурсів і ресурсів, що простоюють.

Але широке спрямування змінюється у бік надійності продуктивності та стійкості системи.

Коли системи AI стають все більш тісно інтегрованими у середовища виробництва, рішення щодо інфраструктури безпосередньо впливають на продуктивність моделі, затримку та доступність. Неправильний розподіл вже не тільки питання витрат, а й функціональне обмеження.

Це особливо актуально для робочих навантажень GPU, де попит часто перевищує пропозицію. Ефективний розподіл на рівні інфраструктури може визначити, чи працюють моделі ефективно чи чекають ресурсів.

Нова площина керування інфраструктурою AI

Довгострокове значення полягає у появі нового рівня керування обчислювальними ресурсами.

Замість того, щоб інженери конфігурували інфраструктуру вручну або покладалися на фрагментовані інструменти, платформи типу ScaleOps діють як автономна площина керування, яка безперервно узгоджує пропозицію з попитом.

Це стає дедалі важливішим, коли організації розгортають декілька систем AI одночасно, кожна з яких має різні вимоги до продуктивності та шаблони використання.

У цьому контексті керування інфраструктурою починає нагадувати керування рухом більше, ніж статичне призначення. Ресурси маршрутизуються, ребалансуються та оптимізуються безперервно, а не призначені один раз і залишаються незмінними.

Завдяки цьому новому фінансуванню очікується, що ScaleOps розширить свою платформу за межі обчислень та GPU у ширші галузі керування інфраструктурою, включаючи додаткові шари хмарної та AI оркестрації.

Траєкторія свідчить про рух до середовищ, де рішення щодо інфраструктури вже не ухвалюватимуть безпосередньо інженери. Натомість їх визначатимуть системи, які інтерпретують намір робочих навантажень та регулюють ресурси автоматично.

Коли робочі навантаження AI продовжують зростати, цей перехід може стати менше оптимізацією та більше вимогою.