ScaleOps Raises $130M Series C để Đẩy Cơ Sở Hạ Tầng Tự Động Hóa vào Trung Tâm của Các Hoạt Động AI

ScaleOps đã huy động được 130 triệu đô la trong vòng tài trợ Series C với mức định giá vượt quá 800 triệu đô la, khi nhu cầu về các hệ thống có thể quản lý các khối lượng công việc đám mây và AI ngày càng phức tạp mà không cần sự can thiệp liên tục của con người.

Vòng tài trợ này được dẫn đầu bởi Insight Partners, với sự hỗ trợ liên tục từ Lightspeed Venture Partners, NFX, Glilot Capital Partners, và Picture Capital. Công ty đã huy động được hơn 210 triệu đô la đến nay.

Từ Tối Ưu Hóa Kubernetes đến Cơ Sở Hạ Tầng Tự Động Hóa

ScaleOps xuất hiện vào năm 2022 với trọng tâm là tự động hóa một trong những thách thức dai dẳng nhất trong cơ sở hạ tầng hiện đại: phân bổ tài nguyên trong môi trường Kubernetes. Thay vì dựa vào cấu hình tĩnh, nền tảng này liên tục điều chỉnh tài nguyên tính toán như CPU và bộ nhớ dựa trên hành vi khối lượng công việc thực tế.

Về cốt lõi, hệ thống hoạt động như một động cơ tối ưu hóa vòng kín. Nó quan sát nhu cầu khối lượng công việc, đánh giá tín hiệu hiệu suất và thực hiện các thay đổi tự động. Điều này bao gồm việc thay đổi kích thước khối lượng công việc động, điều chỉnh số lượng bản sao và tối ưu hóa sử dụng nút trên các cụm.

Theo thời gian, điều này đã mở rộng beyond tối ưu hóa đám mây truyền thống vào môi trường nặng về GPU liên quan đến hệ thống AI. Nền tảng này hiện áp dụng các nguyên tắc tương tự cho phân bổ GPU, nơi sử dụng không hiệu quả có thể nhanh chóng trở thành một nút thắt chính.

Tại Sao Lớp Này Trở Nên Quan Trọng

Các hệ thống AI hiện đại giới thiệu một mức độ biến đổi mà các công cụ cơ sở hạ tầng truyền thống không được thiết kế để xử lý. Khối lượng công việc tăng đột ngột, mô hình cạnh tranh cho khả năng GPU hạn chế, và yêu cầu hiệu suất thay đổi theo thời gian thực.

Trong quá khứ, các đội đã quản lý điều này thông qua điều chỉnh thủ công hoặc tự động hóa dựa trên quy tắc. Nhưng những cách tiếp cận này gặp khó khăn khi mở rộng quy mô. Kubernetes bản thân, mặc dù được thiết kế cho việc dàn xếp, vẫn phụ thuộc nặng vào cấu hình tĩnh mà các kỹ sư phải liên tục điều chỉnh để tránh cung cấp dưới hoặc cung cấp quá mức.

Điều này tạo ra một hiệu quả không hiệu quả về cấu trúc. Các đội kỹ sư dành thời gian đáng kể để phản ứng với các vấn đề về hiệu suất, điều chỉnh phân bổ tài nguyên và giải quyết các vi phạm SLO thay vì xây dựng các hệ thống mới.

Phương pháp của ScaleOps thay thế mô hình phản ứng này bằng tự động hóa liên tục và nhận thức về ngữ cảnh. Thay vì định nghĩa ngưỡng trước, hệ thống thích nghi theo thời gian thực dựa trên hành vi quan sát được trên toàn cụm.

Chuyển Động Hướng Đến Các Hệ Thống Tự Tối Ưu Hóa

Điều làm cho danh mục này đáng chú ý không chỉ là tối ưu hóa chi phí, mà là sự thay đổi trong cách cơ sở hạ tầng hoạt động.

Trong các môi trường truyền thống, cơ sở hạ tầng được cấu hình. Trong các hệ thống mới, nó được mong đợi để thích nghi.

ScaleOps phản ánh sự chuyển đổi này bằng cách xử lý cơ sở hạ tầng như một thứ có thể liên tục tái cân bằng bản thân. Nền tảng này áp dụng các chính sách, theo dõi kết quả và điều chỉnh phân bổ mà không cần sự can thiệp của kỹ sư. Trong môi trường sản xuất, điều này có thể mở rộng đến tự động hóa gần như đầy đủ các quyết định về tài nguyên.

Mô hình này đã cho thấy tác động đo lường được trong các triển khai thực tế. Trong một trường hợp, việc thay đổi kích thước khối lượng công việc tự động cho phép khối lượng công việc điều chỉnh động đến các biến động lưu lượng truy cập trong khi duy trì các mục tiêu hiệu suất và giảm lãng phí trên các cụm.

Mở Rộng Beyond Tối Ưu Hóa Chi Phí

Các công cụ tối ưu hóa đám mây ban đầu tập trung chủ yếu vào việc giảm chi tiêu. ScaleOps vẫn nhấn mạnh hiệu quả về chi phí, với các tuyên bố về tiết kiệm đáng kể do loại bỏ việc cung cấp quá mức và tài nguyên nhàn rỗi.

Tuy nhiên, sự tập trung rộng lớn hơn đang chuyển hướng đến độ tin cậy về hiệu suất và khả năng chống chịu của hệ thống.

Khi các hệ thống AI được tích hợp chặt chẽ vào môi trường sản xuất, các quyết định về cơ sở hạ tầng ảnh hưởng trực tiếp đến hiệu suất của mô hình, độ trễ và khả năng sẵn sàng. Sự phân bổ không chính xác không chỉ là vấn đề về chi phí, mà còn là một hạn chế về chức năng.

Điều này đặc biệt liên quan đến khối lượng công việc GPU, nơi nhu cầu thường vượt quá cung. Phân bổ hiệu quả ở lớp cơ sở hạ tầng có thể quyết định liệu các mô hình chạy hiệu quả hay phải chờ tài nguyên.

Một Mặt Phẳng Điều Khiển Mới cho Cơ Sở Hạ Tầng AI

Ý nghĩa lâu dài là sự xuất hiện của một lớp điều khiển mới cho tài nguyên tính toán.

Thay vì các kỹ sư cấu hình thủ công cơ sở hạ tầng hoặc dựa vào công cụ phân mảnh, các nền tảng như ScaleOps hoạt động như một mặt phẳng điều khiển tự động liên tục căn chỉnh cung và cầu.

Điều này trở nên quan trọng hơn khi các tổ chức triển khai nhiều hệ thống AI đồng thời, mỗi hệ thống có các yêu cầu về hiệu suất và mẫu sử dụng khác nhau.

Trong bối cảnh đó, quản lý cơ sở hạ tầng bắt đầu giống như kiểm soát giao thông hơn là cung cấp tĩnh. Tài nguyên được định tuyến, tái cân bằng và tối ưu hóa liên tục thay vì được chỉ định một lần và để không thay đổi.

Với vòng tài trợ mới nhất này, ScaleOps dự kiến sẽ mở rộng nền tảng của mình beyond tính toán và GPU vào các lĩnh vực quản lý cơ sở hạ tầng rộng lớn hơn, bao gồm các lớp đám mây và dàn xếp AI bổ sung.

Quỹ đạo này gợi ý một sự chuyển dịch hướng đến các môi trường nơi quyết định cơ sở hạ tầng không còn được xử lý trực tiếp bởi các kỹ sư. Thay vào đó, chúng được quản lý bởi các hệ thống giải thích ý định khối lượng công việc và điều chỉnh tài nguyên tự động.

Khi các khối lượng công việc AI tiếp tục mở rộng quy mô, sự thay đổi này có thể trở thành ít hơn một tối ưu hóa và nhiều hơn một yêu cầu.