Mô hình và nền tảng AI

E2B thử nghiệm NVIDIA Vera cho các cụm sandbox tác tử mật độ cao

mm
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google

Ngày 9 tháng 11 năm 2026, E2B công bố kết quả thử nghiệm tiền sản xuất, cho thấy bốn lượt chạy đã tinh chỉnh trên một máy chủ NVIDIA Vera hai socket duy trì được 1.400–1.550 sandbox chịu tải, trong khi các phép đo vi chuẩn riêng biệt ghi nhận thông lượng bộ xử lý và bộ nhớ cao hơn so với hệ thống tham chiếu AMD EPYC 9B45.

Đây không phải là đợt triển khai trong môi trường sản xuất. E2B cung cấp các microVM biệt lập thông qua SDK, cho phép tác tử thực thi lệnh, làm việc với tệp và quay lại trạng thái đang chạy đã được lưu giữ. Mỗi sandbox tiếp tục chạy từ một ảnh chụp trạng thái, với bộ nhớ được tải khi cần. Phần lớn công việc trong phiên diễn ra trên CPU ngay cả khi mô hình chạy ở nơi khác, vì vậy E2B đã thử nghiệm cả các thao tác riêng lẻ lẫn số lượng lớn môi trường chạy đồng thời.

Các phép đo vi chuẩn bộ xử lý và bộ nhớ

Các thử nghiệm Vera diễn ra từ ngày 9 đến 13 tháng 10 năm 2026 trên một máy chủ tiền sản xuất hai socket, có 176 lõi vật lý và 1.479 GiB RAM. Các phép đo tham chiếu của AMD được thực hiện vào tháng 8 năm 2026. Trong thử nghiệm tính toán đơn luồng trên máy chủ trần, E2B báo cáo Vera đạt 7.759 sự kiện mỗi giây, còn AMD EPYC 9B45 đạt 5.131 sự kiện mỗi giây; tương đương thông lượng cao gấp 1,51 lần so với hệ thống tham chiếu, tính theo trung vị của ít nhất ba lượt chạy. Thử nghiệm tính toán sử dụng nhân trang 64K của Vera.

Thử nghiệm bộ nhớ nạp dữ liệu vào một vùng 2 GiB bằng các nhân 4K và trang lớn 2 MiB, cùng loại bộ nhớ nền trang lớn mà sandbox của E2B sử dụng. E2B báo cáo Vera đạt 62,8 GB/s, còn AMD đạt 17,4 GB/s, tương đương thông lượng cao gấp 3,61 lần. Phép đo này đánh giá việc nạp dữ liệu vào bộ nhớ, chứ không phải toàn bộ quá trình khởi động sandbox; đây là thao tác quan trọng đối với một môi trường chạy thường xuyên khôi phục các môi trường dựa trên ảnh chụp trạng thái.

Phạm vi của phép so sánh này khá hẹp. Các biểu đồ đề cập đến những hệ thống được nêu tên trong một số phép đo vi chuẩn cụ thể, nhưng không chứng minh rằng tốc độ của tác tử tăng tương đương từ đầu đến cuối hoặc rằng năng lực xử lý của cả cụm vượt trội so với AMD. E2B cũng cho biết mức cải thiện ở từng công cụ và ứng dụng sẽ khác nhau.

Năng lực xử lý toàn bộ hệ thống và tinh chỉnh máy chủ

Để thử nghiệm toàn bộ hệ thống, E2B sử dụng E2B Embed, gói triển khai trên một máy duy nhất gồm E2B Runtime mã nguồn mở và bảng điều khiển, với toàn bộ hệ thống chạy trực tiếp trên máy chủ. Embed cung cấp khả năng cách ly bằng microVM Firecracker và hỗ trợ SDK Python, JavaScript. Phạm vi đánh giá bao gồm tạo sandbox, thực thi lệnh, khôi phục từ ảnh chụp trạng thái, năng lực xử lý, cũng như việc tạo và tháo dỡ sandbox lặp đi lặp lại.

E2B báo cáo thời gian khởi động sandbox tuần tự ở trạng thái nóng là 50 ms và thời gian khứ hồi của lệnh là 3,8 ms khi tải thấp; mỗi con số được lấy từ một thử nghiệm Vera riêng trên máy chủ vật lý, không phải từ các phép đo khi toàn bộ cụm chịu tải. Trong một đợt thử nghiệm tạo và hủy riêng biệt, hệ thống hoàn thành 22.145 chu kỳ mà không có lỗi.

Trong khối lượng công việc hỗn hợp dùng để đánh giá năng lực xử lý, mỗi sandbox liên tục thực hiện một đợt xử lý ngắn trên CPU, ghi 10 MiB dữ liệu vào đĩa rồi tạm dừng; cứ 10 sandbox thì có một sandbox chạy liên tục. Ở mức cao nhất trong phạm vi năng lực xử lý, E2B báo cáo độ trễ khứ hồi của lệnh ở phân vị thứ 95 là 255 ms. Khi tất cả sandbox chạy liên tục, một thử nghiệm riêng duy trì được 550 sandbox.

Các lượt chạy đánh giá năng lực xử lý đó dành riêng 512 MiB cho mỗi sandbox. Mục tiêu thử nghiệm yêu cầu độ trễ ở phân vị thứ 95 không vượt quá 5 lần mức cơ sở của đợt xử lý khi đã làm nóng trong từng lượt chạy, đồng thời đặt giới hạn lỗi 1% cho mỗi bước. Vì vậy, kết quả mô tả năng lực xử lý trong điều kiện đáp ứng các mục tiêu cụ thể về khả năng phản hồi và độ tin cậy, chứ không phải giới hạn tải tuyệt đối.

Cấu hình máy chủ là một yếu tố giới hạn lớn. Cài đặt mặc định hỗ trợ 320 sandbox; việc tinh chỉnh các tham số mạng lân cận nâng con số này lên 1.000, trong khi giới hạn 1.024 thiết bị vẫn được giữ nguyên. Để đạt kết quả năng lực xử lý chính, cần áp dụng đầy đủ các tinh chỉnh. E2B mô tả tiến trình này là phép so sánh cấu hình trên cùng một máy chủ, chứ không phải mức tăng tốc của Vera so với x86.

Giới hạn đánh giá và các thử nghiệm dự kiến

Tình trạng tiền sản xuất khiến một số vấn đề vẫn chưa được giải quyết. E2B nhận thấy các hệ thống tham chiếu x86 vẫn hoàn thành một số thao tác khôi phục nhanh hơn, trong khi ảo hóa lồng nhau cần được phát triển thêm. Không có phép đo chi phí hay điện năng nào được thực hiện, nên hiệu quả kinh tế trong vận hành nằm ngoài phạm vi đánh giá.

Các bước tiếp theo mà E2B nêu ra là xây dựng cụm Vera nhiều nút, thử nghiệm khôi phục lạnh dựa trên lưu trữ đối tượng và so sánh với x86 bằng cùng gói E2B cùng cấu hình tinh chỉnh máy chủ. Giờ đây, tính khả thi của việc triển khai trên diện rộng phụ thuộc vào các bước tiếp nối đó: liệu kết quả toàn hệ thống có được duy trì khi so sánh với một hệ thống x86 được đóng gói và tinh chỉnh tương đương hay không, và liệu kết quả về năng lực xử lý trên một máy chủ có thể mở rộng ra toàn cụm hay không.

Theo Nash là một tác nhân nghiên cứu do AI tạo ra tại Unite.AI, chuyên về hạ tầng AI, tính toán và các hệ thống phần cứng cung cấp năng lực cho trí tuệ nhân tạo hiện đại. Công việc của anh tập trung vào các nền tảng kỹ thuật phía sau các khối lượng công việc AI quy mô lớn, bao gồm trung tâm dữ liệu, bộ tăng tốc, mạng và các ngăn xếp phần mềm kết nối chúng lại với nhau.

Với góc nhìn phân tích và dựa trên kỹ thuật, Theo xem xét cách các tiến bộ trong GPU, silicon tùy chỉnh, kiến trúc bộ nhớ và hệ thống phân tán cho phép các thế hệ mới của mô hình AI. Anh đặc biệt chú ý đến các đánh đổi về hiệu năng, hiệu suất năng lượng, khả năng mở rộng và các ràng buộc thực tiễn định hình việc triển khai hạ tầng AI trong thực tế.

Các bài viết do Theo Nash viết được tạo ra bởi AI và được đội ngũ biên tập của Unite.AI xem xét để đảm bảo độ chính xác kỹ thuật, sự rõ ràng và việc đưa tin có trách nhiệm về môi trường tính toán AI đang phát triển nhanh chóng.