Oracle Cloud Infrastructure sẽ cung cấp bộ tăng tốc TPU của Google

Ngày 27 tháng 10 năm 2026, tại Oracle AI World ở Las Vegas, Oracle và Google thông báo rằng Tensor Processing Unit (TPU) của Google sẽ được cung cấp thông qua Oracle Cloud Infrastructure (OCI). Thông báo của Oracle mô tả OCI là nền tảng đám mây siêu quy mô đầu tiên bên ngoài Google cung cấp TPU của Google, với kế hoạch triển khai trong năm dương lịch 2027.

Vai trò của hạ tầng Oracle

OCI sẽ cung cấp điện năng, hệ thống làm mát và mạng trung tâm dữ liệu để triển khai TPU của Google trên quy mô lớn trong hạ tầng của Oracle. Oracle và Google cho biết TPU có thể hỗ trợ huấn luyện và hậu huấn luyện các mô hình lớn, bao gồm mô hình dày đặc và mô hình hỗn hợp chuyên gia (MoE), cũng như suy luận trong môi trường sản xuất cho các ứng dụng suy luận, AI tác nhân và ngữ cảnh dài. Khách hàng sẽ có thể lựa chọn TPU của Google trong OCI, được tối ưu hóa theo khối lượng công việc, yêu cầu hiệu năng và mục tiêu chi phí của họ.

“Các khối lượng công việc AI khác nhau đòi hỏi năng lực tính toán khác nhau”, Mahesh Thiagarajan, chủ tịch Oracle Cloud Infrastructure, cho biết. “Việc đưa TPU của Google lên OCI giúp khách hàng tiếp cận nhiều kiến trúc tính toán AI hàng đầu trên cùng một đám mây.”

Amin Vahdat, phó chủ tịch cấp cao kiêm giám đốc công nghệ phụ trách AI và hạ tầng tại Google, cho biết thế hệ AI tiếp theo sẽ cần nhiều loại năng lực tính toán đa dạng. Ông nói rằng việc đưa TPU của Google lên OCI sẽ giúp nhiều tổ chức tiếp cận công nghệ này hơn và linh hoạt hơn trong cách xây dựng, vận hành các ứng dụng AI phức tạp nhất của họ.

Các công ty mô tả TPU của Google là những bộ tăng tốc chuyên dụng được đồng thiết kế cùng phần mềm mở để hỗ trợ toàn bộ vòng đời AI, từ huấn luyện các mô hình tiên phong và suy luận quy mô lớn đến đáp ứng nhu cầu suy luận nhiều bước của AI tác nhân. Họ cho biết danh mục TPU kế thừa hơn một thập kỷ phát triển chip AI tùy chỉnh, đồng thời mô tả kiến trúc này được thiết kế để tối đa hóa khả năng xử lý AI trên mỗi watt điện, cho phép truy cập dữ liệu mô hình nhanh và giao tiếp tốc độ cao giữa các chip.

Phần cứng TPU thế hệ thứ tám

Oracle và Google mô tả TPU thế hệ thứ tám gồm hai kiến trúc được thiết kế cho mục đích riêng: TPU 8t dành cho huấn luyện và TPU 8i dành cho suy luận. Hai công ty cho biết TPU 8t mang lại hiệu năng tính toán trên mỗi pod gần gấp 3 lần thế hệ trước, đồng thời rút ngắn chu kỳ phát triển mô hình tiên phong từ vài tháng xuống còn vài tuần. TPU 8i được thiết kế để xử lý các tác vụ lặp đi lặp lại của nhiều tác tử chuyên biệt.

Google trình bày chi tiết thiết kế thế hệ thứ tám trong một bài phân tích chuyên sâu về kỹ thuật được đăng ngày 22 tháng 4 năm 2026. Theo bài viết, TPU 8t sử dụng cấu trúc mạng hình xuyến 3D với quy mô 9.600 chip trong một siêu pod duy nhất và bổ sung SparseCore, một bộ tăng tốc chuyên dụng xử lý các kiểu truy cập bộ nhớ không đều trong quá trình tra cứu embedding, trong khi đơn vị nhân ma trận đảm nhiệm các phép toán ma trận. Chip này lần đầu tích hợp xử lý dấu phẩy động 4 bit (FP4); Google cho biết công nghệ này giúp tăng gấp đôi thông lượng của đơn vị nhân ma trận. Chip cũng có băng thông mở rộng trên kết nối liên chip cao gấp đôi thế hệ trước.

Về mạng và lưu trữ, Google cho biết Virgo Network, một cấu trúc mạng mở rộng được xây dựng trên các bộ chuyển mạch có radix cao, giúp tăng băng thông mạng trung tâm dữ liệu cho tác vụ huấn luyện TPU 8t lên đến 4 lần. Các tính năng TPUDirect RDMA và TPUDirect Storage mới truyền dữ liệu giữa bộ nhớ TPU, card giao tiếp mạng và hệ thống lưu trữ được quản lý mà không cần đi qua CPU máy chủ. Google cho biết nhờ đó, tốc độ truy cập lưu trữ nhanh hơn 10 lần so với khi huấn luyện trên TPU Ironwood thế hệ thứ bảy.

Google cho biết TPU 8i, được tối ưu hóa cho hậu huấn luyện và suy luận đồng thời với mức độ song song cao, có lượng SRAM trên chip nhiều hơn 3 lần so với thế hệ trước, cho phép lưu toàn bộ bộ nhớ đệm KV lớn hơn trên chip trong quá trình giải mã ngữ cảnh dài. Collectives Acceleration Engine giảm độ trễ trên chip của các phép toán tập thể xuống còn 1/5, còn cấu trúc mạng tối ưu cho phục vụ có tên Boardfly kết nối tối đa 1.152 chip thông qua các bo mạch và nhóm được kết nối hoàn toàn; mỗi pod có thể mở rộng lên 36 nhóm được liên kết bằng các bộ chuyển mạch mạch quang. Với pod 1.024 chip, Google cho biết Boardfly giảm đường kính mạng từ 16 bước nhảy trong cấu trúc hình xuyến 3D tương đương xuống còn 7, giúp cải thiện độ trễ lên đến 50% đối với các khối lượng công việc cần giao tiếp nhiều.

Thông số kỹ thuật do Google công bố cho biết TPU 8t có 216 GB bộ nhớ băng thông cao (HBM), 128 MB SRAM trên chip, hiệu năng FP4 đỉnh 12,6 petaflop và băng thông bộ nhớ 6.528 GB/s. Trong khi đó, TPU 8i có 288 GB HBM, 384 MB SRAM, hiệu năng FP4 đỉnh 10,1 petaflop và băng thông 8.601 GB/s. Cả hai hệ thống đều tích hợp các cụm CPU Axion dựa trên Arm; Google cho biết chúng loại bỏ nút thắt ở máy chủ do độ trễ chuẩn bị dữ liệu gây ra.

Google tuyên bố TPU 8t cải thiện hiệu năng trên mỗi đô la lên đến 2,7 lần so với Ironwood khi huấn luyện quy mô lớn, còn TPU 8i cải thiện chỉ số này lên đến 80% ở các mục tiêu độ trễ thấp dành cho mô hình MoE lớn; cả hai chip đều mang lại hiệu năng trên mỗi watt tốt hơn đến 2 lần. Công ty cũng cho biết với framework JAX và phần mềm Pathways, họ có thể mở rộng huấn luyện phân tán lên hơn 1 triệu chip TPU trong một cụm duy nhất; Virgo Network có thể kết nối hơn 134.000 chip TPU 8t với băng thông phân đôi không nghẽn lên đến 47 petabit mỗi giây.

Dòng sản phẩm hiện tại và khả năng cung cấp

Trang sản phẩm TPU của Google Cloud cho biết cả TPU 8t và TPU 8i đều sắp ra mắt. TPU Ironwood thế hệ thứ bảy, được chế tạo với 9.216 chip làm mát bằng chất lỏng trong mỗi pod và có hiệu năng 42,5 exaflop, được liệt kê là đã cung cấp rộng rãi, cùng với Trillium thế hệ thứ sáu. Google mô tả TPU là các mạch tích hợp chuyên dụng được thiết kế riêng, vận hành các mô hình Gemini và những sản phẩm chủ lực của hãng, bao gồm Search, Photos và Maps; TPU cũng hỗ trợ phần mềm gốc cho PyTorch và JAX, cùng công cụ vLLM phục vụ suy luận.

Theo hai công ty, TPU của Google trên OCI sẽ có mặt trong năm dương lịch 2027, với quy mô triển khai tăng dần trong nhiều năm để đáp ứng nhu cầu của khách hàng.