Oracle Cloud Infrastructure, Google의 TPU 가속기 제공

Oracle과 Google은 2026년 10월 27일 라스베이거스에서 열린 Oracle AI World에서 Google의 텐서 처리 장치(TPU)를 Oracle Cloud Infrastructure(OCI)를 통해 이용할 수 있게 된다고 발표했다. Oracle의 발표에 따르면, OCI는 Google 외부에서 Google TPU를 제공하는 최초의 하이퍼스케일 클라우드 플랫폼이며, 제공은 2027년에 시작될 예정이다.

Oracle의 인프라 역할

OCI는 Oracle의 인프라 안에서 Google TPU를 대규모로 배포하는 데 필요한 전력, 냉각 및 데이터센터 네트워킹을 제공한다. Oracle과 Google은 TPU가 밀집 모델과 전문가 혼합(MoE) 모델을 포함한 대규모 모델의 학습과 사후 학습은 물론, 추론·에이전트형 AI·긴 문맥 애플리케이션을 위한 프로덕션 추론도 지원할 수 있다고 밝혔다. 고객은 워크로드, 성능 요구 사항 및 비용 목표에 맞게 최적화된 Google TPU를 OCI에서 선택할 수 있다.

Oracle Cloud Infrastructure 사장인 Mahesh Thiagarajan은 “AI 워크로드마다 필요한 컴퓨팅 리소스가 다릅니다. Google TPU를 OCI에 도입하면 고객은 하나의 클라우드에서 여러 선도적인 AI 컴퓨팅 아키텍처를 이용할 수 있습니다”라고 말했다.

Google의 AI 및 인프라 담당 수석 부사장 겸 최고 기술 책임자인 Amin Vahdat은 차세대 AI에는 다양한 컴퓨팅 리소스가 필요할 것이라고 말했다. 그는 Google TPU를 OCI에 도입하면 더 많은 조직이 이 기술을 이용하고, 가장 복잡한 AI 애플리케이션을 구축하고 실행하는 방식에서 더 큰 유연성을 확보할 수 있다고 덧붙였다.

두 회사는 Google TPU가 개방형 소프트웨어와 공동 설계한 맞춤형 가속기로, 최첨단 모델 학습과 대규모 추론부터 에이전트형 AI의 다단계 추론 요구에 이르기까지 AI 수명 주기 전반을 뒷받침한다고 설명했다. 또한 TPU 제품군은 10년이 넘는 맞춤형 AI 실리콘 개발의 성과를 바탕으로 하며, 전력 1와트당 AI 처리량을 극대화하고 모델 데이터에 빠르게 접근하며 칩 간 통신 속도를 높이도록 아키텍처를 설계했다고 밝혔다.

8세대 TPU 하드웨어

Oracle과 Google은 8세대 TPU가 용도에 맞게 설계된 두 가지 아키텍처, 즉 학습용 TPU 8t와 추론용 TPU 8i로 구성된다고 설명했다. 또한 TPU 8t는 이전 세대보다 팟당 컴퓨팅 성능이 거의 3배 높고, 최첨단 모델 개발 주기를 수개월에서 수주로 단축한다고 밝혔다. TPU 8i는 다수의 전문화된 에이전트가 반복적으로 수행하는 작업을 처리하도록 설계됐다.

Google은 2026년 4월 22일에 공개한 기술 심층 분석 자료에서 8세대 설계를 상세히 소개했다. 해당 게시물에 따르면 TPU 8t는 단일 슈퍼팟에 9,600개의 칩을 연결하는 규모의 3D 토러스 네트워크 토폴로지를 사용하며, 행렬 곱셈 장치가 행렬 연산을 처리하는 동안 임베딩 조회에서 발생하는 불규칙한 메모리 접근 패턴을 처리하는 전용 가속기 SparseCore를 추가했다. 이 칩은 네이티브 4비트 부동소수점(FP4) 처리를 도입했으며, Google은 이로써 행렬 곱셈 장치의 처리량이 2배가 된다고 밝혔다. 또한 칩 간 인터커넥트의 스케일업 대역폭은 이전 세대보다 2배 높다.

네트워킹과 스토리지 측면에서 Google은 고차수 스위치를 기반으로 구축된 스케일아웃 패브릭인 Virgo Network가 TPU 8t 학습에 최대 4배 더 높은 데이터센터 네트워크 대역폭을 제공한다고 밝혔다. 새로운 TPUDirect RDMA 및 TPUDirect Storage 기능은 호스트 CPU를 거치지 않고 TPU 메모리, 네트워크 인터페이스 카드, 관리형 스토리지 간에 데이터를 전송한다. Google에 따르면 이 기능을 이용하면 7세대 Ironwood TPU에서 학습할 때보다 스토리지 접근 속도가 10배 빨라진다.

사후 학습과 높은 동시성의 추론에 최적화된 TPU 8i는 이전 세대보다 온칩 SRAM 용량이 3배 많아, 긴 문맥을 디코딩하는 동안 더 큰 KV 캐시를 실리콘에 완전히 올려둘 수 있다고 Google은 밝혔다. Collectives Acceleration Engine은 집합 연산의 온칩 지연 시간을 5배 줄이며, 서빙에 최적화된 Boardfly 토폴로지는 완전 연결된 보드와 그룹을 통해 최대 1,152개의 칩을 연결한다. 팟은 광회로 스위치로 연결된 최대 36개 그룹까지 확장할 수 있다. Google에 따르면 1,024개 칩으로 구성된 팟에서 Boardfly는 네트워크 지름을 비슷한 3D 토러스의 16홉에서 7홉으로 줄여, 통신 집약적 워크로드의 지연 시간을 최대 50% 개선한다.

Google이 공개한 사양에 따르면 TPU 8t는 고대역폭 메모리(HBM) 216GB, 온칩 SRAM 128MB, FP4 최고 성능 12.6페타플롭스, 메모리 대역폭 6,528GB/s를 갖췄다. TPU 8i는 HBM 288GB, SRAM 384MB, FP4 최고 성능 10.1페타플롭스, 대역폭 8,601GB/s를 제공한다. 두 시스템 모두 Arm 기반 Axion CPU 헤더를 통합했으며, Google은 이를 통해 데이터 준비 지연으로 발생하는 호스트 병목 현상을 해소한다고 밝혔다.

Google은 TPU 8t가 대규모 학습에서 Ironwood보다 달러당 성능을 최대 2.7배 개선하고, TPU 8i는 대규모 MoE 모델의 저지연 목표에서 달러당 성능을 최대 80% 개선한다고 밝혔다. 두 칩 모두 와트당 성능을 최대 2배 높인다고 회사는 덧붙였다. 또한 자체 JAX 프레임워크와 Pathways 소프트웨어를 사용하면 단일 클러스터에서 분산 학습을 100만 개가 넘는 TPU 칩으로 확장할 수 있으며, Virgo Network는 최대 초당 47페타비트의 비차단 이분 대역폭으로 134,000개가 넘는 TPU 8t 칩을 연결할 수 있다고 밝혔다.

현재 제품군 및 제공 일정

Google Cloud의 TPU 제품 페이지에는 TPU 8t와 TPU 8i가 모두 출시 예정으로 표시되어 있다. 포드당 액체 냉각 칩 9,216개를 탑재하고 성능이 42.5엑사플롭스로 평가된 7세대 Ironwood TPU는 6세대 Trillium과 함께 정식 제공 중인 제품으로 나와 있다. Google은 TPU를 Gemini 모델과 Search, Photos, Maps 등 주요 제품을 구동하는 맞춤 설계 애플리케이션 전용 집적 회로라고 설명한다. 또한 PyTorch와 JAX, 추론용 vLLM 엔진을 기본적으로 지원하는 소프트웨어도 제공한다.

양사는 OCI에서 Google TPU를 2027년에 이용할 수 있으며, 고객 수요에 대응하기 위해 여러 해에 걸쳐 공급을 확대할 예정이라고 밝혔다.