마이크로소프트, Maia 300 AI 칩 발표…Azure 멀티 기가와트 규모로 확장

마이크로소프트는 2026년 10월 12일 자체 AI 가속기 제품군의 3세대인 Azure Maia 300을 공개하고, 2027년부터 Azure Maia 제품군을 멀티 기가와트 규모로 확대 배포할 계획이라고 밝혔다. 이를 통해 Maia를 자사 제품과 서비스 전반의 주력 추론 시스템으로 삼을 예정이다.

Cloud + AI 부문 총괄 부사장인 Scott Guthrie는 마이크로소프트 공식 블로그 게시물에서 이 칩을 발표하며, Maia 300이 긴 문맥 추론, 지연 시간에 민감한 대화형 경험, 지속적으로 여러 단계를 수행하는 에이전트 작업에 맞춰 설계된 “완전한 지능형 시스템”이라고 설명했다. Maia 300은 2027년부터 실제 서비스에 투입될 예정이다.

Guthrie는 시스템 전반의 효율성을 높여 Maia 300이 선도적인 GPU 기반 시스템보다 메가와트당 토큰을 40% 더 많이 처리할 것으로 마이크로소프트가 기대한다고 썼다. 회사에 따르면 가속기 96개를 모두 구성한 경우 Maia 300은 Maia 200보다 랙 단위 토큰 처리량이 최대 7배 높다.

Maia 300 시스템 아키텍처

Maia 300은 마이크로소프트가 ‘추론 우선’ 아키텍처라고 부르는 설계를 채택했다. 긴 문맥을 다루고 메모리를 많이 사용하며 디코딩 연산 비중이 높은 AI 워크로드에 최적화된 접근 방식이다. 회사는 이 설계가 클라우드 규모에서 연산 성능, 메모리 대역폭, 네트워킹, 전력 효율의 균형을 맞추는 데 중점을 둔다고 설명했다. 소프트웨어 정의 데이터플로 아키텍처에 AI 지원 커널 최적화를 결합해 데이터를 가까운 곳에 유지하고 데이터 이동을 줄이며 연산, 메모리, 네트워킹 자원의 활용률을 높인다. 마이크로소프트는 데이터플로를 핵심 설계 원칙으로 삼아 Maia 300이 기존 GPU 아키텍처보다 와트당 성능에서 상당한 우위를 확보한다고 밝혔다.

메모리 시스템은 최대 대역폭 18.0 TB/s를 제공하는 HBM4 스택 8개를 탑재하며, TDP는 950와트다. 또한 특수 커널 지원을 통해 다이 위의 SRAM을 소프트웨어가 관리하는 스크래치패드로 활용해 HBM의 부담을 덜어 준다. 칩 설계도 연산, 메모리 컨트롤러, I/O 기능을 분리하는 멀티칩렛 구조로 바뀌었으며, 연산 칩렛은 TSMC의 N2P 공정 노드로 제조된다. 개선된 MXFP4를 비롯한 고급 저정밀도 형식을 지원해 연산과 KV 캐시 저장에 필요한 메모리와 대역폭을 줄이도록 설계했다. 그 결과 동일한 전력 한도에서 더 긴 문맥을 처리하고 처리량을 높일 수 있다.

네트워킹 측면에서 Maia 300은 데이터를 별도의 통신 계층으로 옮기는 대신 네트워크를 데이터플로 아키텍처의 확장으로 취급한다. 가속기 간 고대역폭 연결은 텐서 병렬 처리에 최적화되어 있으며, 자체 개발한 AI 전송 기술은 이더넷 기반 인프라를 통해 가속기와 랙 사이의 스케일업 통신을 지원한다. 이에 따라 단일 랙에서 데이터센터 규모의 배포까지 확장할 수 있는 통합 토폴로지를 구현한다. 랙 단위로는 Maia 300 가속기 96개가 167킬로와트의 전력 한도 내에서 작동하며, 스케일업 도메인 전체에 HBM 용량 27.6 TB와 HBM 통합 대역폭 1.7 PB/s를 제공한다. 마이크로소프트는 이러한 집적도 덕분에 랙마다 더 많은 AI 상호작용을 동시에 처리하고 더 큰 워크로드를 실행할 수 있다고 밝혔다.

Maia 200 실제 서비스 투입

Maia 300에 앞서 나온 Maia 200은 이미 Microsoft Copilot을 비롯한 마이크로소프트의 실제 서비스 워크로드를 처리하고 있으며, 차세대 모델을 개발하는 MAI 팀도 지원하고 있다. GitHub Copilot과 Microsoft Foundry에도 2026년 말까지 적용될 예정이다. 이러한 워크로드에서 이 칩은 OpenAI 모델, 마이크로소프트 자체 MAI 모델, 주요 오픈소스 모델 제품군을 실행한다. Maia 200은 미국, 유럽, 호주 전역에 배포되고 있다. 마이크로소프트에 따르면 Teams, Copilot, Cowork 경험에 내장된 AI 기능을 제공할 때 선도적인 GPU 인프라보다 와트당 토큰 처리량이 최대 1.7배 높다.

Guthrie는 Maia 200에서 마이크로소프트의 AI 모델과 서비스를 실행한 경험이 Maia 300의 설계에 직접 반영됐다고 썼다. 두 세대의 칩은 함께 다양한 신규 마이크로소프트 AI 서비스를 지원하도록 설계됐다. 여기에는 GitHub의 코딩 경험을 뒷받침하는 다단계 에이전트 작업, Microsoft Foundry를 통한 클라우드 규모의 모델 서비스, MAI 팀을 위한 추론 및 데이터 생성, 의료진의 행정 부담을 줄이기 위한 지연 시간 민감형 Dragon Copilot 워크플로가 포함된다.

마이크로소프트는 2026년 1월 26일 Maia 200을 공개했다. 이 추론 가속기는 TSMC의 3나노미터 공정으로 제조됐으며, 기본 FP8 및 FP4 텐서 코어, 7 TB/s 대역폭의 HBM3e 메모리 216GB, 온칩 SRAM 272MB를 탑재했다. 칩에는 트랜지스터 1400억 개 이상이 집적돼 있으며, TDP 750와트 범위 내에서 FP4 연산 성능 10페타플롭스 초과, FP8 연산 성능 5페타플롭스 초과를 제공한다. 2단계 스케일업 네트워크는 표준 이더넷을 기반으로 하며, 가속기 최대 6,144개로 구성된 클러스터에서 가속기당 양방향 스케일업 대역폭 2.8 TB/s를 지원한다. Maia 200은 아이오와주 디모인 인근의 마이크로소프트 미국 중부 데이터센터 리전에 처음 배포됐으며, 애리조나주 피닉스 인근의 US West 3 리전이 다음 배포 지역으로 발표됐다.

마이크로소프트는 Maia 200 출시 당시 이 칩을 하이퍼스케일러가 자체 개발한 실리콘 가운데 성능이 가장 뛰어난 제품이라고 설명했다. 3세대 Amazon Trainium보다 FP4 성능이 3배 높고, Google 7세대 TPU보다 FP8 성능이 뛰어나며, 자사 제품군의 최신 하드웨어보다 달러당 성능이 30% 높다는 점을 근거로 들었다. 또한 Maia 200을 자사가 배포한 추론 시스템 가운데 가장 효율적인 제품이라고 평가했다.

Microsoft는 샌프란시스코와 온라인에서 열리는 Microsoft Ignite 2026에서 자사의 전략과 Frontier Transformation의 진행 상황을 더 자세히 공개할 예정이라고 밝혔으며, 아키텍처에 관한 자세한 내용은 Maia 300 기술 논문을 참고하라고 안내했다.