AMD Merilis Chip EPYC Zen 6 untuk Penerapan Agen AI dengan Kepadatan Lebih Tinggi

AMD mengumumkan ketersediaan umum prosesor server EPYC SP7 generasi keenam pada 10 November 2026. Sistem akan dikirimkan oleh vendor server, sementara instans Microsoft Azure dan Oracle Cloud Infrastructure diperkirakan segera tersedia. Jajaran Zen 6 yang terdiri atas 10 model ditujukan untuk eksekusi agen AI, node host GPU, dan aplikasi perusahaan.

Pengumuman ini berfokus pada pekerjaan CPU di balik model AI. Satu alur kerja berbasis agen dapat mengoordinasikan agen, memanggil model, mengambil informasi, mengeksekusi kode, serta terhubung dengan basis data dan aplikasi perusahaan yang sudah ada. AMD membagi infrastruktur yang dihasilkan menjadi layanan serbaguna, node host GPU, dan lingkungan terisolasi agen. Frekuensi prosesor, kepadatan, bandwidth, dan efisiensinya disesuaikan dengan tugas, dengan tetap menggunakan fondasi perangkat lunak, keamanan, dan operasional x86 yang sama.

Frekuensi dan Kepadatan di Seluruh Jajaran SP7

Jajaran EPYC 9006 SP7 mencakup 64 hingga 256 inti dan 128 hingga 512 utas. Multithreading simultan memungkinkan setiap inti menjalankan dua utas, sementara inti Zen 6 dan Zen 6c menyeimbangkan performa frekuensi tinggi untuk node host AI dengan eksekusi agen paralel berkepadatan lebih tinggi. Platform ini juga mendukung PCIe Gen 6.

Di jajaran teratas, EPYC 9996 dan 9956 masing-masing memiliki cache L3 sebesar 1.024 MB. EPYC 9996 beroperasi pada frekuensi dasar 2,55 GHz, dapat mencapai frekuensi hingga 4,1 GHz, dan memiliki nilai daya CPU bawaan 600 W yang dapat dikonfigurasi dari 400 W hingga 600 W. Daya CPU Bawaan mengukur konsumsi pada cetakan komputasi dan I/O prosesor untuk mencapai sasaran performa tertentu. EPYC 9686F dan 9586F lebih mengutamakan frekuensi, dengan frekuensi dasar 4,05 GHz dan frekuensi maksimum hingga 5,3 GHz.

Selain digunakan pada server individual, prosesor ini juga hadir dalam desain rak Helion AMD, yang diperkenalkan pada Oktober 2026. Helion Liquid ditujukan untuk penerapan skala besar, Helion Air menyasar pusat data berpendingin udara yang sudah ada, sedangkan Helion Air Inference menggabungkan eksekusi CPU dengan inferensi GPU lokal. AMD menyatakan bahwa beberapa konfigurasi Helion dapat mencapai 73.728 utas dalam satu rak.

Perkiraan Performa dan Batas Daya

Untuk node host GPU, AMD melaporkan throughput keluaran model bahasa besar hingga 1,8x dibandingkan prosesor EPYC generasi sebelumnya dalam perbandingan pengalihan beban bobot model ke CPU. Angka tersebut berasal dari pengukuran melalui tautan host PCIe Gen 5 yang diproyeksikan menggunakan bandwidth Gen 6. Pengujian menunjukkan bahwa dalam beban kerja tersebut, batas throughput adalah tautan PCIe, bukan memori host.

Untuk lingkungan terisolasi agen, AMD memperkirakan jumlah agen per watt CPU sekitar 3,3x lebih tinggi daripada Nvidia Vera dan 2,5x lebih tinggi daripada Intel Xeon 6980P. Alih-alih menghitung agen dalam penerapan langsung, perbandingan ini mengonversi jumlah utas CPU yang tersedia menjadi perkiraan kapasitas berdasarkan beban kerja teoretis yang sama. Kapasitas dan throughput aktual bergantung pada beban kerja, model, memori, perangkat lunak, orkestrasi, dan konfigurasi sistem.

Model rak AMD memperkirakan bahwa pengurangan batas daya gabungan prosesor dan memori sebesar 15% per soket memungkinkan konfigurasi EPYC 9996 mendukung sekitar 1,18x lebih banyak agen dalam rak 35 kilowatt dibandingkan dengan pengaturan daya bawaan. Kapasitas tambahan ini diperoleh dengan memasang lebih banyak server dalam batas daya yang sama. Perkiraan penurunan performa rata-rata per server adalah 1%, berdasarkan pengujian terpisah terhadap prosesor EPYC generasi kelima.

Microsoft Membuka Pratinjau Azure HDv2

Pada 10 November, Microsoft membuka pendaftaran untuk pratinjau mesin virtual Azure HDv2 yang menggunakan prosesor EPYC generasi keenam dengan nama kode Venice. Setiap VM menyediakan lebih dari 500 inti Zen 6 fisik, memori DDR5-8800 sebesar 3,8 terabita, penyimpanan NVMe PCIe Gen 5 sebesar 30 TB, dan Azure Boost Networking 400 Gb.

Microsoft melaporkan bahwa satu VM HDv2 dapat menjalankan sekitar dua kali lebih banyak lingkungan terisolasi agen secara paralel dibandingkan alternatif terbaik berikutnya yang tersedia di pasar, serta menghasilkan throughput tugas berbasis agen hingga 1,7x lebih tinggi. Bagan Microsoft menandai pengukuran tersebut sebagai sementara dan dapat berubah, dengan SPEC CPU 2026 Integer Rate digunakan sebagai tolok ukur untuk throughput tugas berbasis agen dan pembelajaran penguatan. Setiap kali agen menjalankan kode atau memanggil alat, proses tersebut berlangsung dalam lingkungan terisolasi CPU; karena itu, kapasitas inti yang tidak memadai dapat membuat GPU yang mengarahkan agen-agen tersebut menganggur.

OpenAI bekerja sama dengan Microsoft dalam pengembangan HDv2 dan mengaitkan keseimbangan antara jumlah inti dan memori dengan beban kerja penelitian maupun pemrograman. “Saat menyiapkan himpunan data besar untuk penelitian AI, lebih banyak inti CPU memungkinkan kami membagi pekerjaan ke lebih banyak tugas, asalkan setiap tugas memiliki memori yang cukup. Keseimbangan yang sama pentingnya ketika banyak agen pemrograman mengembangkan perangkat lunak dan menjalankan pengujian secara bersamaan,” kata Rafael Dietrich, kepala perencanaan kapasitas CPU dan penyimpanan OpenAI.

Saat tersedia secara umum, Microsoft berencana menyediakan HDv2 melalui Azure Kubernetes Service, Azure Databricks, dan Azure CycleCloud, serta platform mitra, termasuk Rescale dan Synopsys. Ketersediaan dapat berbeda-beda di antara layanan dan platform tersebut.

Peluncuran ini menempatkan kepadatan CPU, alokasi memori, dan daya rak sebagai faktor utama kapasitas agen, bersama dengan pemanfaatan akselerator. Ukuran praktis bagi konfigurasi ini adalah seberapa banyak pekerjaan agen yang dapat dijalankan secara bersamaan dalam batas daya tetap tanpa membuat GPU kurang dimanfaatkan.