AWS Menyusun Ulang Runtime AgentCore Bedrock untuk Memori Elastis, Memulai Dingin Cepat

Amazon Web Services mengumumkan runtime AgentCore baru pada 18 September 2026, sebuah versi yang disusun ulang dari lapisan komputasi terkelola di Amazon Bedrock AgentCore yang menurut perusahaan mengembalikan memori saat sesi agen melepaskannya dan memberikan waktu mulai dingin yang konsisten terlepas dari ukuran gambar kontainer atau tingkat konkruensi.

Runtime AgentCore adalah lapisan komputasi terkelola yang memberikan pengembang lingkungan sepenuhnya dikelola untuk menyebarkan dan menjalankan agen tanpa membangun atau memelihara infrastruktur. AWS menyatakan ribuan tim telah menggunakannya untuk menjalankan agen produksi sejak peluncuran, dan bahwa versi pertama membangun fondasi serverless dengan isolasi sesi, perilaku skala-ke-nol, serta harga bayar per penggunaan. Model konsumsi tersebut berlanjut: penagihan mengikuti penggunaan sumber daya tanpa biaya untuk CPU menganggur menunggu I/O, dan platform menurunkan skala hingga nol ketika agen tidak memiliki pekerjaan.

Masalah yang Dihadapi Peluncuran Ini

Pada runtime asli, sebuah sesi menyimpan memori yang dialokasikan sejak saat alokasi hingga sesi berakhir, karena tidak ada yang mengembalikannya di sepanjang jalan. AWS menyatakan hal ini membuat agen yang berjalan lama atau bersifat bursty membayar untuk puncak memori mereka sepanjang waktu, bahkan setelah memori tidak lagi digunakan, sebuah celah khusus bagi agen yang kadang‑kadang mengalami lonjakan tetapi sebagian besar waktu menganggur.

Perilaku startup menjadi tantangan kedua. AWS menyatakan bahwa sesi yang masuk ke lingkungan yang sudah diinisialisasi mulai dalam kurang dari 100 milidetik, tetapi menjaga lingkungan tetap hangat cukup untuk menjamin hal itu berarti menyimpan komputasi sebagai cadangan, sehingga kebanyakan sesi dimulai dengan start dingin yang mem-boot lingkungan baru, menarik gambar, dan menginisialisasi agen sebelum permintaan pertama dijalankan. Latensi tersebut meningkat seiring ukuran gambar dan tingkat konkruensi serta paling buruk pada trafik bursty, ketika paling banyak sesi datang dan paling sedikit lingkungan siap tersisa. Menurut AWS, pelanggan mengatasi kedua masalah tersebut dengan menyiapkan lingkungan cadangan, mengoptimalkan alokasi memori, dan menurunkan kapasitas untuk menjaga biaya tetap terkendali.

Apa yang Diukur AWS

Untuk mengisolasi apa yang ditambahkan platform itu sendiri pada start dingin, AWS menguji agen echo kosong yang mengembalikan inputnya dan tidak memanggil model maupun alat apa pun. Klien Python pada instansi Amazon EC2 di us-west-2 memanggil agen di us-east-1 melalui internet publik tanpa VPC peering, menggunakan SDK boto3, sehingga setiap pengukuran sisi klien mencakup perjalanan bolak‑balik antara dua Region AWS di atas waktu start platform itu sendiri. Perusahaan mengirimkan 5.000 invokasi dingin per agen di kedua versi runtime dan lima ukuran gambar, dalam kuota akun default.

Dengan cara pengukuran tersebut, AWS melaporkan bahwa runtime baru memberikan latensi start dingin P75 sekitar 2 detik dari gambar 200 MB hingga 2 GB, karena ukuran gambar tidak berpengaruh, sementara latensi runtime asli meningkat seiring ukuran gambar dari kira‑kira 5,4 detik hingga hampir 30 detik. Pada tes echo, kode agen sendiri berjalan sekitar 34 milidetik pada P75, sehingga hampir seluruh waktu yang diukur adalah waktu start platform. AWS menyarankan menyembunyikan waktu start untuk agen interaktif dengan memulai sesi segera setelah pengguna berinteraksi, misalnya saat mereka membuka obrolan, sehingga lingkungan menghangat sementara mereka mengetik permintaan pertama.

Cara Kerja Runtime Baru

Runtime baru memulai setiap sesi dari profil memori kecil alih‑alih jejak yang sepenuhnya disediakan, kemudian mengalokasikan dan memuat memori tambahan sesuai permintaan saat beban kerja menyentuhnya. Ketika agen melepaskan buffer per‑permintaan atau membiarkan data cache kedaluwarsa antara permintaan, platform mengambil kembali memori tersebut alih‑alih membiarkannya tetap diklaim hingga sesi berakhir. AWS menyatakan bahwa mereka menyesuaikan perilaku pengembalian memori berdasarkan analisis pola alokasi pada miliaran sesi.

Start dingin berubah karena setiap agen dimuat sekali lalu dijalankan dari snapshot. Ketika runtime dibuat atau diperbarui, AgentCore meluncurkan kontainer, menunggu hingga melaporkan sehat, dan menangkap snapshot lingkungan yang berjalan, sehingga inisialisasi satu kali seperti memuat artefak model dan mengambil konfigurasi statis sudah selesai. Setiap instance baru memulihkan snapshot tersebut alih‑alih menginisialisasi dari awal. AWS menyatakan bahwa runtime menghapus cache dan memori sementara dari snapshot sehingga ukurannya tetap hampir konstan meskipun gambar kontainer membesar, yang menjaga latensi pemulihan tetap stabil di seluruh rentang ukuran gambar yang luas.

Penagihan berubah seiring model memori. Runtime baru menagih memori yang secara aktif digunakan agen, dimuat sesuai permintaan dan dikembalikan saat menganggur, alih‑alih menahan seluruh gambar kontainer dalam memori selama sesi. AWS menggambarkan perubahan ini sebagai tarif yang lebih tinggi diterapkan pada jauh lebih sedikit GB‑jam, dan menyatakan bahwa bagi kebanyakan agen jejak memori berkurang lebih banyak daripada tarif naik, sehingga tagihan menurun.

Versi Platform, Region, dan Batasan

Pengembang mengaktifkan runtime baru dengan menyetel bidang platformVersion ke V2 saat membuat atau memperbarui runtime, menurut Panduan Pengembang AgentCore. V1 adalah default: menghilangkan bidang saat pembuatan menghasilkan runtime V1, dan menghilangkannya pada pembaruan mempertahankan versi platform runtime saat ini. V2 tersedia di us-east-1, us-east-2, us-west-2, eu-west-1, dan ap-northeast-1.

Karena pembuatan atau pembaruan V2 menyiapkan dan membuat snapshot lingkungan, operasi tersebut memakan waktu beberapa menit sebelum runtime mencapai status READY, sedangkan runtime V1 menjadi siap dalam hitungan detik. AgentCore mengambil snapshot pada respons sehat pertama dari endpoint /ping kontainer, dan bila kontainer tidak melaporkan status sehat dalam 120 detik setelah dimulai, proses pembuatan gagal dengan kesalahan pemeriksaan kesehatan. Panduan tersebut juga menyebutkan bahwa V2 saat ini membatasi ukuran total variabel lingkungan sebesar 1,5 KB untuk penyebaran kode langsung dan 2,5 KB untuk agen kontainer, dibandingkan dengan 4 KB pada V1, serta bahwa AWS CloudFormation dan AWS CDK belum mendukung pengaturan platformVersion.

Snapshot mengikuti versi dan endpoint runtime alih-alih dikelola secara langsung. AgentCore menyiapkan snapshot ketika sebuah endpoint mengarah ke suatu versi dan menghapusnya ketika tidak ada endpoint yang mengarah kepadanya, dan proses penghapusan dapat memakan waktu hingga 8 jam, yaitu masa hidup maksimum sesi, karena sesi yang sudah berjalan pada snapshot akan terus berlanjut hingga selesai. Sesi dijalankan dalam microVM khusus dengan sumber daya CPU, memori, dan sistem berkas yang terisolasi, bertahan hingga 8 jam, dan berakhir setelah 15 menit tidak aktif, setelah itu microVM dihentikan dan memori dibersihkan.

Peta Jalan dan Memulai

Setelah peluncuran, AWS mencantumkan beberapa kemampuan yang akan datang: diskon baseline yang terikat yang menyediakan batas memori minimum per sesi dengan peningkatan on-demand di atasnya, ditujukan untuk sesi yang selalu aktif secara stabil; RAM, vCPU, dan penyimpanan sesi yang lebih besar; dukungan microVM x86; fungsi suspend‑and‑resume dengan snapshot memori serta hook runtime untuk menyerialkan keadaan sebelum sesi aktif berakhir; dan kunci konteks sesi yang memberikan setiap sesi identitas tersegmentasi untuk agen yang tidak diawasi.

AWS mengarahkan pengembang ke AgentCore Developer Guide, repositori contoh AgentCore di GitHub, serta contoh uji beban yang menyertai yang memperlihatkan latensi cold start runtime baru di dalam akun AWS milik pengguna.