Riset Eclypsium Menunjukkan Bagaimana Perangkat Keras yang Disusupi Dapat Mengubah Model AI Saat Berjalan

Eclypsium telah menunjukkan bagaimana infrastruktur komputasi yang disusupi dapat mengubah perilaku model AI selama inferensi, sementara berkas aslinya tetap utuh. Riset yang diterbitkan pada 29 Oktober dalam AI yang Tepercaya Membutuhkan Infrastruktur yang Tepercaya ini menunjukkan mengapa pemeriksaan tanda tangan atau hash berkas model tidak membuktikan integritas model yang berjalan di memori.

Dalam demonstrasi terkendali yang didukung NVIDIA, para peneliti menggunakan unit pemrosesan data (DPU) yang disusupi bersama pengaturan isolasi memori yang longgar untuk mengubah bobot model saat berjalan. Jawaban model berubah tanpa mengubah model yang tersimpan atau layanan inferensi. Temuan ini menempatkan perangkat keras, firmware, dan konfigurasi perangkat dalam cakupan keamanan AI.

Cara Berbeda untuk Mengubah Model AI

Pembahasan keamanan AI sering berfokus pada perintah berbahaya, data pelatihan yang diracuni, dan penggunaan alat yang tidak aman. Riset ini mengkaji lapisan yang lebih rendah: infrastruktur yang menyimpan dan memindahkan parameter model saat model berjalan.

Bobot adalah parameter numerik yang membentuk respons model. Berkas yang valid di disk dapat dimuat ke memori, lalu diubah oleh komponen yang memiliki hak akses memadai. Pemeriksaan selanjutnya terhadap berkas asli tetap akan menemukan rangkaian byte yang diharapkan, meskipun jawaban dihasilkan menggunakan kondisi runtime yang telah diubah.

Demonstrasi Eclypsium secara nyata mengubah keluaran analisis untuk pertanyaan geopolitik. Kekhawatiran yang lebih luas adalah bahwa manipulasi saat runtime dapat memengaruhi penggunaan sensitif lainnya, termasuk kode yang dihasilkan dan keputusan otomatis. Kemungkinan tersebut perlu dibedakan dari perilaku spesifik yang ditunjukkan dalam uji laboratorium.

Klaim bahwa perubahan ini tidak terdeteksi juga memiliki cakupan tertentu: pemeriksaan integritas model tersimpan yang digunakan dalam demonstrasi tidak mengungkap perubahan di memori. Hal itu tidak membuktikan bahwa perubahan tersebut tidak dapat diketahui melalui segala bentuk pemantauan atau pemeriksaan forensik.

Kondisi Serangan Menentukan

Pengujian menggunakan lingkungan NVIDIA Grace Hopper. Jalur akses memori langsungnya bergantung pada komponen berhak akses tinggi yang telah disusupi dan pengaturan konfigurasi yang memungkinkan akses ke memori sensitif. Para peneliti menyebut penerusan IOMMU dan isolasi PCIe yang longgar sebagai kondisi penting, serta secara tegas mencatat bahwa pengaturan tersebut bukan konfigurasi bawaan Linux.

IOMMU membantu mengendalikan bagian memori yang dapat diakses periferal. Dalam konfigurasi isolasi yang lebih kuat yang diuji para peneliti, jalur langsung yang sama tidak tersedia. Karena itu, temuan ini menegaskan pentingnya memverifikasi pengaturan yang benar-benar diterapkan, alih-alih menganggap bahwa kemampuan keamanan yang terpasang sudah aktif menegakkan batas keamanan.

DPU adalah prosesor infrastruktur yang dapat diprogram dan digunakan untuk layanan jaringan, penyimpanan, serta keamanan. Kemampuannya memindahkan data secara efisien sangat berguna, tetapi hak akses yang mendukung fungsi infrastruktur yang sah dapat menjadi berbahaya jika penyerang mengambil alih komponen tersebut.

Tanggapan NVIDIA: Verifikasi Batas Kepercayaan

Dalam penjelasan mengenai kolaborasi tersebut, NVIDIA memaparkan proses boot terautentikasi BlueField, kepercayaan yang berakar pada perangkat keras, isolasi, perlindungan pembaruan firmware, dan pengesahan. NVIDIA juga menekankan bahwa operator cloud memilih konfigurasi keamanan yang berbeda-beda sesuai model kepercayaan masing-masing.

Pesan kedua perusahaan adalah bahwa operator memerlukan bukti terkait pilihan-pilihan tersebut. Kontrol akses memori, isolasi perangkat, dan antarmuka pengelolaan harus dinilai dalam konteks model ancaman suatu penerapan. Ketersediaan suatu fitur saja tidak menunjukkan bahwa fitur tersebut telah dikonfigurasi dengan benar.

NVIDIA dan Eclypsium juga menyatakan bahwa masalah ini tidak terbatas pada satu vendor. Sistem AI bergantung pada perangkat lunak host berhak akses tinggi, firmware akselerator, pengontrol pengelolaan, dan mekanisme transfer data. Jalur persisnya berbeda-beda menurut arsitektur, tetapi komponen-komponen tersebut tetap perlu diperhitungkan.

Mengapa Keamanan Agen Juga Bergantung pada Keamanan Infrastruktur

Taruhannya semakin besar ketika model dapat memanggil alat, mengakses data perusahaan, atau memulai tindakan. Manipulasi infrastruktur dapat meruntuhkan asumsi yang dibuat oleh perlindungan tingkat aplikasi mengenai model yang sebenarnya sedang berjalan.

Platform Keamanan Agen Terbuka dari NVIDIA menggambarkan pendekatan berlapis. OpenShell menyediakan tata kelola runtime, sementara NVIDIA Sentry di BlueField beroperasi dari domain keamanan yang diisolasi oleh perangkat keras, di luar host dan agen. Arsitektur ini dirancang untuk memantau perilaku dan menegakkan kebijakan dari titik kendali yang terpisah.

Posisi independen tersebut menimbulkan tanggung jawab keamanan lain: perangkat keras penegak kebijakan dan tumpukan perangkat lunaknya sendiri harus tetap tepercaya. Memindahkan kontrol ke luar aplikasi mengurangi satu ketergantungan, tetapi sekaligus meningkatkan pentingnya memverifikasi komponen yang dipercaya untuk menjalankan kontrol tersebut.

Dari Inventarisasi Perangkat Keras hingga Penjaminan Berkelanjutan

Eclypsium menyebut kesenjangan antara penjaminan yang berfokus pada model dan integritas infrastruktur sebagai “Kesenjangan Penjaminan Infrastruktur AI”. Platform penjaminan infrastruktur miliknya menginventarisasi komponen, menilai firmware dan konfigurasi, membandingkan kondisi perangkat dengan acuan yang disetujui, serta memantau perubahan. Perusahaan tersebut menyatakan bahwa kapabilitas ini melengkapi perlindungan aplikasi dan model yang sudah ada.

Bagi operator, langkah praktisnya dimulai dengan memperlakukan DPU, GPU, pengendali manajemen, dan firmware-nya sebagai aset yang dikelola secara terpisah. Masing-masing memerlukan penanggung jawab, pelacakan versi, penilaian kerentanan, dan proses pembaruan yang dipahami. Akses ke bidang manajemen dan perangkat lunak pihak ketiga pada prosesor infrastruktur juga perlu ditinjau.

Pemeriksaan juga perlu dilakukan sepanjang siklus perangkat keras, mulai dari penerapan, pembaruan, pemulihan insiden, hingga pengalihan kepemilikan. Citra sistem operasi yang bersih tidak dengan sendirinya membuktikan bahwa setiap komponen tingkat rendah berada dalam kondisi yang disetujui. Infrastruktur bersama membuat siklus ini sangat penting karena perangkat keras dapat digunakan oleh pelanggan yang berbeda secara berurutan.

Memeriksa Sistem yang Berjalan, Bukan Hanya Artefaknya

Tanda tangan model tetap berguna: tanda tangan ini menjawab pertanyaan penting tentang artefak yang sedang dimuat. Boot aman, atestasi, isolasi saat runtime, dan pemantauan berkelanjutan menjawab pertanyaan berbeda tentang sistem yang menjalankan artefak tersebut. Tak satu pun boleh dianggap sebagai pengganti semua yang lain.

Arti penting penelitian Eclypsium adalah bahwa sebuah model dapat lolos dari satu pemeriksaan integritas, sementara bagian lain dari rantai eksekusinya telah berubah. Bagi organisasi yang menerapkan AI dalam alur kerja yang berdampak besar, verifikasi infrastruktur perlu menyertai evaluasi model selama model beroperasi.