AIOS: Sistem Operasi untuk Agen LLM

Selama enam dekade terakhir, sistem operasi telah berkembang secara progresif, maju dari sistem dasar ke sistem operasi yang kompleks dan interaktif yang menggerakkan perangkat saat ini. Awalnya, sistem operasi berfungsi sebagai jembatan antara fungsi biner perangkat keras komputer, seperti manipulasi gerbang, dan tugas-tugas tingkat pengguna. Namun, selama bertahun-tahun, mereka telah berkembang dari sistem pemrosesan batch sederhana ke teknik manajemen proses yang lebih canggih, termasuk multitasking dan time-sharing. Kemajuan ini telah memungkinkan sistem operasi modern untuk mengelola berbagai tugas yang kompleks. Pengenalan antarmuka pengguna grafis (GUI) seperti Windows dan MacOS telah membuat sistem operasi modern lebih ramah pengguna dan interaktif, serta memperluas ekosistem OS dengan perpustakaan runtime dan suite alat pengembang yang komprehensif.

Inovasi terbaru termasuk integrasi dan penerapan Model Bahasa Besar (LLM), yang telah merevolusi berbagai industri dengan membuka kemungkinan baru. Lebih baru-baru ini, agen cerdas berbasis LLM telah menunjukkan kemampuan luar biasa, mencapai kinerja seperti manusia pada berbagai tugas. Namun, agen-agen ini masih dalam tahap awal pengembangan, dan teknik-teknik saat ini menghadapi beberapa tantangan yang mempengaruhi efisiensi dan efektivitasnya. Masalah umum termasuk penjadwalan agen yang tidak optimal, kompleksitas integrasi agen dengan spesialisasi yang berbeda, dan mempertahankan konteks selama interaksi antara LLM dan agen. Pengembangan dan kompleksitas LLM yang cepat sering menyebabkan bottleneck dan penggunaan sumber daya yang tidak optimal.

Untuk mengatasi tantangan ini, artikel ini akan membahas AIOS, sebuah sistem operasi agen LLM yang dirancang untuk mengintegrasikan model bahasa besar sebagai “otak” sistem operasi, secara efektif memberinya “jiwa”. Secara khusus, kerangka AIOS bertujuan untuk memfasilitasi switching konteks di antara agen, mengoptimalkan alokasi sumber daya, menyediakan layanan alat untuk agen, mempertahankan kontrol akses, dan memungkinkan eksekusi agen secara bersamaan. Kami akan mempelajari kerangka AIOS secara mendalam, menjelajahi mekanismenya, metodologi, dan arsitektur, serta membandingkannya dengan kerangka kerja mutakhir. Mari kita mulai.

Setelah mencapai kesuksesan luar biasa dalam model bahasa besar, fokus berikutnya dari industri AI dan ML adalah mengembangkan agen AI otonom yang dapat beroperasi secara mandiri, membuat keputusan sendiri, dan melakukan tugas dengan intervensi manusia minimal. Agen-agen cerdas berbasis AI ini dirancang untuk memahami instruksi manusia, memproses informasi, membuat keputusan, dan mengambil tindakan yang tepat untuk mencapai keadaan otonom, dengan kemajuan dan pengembangan model bahasa besar membawa kemungkinan baru bagi pengembangan agen-agen otonom ini. Kerangka LLM saat ini, termasuk DALL-E, GPT, dan lain-lain, telah menunjukkan kemampuan luar biasa untuk memahami instruksi manusia, alasan dan kemampuan pemecahan masalah, serta berinteraksi dengan pengguna manusia dan lingkungan eksternal. Dibangun di atas model bahasa besar yang kuat dan mampu ini, agen-agen LLM memiliki kemampuan pengisian tugas yang kuat dalam lingkungan yang beragam, mulai dari asisten virtual hingga sistem yang lebih kompleks dan canggih yang melibatkan pemecahan masalah, alasan, perencanaan, dan eksekusi.

Gambar di atas memberikan contoh yang menarik tentang bagaimana agen otonom LLM dapat menyelesaikan tugas dunia nyata. Pengguna meminta sistem untuk informasi perjalanan, yang kemudian dipecah menjadi langkah-langkah yang dapat dieksekusi oleh agen. Agen kemudian melakukan langkah-langkah tersebut secara berurutan, termasuk memesan penerbangan, memesan hotel, memproses pembayaran, dan lain-lain. Selama eksekusi langkah-langkah, apa yang membedakan agen-agen ini dari aplikasi perangkat lunak tradisional adalah kemampuan mereka untuk menunjukkan kemampuan membuat keputusan dan mengintegrasikan alasan dalam eksekusi langkah-langkah. Bersamaan dengan pertumbuhan eksponensial dalam kualitas agen-agen otonom ini, beban pada fungsi model bahasa besar dan sistem operasi telah meningkat, dan contoh dari hal ini adalah bahwa prioritas dan penjadwalan permintaan agen dalam model bahasa besar terbatas merupakan tantangan signifikan. Selain itu, karena proses generasi model bahasa besar menjadi tugas yang memakan waktu ketika menangani konteks yang panjang, memungkinkan untuk penjadwal untuk menangguhkan generasi yang dihasilkan, menimbulkan masalah dalam merancang mekanisme untuk menyimpan hasil generasi saat ini dari model bahasa. Sebagai hasilnya, perilaku jeda/mulai diaktifkan ketika model bahasa besar belum menyelesaikan generasi respons untuk permintaan saat ini.

Untuk mengatasi tantangan di atas, AIOS, sebuah sistem operasi model bahasa besar, menyediakan agregasi dan isolasi modul dari fungsi LLM dan OS. Kerangka AIOS mengusulkan desain kernel LLM khusus dalam upaya untuk menghindari konflik potensial yang muncul antara tugas yang terkait dan tidak terkait dengan model bahasa besar. Kernel yang diusulkan memisahkan tugas-tugas sistem operasi, terutama yang mengawasi agen LLM, toolkit pengembangan, dan sumber daya yang sesuai. Sebagai hasil dari pemisahan ini, kernel LLM berusaha untuk meningkatkan koordinasi dan manajemen kegiatan yang terkait dengan LLM.

AIOS : Metodologi dan Arsitektur

Seperti yang dapat Anda lihat, ada enam mekanisme utama yang terlibat dalam kerja kerangka AIOS.

• Pengatur Agen: Tugas yang diberikan kepada pengatur agen adalah untuk menjadwalkan dan memprioritaskan permintaan agen dalam upaya untuk mengoptimalkan penggunaan model bahasa besar.

• Manajer Konteks: Tugas yang diberikan kepada manajer konteks adalah untuk mendukung snapshot serta memulihkan status generasi intermediate dalam model bahasa besar, serta manajemen jendela konteks model bahasa besar.

• Manajer Memori: Tanggung jawab utama manajer memori adalah untuk menyediakan memori jangka pendek untuk log interaksi untuk setiap agen.

• Manajer Penyimpanan: Manajer penyimpanan bertanggung jawab untuk mempertahankan log interaksi agen ke penyimpanan jangka panjang untuk pengambilan di masa depan.

• Manajer Alat: Mekanisme manajer alat mengelola panggilan agen ke alat API eksternal.

• Manajer Akses: Manajer akses menerapkan kontrol akses dan kebijakan privasi antara agen.

Selain mekanisme di atas, kerangka AIOS memiliki arsitektur berlapis, dan terbagi menjadi tiga lapisan yang berbeda: lapisan aplikasi, lapisan kernel, dan lapisan perangkat keras. Arsitektur berlapis yang diimplementasikan oleh kerangka AIOS memastikan bahwa tanggung jawab didistribusikan secara merata di seluruh sistem, dan lapisan yang lebih tinggi mengabstraksi kompleksitas lapisan di bawahnya, memungkinkan interaksi menggunakan modul atau antarmuka tertentu, meningkatkan modularitas, dan mempermudah interaksi sistem antara lapisan.

Memulai dari lapisan aplikasi, lapisan ini digunakan untuk mengembangkan dan menerapkan agen aplikasi seperti agen matematika atau agen perjalanan. Di lapisan aplikasi, kerangka AIOS menyediakan Kit Pengembangan Perangkat Lunak AIOS (AIOS SDK) dengan abstraksi sistem panggilan yang lebih tinggi yang mempermudah proses pengembangan untuk pengembang agen. Kit pengembangan perangkat lunak yang ditawarkan oleh AIOS menawarkan toolkit yang kaya untuk memfasilitasi pengembangan aplikasi agen dengan mengabstraksi kompleksitas fungsi sistem tingkat rendah, memungkinkan pengembang untuk fokus pada fungsionalitas dan logika esensial agen mereka, menghasilkan proses pengembangan yang lebih efisien.

Selanjutnya, lapisan kernel dibagi menjadi dua komponen: kernel LLM dan kernel OS. Kedua kernel OS dan kernel LLM melayani kebutuhan unik operasi LLM dan non-LLM, dengan perbedaan yang memungkinkan kernel LLM untuk fokus pada tugas-tugas khusus model bahasa besar, termasuk penjadwalan agen dan manajemen konteks, kegiatan yang penting untuk menangani kegiatan yang terkait dengan model bahasa besar. Kerangka AIOS berkonsentrasi terutama pada meningkatkan kernel model bahasa besar tanpa mengubah struktur kernel OS yang ada secara signifikan. Kernel LLM dilengkapi dengan beberapa modul kunci, termasuk pengatur agen, manajer memori, manajer konteks, manajer penyimpanan, manajer akses, manajer alat, dan antarmuka sistem panggilan LLM. Komponen dalam lapisan kernel dirancang untuk menangani kebutuhan eksekusi yang beragam dari aplikasi agen, memastikan eksekusi dan manajemen yang efektif dalam kerangka AIOS.

Akhirnya, kita memiliki lapisan perangkat keras yang terdiri dari komponen fisik sistem, termasuk GPU, CPU, perangkat periferal, disk, dan memori. Penting untuk memahami bahwa sistem kernel LLM tidak dapat berinteraksi langsung dengan perangkat keras, dan panggilan ini antarmuka dengan panggilan sistem operasi yang pada gilirannya mengelola sumber daya perangkat keras. Interaksi tidak langsung antara sistem kernel LLM dan sumber daya perangkat keras menciptakan lapisan keamanan dan abstraksi, memungkinkan kernel LLM untuk memanfaatkan kemampuan sumber daya perangkat keras tanpa memerlukan pengelolaan perangkat keras secara langsung, memfasilitasi pemeliharaan integritas dan efisiensi sistem.

Implementasi

Seperti yang disebutkan di atas, ada enam mekanisme utama yang terlibat dalam kerja kerangka AIOS. Pengatur agen dirancang untuk mengelola permintaan agen dengan cara yang efisien, dan memiliki beberapa langkah eksekusi yang berbeda dari paradigma eksekusi sekuen yang tradisional, di mana agen memproses tugas-tugas dalam cara linear dengan langkah-langkah dari agen yang sama diproses terlebih dahulu sebelum beralih ke agen berikutnya, menghasilkan waktu tunggu yang lebih lama untuk tugas-tugas yang muncul kemudian dalam urutan eksekusi. Pengatur agen menggunakan strategi seperti Round Robin, First In First Out, dan algoritma penjadwalan lainnya untuk mengoptimalkan proses.

Manajer konteks dirancang untuk mengelola konteks yang diberikan kepada model bahasa besar, dan proses generasi yang diberikan konteks tertentu. Manajer konteks melibatkan dua komponen kritis: snapshot konteks dan pemulihan, serta manajemen jendela konteks. Mekanisme snapshot konteks dan pemulihan yang ditawarkan oleh kerangka AIOS membantu dalam mengatasi situasi di mana pengatur menangguhkan permintaan agen seperti yang ditunjukkan pada gambar berikut.

Seperti yang ditunjukkan pada gambar berikut, tanggung jawab manajer memori adalah untuk mengelola memori jangka pendek dalam siklus hidup agen, dan memastikan data disimpan dan dapat diakses hanya ketika agen aktif, baik selama runtime atau ketika agen menunggu eksekusi.

Di sisi lain, manajer penyimpanan bertanggung jawab untuk melestarikan data dalam jangka panjang, dan mengawasi penyimpanan informasi yang perlu dipertahankan untuk jangka waktu yang tidak terbatas, melampaui umur aktivitas agen individual. Kerangka AIOS mencapai penyimpanan permanen menggunakan berbagai media yang tahan lama, termasuk solusi berbasis cloud, basis data, dan file lokal, memastikan ketersediaan dan integritas data. Selain itu, dalam kerangka AIOS, manajer alat mengelola berbagai alat API yang meningkatkan fungsionalitas model bahasa besar, dan tabel berikut merangkum bagaimana manajer alat mengintegrasikan alat-alat yang umum digunakan dari berbagai sumber, dan mengklasifikasikan mereka ke dalam kategori yang berbeda.

Manajer akses mengatur operasi kontrol akses dalam agen yang berbeda dengan mengadministrasikan grup privilegi yang didedikasikan untuk setiap agen, dan menolak akses agen ke sumber daya jika mereka tidak termasuk dalam grup privilegi agen. Selain itu, manajer akses juga bertanggung jawab untuk mengompilasi dan mempertahankan log audit yang meningkatkan transparansi sistem lebih lanjut.

AIOS : Eksperimen dan Hasil

Evaluasi kerangka AIOS dipandu oleh dua pertanyaan penelitian: pertama, bagaimana kinerja penjadwalan AIOS dalam meningkatkan keseimbangan waktu tunggu dan waktu putaran, dan kedua, apakah respons model bahasa besar terhadap permintaan agen konsisten setelah penangguhan agen?

Untuk menjawab pertanyaan konsistensi, pengembang menjalankan setiap tiga agen secara individual, dan kemudian menjalankan agen-agen ini secara paralel, dan berusaha untuk menangkap output mereka pada setiap tahap. Seperti yang ditunjukkan pada tabel berikut, skor BERT dan BLEU mencapai nilai 1,0, menunjukkan keselarasan sempurna antara output yang dihasilkan dalam konfigurasi agen tunggal dan multi-agen.

Untuk menjawab pertanyaan efisiensi, pengembang melakukan analisis komparatif antara kerangka AIOS yang menggunakan penjadwalan FIFO atau First In First Out, dan pendekatan yang tidak dijadwalkan, di mana agen-agen dijalankan secara bersamaan. Dalam pengaturan yang tidak dijadwalkan, agen-agen dijalankan dalam urutan sekuen yang telah ditentukan: Agen Matematika, Agen Narasi, dan Agen Rekomendasi. Untuk menilai efisiensi temporal, kerangka AIOS menggunakan dua metrik: waktu tunggu, dan waktu putaran, dan karena agen-agen mengirimkan beberapa permintaan ke model bahasa besar, waktu tunggu dan waktu putaran untuk agen individual dihitung sebagai rata-rata waktu tunggu dan waktu putaran untuk semua permintaan. Seperti yang ditunjukkan pada tabel berikut, pendekatan yang tidak dijadwalkan menampilkan kinerja yang memuaskan untuk agen-agen yang lebih awal dalam urutan, tetapi menderita waktu tunggu dan waktu putaran yang lebih lama untuk agen-agen yang kemudian dalam urutan. Di sisi lain, pendekatan penjadwalan yang diimplementasikan oleh kerangka AIOS mengatur baik waktu tunggu dan waktu putaran secara efektif.

Pemikiran Akhir

Dalam artikel ini, kita telah membahas AIOS, sebuah sistem operasi agen LLM yang dirancang untuk mengintegrasikan model bahasa besar ke dalam OS sebagai “otak” sistem operasi, memungkinkan sistem operasi dengan “jiwa”. Secara khusus, kerangka AIOS dirancang untuk memfasilitasi switching konteks di antara agen, mengoptimalkan alokasi sumber daya, menyediakan layanan alat untuk agen, mempertahankan kontrol akses untuk agen, dan memungkinkan eksekusi agen secara bersamaan. Arsitektur AIOS menunjukkan potensi untuk memfasilitasi pengembangan dan penerapan agen otonom berbasis model bahasa besar, menghasilkan ekosistem AIOS-Agen yang lebih efektif, kohesif, dan efisien.