AIOS: Sistem Operasi untuk Agen LLM

Selama enam dekade terakhir, sistem operasi telah berkembang secara progresif, berkembang dari sistem dasar menjadi sistem operasi yang kompleks dan interaktif yang mendukung perangkat masa kini. Awalnya, sistem operasi berfungsi sebagai jembatan antara fungsi biner perangkat keras komputer, seperti manipulasi gerbang, dan tugas tingkat pengguna. Namun, selama bertahun-tahun, mereka telah berkembang dari sistem pemrosesan pekerjaan batch yang sederhana menjadi teknik manajemen proses yang lebih canggih, termasuk multitasking dan pembagian waktu. Kemajuan ini telah memungkinkan sistem operasi modern untuk mengelola beragam tugas kompleks. Pengenalan antarmuka pengguna grafis (GUI) seperti Windows dan MacOS telah menjadikan sistem operasi modern lebih ramah pengguna dan interaktif, sekaligus memperluas ekosistem OS dengan pustaka runtime dan rangkaian alat pengembang yang komprehensif.

Inovasi terbaru mencakup integrasi dan penerapan Model Bahasa Besar (LLMs), yang telah merevolusi berbagai industri dengan membuka kemungkinan-kemungkinan baru. Baru-baru ini, agen cerdas berbasis LLM telah menunjukkan kemampuan luar biasa, mencapai kinerja seperti manusia dalam berbagai tugas. Namun, agen ini masih dalam tahap awal pengembangan, dan teknik yang ada saat ini menghadapi beberapa tantangan yang mempengaruhi efisiensi dan efektivitasnya. Masalah umum mencakup penjadwalan permintaan agen yang kurang optimal pada model bahasa besar, kompleksitas dalam mengintegrasikan agen dengan spesialisasi berbeda, dan menjaga konteks selama interaksi antara LLM dan agen. Perkembangan pesat dan meningkatnya kompleksitas agen berbasis LLM sering menyebabkan kemacetan dan penggunaan sumber daya yang kurang optimal.

Untuk mengatasi tantangan ini, artikel ini akan membahas AIOS, sistem operasi agen LLM yang dirancang untuk mengintegrasikan model bahasa besar sebagai 'otak' dari sistem operasi, yang secara efektif memberinya 'jiwa'. Secara khusus, kerangka kerja AIOS bertujuan untuk memfasilitasi peralihan konteks antar agen, mengoptimalkan alokasi sumber daya, menyediakan layanan alat untuk agen, mempertahankan kontrol akses, dan memungkinkan eksekusi agen secara bersamaan. Kami akan mempelajari lebih dalam kerangka AIOS, mengeksplorasi mekanisme, metodologi, dan arsitekturnya, serta membandingkannya dengan kerangka kerja yang canggih. Mari selami.

Setelah mencapai kesuksesan luar biasa dalam model bahasa besar, fokus industri AI dan ML berikutnya adalah mengembangkan agen AI otonom yang dapat beroperasi secara independen, mengambil keputusan sendiri, dan melakukan tugas dengan sedikit atau tanpa intervensi manusia. Agen cerdas berbasis AI ini dirancang untuk memahami instruksi manusia, memproses informasi, membuat keputusan, dan mengambil tindakan yang tepat untuk mencapai keadaan otonom, dengan munculnya dan pengembangan model bahasa besar yang membawa kemungkinan baru pada pengembangan agen otonom ini. Kerangka kerja LLM saat ini termasuk DALL-E, GPT, dan lainnya telah menunjukkan kemampuan luar biasa untuk memahami instruksi manusia, kemampuan penalaran dan pemecahan masalah, dan berinteraksi dengan pengguna manusia serta lingkungan eksternal. Dibangun di atas model bahasa besar yang kuat dan mumpuni ini, agen berbasis LLM memiliki kemampuan pemenuhan tugas yang kuat di beragam lingkungan mulai dari asisten virtual, hingga sistem yang lebih kompleks dan canggih yang melibatkan pembuatan pemecahan masalah, penalaran, perencanaan, dan pelaksanaan. 

Gambar di atas memberikan contoh menarik tentang bagaimana agen otonom berbasis LLM dapat menyelesaikan tugas-tugas dunia nyata. Pengguna meminta sistem untuk informasi perjalanan, setelah itu agen perjalanan memecah tugas menjadi langkah-langkah yang dapat dieksekusi. Kemudian agen melakukan langkah-langkah secara berurutan, memesan penerbangan, memesan hotel, memproses pembayaran, dan lainnya. Saat menjalankan langkah-langkah tersebut, apa yang membedakan agen ini dari aplikasi perangkat lunak tradisional adalah kemampuan agen untuk menunjukkan kemampuan pengambilan keputusan, dan menggabungkan alasan dalam pelaksanaan langkah-langkah tersebut. Seiring dengan pertumbuhan eksponensial dalam kualitas tersebut agen otonom, beban pada fungsionalitas model bahasa besar, dan sistem operasi telah mengalami peningkatan, dan contohnya adalah memprioritaskan dan menjadwalkan permintaan agen dalam model bahasa besar yang terbatas menimbulkan tantangan yang signifikan. Selain itu, karena proses pembangkitan model bahasa yang besar menjadi tugas yang memakan waktu ketika berhadapan dengan konteks yang panjang, penjadwal mungkin saja menunda pembangkitan yang dihasilkan, sehingga menimbulkan masalah dalam merancang mekanisme untuk mengambil snapshot dari hasil pembangkitan model bahasa saat ini. . Akibatnya, perilaku jeda/lanjutkan diaktifkan ketika model bahasa besar belum menyelesaikan pembuatan respons untuk permintaan saat ini. 

Untuk mengatasi tantangan yang disebutkan di atas, AIOS, sistem operasi model bahasa besar menyediakan agregasi dan isolasi modul fungsi LLM dan OS. Kerangka kerja AIOS mengusulkan desain kernel khusus LLM dalam upaya untuk menghindari potensi konflik yang timbul antara tugas yang terkait dan tidak terkait dengan model bahasa besar. Kernel yang diusulkan memisahkan tugas-tugas seperti sistem operasi, terutama yang mengawasi agen LLM, perangkat pengembangan, dan sumber daya terkait. Sebagai akibat dari pemisahan ini, kernel LLM berupaya meningkatkan koordinasi dan pengelolaan kegiatan yang berkaitan dengan LLM. 

AIOS: Metodologi dan Arsitektur

Seperti yang Anda amati, ada enam mekanisme utama yang terlibat dalam cara kerja kerangka AIOS. 

• Penjadwal Agen: Tugas yang diberikan kepada penjadwal agen adalah menjadwalkan dan memprioritaskan permintaan agen dalam upaya mengoptimalkan pemanfaatan model bahasa besar. 

• Manajer Konteks: Tugas yang diberikan kepada manajer konteks adalah untuk mendukung snapshot bersama dengan memulihkan status generasi perantara dalam model bahasa besar, dan manajemen jendela konteks model bahasa besar. 

• Manajer Memori: Tanggung jawab utama manajer memori adalah menyediakan memori jangka pendek untuk log interaksi setiap agen. 

• Storage Manager: Manajer penyimpanan bertanggung jawab untuk menyimpan log interaksi agen ke penyimpanan jangka panjang untuk pengambilan di masa mendatang. 

• Manajer Alat: Mekanisme pengelola alat mengelola panggilan agen ke alat API eksternal. 

• Manajer Akses: Manajer akses menerapkan kebijakan privasi dan kontrol akses antar agen. 

Selain mekanisme yang disebutkan di atas, kerangka AIOS memiliki arsitektur berlapis, dan dibagi menjadi tiga lapisan berbeda: lapisan aplikasi, lapisan kernel, dan lapisan perangkat keras. Arsitektur berlapis yang diterapkan oleh kerangka AIOS memastikan tanggung jawab didistribusikan secara merata ke seluruh sistem, dan lapisan yang lebih tinggi mengabstraksi kompleksitas lapisan di bawahnya, memungkinkan interaksi menggunakan modul atau antarmuka tertentu, meningkatkan modularitas, dan menyederhanakan interaksi sistem antar sistem. lapisan. 

Dimulai dengan lapisan aplikasi, lapisan ini digunakan untuk mengembangkan dan menyebarkan agen aplikasi seperti agen matematika atau perjalanan. Pada lapisan aplikasi, kerangka AIOS menyediakan kit pengembangan perangkat lunak AIOS (AIOS SDK) dengan abstraksi panggilan sistem yang lebih tinggi yang menyederhanakan proses pengembangan untuk pengembang agen. Kit pengembangan perangkat lunak yang ditawarkan oleh AIOS menawarkan perangkat yang kaya untuk memfasilitasi pengembangan aplikasi agen dengan mengabstraksikan kompleksitas fungsi sistem tingkat rendah, memungkinkan pengembang untuk fokus pada fungsionalitas dan logika penting agen mereka, sehingga menghasilkan pengembangan yang lebih efisien. proses. 

Selanjutnya, lapisan kernel dibagi lagi menjadi dua komponen: kernel LLM, dan kernel OS. Baik kernel OS maupun kernel LLM melayani persyaratan unik operasi khusus LLM dan non-LLM, dengan perbedaan yang memungkinkan kernel LLM fokus pada tugas spesifik model bahasa besar termasuk penjadwalan agen dan manajemen konteks, aktivitas yang penting untuk menangani aktivitas terkait dengan model bahasa besar. Kerangka kerja AIOS berkonsentrasi terutama pada peningkatan kernel model bahasa besar tanpa mengubah struktur kernel OS yang ada secara signifikan. Kernel LLM dilengkapi dengan beberapa modul utama termasuk penjadwal agen, manajer memori, manajer konteks, manajer penyimpanan, manajer akses, manajer alat, dan antarmuka panggilan sistem LLM. Komponen dalam lapisan kernel dirancang sebagai upaya untuk memenuhi beragam kebutuhan eksekusi aplikasi agen, memastikan eksekusi dan manajemen yang efektif dalam kerangka AIOS. 

Terakhir, kita memiliki lapisan perangkat keras yang terdiri dari komponen fisik sistem termasuk GPU, CPU, perangkat periferal, disk, dan memori. Penting untuk dipahami bahwa sistem kernel LLM tidak dapat berinteraksi dengan perangkat keras secara langsung, dan panggilan ini berinteraksi dengan panggilan sistem sistem operasi yang pada gilirannya mengelola sumber daya perangkat keras. Interaksi tidak langsung antara sistem karnel LLM dan sumber daya perangkat keras menciptakan lapisan keamanan dan abstraksi, memungkinkan kernel LLM memanfaatkan kemampuan sumber daya perangkat keras tanpa memerlukan pengelolaan perangkat keras secara langsung, sehingga memfasilitasi pemeliharaan integritas dan efisiensi sistem. . 

Organisasi

Seperti disebutkan di atas, ada enam mekanisme utama yang terlibat dalam kerja kerangka AIOS. Penjadwal agen dirancang sedemikian rupa sehingga mampu mengelola permintaan agen dengan cara yang efisien, dan memiliki beberapa langkah eksekusi yang bertentangan dengan paradigma eksekusi sekuensial tradisional di mana agen memproses tugas secara linier dengan langkah-langkah dari yang sama. agen diproses terlebih dahulu sebelum berpindah ke agen berikutnya, sehingga meningkatkan waktu tunggu untuk tugas yang muncul kemudian dalam urutan eksekusi. Penjadwal agen menggunakan strategi seperti Round Robin, First In First Out, dan algoritma penjadwalan lainnya untuk mengoptimalkan proses. 

Manajer konteks telah dirancang sedemikian rupa sehingga bertanggung jawab untuk mengelola konteks yang disediakan untuk model bahasa besar, dan proses pembuatannya berdasarkan konteks tertentu. Manajer konteks melibatkan dua komponen penting: snapshot dan pemulihan konteks, dan manajemen jendela konteks. Mekanisme snapshot dan restorasi konteks yang ditawarkan oleh kerangka kerja AIOS membantu dalam memitigasi situasi di mana penjadwal menangguhkan permintaan agen seperti yang ditunjukkan pada gambar berikut. 

Seperti yang ditunjukkan dalam gambar berikut, manajer memori bertanggung jawab untuk mengelola memori jangka pendek dalam siklus hidup agen, dan memastikan data disimpan dan dapat diakses hanya saat agen aktif, baik saat runtime atau saat agen sedang menunggu. untuk eksekusi. 

Di sisi lain, manajer penyimpanan bertanggung jawab untuk menjaga data dalam jangka panjang, dan mengawasi penyimpanan informasi yang perlu disimpan untuk jangka waktu tidak terbatas, melebihi masa aktivitas agen individu. Kerangka kerja AISO mencapai penyimpanan permanen menggunakan berbagai media yang tahan lama termasuk solusi berbasis cloud, database, dan file lokal, sehingga memastikan ketersediaan dan integritas data. Selain itu, dalam kerangka AISO, manajer alatlah yang mengelola beragam alat API yang meningkatkan fungsionalitas model bahasa besar, dan tabel berikut merangkum bagaimana manajer alat mengintegrasikan alat yang umum digunakan dari berbagai sumber, dan mengklasifikasikannya ke dalam kategori yang berbeda. 

Manajer akses mengatur operasi kontrol akses secara berbeda agen dengan mengelola grup hak istimewa khusus untuk setiap agen, dan menolak akses agen ke sumber dayanya jika mereka dikecualikan dari grup hak istimewa agen. Selain itu, manajer akses juga bertanggung jawab untuk mengumpulkan dan memelihara log audit yang lebih meningkatkan transparansi sistem. 

AIOS: Eksperimen dan Hasil

Evaluasi kerangka AIOS dipandu oleh dua pertanyaan penelitian: pertama, bagaimana kinerja penjadwalan AIOS dalam meningkatkan keseimbangan waktu tunggu dan penyelesaian, dan kedua, apakah respons LLM terhadap permintaan agen konsisten setelah penangguhan agen?

Untuk menjawab pertanyaan konsistensi, pengembang menjalankan masing-masing dari ketiga agen secara individual, dan selanjutnya, mengeksekusi agen-agen ini secara paralel, dan berupaya untuk menangkap output mereka pada setiap tahap. Seperti yang ditunjukkan pada tabel berikut, skor BERT dan BLEU mencapai nilai 1.0, yang menunjukkan keselarasan sempurna antara keluaran yang dihasilkan dalam konfigurasi agen tunggal dan multi-agen. 

Untuk menjawab pertanyaan efisiensi, pengembang melakukan analisis komparatif antara kerangka AIOS yang menggunakan penjadwalan FIFO atau First In First Out, dan pendekatan tidak terjadwal, di mana agen berjalan secara bersamaan. Dalam pengaturan tidak terjadwal, agen dieksekusi dalam urutan berurutan yang telah ditentukan sebelumnya: Agen matematika, Agen narasi, dan agen rec. Untuk menilai efisiensi temporal, kerangka AIOS menggunakan dua metrik: waktu tunggu, dan waktu penyelesaian, dan karena agen mengirimkan banyak permintaan ke model bahasa besar, waktu tunggu dan waktu penyelesaian untuk masing-masing agen dihitung sebagai rata-rata dari waktu tunggu dan waktu penyelesaian untuk semua permintaan. Seperti yang ditunjukkan dalam tabel berikut, pendekatan tidak terjadwal menampilkan kinerja yang memuaskan untuk agen di awal rangkaian, namun mengalami perpanjangan waktu tunggu dan waktu penyelesaian untuk agen di akhir rangkaian. Di sisi lain, pendekatan penjadwalan yang diterapkan oleh kerangka AIOS mengatur waktu tunggu dan waktu penyelesaian secara efektif. 

Final Thoughts

Pada artikel ini kita telah membahas tentang AIOS, sistem operasi agen LLM yang dirancang dalam upaya menanamkan model bahasa besar ke dalam OS sebagai otak dari OS, sehingga memungkinkan sistem operasi dengan jiwa. Untuk lebih spesifiknya, kerangka kerja AIOS dirancang dengan tujuan untuk memfasilitasi peralihan konteks antar agen, mengoptimalkan alokasi sumber daya, menyediakan layanan alat untuk agen, mempertahankan kontrol akses untuk agen, dan memungkinkan eksekusi agen secara bersamaan. Arsitektur AISO menunjukkan potensi untuk memfasilitasi pengembangan dan penerapan agen otonom berbasis model bahasa besar, menghasilkan ekosistem Agen AIOS yang lebih efektif, kohesif, dan efisien.