AIOS: Yüksek Lisans Temsilcileri için İşletim Sistemi

Son altmış yılda, işletim sistemleri giderek gelişerek temel sistemlerden günümüz cihazlarını çalıştıran karmaşık ve etkileşimli işletim sistemlerine doğru ilerledi. Başlangıçta işletim sistemleri, kapı manipülasyonu gibi bilgisayar donanımının ikili işlevleri ile kullanıcı düzeyindeki görevler arasında bir köprü görevi gördü. Ancak yıllar içinde, basit toplu iş işleme sistemlerinden çoklu görev ve zaman paylaşımı gibi daha gelişmiş süreç yönetimi tekniklerine doğru geliştiler. Bu gelişmeler, modern işletim sistemlerinin çok çeşitli karmaşık görevleri yönetmesini sağladı. Windows ve macOS gibi grafiksel kullanıcı arayüzlerinin (GUI) piyasaya sürülmesi, modern işletim sistemlerini daha kullanıcı dostu ve etkileşimli hale getirirken, aynı zamanda işletim sistemi ekosistemini çalışma zamanı kütüphaneleri ve kapsamlı bir geliştirici araçları paketiyle genişletti.

Son yenilikler arasında entegrasyon ve dağıtım yer almaktadır. Büyük Dil Modelleri (LLM'ler), yeni olanakların kilidini açarak çeşitli endüstrilerde devrim yaratan. Daha yakın zamanlarda, LLM tabanlı akıllı aracılar, geniş bir görev yelpazesinde insan benzeri performansa ulaşarak olağanüstü yetenekler sergilediler. Bununla birlikte, bu ajanlar henüz geliştirme aşamasındadır ve mevcut teknikler, bunların verimliliğini ve etkinliğini etkileyen çeşitli zorluklarla karşı karşıyadır. Yaygın sorunlar arasında, geniş dil modeli üzerinden aracı isteklerinin optimumun altında planlanması, farklı uzmanlıklara sahip aracıların entegrasyonundaki karmaşıklıklar ve LLM ile aracı arasındaki etkileşimler sırasında bağlamın korunması yer alır. LLM tabanlı acentelerin hızlı gelişimi ve artan karmaşıklığı sıklıkla darboğazlara ve optimal olmayan kaynak kullanımına yol açmaktadır.

Bu zorlukların üstesinden gelmek için bu makalede, işletim sisteminin "beyni" olarak büyük dil modellerini entegre ederek ona bir "ruh" kazandırmak üzere tasarlanmış bir LLM aracı işletim sistemi olan AIOS ele alınacaktır. AIOS çerçevesi, özellikle aracılar arasında bağlam geçişini kolaylaştırmayı, kaynak tahsisini optimize etmeyi, aracılar için araç hizmetleri sağlamayı, erişim kontrolünü sürdürmeyi ve aracıların eşzamanlı yürütülmesini sağlamayı amaçlamaktadır. AIOS çerçevesini derinlemesine inceleyecek, mekanizmalarını, metodolojisini ve mimarisini inceleyecek ve en son teknoloji çerçevelerle karşılaştıracağız. Hadi başlayalım.

Büyük dil modellerinde dikkate değer bir başarı elde ettikten sonra, yapay zeka ve makine öğrenimi endüstrisinin bir sonraki odak noktası, bağımsız olarak çalışabilen, kendi başına kararlar alabilen ve minimum insan müdahalesiyle veya hiç insan müdahalesi olmadan görevleri yerine getirebilen özerk yapay zeka aracıları geliştirmektir. Bu yapay zeka tabanlı akıllı aracılar, insan talimatlarını anlamak, bilgileri işlemek, kararlar almak ve özerk bir duruma ulaşmak için uygun eylemleri gerçekleştirmek üzere tasarlanmıştır; büyük dil modellerinin ortaya çıkışı ve geliştirilmesi, bu özerk aracıların gelişimine yeni olanaklar getirir. DALL-E, GPT ve daha fazlasını içeren mevcut LLM çerçeveleri, insan talimatlarını anlama, akıl yürütme ve problem çözme yetenekleri ve dış ortamlarla birlikte insan kullanıcılarla etkileşim kurma konusunda olağanüstü yetenekler göstermiştir. Bu güçlü ve yetenekli büyük dil modellerinin üzerine inşa edilen LLM tabanlı aracılar, sanal asistanlardan problem çözme, akıl yürütme, planlama ve yürütmeyi içeren daha karmaşık ve sofistike sistemlere kadar çeşitli ortamlarda güçlü görev yerine getirme yeteneklerine sahiptir. 

Yukarıdaki şekil, LLM tabanlı bir otonom aracının gerçek dünyadaki görevleri nasıl çözebileceğine dair ilgi çekici bir örnek vermektedir. Kullanıcı sistemden bir yolculuk bilgisi talep eder ve bunun ardından seyahat acentesi görevi yürütülebilir adımlara ayırır. Daha sonra temsilci, uçuş rezervasyonu yapma, otel rezervasyonu yapma, ödemeleri işleme koyma ve daha fazlasını yaparak adımları sırayla gerçekleştirir. Adımları yürütürken, bu aracıları geleneksel yazılım uygulamalarından ayıran şey, aracıların karar verme yeteneklerini gösterme ve adımların yürütülmesine akıl yürütmeyi dahil etme yeteneğidir. Bunların kalitesinde katlanarak artan bir büyümenin yanı sıra özerk ajanlar, büyük dil modellerinin ve işletim sistemlerinin işlevleri üzerindeki baskı bir artışa tanık oldu ve bunun bir örneği, sınırlı büyük dil modellerinde aracı isteklerini önceliklendirmenin ve planlamanın önemli bir zorluk teşkil etmesidir. Ayrıca, büyük dil modellerinin üretim süreci, uzun bağlamlarla uğraşırken zaman alıcı bir görev haline geldiğinden, zamanlayıcının sonuçta ortaya çıkan üretimi askıya alması mümkündür, bu da dil modelinin mevcut üretim sonucunun anlık görüntüsünü alacak bir mekanizma tasarlama sorununu ortaya çıkarır. . Bunun sonucunda, büyük dil modeli mevcut istek için yanıt oluşturma işlemini tamamlamadığında duraklatma/devam ettirme davranışı etkinleştirilir. 

Yukarıda belirtilen zorlukların üstesinden gelmek için, büyük bir dil modeli işletim sistemi olan AIOS, LLM ve işletim sistemi işlevlerinin toplanmasını ve modül izolasyonunu sağlar. AIOS çerçevesi, büyük dil modeliyle ilişkili ve ilişkili olmayan görevler arasında ortaya çıkan potansiyel çatışmaları önlemek amacıyla Yüksek Lisans'a özgü bir çekirdek tasarımı önermektedir. Önerilen çekirdek, işletim sistemini, özellikle LLM aracılarını, geliştirme araç takımlarını ve bunlara karşılık gelen kaynakları denetleyen görevler gibi ayırır. Bu ayrımın bir sonucu olarak, LLM çekirdeği, LLM'lerle ilgili faaliyetlerin koordinasyonunu ve yönetimini geliştirmeye çalışır. 

AIOS : Metodoloji ve Mimari

Gördüğünüz gibi AIOS çerçevesinin çalışmasında altı ana mekanizma yer alıyor. 

• Temsilci Zamanlayıcı: Aracı planlayıcıya atanan görev, geniş dil modelinin kullanımını optimize etmek amacıyla aracı isteklerini planlamak ve önceliklendirmektir. 

• Bağlam Yöneticisi: Bağlam yöneticisine atanan görev, büyük dil modelinde ara oluşturma durumunu geri yüklemenin yanı sıra anlık görüntüleri desteklemek ve büyük dil modelinin bağlam penceresi yönetimini sağlamaktır. 

• Bellek Yöneticisi: Bellek yöneticisinin birincil sorumluluğu, her aracının etkileşim günlüğü için kısa süreli bellek sağlamaktır. 

• Storage Manager: Depolama yöneticisi, aracıların etkileşim günlüklerinin gelecekte alınabilmesi için uzun vadeli depolamaya devam ettirilmesinden sorumludur. 

• Araç Yöneticisi: Araç yöneticisi mekanizması, aracıların harici API araçlarına çağrısını yönetir. 

• Erişim Yöneticisi: Erişim yöneticisi, aracılar arasında gizlilik ve erişim kontrolü politikalarını uygular. 

Yukarıda belirtilen mekanizmalara ek olarak, AIOS çerçevesi katmanlı bir mimariye sahiptir ve üç ayrı katmana bölünmüştür: uygulama katmanı, çekirdek katmanı ve donanım katmanı. AIOS çerçevesi tarafından uygulanan katmanlı mimari, sorumlulukların sistem genelinde eşit şekilde dağıtılmasını sağlar ve daha yüksek katmanlar, altlarındaki katmanların karmaşıklığını soyutlayarak belirli modüller veya arayüzler kullanan etkileşimlere izin verir, modülerliği artırır ve birimler arasındaki sistem etkileşimlerini basitleştirir. katmanlar. 

Uygulama katmanıyla başlayarak bu katman, matematik veya seyahat acenteleri gibi uygulama aracılarını geliştirmek ve dağıtmak için kullanılır. Uygulama katmanında AIOS çerçevesi, AIOS yazılım geliştirme kitine (AIOS SDK) aracı geliştiriciler için geliştirme sürecini basitleştiren daha yüksek sistem çağrıları soyutlaması sağlar. AIOS tarafından sunulan yazılım geliştirme kiti, alt düzey sistem işlevlerinin karmaşıklıklarını ortadan kaldırarak aracı uygulamalarının geliştirilmesini kolaylaştıran zengin bir araç seti sunarak geliştiricilerin aracılarının işlevlerine ve temel mantığına odaklanmasına olanak tanıyarak daha verimli bir geliştirme sağlar. işlem. 

Devam edersek, çekirdek katmanı iki bileşene daha ayrılır: LLM çekirdeği ve işletim sistemi çekirdeği. Hem işletim sistemi çekirdeği hem de LLM çekirdeği, LLM'ye özgü olan ve LLM olmayan operasyonların benzersiz gereksinimlerini karşılar; bu ayrım, LLM çekirdeğinin, aracı planlama ve bağlam yönetimi dahil olmak üzere geniş dil modeline özgü görevlere, etkinliklerin yönetimi için gerekli olan faaliyetlere odaklanmasına olanak tanır. büyük dil modelleriyle ilgilidir. AIOS çerçevesi öncelikle mevcut işletim sistemi çekirdeğinin yapısını önemli ölçüde değiştirmeden büyük dil modeli çekirdeğini geliştirmeye odaklanır. LLM çekirdeği, aracı zamanlayıcı, bellek yöneticisi, içerik yöneticisi, depolama yöneticisi, erişim yöneticisi, araç yöneticisi ve LLM sistem çağrı arayüzü dahil olmak üzere çeşitli temel modüllerle donatılmıştır. Çekirdek katmanındaki bileşenler, çeşitli yürütme ihtiyaçlarını karşılamak amacıyla tasarlanmıştır. AIOS çerçevesinde etkili yürütme ve yönetim sağlayan aracı uygulamaları. 

Son olarak, GPU, CPU, çevresel aygıtlar, disk ve bellek gibi sistemin fiziksel bileşenlerini içeren donanım katmanına sahibiz. LLM çekirdeklerinin sisteminin donanımla doğrudan etkileşime giremeyeceğini ve bu çağrıların, donanım kaynaklarını yöneten işletim sisteminin sistem çağrılarıyla arayüz oluşturduğunu anlamak önemlidir. LLM karnel sistemi ile donanım kaynakları arasındaki bu dolaylı etkileşim, bir güvenlik ve soyutlama katmanı oluşturarak LLM çekirdeğinin, donanımın doğrudan yönetimini gerektirmeden donanım kaynaklarının yeteneklerinden yararlanmasına olanak tanıyarak sistemin bütünlüğünün ve verimliliğinin korunmasını kolaylaştırır. . 

Uygulama

Yukarıda bahsedildiği gibi AIOS çerçevesinin çalışmasına dahil olan altı ana mekanizma vardır. Ajan zamanlayıcı, ajan isteklerini verimli bir şekilde yönetebilecek şekilde tasarlanmıştır ve ajanın görevleri aynı noktadan gelen adımlarla doğrusal bir şekilde işlediği geleneksel sıralı yürütme paradigmasının aksine birkaç yürütme adımına sahiptir. Bir sonraki aracıya geçmeden önce ilk önce aracı işlenir, bu da yürütme sırasında daha sonra ortaya çıkan görevler için bekleme sürelerinin artmasına neden olur. Temsilci zamanlayıcı, süreci optimize etmek için Round Robin, First In First Out gibi stratejileri ve diğer planlama algoritmalarını kullanır. 

Bağlam yöneticisi, geniş dil modeline sağlanan bağlamı ve belirli bağlamın verildiği üretim sürecini yönetmekten sorumlu olacak şekilde tasarlanmıştır. Bağlam yöneticisi iki önemli bileşeni içerir: bağlam anlık görüntüsü ve restorasyonu ve bağlam penceresi yönetimi. AIOS çerçevesi tarafından sunulan bağlam anlık görüntüsü ve geri yükleme mekanizması, aşağıdaki şekilde gösterildiği gibi zamanlayıcının aracı isteklerini askıya aldığı durumların hafifletilmesine yardımcı olur. 

Aşağıdaki şekilde gösterildiği gibi, bir aracının yaşam döngüsü içinde kısa süreli belleği yönetmek bellek yöneticisinin sorumluluğundadır ve verilerin yalnızca aracı aktif olduğunda, çalışma zamanı sırasında veya aracı beklerken saklanmasını ve erişilebilir olmasını sağlar infaz için. 

Öte yandan depolama yöneticisi, verilerin uzun vadede korunmasından sorumludur ve bireysel bir aracının faaliyet ömrünün ötesinde, belirsiz bir süre boyunca saklanması gereken bilgilerin depolanmasını denetler. AISO çerçevesi, bulut tabanlı çözümler, veritabanları ve yerel dosyalar dahil olmak üzere çeşitli dayanıklı ortamları kullanarak kalıcı depolama elde ederek veri kullanılabilirliğini ve bütünlüğünü sağlar. Ayrıca, AISO çerçevesinde, büyük dil modellerinin işlevselliğini artıran çeşitli API araçları dizisini yöneten araç yöneticisidir ve aşağıdaki tablo, araç yöneticisinin çeşitli kaynaklardan yaygın olarak kullanılan araçları nasıl entegre ettiğini ve bunları nasıl sınıflandırdığını özetlemektedir. farklı kategorilere ayrılır. 

Erişim yöneticisi, erişim kontrolü işlemlerini farklı ajanları her aracı için özel bir ayrıcalık grubu yöneterek ve aracının ayrıcalık grubundan çıkarılmışsa, aracının kendi kaynaklarına erişimini reddeder. Ayrıca erişim yöneticisi, sistemin şeffaflığını daha da artıran denetim günlüklerinin derlenmesinden ve sürdürülmesinden de sorumludur. 

AIOS : Deneyler ve Sonuçlar

AIOS çerçevesinin değerlendirilmesi iki araştırma sorusu tarafından yönlendirilmektedir: birincisi, bakiye bekleme ve geri dönüş süresini iyileştirmede AIOS planlamanın performansı nasıldır ve ikincisi, LLM'nin acente isteklerine verdiği yanıtın acentenin askıya alınmasından sonra tutarlı olup olmadığı.

Tutarlılık sorularını yanıtlamak için geliştiriciler, üç aracının her birini ayrı ayrı çalıştırır ve ardından bu aracıları paralel olarak çalıştırır ve her aşamada çıktılarını yakalamaya çalışır. Aşağıdaki tabloda gösterildiği gibi, BERT ve BLEU puanları 1.0 değerine ulaşır; bu, tek aracılı ve çok aracılı konfigürasyonlarda üretilen çıktılar arasında mükemmel bir uyum olduğunu gösterir. 

Verimlilik sorularını yanıtlamak için geliştiriciler, FIFO veya İlk Giren İlk Çıkar planlamasını kullanan AIOS çerçevesi ile aracıların eşzamanlı olarak çalıştığı programlanmamış bir yaklaşım arasında karşılaştırmalı bir analiz gerçekleştirir. Programlanmamış ortamda, aracılar önceden tanımlanmış bir sıralı sırayla yürütülür: Matematik aracısı, Anlatım aracısı ve kayıt aracısı. Zamansal verimliliği değerlendirmek için AIOS çerçevesi iki ölçüm kullanır: bekleme süresi ve geri dönüş süresi ve aracılar büyük dil modeline birden fazla istek gönderdiğinden, bireysel aracılar için bekleme süresi ve geri dönüş süresi, ortalama olarak hesaplanır. tüm istekler için bekleme süresi ve geri dönüş süresi. Aşağıdaki tabloda gösterildiği gibi, programlanmamış yaklaşım, sıranın başındaki aracılar için tatmin edici bir performans sergiler, ancak sıranın ilerleyen aşamalarındaki aracılar için uzun bekleme ve geri dönüş süreleri sorunu yaşar. Öte yandan AIOS çerçevesinin uyguladığı planlama yaklaşımı hem bekleme hem de geri dönüş sürelerini etkin bir şekilde düzenliyor. 

Son Düşüncelerimiz

Bu makalede, büyük dil modellerini işletim sisteminin beyni olarak işletim sistemine yerleştirmek ve ruhu olan bir işletim sistemi sağlamak amacıyla tasarlanmış bir LLM aracı işletim sistemi olan AIOS'tan bahsettik. Daha spesifik olmak gerekirse, AIOS çerçevesi, aracılar arasında bağlam geçişini kolaylaştırmak, kaynak tahsisini optimize etmek, aracılar için araç hizmeti sağlamak, aracılar için erişim kontrolünü sürdürmek ve aracıların eş zamanlı yürütülmesini sağlamak amacıyla tasarlanmıştır. AISO mimarisi, geliştirme ve dağıtımı kolaylaştırma potansiyelini göstermektedir. büyük dil modeli tabanlı otonom aracılar, daha etkili, uyumlu ve verimli bir AIOS-Agent ekosistemiyle sonuçlanır.