AIOS: LLM Ajanlarının İşletim Sistemi

Son altı decade boyunca, işletim sistemleri temel sistemlerden günümüz cihazlarını güçlendirerek karmaşık ve etkileşimli işletim sistemlerine doğru ilerledi. İlk olarak, işletim sistemleri bilgisayar donanımının ikili işlevselliği ile kullanıcı seviyesindeki görevler arasında bir köprü olarak hizmet etti. Ancak yıllar geçtikçe, basit toplu işleme sistemlerinden daha gelişmiş işlem yönetimi tekniklerine doğru ilerledi, çoklu görev ve zaman paylaşımı da dahil olmak üzere. Bu ilerlemeler, modern işletim sistemlerinin geniş bir görev yelpazesi yönetmesine olanak sağladı. Grafik kullanıcı arayüzlerinin (GUI’ler) gibi Windows ve MacOS’un tanıtılması, modern işletim sistemlerini daha kullanıcı dostu ve etkileşimli hale getirdi ve aynı zamanda işletim sistemi ekosistemini çalışma zamanı kitaplıkları ve kapsamlı bir geliştirici aracı seti ile genişletti.

Yakın zamanda yapılan yenilikler arasında, Büyük Dil Modelleri (LLM’ler) entegrasyonu ve dağıtımı yer alıyor, bu da çeşitli endüstrileri yeni olanaklar sunarak devrimleştiriyor. Daha yakın zamanda, LLM tabanlı akıllı ajanlar, geniş bir görev yelpazesi üzerinde insan benzeri performans göstererek dikkat çekici yetenekler sergiledi. Ancak bu ajanlar hala geliştirme aşamasındadır ve mevcut teknikler, verimlilik ve etkinliklerini etkileyen çeşitli zorluklarla karşı karşıyadır. Common sorunlar arasında, büyük dil modeli üzerinde ajan isteklerinin alt optimal zamanlaması, farklı uzmanlıklara sahip ajanlarla entegrasyonun karmaşıklığı ve LLM ile ajan arasındaki etkileşimler sırasında bağlamın korunması yer alır. LLM tabanlı ajanların hızlı gelişimi ve artan karmaşıklığı, genellikle tıkanıklıklara ve kaynakların alt optimal kullanımına yol açar.

Bu zorlukları ele almak için, bu makale AIOS’u tartışacak, bu bir LLM ajan işletim sistemidir ve büyük dil modellerini işletim sisteminin “beyni” olarak entegre eder, efektif olarak ona bir “ruh” verir. Özellikle, AIOS çerçevesi, ajanlar arasında bağlam değişimini kolaylaştırmayı, kaynak tahsisini optimize etmeyi, ajanlar için araç hizmetleri sağlamayı, erişim kontrolünü korumayı ve ajanların eş zamanlı yürütülmesini sağlamayı amaçlar. AIOS çerçevesinin mekanizmalarını, metodolojisini ve mimarisini derinlemesine inceleyeceğiz ve bunları güncel çerçevelerle karşılaştıracağız. Giriş yapalım.

Büyük dil modellerinde önemli bir başarı elde ettikten sonra, AI ve ML endüstrisinin sonraki odak noktası, bağımsız olarak çalışabilen, kararlar alabilen ve görevleri minimal veya hiç insan müdahalesi olmadan gerçekleştirebilen otonom AI ajanlarını geliştirmektir. Bu AI tabanlı akıllı ajanlar, insan talimatlarını anlamak, bilgi işlemek, kararlar almak ve otonom bir durum elde etmek için uygun eylemler gerçekleştirmek üzere tasarlanmıştır. Büyük dil modellerinin gelişimi, bu otonom ajanların geliştirilmesine yeni olanaklar sunuyor. Mevcut LLM çerçeveleri, DALL-E, GPT ve daha fazlası, insan talimatlarını anlamak, akıl yürütme ve problem çözme yetenekleri ve insan kullanıcılarla ve dış ortamlarla etkileşim kurma yetenekleri konusunda dikkat çekici yetenekler sergiledi. Bu güçlü ve yetenekli büyük dil modellerinin üzerine inşa edilen LLM tabanlı ajanlar, sanal asistanlardan daha karmaşık ve sofistike sistemlere kadar çeşitli ortamlarda güçlü görev gerçekleştirme yeteneklerine sahiptir.

Yukarıdaki şekil, bir LLM tabanlı otonom ajanın gerçek dünya görevlerini nasıl çözebileceğini gösteren bir örnek sunar. Kullanıcı, sistemden seyahat bilgileri ister ve seyahat ajanı görevi yürütülebilir adımlara ayırır. Ardından ajan, adımları sırayla gerçekleştirir, uçuşları rezervasyon yapar, otelleri ayarlar, ödemeleri işler ve daha fazlasını yapar. Adımları gerçekleştirirken, bu ajanları geleneksel yazılım uygulamalarından ayıran, ajanların karar alma yetenekleri sergileyebilmesi ve adımların yürütülmesinde akıl yürütme yeteneklerini içermesidir. Bu ajanların kalitesindeki hızlı büyüme ile birlikte, büyük dil modellerinin ve işletim sistemlerinin işlevselliği üzerindeki baskı artmıştır. Örneğin, sınırlı büyük dil modellerinde ajan isteklerini önceliklendirmek ve zamanlamak önemli bir zorluktur. Ayrıca, büyük dil modellerinin oluşturma süreci, uzun bağlamlarla uğraşırken zaman alıcı bir görev haline gelebilir, bu da dil modelinin yanıt oluşturma sürecini askıya almasıyla ilgili bir sorun yaratır.

Yukarıda belirtilen zorlukları ele almak için, AIOS, büyük dil modelleri ve işletim sistemi işlevselliğinin birleştirilmesini ve modül izolasyonunu sağlar. AIOS çerçevesi, büyük dil modeli ile ilgili görevler arasında ortaya çıkabilecek potansiyel çatışmaları önlemek amacıyla, bir LLM özel çekirdek tasarımı önerir. Bu çekirdek, işletim sistemi gibi görevleri, özellikle büyük dil modeli ajanlarını, geliştirme araçlarını ve ilgili kaynaklarını ayırır. Bu ayrımla, LLM çekirdeği, büyük dil modelleri ile ilgili faaliyetlerin koordinasyonunu ve yönetimini geliştirmeyi amaçlar.

AIOS: Metodoloji ve Mimari

Gördüğünüz gibi, AIOS çerçevesinin çalışması için altı ana mekanizma vardır.

• Ajan Zamanlayıcı: Ajan zamanlayıcısının görevi, ajan isteklerini zamanlamak ve büyük dil modelinin kullanımını optimize etmektir.

• Bağlam Yöneticisi: Bağlam yöneticisinin görevi, büyük dil modelinde bağlamı desteklemek ve intermediate oluşturma durumunu restore etmektir.

• Bellek Yöneticisi: Bellek yöneticisinin görevi, her ajan için kısa süreli belleği sağlamaktır.

• Depolama Yöneticisi: Depolama yöneticisinin görevi, ajanların etkileşim günlüklerini uzun süreli depolamaya aktarmaktır.

• Araç Yöneticisi: Araç yöneticisinin görevi, büyük dil modellerinin işlevselliğini artırmak için çeşitli API araçlarını yönetmektir.

• Erişim Yöneticisi: Erişim yöneticisinin görevi, ajanlar arasında erişim kontrolünü sağlamaktır.

AIOS çerçevesi, ayrıca üç katmana ayrılmış bir mimariye sahiptir: uygulama katmanı, çekirdek katmanı ve donanım katmanı. Bu mimari, sistemdeki sorumlulukların eşit olarak dağılmasını sağlar ve üst katmanlar, alt katmanların karmaşıklığını soyutlar, böylece modül veya arayüzler kullanarak etkileşimleri kolaylaştırır ve sistem içi etkileşimleri basitleştirir.

Uygulama katmanından başlayarak, bu katman, matematik veya seyahat ajanları gibi uygulama ajanlarını geliştirmek ve dağıtmak için kullanılır. Uygulama katmanında, AIOS çerçevesi, sistem çağrılarının daha yüksek bir soyutlaması ile AIOS yazılım geliştirme kiti (AIOS SDK) sağlar, bu da geliştirme sürecini basitleştirir. AIOS tarafından sunulan yazılım geliştirme kiti, ajan uygulamalarının geliştirilmesini kolaylaştıran zengin bir araç seti sunar, böylece geliştiriciler, ajanlarının temel mantığına odaklanabilir ve daha verimli bir geliştirme süreci elde edebilir.

Çekirdek katmanına geçerken, bu katman iki bileşene ayrılmıştır: LLM çekirdeği ve işletim sistemi çekirdeği. Hem işletim sistemi çekirdeği hem de LLM çekirdeği, büyük dil modeli ile ilgili ve ilgili olmayan görevler için benzersiz gereksinimleri karşılar. AIOS çerçevesi, büyük dil modeli çekirdeğini güçlendirerek mevcut işletim sistemi çekirdeğinin yapısını önemli ölçüde değiştirmeye odaklanır. LLM çekirdeği, ajan zamanlayıcısı, bellek yöneticisi, bağlam yöneticisi, depolama yöneticisi, erişim yöneticisi ve LLM sistem çağrı arayüzü gibi çeşitli ana bileşenlere sahiptir. Çekirdek katmanındaki bileşenler, ajan uygulamalarının çeşitli yürütme ihtiyaçlarını karşılamak üzere tasarlanmıştır.

Son olarak, donanım katmanına sahibiz, bu da sistemdeki fiziksel bileşenleri içerir: GPU, CPU, çevre birimleri, disk ve bellek. LLM çekirdeğinin sistemlerinin donanıma doğrudan etkileşime giremeyeceğini anlamak önemlidir, bu çağrılar işletim sisteminin sistem çağrılarıyla etkileşime girer ve bu da donanım kaynaklarını yönetir. LLM çekirdeği sisteminin donanım kaynaklarıyla dolaylı etkileşimi, bir güvenlik ve soyutlama katmanı oluşturur, bu da LLM çekirdeğinin donanım kaynaklarının yeteneklerinden yararlanmasını sağlar, ancak donanımı doğrudan yönetmesini gerektirmez, böylece sistemin bütünlüğünü ve verimliliğini sağlar.

Uygulama

Yukarıda belirtilen gibi, AIOS çerçevesinin çalışması için altı ana mekanizma vardır. Ajan zamanlayıcısı, ajan isteklerini verimli bir şekilde yönetmek üzere tasarlanmıştır ve geleneksel sıralı yürütme paradigmalarına kıyasla çeşitli yürütme adımlarına sahiptir. Ajan zamanlayıcısı, Round Robin, İlk Giren İlk Çıkar (FIFO) ve diğer zamanlama algoritmalarını kullanarak işlemi optimize eder.

Bağlam yöneticisi, büyük dil modeline sağlanan bağlamı ve belirli bir bağlamda oluşturma sürecini yönetmek üzere tasarlanmıştır. Bağlam yöneticisi, bağlam anlık görüntüsü ve geri yüklemesi ve bağlam pencere yönetimi olmak üzere iki önemli bileşene sahiptir. AIOS çerçevesi tarafından sunulan bağlam anlık görüntüsü ve geri yükleme mekanizması, zamanlayıcı tarafından ajan isteklerinin askıya alınmasıyla ilgili durumları hafifletmeye yardımcı olur.

Gösterildiği gibi, bellek yöneticisinin görevi, bir ajanın yaşam döngüsü boyunca kısa süreli belleği yönetmektir ve veri depolanmasını ve yalnızca ajan çalışırken veya yürütme için beklerken erişilebilmesini sağlar.

Diğer yandan, depolama yöneticisi, verileri uzun süreli olarak saklamakla sorumludur ve bireysel bir ajanın yaşam döngüsünden daha uzun bir süre boyunca saklanması gereken bilgilerin depolanmasını denetler. AIOS çerçevesi, bulut tabanlı çözümler, veritabanları ve yerel dosyalar gibi çeşitli dayanıklı ortamlar kullanarak kalıcı depolama sağlar, böylece veri erişilebilirliği ve bütünlüğü sağlanır. Ayrıca, AIOS çerçevesinde, araç yöneticisi, büyük dil modellerinin işlevselliğini artırmak için çeşitli API araçlarını yönetir ve aşağıdaki tablo, araç yöneticisinin ortak olarak kullanılan araçları çeşitli kaynaklardan entegre ettiğini ve bunları farklı kategorilere ayırdığını özetler.

Erişim yöneticisi, ayrıcalıklı gruplar aracılığıyla ajanlar arasında erişim kontrolünü düzenler ve bir ajanın kaynaklarına erişimini, ajanın ayrıcalıklı grubuna dahil değilse reddeder. Ayrıca, erişim yöneticisi, sistemin şeffaflığını daha da artırmak için denetim günlüklerini derlemek ve korumakla sorumludur.

AIOS: Deneyler ve Sonuçlar

AIOS çerçevesinin değerlendirilmesi, iki araştırma sorusu tarafından yönlendirilir: ilk olarak, AIOS zamanlamasının bekleme süresini ve dönüş süresini iyileştirme performansı nasıldır ve ikincisi, ajan askıya alındıktan sonra LLM’nin ajan isteklerine verdiği yanıtlar tutarlı mıdır?

Tutarlılık sorularını cevaplamak için, geliştiriciler her bir ajanı bireysel olarak çalıştırır ve ardından bunları paralel olarak çalıştırır ve her aşamada çıktılarını yakalamaya çalışır. Aşağıdaki tabloda gösterildiği gibi, BERT ve BLEU puanları 1.0 değerini elde eder, bu da tek ajan ve çoklu ajan yapılandırmalarında oluşturulan çıktılar arasında mükemmel bir uyum olduğunu gösterir.

Verimlilik sorularını cevaplamak için, geliştiriciler, AIOS çerçevesini, FIFO veya İlk Giren İlk Çıkar (FIFO) zamanlamasını kullanan ve bir zamanlama yaklaşımı olmayan bir yaklaşım arasında karşılaştırmalı bir analiz gerçekleştirir. Zamanlama olmayan yaklaşimde, ajanlar önceden tanımlanmış bir sıralamada çalıştırılır: Matematik ajanı, Anlatı ajanı ve rec ajanı. Zamansal verimliliği değerlendirmek için, AIOS çerçevesi, bekleme süresi ve dönüş süresi gibi iki metric kullanır ve ajanlar büyük dil modeline birden çok istek gönderdiğinden, her bir ajan için bekleme süresi ve dönüş süresi, tüm istekler için bekleme süresi ve dönüş süresinin ortalaması olarak hesaplanır. Aşağıdaki tabloda gösterildiği gibi, zamanlama olmayan yaklaşım, sıradaki ajanlar için tatmin edici bir performans gösterir, ancak sıradaki son ajanlar için uzun bekleme ve dönüş sürelerine sahiptir. Diğer yandan, AIOS çerçevesi tarafından uygulanan zamanlama yaklaşımı, hem bekleme hem de dönüş süresini etkili bir şekilde düzenler.

Son Düşünceler

Bu makalede, AIOS’u, büyük dil modellerini işletim sisteminin “beyni” olarak entegre eden bir LLM ajan işletim sistemi olarak tartıştık. AIOS çerçevesi, ajanlar arasında bağlam değişimini kolaylaştırmak, kaynak tahsisini optimize etmek, ajanlar için araç hizmetleri sağlamak, erişim kontrolünü korumak ve ajanların eş zamanlı yürütülmesini sağlamak üzere tasarlanmıştır. AIOS mimarisi, büyük dil modeli tabanlı otonom ajanların geliştirilmesini ve dağıtılmasını kolaylaştırmaya yönelik bir potansiyele sahiptir, bu da daha etkili, uyumlu ve verimli bir AIOS-Ajan ekosistemine yol açar.