AIOS: Käyttöjärjestelmä LLM-Agenteille

Viimeisen kuuden vuosikymmenen aikana käyttöjärjestelmät ovat kehittyneet jatkuvasti, edistyen perusjärjestelmistä monimutkaisiin ja vuorovaikutteisiin käyttöjärjestelmiin, jotka pyörittävät nykyisiä laitteita. Alun perin käyttöjärjestelmät toimivat siltaa tietokoneen laitteiston binäärimäisen toiminnan, kuten portin manipuloinnin, ja käyttäjätason tehtävien välillä. Vuosien varrella ne kuitenkin kehittyivät yksinkertaisista erätyön käsittelyjärjestelmistä monimutkaisempiin prosessien hallintatekniikoihin, mukaan lukien moniajo ja aikajakso. Nämä edistyneet käyttöjärjestelmät pystyvät hallitsemaan laajan valikoiman monimutkaisia tehtäviä. Graafisten käyttöliittymien (GUI) kuten Windowsin ja MacOSin esittely on tehnyt nykyisistä käyttöjärjestelmistä käyttäjien kannalta ystävällisempiä ja vuorovaikutteisempia, laajentamalla samalla käyttöjärjestelmän ekosysteemiä ajonaikaisilla kirjastoilla ja kattavalla kehittäjien työkalupakilla.

Viimeaikaiset innovaatiot ovat sisältäneet suurten kielen mallien (LLM) integroinnin ja käyttöönoton, jotka ovat vallankumouksellisia eri aloilla lukuisien uusien mahdollisuuksien avaamisen kautta. Viimeaikaisemmin LLM-pohjaiset älykkäät agentit ovat osoittaneet merkittäviä kykyjä saavuttaen ihmismäisen suorituskyvyn laajalla valikoimalla tehtäviä. Näiden agenteiden kehitys on kuitenkin edelleen alkuvaiheessa, ja nykyiset tekniikat kohtaavat useita haasteita, jotka vaikuttavat niiden tehokkuuteen ja tehokkuuteen. Yleisiä ongelmia ovat esimerkiksi agenteiden pyynnön epäoptimaalinen aikataulutus suuressa kielen mallissa, monimutkaisuudet agenteiden eri erikoistumisten integroinnissa ja asiayhteyden ylläpitäminen vuorovaikutuksissa LLM:n ja agentin välillä. LLM-pohjaisien agenteiden nopea kehitys ja lisääntyvä monimutkaisuus usein johtavat pullonkauloihin ja resurssien alikäyttöön.

Tätä artikkelia varten tarkastelemme AIOS:ia, LLM-agenttien käyttöjärjestelmää, joka on suunniteltu integroimaan suuret kielen mallit käyttöjärjestelmän “aivoksi”, antaen sille “sielun”. Erityisesti AIOS-kehyksen tavoitteena on helpottaa asiayhteyden vaihtoa agenteiden välillä, optimoida resurssien jakoa, tarjota työkalupalveluja agenteille, ylläpitää pääsyä agenteille ja mahdollistaa agenteiden rinnakkainen suoritus. Perehdytään syvemmälle AIOS-kehykseen, tutkitaan sen mekanismeja, metodologiaa ja arkkitehtuuria sekä verrataan sitä viimeisimpiin kehyksiin. Aloita siirtyminen.

Saavutettuaan merkittävän menestyksen suurten kielen mallien parissa, tekoäly- ja koneoppimisalan seuraava painopiste on kehittää itsenäisiä tekoäly-agenteja, jotka voivat toimia itsenäisesti, tehdä päätöksiä omin avuin ja suorittaa tehtäviä vähäisellä tai ilman ihmisten väliintuloa. Nämä tekoälypohjaiset älykkäät agentit on suunniteltu ymmärtämään ihmisten ohjeita, käsittelemään tietoa, tekemään päätöksiä ja suorittamaan tarvittavat toimet itsenäisen tilan saavuttamiseksi, suurten kielen mallien kehittymisen ja kehittymisen tuottaen uusia mahdollisuuksia näiden itsenäisten agenttien kehittämiseen. Nykyiset LLM-kehykset, kuten DALL-E, GPT ja useat muut, ovat osoittaneet merkittäviä kykyjä ymmärtää ihmisten ohjeita, päättely- ja ongelmanratkaisukykyjä sekä vuorovaikutusta ihmisten ja ulkoisten ympäristöjen kanssa. Näiden voimakkaiden ja kykyisten suurten kielen mallien pohjalla LLM-pohjaiset agentit ovat vahvoja tehtävien täyttämisessä moninaisissa ympäristöissä, aina virtuaaliavustajista monimutkaisempiin ja sofistikoituneempiin järjestelmiin, jotka liittyvät ongelmanratkaisuun, päättelyyn, suunnitteluun ja suorittamiseen.

Yllä oleva kuva esittää vakuuttavan esimerkin siitä, miten LLM-pohjainen itsenäinen agentti voi ratkaista todellisen maailman tehtäviä. Käyttäjä pyytää järjestelmältä matkailutietoja, minkä jälkeen matkailuagentti jakaa tehtävän suoritettaviin askeliin. Sitten agentti suorittaa askelit peräkkäin, varaa lentolippuja, hotelleja, käsittelee maksuja ja paljon muuta. Kun agentti suorittaa askelia, se erottuu perinteisistä ohjelmistoista kykynsä vuoksi osoittaa päätöksentekokykyä ja sisällyttää päättelyä askelten suorittamiseen. Yhdessä näiden itsenäisten agenttien laadun eksponentiaalisen kasvun kanssa suurten kielen mallien ja käyttöjärjestelmien toimintoja kohtaa kasvava paine, ja esimerkkinä tästä on se, että agenteiden pyyntöjen priorisointi ja aikataulutus rajoitettujen suurten kielen mallien kanssa muodostaa merkittävän haasteen. Lisäksi, koska suurten kielen mallien generointiprosessi muodostuu aikaa vieväksi tehtäväksi, kun käsitellään pitkiä asiayhteyksiä, on mahdollista, että aikatauluttaja keskeyttää tuloksena olevan generoinnin, jolloin syntyy ongelma mekanismin kehittämisestä suuren kielen mallin generointituloksen tallentamiseksi. Tämän seurauksena paukku/menetä-käyttäytyminen on mahdollista, kun suuri kielen malli ei ole vielä lopettanut vastauksen generointia nykyiselle pyynnölle.

Edellä mainittujen haasteiden ratkaisemiseksi AIOS, suuri kielen mallin käyttöjärjestelmä, tarjoaa LLM:n ja käyttöjärjestelmän toimintojen aggregaation ja moduulierottelun. AIOS-kehyksen on tarkoitus tarjota LLM:lle erityinen ydin suunnitteluratkaisu, jolla voidaan välttää mahdollisia ristiriitoja, jotka voivat syntyä tehtävien ja suurten kielen mallien välillä. Ehdotettu ydin erottaa käyttöjärjestelmän kaltaiset tehtävät, erityisesti ne, jotka valvovat LLM-agenteja, kehitystyökalupaketteja ja niiden vastaavia resursseja. Tämän erottelun seurauksena LLM-ydin pyrkii parantamaan LLM:ihin liittyvien toimintojen koordinointia ja hallintaa.

AIOS: Metodologia ja Arkkitehtuuri

Havainnollistamisen avulla voidaan nähdä, että AIOS-kehyksessä on kuusi tärkeää mekanismia.

• Agenttien Aikatauluttaja: Agenttien aikatauluttajan tehtävänä on aikatauluttaa ja priorisoida agenttien pyynnöt suuren kielen mallin käytön optimoimiseksi.

• Asiayhteyden Hallinta: Asiayhteyden hallinnan tehtävänä on tukea välittäisiä generointitilanteita suuressa kielen mallissa sekä asiayhteyden ikkunan hallintaa suuressa kielen mallissa.

• Muistin Hallinta: Muistin hallinnan vastuulla on tarjota lyhytaikainen muisti kunkin agentin vuorovaikutuslokeille.

• Tallennuksen Hallinta: Tallennuksen hallinnan tehtävänä on tallentaa agenttien vuorovaikutuslokit pitkäaikaiseen tallennukseen tulevia hakujen mahdollistamiseksi.

• Työkalujen Hallinta: Työkalujen hallinnan mekanismin tehtävänä on hallita agenttien ulkoisiin työkaluihin kohdistuvia pyyntöjä.

• Pääsyn Hallinta: Pääsyn hallinnan tehtävänä on valvoa pääsyä agenttien välillä.

Lisäksi AIOS-kehyksessä on kerroksellinen arkkitehtuuri, joka on jaettu kolmeen erilliseen kerrokseen: sovelluskerros, ydinkerros ja laitteistokerros. AIOS-kehyksen toteuttama kerroksellinen arkkitehtuuri varmistaa, että vastuut jakautuvat tasaisesti koko järjestelmän läpi, ja ylemmät kerrokset abstrahoivat alempien kerrosten monimutkaisuudet, sallien vuorovaikutuksen tiettyjen moduulien tai rajapintojen kautta, parantamalla modulaarisuutta ja yksinkertaistamalla järjestelmän vuorovaikutusta kerrosten välillä.

Aloittaen sovelluskerroksesta, tämä kerros on tarkoitettu sovellusagenttien kehittämiseen ja käyttöönottoon, kuten matematiikan tai matkailuagentteja. Sovelluskerroksessa AIOS-kehyksen tarjoaa AIOS-ohjelmistokehityspaketin (AIOS SDK), joka tarjoaa korkeamman abstraktiotason järjestelmäkutsuille, jolloin kehitysprosessi on yksinkertaisempi agenttikehittäjille. AIOS:lla tarjottu ohjelmistokehityspaketti tarjoaa rikkaan työkalupakin agenttisovellusten kehittämiseen, abstrahoiden pois alempien järjestelmätoimintojen monimutkaisuudet, jolloin kehittäjät voivat keskittyä agenttien toiminnallisuuteen ja olennaiseen logiikkaan, johtaen tehokkaamman kehitysprosessin.

Edelleen, ydinkerroksen osalta se on jaettu kahteen osaan: LLM-ydin ja käyttöjärjestelmän ydin. Molemmat ydinpalat palvelevat LLM-spesifisten ja ei-LLM-toimintojen yksilöllisiä vaatimuksia, ja LLM-ydin keskittyy suurten kielen mallien spesifisiin tehtäviin, kuten agenttien aikataulutukseen ja asiayhteyden hallintaan, jotka ovat välttämättömiä suurten kielen mallien toimintojen hallintaan. AIOS-kehyksen painopiste on parantaa suurten kielen mallien ydintä ilman merkittäviä muutoksia olemassa olevan käyttöjärjestelmän ytimen rakenteessa. LLM-ydin sisältää useita avainmoduuleja, kuten agenttien aikatauluttajan, muistin hallinnan, asiayhteyden hallinnan, tallennuksen hallinnan, pääsyn hallinnan, työkalujen hallinnan ja LLM-järjestelmäkutsurajapinnan. Ydinkerroksen osat on suunniteltu ratkaisemaan agenttisovellusten moninaisia suoritusvaatimuksia, varmistaen tehokkaan suorituksen ja hallinnan AIOS-kehyksessä.

Lopuksi, laitteistokerros koostuu järjestelmän fyysisistä osista, kuten GPU:sta, CPU:sta, laitteiston osista, levyistä ja muistista. On tärkeää ymmärtää, että LLM-ytimen järjestelmä ei voi vuorovaikuttaa laitteiston kanssa suoraan, ja nämä kutsut vuorovaikuttavat käyttöjärjestelmän järjestelmäkutsujen kanssa, jotka puolestaan hallitsevat laitteiston resursseja. Tämä epäsuora vuorovaikutus LLM-ytimen järjestelmän ja laitteiston resurssien välillä luo turvallisuuden ja abstraktion kerroksen, jolloin LLM-ydin voi hyödyntää laitteiston resursseja ilman suoran laitteiston hallintaa, helpottaen järjestelmän eheyden ja tehokkuuden ylläpitämistä.

Toteutus

Kuten edellä mainittiin, AIOS-kehyksessä on kuusi tärkeää mekanismia. Agenttien aikatauluttaja on suunniteltu hallitsemaan agenttien pyynnöt tehokkaasti ja sisältää useita suoritusepäkohtia, toisin kuin perinteisessä sequentaalisessa suoritusparadigmassa, jossa agentti käsittelee tehtäviä lineaarisesti, käsitellen ensin saman agentin askelia ennen siirtymistä seuraavaan agentiin, mikä johtaa odottamisaikojen kasvuun tehtävissä, jotka ovat myöhemmin suoritussarjassa. Agenttien aikatauluttaja käyttää strategioita kuten Round Robin, First In First Out ja muita aikataulutusalgoritmeja prosessin optimoimiseksi.

Asiayhteyden hallinta on suunniteltu hallitsemaan asiayhteyttä, joka annetaan suurelle kielen mallille, ja generointiprosessia tietyssä asiayhteydessä. Asiayhteyden hallinta sisältää kaksi tärkeää osaa: asiayhteyden tallennus ja palautus sekä asiayhteyden ikkunan hallinta. Asiayhteyden tallennus- ja palautusmekanismi, jonka AIOS-kehyksen tarjoaa, auttaa välttämään tilanteita, joissa aikatauluttaja keskeyttää agenttien pyynnöt, kuten seuraavassa kuvassa näkyy.

Kuten seuraavassa kuvassa näkyy, muistin hallinnan tehtävänä on hallita lyhytaikaista muistia agentin elinkaaren aikana ja varmistaa, että data on tallennettu ja saatavilla ainoastaan, kun agentti on aktiivinen, joko suoritusaikana tai odottaessaan suoritusta.

Toisaalta, tallennuksen hallinnan tehtävänä on säilyttää data pitkällä aikavälillä ja se valvoo tietojen tallentamista, jotka on säilytettävä määräämättömän ajan, yksittäisen agentin toimintansa eliniän ulottuvilla. AIOS-kehyksen saavuttaa pysyvän tallennuksen käyttäen erilaisia kestäviä välineitä, kuten pilvipohjaisia ratkaisuja, tietokantoja ja paikallisia tiedostoja, varmistaen datan saatavuuden ja eheyden. Lisäksi, AIOS-kehyksessä työkalujen hallinta hallinnoi monipuolista joukkoa työkaluja, jotka lisäävät suurten kielen mallien toiminnallisuutta, ja seuraava taulukko tiivistää, miten työkalujen hallinta integroi yleisesti käytettyjä työkaluja eri lähteistä ja luokittelee ne eri luokkiin.

Pääsyn hallinta järjestää pääsyä eri agenteiden välillä hallitsemalla omistajaryhmän kullekin agenteille ja estämällä agentin pääsyn resursseihin, jos ne eivät kuulu agentin omistajaryhmään. Lisäksi, pääsyn hallinta on vastuussa kokoamisesta ja ylläpitämisestä kirjaamislokeja, jotka parantavat järjestelmän läpinäkyvyyttä.

AIOS: Kokeet ja Tulokset

AIOS-kehyksen arviointi perustuu kahteen tutkimuskysymykseen: ensinnäkin, miten AIOS:n aikataulutus suorituskyky parantaa odottamis- ja suoritusaikaa, ja toiseksi, ovatko LLM:n vastaukset agenteille pyynnöistä johdonmukaisia agenttien keskeytyksen jälkeen?

Johdonmukaisuuskysymyksiin vastaamiseksi kehittäjät suorittavat kunkin kolmea agenttia yksinään ja suorittavat ne rinnakkain, ja yrittävät kaapata niiden tulokset kussakin vaiheessa. Kuten seuraavassa taulukossa näkyy, BERT- ja BLEU-pisteet saavuttavat arvon 1,0, osoittaen täydellisen yhdenmukaisuuden tuloksien välillä, jotka saadaan yksittäisistä ja moniajorisista konfiguraatioista.

Tehokkuuskysymyksiin vastaamiseksi kehittäjät suorittavat vertailevan analyysin AIOS-kehyksen ja FIFO- (First In First Out) aikataulutusmenetelmän välillä ja ei-aikataulutetun lähestymistavan, jossa agentit suoritetaan rinnakkain. Ei-aikataulutetussa asetelmassa agentit suoritetaan ennalta määrättyssä järjestyksessä: Matemaattinen agentti, Kertoja-agentti ja Rec-agentti. Arvioidakseen aikapersoonallisuuden, AIOS-kehyksen käyttää kahta mittaria: odottamisaika ja suoritusaika, ja koska agentit lähettävät useita pyyntöjä suurelle kielen mallille, odottamisaika ja suoritusaika kullekin agenteille lasketaan keskiarvona kaikkien pyyntöjen odottamis- ja suoritusaikoja. Kuten seuraavassa taulukossa näkyy, ei-aikataulutettu lähestymistapa osoittaa tyydyttävän suorituskyvyn agenteille, jotka ovat varhaisessa järjestyksessä, mutta kärsii pidentyneistä odottamis- ja suoritusaikoista agenteille, jotka ovat myöhemmässä järjestyksessä. Toisaalta, AIOS-kehyksen toteuttama aikataulutusmenetelmä säätelee sekä odottamis- että suoritusaikoja tehokkaasti.

Lopputulet

Tässä artikkelissa on keskusteltu AIOS:sta, LLM-agenttien käyttöjärjestelmästä, joka on suunniteltu upottamaan suuret kielen mallit käyttöjärjestelmään “aivoksi”, antaen sille “sielun”. Tarkemmin sanottuna, AIOS-kehyksen tavoitteena on helpottaa asiayhteyden vaihtoa agenteiden välillä, optimoida resurssien jakoa, tarjota työkalupalveluja agenteille, ylläpitää pääsyä agenteille ja mahdollistaa agenteiden rinnakkainen suoritus. AIOS-arkkitehtuuri osoittaa potentiaalia helpottamaan suurten kielen mallien pohjaisia itsenäisiä agenteiden kehittämistä ja käyttöönottoa, johtaen tehokkaamman, yhtenäisemmän ja tehokkaamman AIOS-Agent-ekosysteemin. Palvelu agenteille, ylläpitää pääsyä agenteille ja mahdollistaa agenteiden rinnakkaisen suorituksen. AIOS-arkkitehtuuri osoittaa potentiaalia helpottamaan suurten kielen mallien pohjaisia itsenäisiä agenteiden kehittämistä ja käyttöönottoa, johtaen tehokkaamman, yhtenäisemmän ja tehokkaamman AIOS-Agent-ekosysteemin.