AIOS: Operacijski sistem za agente LLM

V zadnjih šestih desetletjih so se operacijski sistemi postopoma razvijali in napredovali od osnovnih sistemov do kompleksnih in interaktivnih operacijskih sistemov, ki poganjajo današnje naprave. Sprva so operacijski sistemi služili kot most med binarno funkcionalnostjo računalniške strojne opreme, kot je manipulacija vrat, in nalogami na ravni uporabnika. Z leti pa so se razvili od preprostih sistemov za obdelavo paketnih opravil do bolj izpopolnjenih tehnik upravljanja procesov, vključno z večopravilnostjo in delitvijo časa. Ti napredki so sodobnim operacijskim sistemom omogočili upravljanje širokega nabora kompleksnih nalog. Uvedba grafičnih uporabniških vmesnikov (GUI), kot sta Windows in MacOS, je naredila sodobne operacijske sisteme bolj uporabniku prijazne in interaktivne, obenem pa je razširila ekosistem OS z izvajalnimi knjižnicami in obsežno zbirko orodij za razvijalce.

Nedavne inovacije vključujejo integracijo in uporabo Veliki jezikovni modeli (LLM), ki so revolucionirali različne industrije z odpiranjem novih možnosti. V zadnjem času so inteligentni agenti, ki temeljijo na LLM, pokazali izjemne zmožnosti in dosegli človeško podobno zmogljivost pri širokem naboru nalog. Vendar so ta sredstva še vedno v zgodnjih fazah razvoja in trenutne tehnike se soočajo z več izzivi, ki vplivajo na njihovo učinkovitost in uspešnost. Pogoste težave vključujejo neoptimalno razporejanje zahtev agentov v velikem jezikovnem modelu, zapletenost pri integraciji agentov z različnimi specializacijami in vzdrževanje konteksta med interakcijami med LLM in agentom. Hiter razvoj in vse večja kompleksnost agentov, ki temeljijo na LLM, pogosto vodita do ozkih grl in neoptimalne uporabe virov.

Za reševanje teh izzivov bo ta članek obravnaval AIOS, operacijski sistem agenta LLM, zasnovan za integracijo velikih jezikovnih modelov kot 'možgane' operacijskega sistema, ki mu dejansko daje 'dušo'. Natančneje, cilj ogrodja AIOS je olajšati preklapljanje konteksta med agenti, optimizirati dodeljevanje virov, zagotoviti storitve orodij za agente, vzdrževati nadzor dostopa in omogočiti sočasno izvajanje agentov. Poglobili se bomo v ogrodje AIOS, raziskali njegove mehanizme, metodologijo in arhitekturo ter ga primerjali z najsodobnejšimi ogrodji. Potopimo se noter.

Po doseganju izjemnega uspeha v velikih jezikovnih modelih je naslednji cilj industrije AI in ML razvoj avtonomnih agentov AI, ki lahko delujejo neodvisno, sami sprejemajo odločitve in izvajajo naloge z minimalnimi človeškimi posegi ali brez njih. Ti inteligentni agenti, ki temeljijo na AI, so zasnovani za razumevanje človeških navodil, obdelavo informacij, sprejemanje odločitev in sprejemanje ustreznih ukrepov za doseganje avtonomnega stanja, s prihodom in razvojem velikih jezikovnih modelov, ki prinašajo nove možnosti za razvoj teh avtonomnih agentov. Trenutni LLM okviri, vključno z DALL-E, GPT in drugimi, so pokazali izjemne sposobnosti razumevanja človeških navodil, sposobnosti razmišljanja in reševanja problemov ter interakcije s človeškimi uporabniki in zunanjimi okolji. Zgrajeni na teh zmogljivih in zmogljivih velikih jezikovnih modelih imajo agenti, ki temeljijo na LLM, močne sposobnosti za izpolnjevanje nalog v različnih okoljih, od virtualnih pomočnikov do bolj zapletenih in sofisticiranih sistemov, ki vključujejo ustvarjanje reševanja problemov, razmišljanje, načrtovanje in izvajanje. 

Zgornja slika prikazuje prepričljiv primer, kako lahko avtonomni agent, ki temelji na LLM, rešuje naloge v resničnem svetu. Uporabnik od sistema zahteva informacije o potovanju, nato pa potovalni agent nalogo razdeli na izvedljive korake. Nato agent zaporedoma izvaja korake, rezervira lete, rezervira hotele, obdela plačila in drugo. Med izvajanjem korakov je tisto, kar te agente loči od tradicionalnih programskih aplikacij, sposobnost agentov, da pokažejo zmožnost sprejemanja odločitev in vključijo sklepanje v izvajanje korakov. Skupaj z eksponentno rastjo kakovosti le-teh avtonomni agentiobremenitev funkcionalnosti velikih jezikovnih modelov in operacijskih sistemov se je povečala, primer tega pa je, da določanje prednosti in razporejanje zahtev agentov v omejenih velikih jezikovnih modelih predstavlja pomemben izziv. Poleg tega, ker proces generiranja velikih jezikovnih modelov postane zamudno opravilo, ko imamo opravka z dolgimi konteksti, je možno, da razporejevalnik prekine nastalo generiranje, kar povzroči problem oblikovanja mehanizma za posnetek trenutnega rezultata generiranja jezikovnega modela. . Zaradi tega je vedenje za zaustavitev/nadaljevanje omogočeno, ko velik jezikovni model ni dokončal generiranja odgovora za trenutno zahtevo. 

Za reševanje zgoraj omenjenih izzivov AIOS, operacijski sistem z velikim jezikovnim modelom, zagotavlja združevanje in izolacijo modulov funkcij LLM in OS. Ogrodje AIOS predlaga zasnovo jedra, specifično za LLM, da bi se izognili morebitnim konfliktom med nalogami, ki so povezane in niso povezane z velikim jezikovnim modelom. Predlagano jedro ločuje naloge, podobne operacijskemu sistemu, zlasti tiste, ki nadzorujejo agente LLM, komplete razvojnih orodij in njihove ustrezne vire. Zaradi te ločitve poskuša jedro LLM izboljšati koordinacijo in upravljanje dejavnosti, povezanih z LLM. 

AIOS: Metodologija in arhitektura

Kot lahko opazite, je v delovanje ogrodja AIOS vključenih šest glavnih mehanizmov. 

• Agent Scheduler: Naloga, dodeljena razporejevalniku agentov, je načrtovanje in določanje prioritet zahtev agentov v poskusu optimizacije uporabe velikega jezikovnega modela. 

• Upravitelj konteksta: Naloga, dodeljena upravitelju konteksta, je podpirati posnetke skupaj z obnovitvijo statusa vmesne generacije v velikem jezikovnem modelu in upravljanje kontekstnega okna velikega jezikovnega modela. 

• Upravitelj pomnilnika: Glavna odgovornost upravitelja pomnilnika je zagotoviti kratkoročni pomnilnik za dnevnik interakcij za vsakega agenta. 

• Upravitelj shranjevanja: Upravitelj shranjevanja je odgovoren za ohranjanje dnevnikov interakcij agentov v dolgoročni shrambi za prihodnje iskanje. 

• Upravitelj orodij: Mehanizem upravitelja orodij upravlja klic agentov zunanjim orodjem API. 

• Upravitelj dostopa: Upravitelj dostopa uveljavlja politike zasebnosti in nadzora dostopa med agenti. 

Poleg zgoraj omenjenih mehanizmov ima ogrodje AIOS večplastno arhitekturo in je razdeljeno na tri različne plasti: aplikacijsko plast, plast jedra in plast strojne opreme. Večplastna arhitektura, ki jo izvaja ogrodje AIOS, zagotavlja, da so odgovornosti enakomerno porazdeljene po sistemu, višji sloji pa abstrahirajo kompleksnost slojev pod njimi, kar omogoča interakcijo z uporabo posebnih modulov ali vmesnikov, izboljšanje modularnosti in poenostavitev sistemskih interakcij med plasti. 

Začenši z aplikacijsko plastjo, se ta plast uporablja za razvoj in uvajanje aplikacijskih agentov, kot so matematika ali potovalne agencije. V aplikacijskem sloju ogrodje AIOS zagotavlja komplet za razvoj programske opreme AIOS (AIOS SDK) z višjo abstrakcijo sistemskih klicev, ki poenostavi razvojni proces za razvijalce agentov. Komplet za razvoj programske opreme, ki ga ponuja AIOS, ponuja bogat nabor orodij za olajšanje razvoja agentskih aplikacij z abstrahiranjem zapletenosti sistemskih funkcij na nižji ravni, kar razvijalcem omogoča, da se osredotočijo na funkcionalnosti in bistveno logiko svojih agentov, kar ima za posledico učinkovitejši razvoj postopek. 

Če gremo naprej, je plast jedra nadalje razdeljena na dve komponenti: jedro LLM in jedro OS. Tako jedro OS kot jedro LLM služita edinstvenim zahtevam operacij, specifičnih za LLM, in operacij, ki niso LLM, pri čemer razlika omogoča jedru LLM, da se osredotoči na specifične naloge velikega jezikovnega modela, vključno z razporejanjem agentov in upravljanjem konteksta, dejavnosti, ki so bistvenega pomena za upravljanje dejavnosti povezanih z velikimi jezikovnimi modeli. Ogrodje AIOS se osredotoča predvsem na izboljšanje jedra velikega jezikovnega modela, ne da bi bistveno spremenil strukturo obstoječega jedra OS. Jedro LLM je opremljeno z več ključnimi moduli, vključno z razporejevalnikom agentov, upravljalnikom pomnilnika, upraviteljem konteksta, upraviteljem pomnilnika, upraviteljem dostopa, upraviteljem orodij in vmesnikom za sistemske klice LLM. Komponente znotraj plasti jedra so zasnovane tako, da poskušajo obravnavati različne potrebe izvajanja agentskih aplikacij, ki zagotavljajo učinkovito izvajanje in upravljanje v okviru AIOS. 

Končno imamo sloj strojne opreme, ki obsega fizične komponente sistema, vključno z GPE, CPE, perifernimi napravami, diskom in pomnilnikom. Bistveno je razumeti, da sistem jeder LLM ne more neposredno komunicirati s strojno opremo in da so ti klici povezani s sistemskimi klici operacijskega sistema, ki nato upravljajo vire strojne opreme. Ta posredna interakcija med sistemom karnela LLM in viri strojne opreme ustvarja plast varnosti in abstrakcije, kar omogoča jedru LLM, da izkoristi zmogljivosti virov strojne opreme, ne da bi zahtevalo neposredno upravljanje strojne opreme, kar olajša vzdrževanje celovitosti in učinkovitosti sistema. . 

Izvajanje

Kot že omenjeno, obstaja šest glavnih mehanizmov, vključenih v delovanje ogrodja AIOS. Razporejevalnik agenta je zasnovan tako, da lahko učinkovito upravlja zahteve agenta in ima več izvedbenih korakov v nasprotju s tradicionalno paradigmo zaporednega izvajanja, v kateri agent obdeluje naloge na linearen način s koraki iz istega agent, ki se najprej obdela, preden se premakne na naslednjega agenta, kar ima za posledico podaljšane čakalne dobe za naloge, ki se pojavijo pozneje v zaporedju izvajanja. Razporejevalnik agentov uporablja strategije, kot so Round Robin, First In First Out in druge algoritme razporejanja za optimizacijo procesa. 

Upravljalnik konteksta je bil zasnovan tako, da je odgovoren za upravljanje konteksta, zagotovljenega velikemu jezikovnemu modelu, in proces generiranja glede na določen kontekst. Upravljalnik konteksta vključuje dve ključni komponenti: posnetek in obnovitev konteksta ter upravljanje kontekstnega okna. Mehanizem za posnetek konteksta in obnovitev, ki ga ponuja ogrodje AIOS, pomaga ublažiti situacije, ko razporejevalnik začasno prekine zahteve agenta, kot je prikazano na naslednji sliki. 

Kot je prikazano na naslednji sliki, je upravitelj pomnilnika odgovoren za upravljanje kratkoročnega pomnilnika v življenjskem ciklu agenta in zagotavlja, da so podatki shranjeni in dostopni le, ko je agent aktiven, bodisi med izvajanjem ali ko agent čaka za izvedbo. 

Po drugi strani pa je skrbnik hrambe odgovoren za dolgoročno ohranitev podatkov in skrbi za shranjevanje informacij, ki jih je treba hraniti za nedoločen čas, ki presega življenjsko dobo delovanja posameznega agenta. Ogrodje AISO omogoča trajno shranjevanje z uporabo različnih trajnih medijev, vključno z rešitvami v oblaku, zbirkami podatkov in lokalnimi datotekami, kar zagotavlja razpoložljivost in celovitost podatkov. Poleg tega je v ogrodju AISO upravitelj orodij tisti, ki upravlja različno paleto orodij API, ki izboljšujejo funkcionalnost velikih jezikovnih modelov, naslednja tabela pa povzema, kako upravitelj orodij integrira pogosto uporabljena orodja iz različnih virov in jih razvršča v različne kategorije. 

Upravitelj dostopa organizira operacije nadzora dostopa znotraj različnih agenti z upravljanjem namenske skupine privilegijev za vsakega agenta in agentu zavrne dostop do njegovih virov, če so izključeni iz skupine privilegijev agenta. Poleg tega je upravitelj dostopa odgovoren tudi za zbiranje in vzdrževanje revizijskih dnevnikov, kar dodatno povečuje preglednost sistema. 

AIOS: Poskusi in rezultati

Vrednotenje ogrodja AIOS vodita dve raziskovalni vprašanji: prvič, kako uspešnost razporejanja AIOS vpliva na izboljšanje čakalne dobe stanja in časa obtoka, in drugič, ali je odziv LLM na zahteve agenta dosleden po prekinitvi agenta?

Da bi odgovorili na vprašanja o doslednosti, razvijalci zaženejo vsakega od treh agentov posebej, nato pa izvajajo te agente vzporedno in poskušajo zajeti njihove rezultate med vsako stopnjo. Kot je prikazano v spodnji tabeli, rezultati BERT in BLEU dosegajo vrednost 1.0, kar kaže na popolno usklajenost med izhodi, ustvarjenimi v konfiguracijah z enim agentom in več agentom. 

Da bi odgovorili na vprašanja o učinkovitosti, razvijalci izvedejo primerjalno analizo med ogrodjem AIOS, ki uporablja načrtovanje FIFO ali First In First Out, in nenačrtovanim pristopom, pri katerem agenti delujejo sočasno. V nenačrtovani nastavitvi se agenti izvajajo v vnaprej določenem zaporednem vrstnem redu: agent za matematiko, agent za pripovedovanje in agent za snemanje. Za oceno časovne učinkovitosti ogrodje AIOS uporablja dve metriki: čakalni čas in čas obtoka, in ker agenti pošljejo več zahtev velikemu jezikovnemu modelu, se čakalni čas in čas obtoka za posamezne agente izračuna kot povprečje čakalna doba in čas obrabe za vse zahteve. Kot je prikazano v naslednji tabeli, nenačrtovani pristop prikaže zadovoljivo zmogljivost za agente na začetku zaporedja, vendar trpi zaradi podaljšanih čakalnih in obtočnih časov za agente pozneje v zaporedju. Po drugi strani pa pristop načrtovanja, ki ga izvaja ogrodje AIOS, učinkovito ureja tako čakalne dobe kot čas obtoka. 

Končna thoughts

V tem članku smo govorili o AIOS, operacijskem sistemu agenta LLM, ki je zasnovan v poskusu vdelave velikih jezikovnih modelov v OS kot možgane OS, kar omogoča operacijski sistem z dušo. Natančneje, ogrodje AIOS je zasnovano z namenom olajšanja preklapljanja konteksta med agenti, optimizacije dodeljevanja virov, zagotavljanja orodnih storitev za agente, vzdrževanja nadzora dostopa za agente in omogočanja hkratnega izvajanja agentov. Arhitektura AISO dokazuje potencial za olajšanje razvoja in uvajanja avtonomni agenti, ki temeljijo na velikem jezikovnem modelu, kar ima za posledico učinkovitejši, kohezivnejši in učinkovitejši ekosistem AIOS-Agent.