AIOS: operacinė sistema LLM agentams

Per pastaruosius šešis dešimtmečius operacinės sistemos vystėsi laipsniškai, nuo pagrindinių sistemų pažengusios į sudėtingas ir interaktyvias operacines sistemas, kurios maitina šiuolaikinius įrenginius. Iš pradžių operacinės sistemos tarnavo kaip tiltas tarp dvejetainių kompiuterių aparatinės įrangos funkcijų, tokių kaip vartų manipuliavimas, ir vartotojo lygio užduočių. Tačiau bėgant metams jie išsivystė nuo paprastų paketinio užduočių apdorojimo sistemų iki sudėtingesnių procesų valdymo metodų, įskaitant kelių užduočių atlikimą ir laiko pasidalijimą. Šios pažangos leido šiuolaikinėms operacinėms sistemoms valdyti daugybę sudėtingų užduočių. Įdiegus grafines vartotojo sąsajas (GUI), pvz., „Windows“ ir „MacOS“, šiuolaikinės operacinės sistemos tapo patogesnės ir interaktyvesnės, o OS ekosistema išplėtė vykdymo bibliotekas ir platų kūrėjo įrankių rinkinį.

Naujausios naujovės apima integravimą ir diegimą Dideli kalbų modeliai (LLM), kurios sukėlė revoliuciją įvairiose pramonės šakose, atverdamos naujas galimybes. Visai neseniai LLM pagrįsti intelektualūs agentai pademonstravo nepaprastus gebėjimus, pasiekdami panašius į žmones atlikdami įvairias užduotis. Tačiau šie agentai vis dar yra ankstyvose kūrimo stadijose, o dabartiniai metodai susiduria su keliais iššūkiais, turinčiais įtakos jų efektyvumui ir veiksmingumui. Įprastos problemos apima neoptimalų agentų užklausų planavimą naudojant didelės kalbos modelį, sudėtingas skirtingų specializacijų agentų integravimas ir konteksto palaikymas LLM ir agento sąveikos metu. Spartus LLM pagrindu veikiančių agentų vystymasis ir didėjantis sudėtingumas dažnai sukelia kliūtis ir neoptimalų išteklių naudojimą.

Siekiant išspręsti šiuos iššūkius, šiame straipsnyje bus aptariama AIOS – LLM agento operacinė sistema, skirta integruoti didelius kalbų modelius kaip operacinės sistemos „smegenis“, veiksmingai suteikiant jai „sielą“. Konkrečiai, AIOS sistema siekiama palengvinti konteksto perjungimą tarp agentų, optimizuoti išteklių paskirstymą, teikti įrankių paslaugas agentams, palaikyti prieigos kontrolę ir įgalinti tuo pačiu metu vykdyti agentus. Mes gilinsimės į AIOS sistemą, išnagrinėsime jos mechanizmus, metodiką ir architektūrą bei palyginsime ją su naujausiomis sistemomis. Pasinerkime.

Pasiekus nepaprastą sėkmę naudojant didelius kalbų modelius, kitas AI ir ML pramonės tikslas yra sukurti autonominius AI agentus, kurie gali veikti savarankiškai, priimti sprendimus ir atlikti užduotis su minimaliu žmogaus įsikišimu arba be jo. Šie dirbtiniu intelektu pagrįsti intelektualūs agentai yra skirti suprasti žmonių nurodymus, apdoroti informaciją, priimti sprendimus ir imtis atitinkamų veiksmų autonominei būsenai pasiekti. Atsiradus ir tobulėjant dideliems kalbos modeliams, atsiranda naujų galimybių plėtoti šiuos autonominius agentus. Dabartinės LLM sistemos, įskaitant DALL-E, GPT ir kt., parodė puikius gebėjimus suprasti žmogaus nurodymus, samprotavimus ir problemų sprendimo gebėjimus bei sąveikauti su naudotojais žmonėmis kartu su išorine aplinka. Sukurti ant šių galingų ir galingų didelių kalbų modelių, LLM pagrįsti agentai turi puikių gebėjimų atlikti užduotis įvairiose aplinkose, pradedant virtualiais asistentais ir baigiant sudėtingesnėmis ir sudėtingesnėmis sistemomis, apimančiomis problemų sprendimą, samprotavimą, planavimą ir vykdymą. 

Aukščiau pateiktame paveikslėlyje pateikiamas įtikinamas pavyzdys, kaip LLM pagrįstas autonominis agentas gali išspręsti realaus pasaulio užduotis. Vartotojas prašo sistemos kelionės informacijos, po kurios kelionių agentas suskirsto užduotį į vykdomus veiksmus. Tada agentas nuosekliai atlieka veiksmus, rezervuodamas skrydžius, rezervuodamas viešbučius, apdorodamas mokėjimus ir kt. Vykdant veiksmus šie agentai skiriasi nuo tradicinių programinės įrangos taikomųjų programų yra agentų gebėjimas parodyti sprendimų priėmimo galimybes ir įtraukti samprotavimus atliekant veiksmus. Kartu su eksponentiniu jų kokybės augimu autonominiai agentai, didelių kalbų modelių ir operacinių sistemų funkcijų įtampa išaugo, o to paties pavyzdys yra tas, kad prioritetų nustatymas ir agentų užklausų planavimas ribotuose didelių kalbų modeliuose yra didelis iššūkis. Be to, kadangi didelių kalbų modelių generavimo procesas tampa daug laiko reikalaujančia užduotimi, kai kalbama apie ilgus kontekstus, planuotojas gali sustabdyti gautą generavimą, o tai iškyla mechanizmo, leidžiančio užfiksuoti dabartinės kalbos modelio kartos rezultatą, kūrimo problemą. . Dėl to pristabdymo / atnaujinimo elgesys įgalinamas, kai didelės kalbos modelis neužbaigė atsakymo į dabartinę užklausą generavimo. 

Siekiant išspręsti aukščiau paminėtus iššūkius, AIOS, didelės kalbos modelio operacinė sistema, teikia LLM ir OS funkcijų agregatus ir modulių izoliaciją. AIOS sistema siūlo specifinį LLM branduolio dizainą, kad būtų išvengta galimų konfliktų tarp užduočių, susijusių ir nesusijusių su dideliu kalbos modeliu. Siūlomas branduolys atskiria operacinę sistemą kaip pareigas, ypač tas, kurios prižiūri LLM agentus, kūrimo įrankių rinkinius ir atitinkamus išteklius. Dėl šio atskyrimo LLM branduolys bando pagerinti veiklos, susijusios su LLM, koordinavimą ir valdymą. 

AIOS: metodika ir architektūra

Kaip matote, yra šeši pagrindiniai mechanizmai, susiję su AIOS sistemos veikimu. 

• Agento planuotojas: Agento planuokliui priskirta užduotis yra suplanuoti agento užklausas ir nustatyti jų prioritetus, siekiant optimizuoti didelės kalbos modelio naudojimą. 

• Konteksto tvarkyklė: Konteksto tvarkytuvui priskirta užduotis yra palaikyti momentines nuotraukas kartu su vidutinės kartos būsenos atkūrimu didelės kalbos modelyje ir kontekstinio lango valdymu didelės kalbos modelyje. 

• Atminties tvarkyklė: Pagrindinė atminties tvarkyklės pareiga yra suteikti trumpalaikę atmintį kiekvieno agento sąveikos žurnalui. 

• Sandėliavimo vadybininkas: Saugyklos valdytojas yra atsakingas už agentų sąveikos žurnalų išsaugojimą ilgalaikėje saugykloje, kad būtų galima juos gauti ateityje. 

• Įrankių tvarkyklė: įrankių tvarkyklės mechanizmas valdo agentų iškvietimą į išorinius API įrankius. 

• Prieigos tvarkyklė: Prieigos tvarkyklė įgyvendina tarp agentų privatumo ir prieigos kontrolės politiką. 

Be pirmiau minėtų mechanizmų, AIOS sistema turi daugiasluoksnę architektūrą ir yra padalinta į tris skirtingus sluoksnius: taikymo sluoksnį, branduolio sluoksnį ir aparatinės įrangos sluoksnį. Sluoksniuota architektūra, įdiegta AIOS sistemos, užtikrina, kad atsakomybė būtų paskirstyta tolygiai visoje sistemoje, o aukštesni sluoksniai abstrahuoja po jais esančių sluoksnių sudėtingumą, leidžia sąveikauti naudojant konkrečius modulius ar sąsajas, padidina moduliškumą ir supaprastina sistemos sąveiką tarp sluoksnių. 

Pradedant nuo taikomojo sluoksnio, šis sluoksnis naudojamas programų agentams, pvz., matematikos ar kelionių agentūroms, kurti ir diegti. Programos lygmenyje AIOS sistema AIOS programinės įrangos kūrimo rinkiniui (AIOS SDK) suteikia didesnę sistemos iškvietimų abstrakciją, o tai supaprastina agentų kūrėjų kūrimo procesą. AIOS siūlomas programinės įrangos kūrimo rinkinys siūlo turtingą įrankių rinkinį, palengvinantį agentų programų kūrimą, pašalinant žemesnio lygio sistemos funkcijų sudėtingumą, leidžiantį kūrėjams sutelkti dėmesį į savo agentų funkcijas ir esminę logiką, todėl plėtra yra efektyvesnė. procesas. 

Toliau branduolio sluoksnis dar skirstomas į du komponentus: LLM branduolį ir OS branduolį. Ir OS branduolys, ir LLM branduolys atitinka unikalius LLM specifinių ir ne LLM operacijų reikalavimus, o tai leidžia LLM branduoliui sutelkti dėmesį į dideles kalbos modelio specifines užduotis, įskaitant agento planavimą ir konteksto valdymą, veiklas, kurios yra būtinos tvarkant veiklą. susiję su dideliais kalbos modeliais. AIOS sistema visų pirma sutelkta į didelio kalbos modelio branduolio tobulinimą, nekeičiant esamo OS branduolio struktūros. LLM branduolyje yra keletas pagrindinių modulių, įskaitant agento planuoklį, atminties tvarkyklę, konteksto tvarkyklę, saugyklos tvarkyklę, prieigos tvarkyklę, įrankių tvarkyklę ir LLM sistemos iškvietimo sąsają. Branduolio sluoksnyje esantys komponentai sukurti taip, kad būtų patenkinti įvairūs vykdymo poreikiai agentų taikomųjų programų, užtikrinančių veiksmingą vykdymą ir valdymą AIOS sistemoje. 

Galiausiai turime aparatūros sluoksnį, kurį sudaro fiziniai sistemos komponentai, įskaitant GPU, procesorių, periferinius įrenginius, diską ir atmintį. Būtina suprasti, kad LLM branduolių sistema negali tiesiogiai sąveikauti su aparatine įranga, o šie iškvietimai susieja su operacinės sistemos sisteminiais iškvietimais, kurie savo ruožtu valdo aparatūros išteklius. Ši netiesioginė sąveika tarp LLM karnelio sistemos ir aparatinės įrangos išteklių sukuria saugumo ir abstrakcijos sluoksnį, leidžiantį LLM branduoliui panaudoti aparatūros išteklių galimybes, nereikalaujant tiesiogiai valdyti aparatūros, taip palengvinant sistemos vientisumo ir efektyvumo palaikymą. . 

Vykdymas

Kaip minėta pirmiau, yra šeši pagrindiniai mechanizmai, susiję su AIOS sistemos veikimu. Agento planuoklis sukurtas taip, kad galėtų efektyviai valdyti agento užklausas ir turi kelis vykdymo veiksmus, prieštaraujančius tradicinei nuoseklaus vykdymo paradigmai, kai agentas apdoroja užduotis linijiniu būdu, atlikdamas veiksmus iš to paties. agentas pirmiausia apdorojamas prieš pereinant prie kito agento, todėl pailgėja užduočių, atsirandančių vėliau vykdymo sekoje, laukimo laikas. Agento planuotojas naudoja tokias strategijas kaip „Round Robin“, „First In First Out“ ir kitus planavimo algoritmus, kad optimizuotų procesą. 

Konteksto tvarkyklė buvo sukurta taip, kad būtų atsakinga už konteksto, pateikto dideliam kalbos modeliui, valdymą ir generavimo procesą, atsižvelgiant į tam tikrą kontekstą. Konteksto tvarkytuvė apima du esminius komponentus: konteksto momentinį vaizdą ir atkūrimą bei konteksto langų valdymą. AIOS sistemos siūlomas konteksto momentinis vaizdas ir atkūrimo mechanizmas padeda sušvelninti situacijas, kai planuotojas sustabdo agento užklausas, kaip parodyta toliau pateiktame paveikslėlyje. 

Kaip parodyta toliau pateiktame paveikslėlyje, atminties tvarkyklė yra atsakinga už trumpalaikės atminties tvarkymą agento gyvavimo ciklo metu ir užtikrina, kad duomenys būtų saugomi ir pasiekiami tik tada, kai agentas yra aktyvus, vykdymo metu arba kai agentas laukia. už egzekuciją. 

Kita vertus, saugyklos valdytojas yra atsakingas už duomenų išsaugojimą ilgalaikėje perspektyvoje ir prižiūri informacijos, kurią reikia saugoti neribotą laiką, ilgiau nei atskiro agento veiklos trukmė, saugojimą. AISO sistema užtikrina nuolatinį saugojimą naudojant įvairias patvarias laikmenas, įskaitant debesies pagrindu veikiančius sprendimus, duomenų bazes ir vietinius failus, užtikrinant duomenų prieinamumą ir vientisumą. Be to, AISO sistemoje įrankių tvarkyklė valdo įvairius API įrankius, kurie pagerina didelių kalbų modelių funkcionalumą, o šioje lentelėje apibendrinama, kaip įrankių tvarkyklė integruoja dažniausiai naudojamus įvairių išteklių įrankius ir juos klasifikuoja. į skirtingas kategorijas. 

Prieigos tvarkyklė organizuoja prieigos kontrolės operacijas atskirose agentai administruodamas kiekvienam agentui skirtą privilegijų grupę ir neleidžia agentui pasiekti savo išteklių, jei jie neįtraukti į agento privilegijų grupę. Be to, prieigos valdytojas taip pat yra atsakingas už audito žurnalų sudarymą ir tvarkymą, kuris dar labiau padidina sistemos skaidrumą. 

AIOS: eksperimentai ir rezultatai

Vertinant AIOS sistemą, vadovaujamasi dviem tyrimo klausimais: pirma, kaip AIOS planavimas veikia gerinant balanso laukimo ir apyvartos laiką, ir, antra, ar LLM atsakas į agento užklausas yra nuoseklus po agento sustabdymo?

Norėdami atsakyti į nuoseklumo klausimus, kūrėjai paleidžia kiekvieną iš trijų agentų atskirai, o vėliau šiuos agentus vykdo lygiagrečiai ir bando užfiksuoti jų rezultatus kiekviename etape. Kaip parodyta šioje lentelėje, BERT ir BLEU balai pasiekia 1.0 reikšmę, o tai rodo puikų vieno agento ir kelių agentų konfigūracijų sugeneruotų išėjimų suderinimą. 

Norėdami atsakyti į efektyvumo klausimus, kūrėjai atlieka lyginamąją AIOS sistemos, kurioje naudojamas FIFO arba „First In First Out“ planavimas, ir neplaninio metodo, kai agentai veikia vienu metu, lyginamąją analizę. Neplanuotame nustatyme agentai vykdomi iš anksto nustatyta nuoseklia tvarka: matematikos agentas, pasakojimo agentas ir rec agentas. Laikinam efektyvumui įvertinti AIOS sistemoje naudojami du rodikliai: laukimo laikas ir apyvartos laikas, o kadangi agentai siunčia kelias užklausas į didelės kalbos modelį, laukimo laikas ir atskirų agentų apdorojimo laikas apskaičiuojami kaip vidutinis visų užklausų laukimo ir apdorojimo laikas. Kaip parodyta toliau pateiktoje lentelėje, neplanuotas metodas rodo patenkinamą agentų našumą ankstesnėje sekoje, bet kenčia nuo ilgesnio laukimo ir vėlesnių agentų apdorojimo laiko. Kita vertus, AIOS sistemos įgyvendintas planavimo metodas efektyviai reguliuoja tiek laukimo, tiek apyvartos laiką. 

Baigiamosios mintys

Šiame straipsnyje kalbėjome apie AIOS – LLM agento operacinę sistemą, kuri sukurta siekiant į OS įterpti didelius kalbos modelius kaip OS smegenis, įgalinant operacinę sistemą su siela. Tiksliau tariant, AIOS sistema sukurta siekiant palengvinti konteksto perjungimą tarp agentų, optimizuoti išteklių paskirstymą, teikti agentų įrankių paslaugą, išlaikyti agentų prieigos kontrolę ir įgalinti tuo pačiu metu vykdyti agentus. AISO architektūra parodo potencialą palengvinti kūrimą ir diegimą dideli kalbos modeliai pagrįsti autonominiai agentai, todėl sukuriama veiksmingesnė, darnesnė ir efektyvesnė AIOS agento ekosistema.