AIOS: Operációs rendszer LLM-ügynökök számára

Az elmúlt hat évtized során az operációs rendszerek fokozatosan fejlődtek, az alaprendszerektől a mai eszközöket tápláló összetett és interaktív operációs rendszerekig fejlődtek. Kezdetben az operációs rendszerek hídként szolgáltak a számítógépes hardver bináris funkcionalitása, például a kapukezelés és a felhasználói szintű feladatok között. Az évek során azonban az egyszerű kötegelt munkafeldolgozó rendszerektől a kifinomultabb folyamatkezelési technikákig fejlődtek, beleértve a multitaskingot és az időmegosztást. Ezek a fejlesztések lehetővé tették a modern operációs rendszerek számára, hogy összetett feladatok széles skáláját kezeljék. A grafikus felhasználói felületek (GUI-k), mint például a Windows és a MacOS bevezetése felhasználóbarátabbá és interaktívabbá tette a modern operációs rendszereket, miközben futásidejű könyvtárakkal és átfogó fejlesztői eszközökkel bővítette az operációs rendszer ökoszisztémáját.

A legújabb innovációk közé tartozik az integráció és a telepítés Nagy nyelvi modellek (LLM), amelyek forradalmasították a különböző iparágakat azáltal, hogy új lehetőségeket nyitottak meg. A közelmúltban az LLM-alapú intelligens ügynökök figyelemre méltó képességekről tettek tanúbizonyságot, és a feladatok széles körében emberhez hasonló teljesítményt értek el. Ezek az ágensek azonban még a fejlesztés korai szakaszában vannak, és a jelenlegi technikák számos kihívással néznek szembe, amelyek befolyásolják hatékonyságukat és eredményességüket. A gyakori problémák közé tartozik az ügynökkérések nem optimális ütemezése a nagy nyelvi modellen, a különböző szakterületű ügynökök integrálásának bonyolultsága, valamint a kontextus fenntartása az LLM és az ügynök közötti interakciók során. Az LLM-alapú ágensek gyors fejlődése és növekvő összetettsége gyakran szűk keresztmetszetek kialakulásához és az erőforrások nem optimális felhasználásához vezet.

E kihívások megoldása érdekében ez a cikk az AIOS-t, egy LLM-ügynök operációs rendszert tárgyalja, amelyet arra terveztek, hogy a nagy nyelvi modelleket az operációs rendszer „agyaként” integrálja, hatékonyan „lelket” adva annak. Az AIOS keretrendszer célja az ügynökök közötti kontextusváltás megkönnyítése, az erőforrások elosztásának optimalizálása, az ügynökök számára eszközszolgáltatások biztosítása, a hozzáférés-vezérlés fenntartása és az ügynökök egyidejű végrehajtásának lehetővé tétele. Mélyen elmélyülünk az AIOS keretrendszerben, feltárjuk annak mechanizmusait, módszertanát és architektúráját, és összehasonlítjuk a legmodernebb keretrendszerekkel. Merüljünk el.

A nagy nyelvi modellekben elért figyelemre méltó sikerek után az AI és az ML iparág következő fókusza olyan autonóm mesterséges intelligencia ágensek kifejlesztése, amelyek képesek önállóan működni, önállóan hozni döntéseket, és minimális emberi beavatkozással vagy anélkül hajtanak végre feladatokat. Ezeket az AI-alapú intelligens ágenseket úgy tervezték, hogy megértsék az emberi utasításokat, feldolgozzák az információkat, döntéseket hozzanak, és megfelelő lépéseket tegyenek az autonóm állapot elérése érdekében, miközben a nagy nyelvi modellek megjelenése és fejlesztése új lehetőségeket kínál ezen autonóm ágensek fejlesztésében. A jelenlegi LLM-keretrendszerek, beleértve a DALL-E-t, GPT-t és még sok mást, figyelemre méltó képességeket mutattak az emberi utasítások megértésében, az érvelési és problémamegoldó képességekben, valamint az emberi felhasználókkal való interakcióban és a külső környezetekben. Ezekre a nagy teljesítményű és nagy nyelvi modellekre épülő LLM-alapú ügynökök erős feladat-végrehajtási képességekkel rendelkeznek a különböző környezetekben, a virtuális asszisztensektől a bonyolultabb és kifinomultabb rendszerekig, amelyek magukban foglalják a problémamegoldást, az érvelést, a tervezést és a végrehajtást. 

A fenti ábra meggyőző példát ad arra, hogy egy LLM-alapú autonóm ágens hogyan tud valós feladatokat megoldani. A felhasználó utazási információkat kér a rendszertől, amely után az utazási iroda végrehajtható lépésekre bontja a feladatot. Ezután az ügynök egymás után hajtja végre a lépéseket: repülőjegyeket foglal, szállodákat foglal, fizetéseket dolgoz fel és így tovább. A lépések végrehajtása során ezeket az ágenseket az különbözteti meg a hagyományos szoftveralkalmazásoktól, hogy az ügynökök döntéshozatali képességeket mutatnak be, és az érvelést beépítik a lépések végrehajtásába. Ezek minőségének exponenciális növekedésével együtt autonóm ágensek, a nagy nyelvi modellek és operációs rendszerek funkcióira nehezedő terhelés nőtt, és erre példa, hogy az ügynökkérelmek prioritása és ütemezése korlátozott nagy nyelvi modellekben jelentős kihívást jelent. Továbbá, mivel a nagy nyelvi modellek generálása időigényes feladattá válik a hosszadalmas kontextusok kezelésekor, lehetséges, hogy az ütemező felfüggeszti az eredményül kapott generációt, ami problémát vet fel a nyelvi modell jelenlegi generálási eredményének pillanatképet leképező mechanizmus kidolgozásával. . Ennek eredményeként a szünet/folytatás viselkedés engedélyezve van, ha a nagy nyelvi modell nem fejezte be az aktuális kérés válaszgenerálását. 

A fent említett kihívások megoldására az AIOS, egy nagy nyelvi modell operációs rendszer biztosítja az LLM és az OS funkciók összesítését és modul elkülönítését. Az AIOS keretrendszer egy LLM-specifikus kerneltervezést javasol, hogy elkerülje a nagy nyelvi modellhez társított és nem társított feladatok közötti esetleges konfliktusokat. A javasolt kernel elkülöníti az operációs rendszerhez hasonló feladatokat, különösen azokat, amelyek felügyelik az LLM-ügynököket, a fejlesztői eszközkészleteket és a hozzájuk tartozó erőforrásokat. Ennek a szegregációnak köszönhetően az LLM kernel megpróbálja javítani az LLM-ekkel kapcsolatos tevékenységek koordinációját és irányítását. 

AIOS: Módszertan és építészet

Mint látható, az AIOS keretrendszer működésében hat fő mechanizmus vesz részt. 

• Ügynök ütemező: Az ügynökütemezőhöz rendelt feladat az ügynökkérések ütemezése és prioritása a nagy nyelvi modell kihasználásának optimalizálása érdekében. 

• Környezetkezelő: A kontextuskezelőhöz rendelt feladat a pillanatképek támogatása, valamint a köztes generációs állapot visszaállítása a nagy nyelvi modellben, valamint a nagy nyelvi modell környezeti ablakkezelése. 

• Memóriakezelő: A memóriakezelő elsődleges feladata, hogy rövid távú memóriát biztosítson az egyes ügynökök interakciós naplójához. 

• Storage Manager: A tárkezelő felelős azért, hogy az ügynökök interakciós naplóit hosszú távú tárhelyen tárolja a jövőbeni visszakeresés céljából. 

• Szerszámkezelő: Az eszközkezelő mechanizmus kezeli az ügynökök külső API-eszközökhöz történő hívását. 

• Access Manager: A hozzáférés-kezelő kényszeríti ki az adatvédelmi és hozzáférés-szabályozási házirendeket az ügynökök között. 

A fent említett mechanizmusokon kívül az AIOS keretrendszer többrétegű architektúrával is rendelkezik, és három különálló rétegre oszlik: az alkalmazási rétegre, a kernelrétegre és a hardverrétegre. Az AIOS keretrendszer által megvalósított réteges architektúra biztosítja, hogy a felelősségek egyenletesen oszlanak el a rendszerben, a magasabb rétegek pedig elvonatkoztatják az alattuk lévő rétegek bonyolultságát, lehetővé téve az interakciókat specifikus modulok vagy interfészek használatával, fokozva a modularitást és egyszerűsítve a rendszer interakcióit a rendszerek között. rétegek. 

Az alkalmazási rétegtől kezdve ez a réteg olyan alkalmazásügynökök fejlesztésére és üzembe helyezésére szolgál, mint a matematikai vagy utazási irodák. Az alkalmazási rétegben az AIOS keretrendszer az AIOS szoftverfejlesztő készletet (AIOS SDK) a rendszerhívások magasabb absztrakciójával biztosítja, ami leegyszerűsíti a fejlesztési folyamatot az ügynökfejlesztők számára. Az AIOS által kínált szoftverfejlesztő készlet gazdag eszközkészletet kínál az ügynökalkalmazások fejlesztésének elősegítésére az alacsonyabb szintű rendszerfunkciók bonyolultságának absztrakciójával, lehetővé téve a fejlesztők számára, hogy az ügynökeik funkcióira és alapvető logikájára összpontosítsanak, ami hatékonyabb fejlesztést eredményez. folyamat. 

Továbblépve a kernelréteg két részre oszlik: az LLM kernelre és az operációs rendszer kernelére. Mind az operációs rendszer kernel, mind az LLM kernel az LLM-specifikus és nem LLM-műveletek egyedi követelményeit szolgálja, azzal a különbséggel, hogy az LLM-kernel nagy nyelvi modell-specifikus feladatokra összpontosíthat, beleértve az ügynök ütemezését és a kontextuskezelést, amelyek elengedhetetlenek a tevékenységek kezeléséhez. nagy nyelvi modellekkel kapcsolatos. Az AIOS keretrendszer elsősorban a nagy nyelvi modell kernel fejlesztésére koncentrál anélkül, hogy a meglévő operációs rendszer kernel szerkezetét jelentősen megváltoztatná. Az LLM kernel számos kulcsmodullal van felszerelve, beleértve az ügynökütemezőt, a memóriakezelőt, a környezetkezelőt, a tároláskezelőt, a hozzáféréskezelőt, az eszközkezelőt és az LLM rendszerhívási felületet. A kernelrétegen belüli összetevőket úgy tervezték meg, hogy megkíséreljék kielégíteni a különféle végrehajtási igényeket ügynökalkalmazások, biztosítva a hatékony végrehajtást és kezelést az AIOS keretrendszeren belül. 

Végül megvan a hardverréteg, amely a rendszer fizikai összetevőit tartalmazza, beleértve a GPU-t, a CPU-t, a perifériás eszközöket, a lemezt és a memóriát. Fontos megérteni, hogy az LLM kernelek rendszere nem tud közvetlenül kölcsönhatásba lépni a hardverrel, és ezek a hívások kapcsolódnak az operációs rendszer rendszerhívásaihoz, amelyek viszont kezelik a hardver erőforrásokat. Ez a közvetett interakció az LLM karnel rendszere és a hardver erőforrások között biztonsági és absztrakciós réteget hoz létre, lehetővé téve az LLM kernel számára, hogy kihasználja a hardver erőforrások képességeit anélkül, hogy a hardver közvetlen kezelését igényelné, elősegítve a rendszer integritásának és hatékonyságának fenntartását. . 

Implementáció

Mint fentebb említettük, az AIOS keretrendszer működésében hat fő mechanizmus vesz részt. Az ügynökütemezőt úgy alakították ki, hogy hatékonyan tudja kezelni az ügynökkéréseket, és több végrehajtási lépéssel is rendelkezik, ellentétben a hagyományos szekvenciális végrehajtási paradigmával, amelyben az ügynök lineárisan dolgozza fel a feladatokat ugyanazon lépésekkel. Az ügynök feldolgozása először történik meg, mielőtt a következő ügynökre lépne, ami megnöveli a várakozási időt a végrehajtási sorrendben később megjelenő feladatokra. Az ügynökütemező olyan stratégiákat alkalmaz, mint a Round Robin, First In First Out és más ütemezési algoritmusok a folyamat optimalizálására. 

A kontextuskezelőt úgy alakították ki, hogy felelős a nagy nyelvi modellhez biztosított kontextus kezeléséért, és az adott kontextushoz tartozó generálási folyamatért. A kontextuskezelő két kulcsfontosságú összetevőt foglal magában: a kontextus pillanatfelvételét és visszaállítását, valamint a környezeti ablakkezelést. Az AIOS-keretrendszer által kínált kontextus-pillanatfelvétel és visszaállítási mechanizmus segít enyhíteni azokat a helyzeteket, amikor az ütemező felfüggeszti az ügynökkéréseket, amint az a következő ábrán látható. 

Amint az a következő ábrán látható, a memóriakezelő felelőssége a rövid távú memória kezelése az ügynök életciklusán belül, és gondoskodik arról, hogy az adatok csak akkor legyenek tárolva és csak akkor érhetők el, ha az ügynök aktív, akár futás közben, akár amikor az ügynök várakozik. a végrehajtáshoz. 

Másrészt a tárkezelő felelős az adatok hosszú távú megőrzéséért, és felügyeli a határozatlan ideig, az egyes ügynök tevékenységi élettartamán túlmenően megőrizendő információk tárolását. Az AISO keretrendszer állandó tárolást biztosít számos tartós adathordozó segítségével, beleértve a felhőalapú megoldásokat, adatbázisokat és helyi fájlokat, biztosítva az adatok elérhetőségét és integritását. Ezenkívül az AISO keretrendszerben az eszközkezelő az API-eszközök különböző tömbjét kezeli, amelyek javítják a nagy nyelvi modellek funkcionalitását, és az alábbi táblázat összefoglalja, hogy az eszközkezelő hogyan integrálja a különféle erőforrásokból származó, gyakran használt eszközöket, és osztályozza azokat. különböző kategóriákba. 

A hozzáférés-kezelő a hozzáférés-vezérlési műveleteket különállóan szervezi szerek egy dedikált jogosultsági csoport adminisztrálásával minden ügynök számára, és megtagadja az ügynök hozzáférését az erőforrásokhoz, ha ki vannak zárva az ügynök jogosultsági csoportjából. Ezen túlmenően a hozzáférés-kezelő feladata az auditálási naplók összeállítása és karbantartása is, ami tovább növeli a rendszer átláthatóságát. 

AIOS: Kísérletek és eredmények

Az AIOS keretrendszer értékelését két kutatási kérdés vezérli: egyrészt, hogyan teljesít az AIOS-ütemezés az egyenleg várakozási és átfutási idejének javításában, másrészt, hogy az LLM válasza az ügynökkérésekre konzisztens-e az ügynök felfüggesztése után?

A konzisztencia kérdéseinek megválaszolásához a fejlesztők mindhárom ügynököt külön-külön futtatják, majd párhuzamosan hajtják végre ezeket az ügynököket, és megpróbálják rögzíteni a kimeneteiket az egyes szakaszokban. Amint az a következő táblázatban látható, a BERT és a BLEU pontszáma eléri az 1.0 értéket, ami az együgynökös és többügynökes konfigurációkban generált kimenetek tökéletes összehangolását jelzi. 

A hatékonysági kérdések megválaszolásához a fejlesztők összehasonlító elemzést végeznek a FIFO vagy First In First Out ütemezést alkalmazó AIOS keretrendszer és egy nem ütemezett megközelítés között, ahol az ügynökök párhuzamosan futnak. A nem ütemezett beállításban az ügynökök előre meghatározott sorrendben hajtódnak végre: matematikai ügynök, narrációs ügynök és rec agent. Az időbeli hatékonyság felmérésére az AIOS keretrendszer két mérőszámot használ: a várakozási időt és az átfutási időt, és mivel az ügynökök több kérést küldenek a nagy nyelvi modellnek, az egyes ügynökök várakozási és átfutási idejét a program a várakozási idő átlagaként számítja ki. várakozási idő és átfutási idő az összes kérésnél. Amint az a következő táblázatban látható, a nem ütemezett megközelítés kielégítő teljesítményt mutat a szekvenciában korábban szereplő ügynökök esetében, de meghosszabbodik a várakozási és átfutási időktől a sorozat későbbi ágenseinél. Másrészt az AIOS keretrendszer által megvalósított ütemezési megközelítés hatékonyan szabályozza mind a várakozási, mind az átfutási időt. 

Záró gondolatok

Ebben a cikkben az AIOS-ról beszéltünk, egy LLM-ügynök operációs rendszerről, amelyet azzal a céllal terveztek, hogy nagy nyelvi modelleket ágyazzanak be az operációs rendszerbe, mint az operációs rendszer agyába, lehetővé téve a lélekkel rendelkező operációs rendszert. Pontosabban, az AIOS keretrendszert azzal a szándékkal tervezték, hogy megkönnyítse a kontextusváltást az ügynökök között, optimalizálja az erőforrás-allokációt, eszközszolgáltatást biztosítson az ügynökök számára, fenntartsa az ügynökök hozzáférés-vezérlését, és lehetővé tegye az ügynökök egyidejű végrehajtását. Az AISO architektúra megmutatja a fejlesztési és telepítési lehetőségeket nagy nyelvi modellen alapuló autonóm ágensek, ami hatékonyabb, összetartóbb és hatékonyabb AIOS-Agent ökoszisztémát eredményez.