AIOS: Operativsystem för LLM-agenter

Under de senaste sex decennierna har operativsystem utvecklats progressivt, från enkla system till de komplexa och interaktiva operativsystem som driver dagens enheter. Initialt fungerade operativsystem som en bro mellan den binära funktionen hos datorhårdvara, såsom gate-manipulation, och användar-nivåuppgifter. Över åren har de dock utvecklats från enkla batch-jobb bearbetningssystem till mer avancerade processhanterings-tekniker, inklusive multitasking och time-sharing. Dessa framsteg har möjliggjort att moderna operativsystem kan hantera en mängd olika komplexa uppgifter. Införandet av grafiska användargränssnitt (GUI) som Windows och MacOS har gjort moderna operativsystem mer användarvänliga och interaktiva, samtidigt som de har utökat operativsystemets ekosystem med runtime-bibliotek och en omfattande uppsättning utvecklarverktyg.

Senaste innovationerna inkluderar integrationen och distributionen av Stora språkmodeller (LLM), som har revolutionerat olika branscher genom att låsa upp nya möjligheter. Mer nyligen har LLM-baserade intelligenta agenter visat anmärkningsvärda förmågor, uppnått mänsklig prestanda på en bred skala av uppgifter. Dessa agenter är dock fortfarande i de tidiga utvecklingsstadierna, och nuvarande tekniker möter flera utmaningar som påverkar deras effektivitet och effektiitet. Vanliga problem inkluderar underoptimal schemaläggning av agentförfrågningar över den stora språkmodellen, komplexiteter i integrering av agenter med olika specialiseringar och underhåll av kontext under interaktioner mellan LLM och agenten. Den snabba utvecklingen och ökande komplexiteten hos LLM-baserade agenter leder ofta till flaskhalsar och underoptimal resursanvändning.

För att tackla dessa utmaningar kommer denna artikel att diskutera AIOS, ett LLM-agent-operativsystem som är utformat för att integrera stora språkmodeller som “hjärnan” i operativsystemet, effektivt ge det en “själ”. Specifikt syftar AIOS-ramverket till att underlätta kontextväxling mellan agenter, optimera resursallokering, tillhandahålla verktygstjänster för agenter, underhålla åtkomstkontroll och möjliggöra samtidig körning av agenter. Vi kommer att dyka djupt in i AIOS-ramverket, utforska dess mekanismer, metodik och arkitektur, och jämföra det med state-of-the-art-ramverk. Låt oss dyka in.

Efter att ha uppnått anmärkningsvärd framgång i stora språkmodeller är nästa fokus för AI- och ML-industrin att utveckla autonoma AI-agenter som kan operera oberoende, fatta beslut på egen hand och utföra uppgifter med minimal eller ingen mänsklig inblandning. Dessa AI-baserade intelligenta agenter är utformade för att förstå mänskliga instruktioner, bearbeta information, fatta beslut och vidta lämpliga åtgärder för att uppnå en autonom tillstånd, med införandet och utvecklingen av stora språkmodeller som bringar nya möjligheter till utvecklingen av dessa autonoma agenter. Nuvarande LLM-ramverk, inklusive DALL-E, GPT och mer, har visat anmärkningsvärda förmågor att förstå mänskliga instruktioner, resonemang och problemlösning, och interagera med mänskliga användare och yttre miljöer. Byggd på toppen av dessa kraftfulla och kapabla stora språkmodeller har LLM-baserade agenter starka uppgiftsutförande-förmågor i olika miljöer, från virtuella assistenter till mer komplexa och sofistikerade system som involverar problemlösning, resonemang, planering och utförande.

Figuren ovan ger ett övertygande exempel på hur en LLM-baserad autonom agent kan lösa verkliga uppgifter. Användaren begär systemet för resinformation, varefter reseagenten bryter ner uppgiften i utförbara steg. Sedan utför agenten stegen sekventiellt, bokar flyg, reserverar hotell, bearbetar betalningar och mer. Vad som skiljer dessa agenter från traditionella programvaruapplikationer är förmågan att visa beslutsfattande förmågor och inkorporera resonemang i utförandet av stegen. Tillsammans med en exponentiell tillväxt i kvaliteten på dessa autonoma agenter har belastningen på funktionerna hos stora språkmodeller och operativsystem ökat, och ett exempel på detta är att prioritera och schemalägga agentförfrågningar i begränsade stora språkmodeller utgör en betydande utmaning. Dessutom, eftersom genereringsprocessen för stora språkmodeller blir en tidskrävande uppgift när man hanterar långa sammanhang, är det möjligt för schemaläggaren att avbryta den resulterande genereringen, vilket skapar ett problem med att utveckla en mekanism för att spara den aktuella genereringsresultatet för språkmodellen. Som ett resultat av detta är paus/återupptagningsbeteende aktiverat när den stora språkmodellen inte har slutfört svarsgenereringen för den aktuella förfrågan.

För att tackla de ovan nämnda utmaningarna tillhandahåller AIOS, ett stort språkmodell-operativsystem, aggregering och modulisolation av LLM- och OS-funktioner. AIOS-ramverket föreslår ett LLM-specifikt kärndesign i ett försök att undvika potentiella konflikter som uppstår mellan uppgifter som är associerade med och inte associerade med den stora språkmodellen. Den föreslagna kärnan separerar operativsystemets liknande uppgifter, särskilt de som övervakar LLM-agenter, utvecklingsverktyg och deras respektive resurser. Som ett resultat av denna separation försöker LLM-kärnan förbättra samordningen och hanteringen av aktiviteter relaterade till LLM.

AIOS : Metodik och Arkitektur

Som du kan observera finns det sex stora mekanismer involverade i AIOS-ramverkets funktion.

• Agent Schemaläggare: Uppgiften som tilldelats agent-schemaläggaren är att schemalägga och prioritera agentförfrågningar i ett försök att optimera utnyttjandet av den stora språkmodellen.

• Kontext Chef: Uppgiften som tilldelats kontext-chefen är att stödja snapshots tillsammans med återställning av den intermediära genereringsstatusen i den stora språkmodellen, och kontext-fönsterhantering av den stora språkmodellen.

• Minnes Chef: Det primära ansvaret för minnes-chefen är att tillhandahålla kortvarig minne för interaktionsloggen för varje agent.

• Lagrings Chef: Lagrings-chefen är ansvarig för att permanenta interaktionsloggen för agenter till långsiktig lagring för framtida återvinning.

• Verktygs Chef: Verktygs-chefen hanterar anropet av agenter till externa API-verktyg.

• Åtkomst Chef: Åtkomst-chefen tillämpar åtkomstkontroll och policyer mellan agenter.

Utöver de ovan nämnda mekanismerna har AIOS-ramverket en lagerarkitektur, och är uppdelat i tre distinkta lager: applikationslagret, kärnlagret och hårdvarulagret. Den lagerarkitektur som implementeras av AIOS-ramverket säkerställer att ansvar fördelas jämnt över systemet, och de högre lagren abstraherar komplexiteten i de underliggande lagren, vilket möjliggör interaktioner med specifika moduler eller gränssnitt, förbättrar moduläriteten och förenklar systeminteraktioner mellan lagren.

Börjar med applikationslagret, används detta lager för att utveckla och distribuera applikationsagenter som matematik- eller reseagenter. I applikationslagret tillhandahåller AIOS-ramverket AIOS-programvaruutvecklingskit (AIOS SDK) med en högre abstraktion av systemanrop som förenklar utvecklingsprocessen för agentutvecklare. Det programvaruutvecklingskit som erbjuds av AIOS erbjuder en rik uppsättning verktyg för att underlätta utvecklingen av agentapplikationer genom att abstrahera bort komplexiteten i de underliggande systemfunktionerna, vilket möjliggör för utvecklare att fokusera på funktioner och väsentlig logik för sina agenter, vilket resulterar i en mer effektiv utvecklingsprocess.

Gå vidare, är kärnlagret ytterligare uppdelat i två komponenter: LLM-kärnan och OS-kärnan. Både OS-kärnan och LLM-kärnan tjänar de unika kraven för LLM-specifika och icke-LLM-åtgärder, med distinktionen som tillåter LLM-kärnan att fokusera på stora språkmodell-specifika uppgifter, inklusive agent-schemaläggning och kontext-hantering, aktiviteter som är väsentliga för hantering av aktiviteter relaterade till stora språkmodeller. AIOS-ramverket koncentrerar sig primärt på att förbättra den stora språkmodell-kärnan utan att ändra strukturen på den befintliga OS-kärnan avsevärt. LLM-kärnan kommer utrustad med flera nyckelmoduler, inklusive agent-schemaläggare, minnes-chef, kontext-chef, lagrings-chef, åtkomst-chef, verktygs-chef och LLM-systemanrop-gränssnittet. Komponenterna inom kärnlagret är utformade för att tackla de olika körningsbehoven för agentapplikationer, vilket säkerställer effektiv körning och hantering inom AIOS-ramverket.

Slutligen har vi hårdvarulagret som består av de fysiska komponenterna i systemet, inklusive GPU, CPU, periferienheter, disk och minne. Det är viktigt att förstå att systemet för LLM-kärnan inte kan interagera direkt med hårdvaran, och dessa anrop gränssnitt med systemanropen för operativsystemet som i sin tur hanterar hårdvaruresurserna. Denna indirekta interaktion mellan LLM-kärnans system och hårdvaruresurserna skapar ett lager av säkerhet och abstraktion, vilket möjliggör för LLM-kärnan att utnyttja förmågorna hos hårdvaruresurserna utan att kräva hantering av hårdvaran direkt, vilket underlättar underhållet av integriteten och effektiviteten i systemet.

Implementering

Som nämnts ovan finns det sex stora mekanismer involverade i AIOS-ramverkets funktion. Agent-schemaläggaren är utformad för att hantera agentförfrågningar på ett effektivt sätt, och har flera körningssteg, till skillnad från ett traditionellt sekventiellt körningsparadigm där agenten bearbetar uppgifterna i en linjär ordning, med stegen från samma agent som bearbetas först innan man går vidare till nästa agent, vilket resulterar i ökade väntetider för uppgifter som visas senare i körningssekvensen. Agent-schemaläggaren använder strategier som Round Robin, First In First Out och andra schemaläggningsalgoritmer för att optimera processen.

Kontext-chefen har utformats för att hantera kontexten som tillhandahålls till den stora språkmodellen, och genereringsprocessen givet den specifika kontexten. Kontext-chefen involverar två viktiga komponenter: kontext-snapshot och återställning, och kontext-fönsterhantering. Kontext-snapshot- och återställningsmekanismen som erbjuds av AIOS-ramverket hjälper till att mildra situationer där schemaläggaren avbryter agentförfrågningarna, som visas i figuren nedan.

Som visas i figuren nedan är det minnes-chefens ansvar att hantera kortvarig minne inom en agents livscykel, och säkerställer att data lagras och är tillgänglig endast när agenten är aktiv, antingen under körning eller när agenten väntar på körning.

Å andra sidan är lagrings-chefen ansvarig för att bevara data på lång sikt, och övervakar lagringen av information som behöver behållas under en obestämd tid, utöver den enskilda agentens livscykel. AIOS-ramverket uppnår permanent lagring med hjälp av olika hållbara medier, inklusive molnbaserade lösningar, databaser och lokala filer, vilket säkerställer data-tillgänglighet och integritet. Dessutom är det verktygs-chefen som hanterar en varierad uppsättning API-verktyg som förbättrar funktionen hos de stora språkmodellerna, och tabellen nedan sammanfattar hur verktygs-chefen integrerar vanligt använda verktyg från olika resurser och klassificerar dem i olika kategorier.

Åtkomst-chefen organiserar åtkomstkontroll-operationer inom distinkta agenter genom att administrera en dedikerad privilegiegrupp för varje agent, och nekar en agent åtkomst till dess resurser om de är exkluderade från agentens privilegiegrupp. Dessutom är åtkomst-chefen också ansvarig för att sammanställa och underhålla granskningsloggar som förbättrar systemets transparens ytterligare.

AIOS : Experiment och Resultat

Utvärderingen av AIOS-ramverket styrs av två forskningsfrågor: först, hur är prestandan för AIOS-schemaläggning i förbättring av balans och väntetid, och andra, om svaret från LLM till agentförfrågningar är konsekvent efter agent-paus?

För att besvara konsekvens-frågorna kör utvecklare var och en av de tre agenterna individuellt, och därefter kör dessa agenter i parallell, och försöker fånga deras utdata under varje skede. Som visas i tabellen nedan uppnår BERT- och BLEU-poängen värdet 1,0, vilket indikerar en perfekt överensstämmelse mellan utdata som genereras i enkel-agent- och multi-agent-konfigurationer.

För att besvara effektivitets-frågorna genomför utvecklare en jämförande analys mellan AIOS-ramverket som använder FIFO eller First In First Out-schemaläggning, och en icke-schemalagd approach, där agenterna körs samtidigt. I den icke-schemalagda inställningen körs agenterna i en fördefinierad sekventiell ordning: Matematik-agent, Berättande-agent och Rec-agent. För att bedöma den temporala effektiviteten använder AIOS-ramverket två mått: väntetid och sluttid, och eftersom agenterna skickar flera förfrågningar till den stora språkmodellen beräknas väntetiden och sluttiden för enskilda agenter som genomsnittet av väntetiden och sluttiden för alla förfrågningar. Som visas i tabellen nedan visar den icke-schemalagda approachen tillfredsställande prestanda för agenter tidigare i sekvensen, men lider av förlängda väntetider och sluttider för agenter senare i sekvensen. Å andra sidan reglerar den schemalagda approachen som implementeras av AIOS-ramverket både väntetiden och sluttiden effektivt.

Slutliga Tankar

I denna artikel har vi talat om AIOS, ett LLM-agent-operativsystem som är utformat för att integrera stora språkmodeller i operativsystemet som “hjärnan” i operativsystemet, vilket möjliggör ett operativsystem med en “själ”. För att vara mer specifik är AIOS-ramverket utformat med avsikt att underlätta kontextväxling mellan agenter, optimera resursallokering, tillhandahålla verktygstjänster för agenter, underhålla åtkomstkontroll för agenter och möjliggöra samtidig körning av agenter. AIOS-arkitekturen demonstrerar potentialen att underlätta utvecklingen och distributionen av stora språkmodell-baserade autonoma agenter, vilket resulterar i ett mer effektivt, sammanhållet och effektivt AIOS-Agent-ekosystem. service för agenter, underhålla åtkomstkontroll för agenter och möjliggöra samtidig körning av agenter. AIOS-arkitekturen demonstrerar potentialen att underlätta utvecklingen och distributionen av stora språkmodell-baserade autonoma agenter, vilket resulterar i ett mer effektivt, sammanhållet och effektivt AIOS-Agent-ekosystem.