AIOS: Betribssystem fir LLM Agenten

An de leschte sechs Joerzéngte hunn d'Betribssystemer sech progressiv evoluéiert, vu Basissystemer op déi komplex an interaktiv Betribssystemer fortgeschratt, déi d'Apparater vun haut erliewen. Am Ufank hunn d'Betriebssystemer als Bréck tëscht der binärer Funktionalitéit vun der Computerhardware gedéngt, wéi zum Beispill Paartmanipulatioun, a Benotzerniveau Aufgaben. Iwwer d'Joren hunn se awer vun einfache Batch Job Veraarbechtungssystemer zu méi raffinéiert Prozessmanagement Techniken entwéckelt, dorënner Multitasking an Zäitdeelung. Dës Fortschrëtter hunn modern Betribssystemer erlaabt eng breet Palette vu komplexe Aufgaben ze managen. D'Aféierung vu grafeschen User-Interfaces (GUIs) wéi Windows a MacOS huet modern Betribssystemer méi userfrëndlech an interaktiv gemaach, wärend och den OS-Ökosystem mat Runtime-Bibliothéiken an enger ëmfaassender Suite vun Entwéckler-Tools ausgebaut.

Rezent Innovatiounen och d'Integratioun an Détachement vun Grouss Sprooch Modeller (LLMs), déi verschidden Industrien revolutionéiert hunn andeems se nei Méiglechkeeten opmaachen. Méi kierzlech hunn LLM-baséiert intelligent Agenten bemierkenswäert Fäegkeeten gewisen, mënschlech-ähnlech Leeschtung op eng breet Palette vun Aufgaben erreechen. Wéi och ëmmer, dës Agenten sinn nach ëmmer an de fréie Stadien vun der Entwécklung, an déi aktuell Technike stellen e puer Erausfuerderungen, déi hir Effizienz an Effizienz beaflossen. Gemeinsam Themen enthalen déi suboptimal Fuerplang vun Agentufroen iwwer de grousse Sproochemodell, Komplexitéite bei der Integratioun vun Agenten mat verschiddene Spezialisatiounen, an Erhalen vum Kontext wärend Interaktiounen tëscht dem LLM an dem Agent. Déi séier Entwécklung an d'Erhéijung vun der Komplexitéit vun LLM-baséiert Agenten féieren dacks zu Flaschenhalsen an suboptimaler Ressourceverbrauch.

Fir dës Erausfuerderungen unzegoen, wäert dësen Artikel AIOS diskutéieren, en LLM Agent Betriebssystem entwéckelt fir grouss Sproochmodeller als "Gehir" vum Betribssystem z'integréieren, an effektiv eng "Séil" ze ginn. Speziell zielt den AIOS-Framework fir de Kontextwiessel iwwer Agenten z'erliichteren, d'Ressourceallokatioun ze optimiséieren, Toolservicer fir Agenten ze bidden, Zougangskontroll z'erhalen, a gläichzäiteg Ausféierung vun Agenten z'erméiglechen. Mir wäerten déif an den AIOS Kader verdéiwen, seng Mechanismen, d'Methodologie an d'Architektur entdecken, a vergläichen et mat modernste Kaderen. Loosst eis tauchen.

No engem bemierkenswäerten Erfolleg a grousse Sproochmodeller z'erreechen, ass den nächste Fokus vun der AI a ML Industrie d'Autonom AI Agenten z'entwéckelen, déi onofhängeg kënne funktionnéieren, Entscheedungen eleng huelen an Aufgaben mat minimalem oder guer keng mënschlech Interventiounen ausféieren. Dës AI-baséiert intelligent Agenten sinn entwéckelt fir mënschlech Instruktiounen ze verstoen, Informatioun ze veraarbecht, Entscheedungen ze treffen an entspriechend Handlungen ze huelen fir en autonomen Zoustand z'erreechen, mat der Advent an Entwécklung vu grousse Sproochmodeller déi nei Méiglechkeeten fir d'Entwécklung vun dësen autonomen Agenten bréngen. Aktuell LLM Kaderen dorënner DALL-E, GPT, a méi hunn bemierkenswäert Fäegkeeten gewisen fir mënschlech Instruktiounen, Begrënnung a Problemléisungsfäegkeeten ze verstoen, an interagéieren mat mënschleche Benotzer zesumme mat externen Ëmfeld. Gebaut uewen op dëse mächtegen a kapabel grousse Sproochmodeller, LLM-baséiert Agenten hu staark Aufgab Erfëllung Fähegkeeten a verschiddenen Ëmfeld rangéiert vun virtuell Assistenten, zu méi komplex a raffinéiert Systemer involvéiert schafen Problem Léisung, Begrënnung, Planung, an Ausféierung. 

Déi uewe genannte Figur gëtt en iwwerzeegend Beispill vu wéi en LLM-baséierten autonomen Agent real-Welt Aufgaben léise kann. De Benotzer freet de System fir eng Reesinformatioun duerno, de Reesagent brécht d'Aufgab an ausführbare Schrëtt. Dann féiert den Agent d'Schrëtt sequenziell aus, bucht Flich, reservéiert Hoteler, veraarbecht Bezuelungen, a méi. Wärend d'Schrëtt ausféieren, wat dës Agente vun traditionelle Softwareapplikatiounen ënnerscheet, ass d'Fäegkeet vun den Agenten fir Entscheedungsfäegkeeten ze weisen, an d'Begrënnung an der Ausféierung vun de Schrëtt ze integréieren. Zesumme mat engem exponentielle Wuesstem an der Qualitéit vun dësen autonom Agenten, D'Belaaschtung op d'Funktionalitéite vu grousse Sproochmodeller a Betribssystemer huet eng Erhéijung erlieft, an e Beispill vun deemselwechten ass datt d'Prioritéit an d'Agent Ufroen a limitéierter grousser Sproochmodeller eng bedeitend Erausfuerderung stellen. Ausserdeem, well de Generatiounsprozess vu grousse Sproochemodeller eng Zäitopwänneg Aufgab gëtt wann Dir mat laange Kontexter handelt, ass et méiglech fir de Scheduler déi resultéierend Generatioun z'ënnerbriechen, wat e Problem mécht fir e Mechanismus z'entwéckelen fir dat aktuellt Generatiounsresultat vum Sproochemodell ze snappen. . Als Resultat vun dësem gëtt Paus / Resume Verhalen aktivéiert wann de grousse Sproochemodell d'Äntwertgeneratioun fir déi aktuell Ufro net finaliséiert huet. 

Fir déi uewe genannten Erausfuerderungen unzegoen, AIOS, e grousse Sproochemodell Betriebssystem bitt Aggregatiounen a Modulisolatioun vun LLM an OS Funktionalitéiten. Den AIOS-Framework proposéiert en LLM-spezifesche Kernel-Design an engem Versuch fir potenziell Konflikter ze vermeiden, déi tëscht Aufgaben verbonne sinn an net mat dem grousse Sproochemodell assoziéiert sinn. De proposéierte Kernel trennt de Betribssystem wéi Flichten, besonnesch déi, déi d'LLM Agenten iwwerwaachen, Entwécklungs Toolkits, an hir entspriechend Ressourcen. Als Resultat vun dëser Segregatioun probéiert de LLM Kernel d'Koordinatioun an d'Gestioun vun Aktivitéiten am Zesummenhang mat LLMs ze verbesseren. 

AIOS: Methodologie an Architektur

Wéi Dir kënnt beobachten, ginn et sechs grouss Mechanismen an der Aarbecht vum AIOS Kader involvéiert. 

• Agent Scheduler: D'Aufgab, déi dem Agent Scheduler zougewisen ass, ass d'Agent Ufroen ze plangen an ze prioritären an engem Versuch d'Notzung vum grousse Sproochmodell ze optimiséieren. 

• Kontext Manager: D'Aufgab, déi dem Kontextmanager zougewisen ass, ass d'Snapshots z'ënnerstëtzen zesumme mat der Restauratioun vum Zwëschengeneratiounsstatus am grousse Sproochemodell, an der Kontextfensterverwaltung vum grousse Sproochemodell. 

• Erënnerung Manager: Déi primär Verantwortung vum Memory Manager ass kuerzfristeg Erënnerung fir den Interaktiounslog fir all Agent ze bidden. 

• Stockage Manager: De Späichermanager ass verantwortlech fir d'Interaktiounsprotokoller vun den Agenten op laangfristeg Späichere fir zukünfteg Erhuelung z'erhalen. 

• Tool Manager: Den Tool Manager Mechanismus geréiert den Uruff vun Agenten un extern API Tools. 

• Zougang Manager: Den Zougangsmanager erzwéngt Privatsphär an Zougangskontrollpolitik tëscht Agenten. 

Zousätzlech zu den uewe genannte Mechanismen huet den AIOS Kader eng Schichtenarchitektur, a gëtt an dräi verschidde Schichten opgedeelt: d'Applikatiounsschicht, d'Kernelschicht an d'Hardwareschicht. Déi geschichtlech Architektur, déi vum AIOS Kader implementéiert ass, garantéiert datt d'Verantwortung gläichméisseg iwwer de System verdeelt gëtt, an déi méi héich Schichten abstrakt d'Komplexitéite vun de Schichten drënner, wat Interaktioune mat spezifesche Moduler oder Schnëttplazen erlaabt, d'Modularitéit ze verbesseren an d'Systeminteraktiounen tëscht de Systemer ze vereinfachen. Schichten. 

Vun der Applikatiounsschicht un, gëtt dës Schicht benotzt fir Applikatiounsagenten wéi Mathematik oder Reesagenten z'entwéckelen an z'installéieren. An der Applikatiounsschicht liwwert den AIOS Kader den AIOS Software Entwécklung Kit (AIOS SDK) mat enger méi héijer Abstraktioun vu Systemruffen, déi den Entwécklungsprozess fir Agententwéckler vereinfacht. De Softwareentwécklungskit ugebueden vun AIOS bitt e räiche Toolkit fir d'Entwécklung vun Agentapplikatiounen ze erliichteren andeems se d'Komplexitéite vun de Systemfunktiounen op nidderegen Niveau abstraktéieren, wat d'Entwéckler erlaabt op Funktionalitéiten a wesentlech Logik vun hiren Agenten ze fokusséieren, wat zu enger méi effizienter Entwécklung resultéiert. Prozess. 

Fuert weider, ass d'Kernelschicht weider an zwee Komponenten opgedeelt: den LLM Kernel, an den OS Kernel. Souwuel den OS Kernel wéi och den LLM Kernel déngen déi eenzegaarteg Ufuerderunge vun LLM-spezifeschen an net LLM Operatiounen, mat dem Ënnerscheed deen den LLM Kernel erlaabt op grouss Sproochmodell spezifesch Aufgaben ze fokusséieren, dorënner Agent Scheduling a Kontextmanagement, Aktivitéiten déi wesentlech sinn fir d'Aktivitéiten ze handhaben. Zesummenhang mat grousse Sproochmodeller. Den AIOS-Framework konzentréiert sech haaptsächlech op d'Verbesserung vum grousse Sproochemodellkär ouni d'Struktur vum existente OS Kernel wesentlech ofwiesselnd. Den LLM Kernel kënnt mat verschiddene Schlësselmoduler ausgestatt, dorënner den Agent Scheduler, Memory Manager, Kontextmanager, Späichermanager, Zougangsmanager, Toolmanager, an den LLM System Call Interface. D'Komponente bannent der Kernelschicht sinn entworf an engem Versuch déi verschidden Ausféierungsbedürfnisser unzegoen vun Agent Uwendungen, déi effektiv Ausféierung a Gestioun am AIOS Kader garantéieren. 

Schlussendlech hu mir d'Hardwareschicht déi déi physesch Komponente vum System enthält, dorënner d'GPU, CPU, Peripheriegeräter, Disk an Erënnerung. Et ass essentiell ze verstoen datt de System vun den LLM-Kernelen net direkt mat der Hardware interagéiere kann, an dës Uriff interface mat de System-Uriff vum Betribssystem, déi am Tour d'Hardwareressourcen verwalten. Dës indirekt Interaktioun tëscht dem LLM Karnel System an den Hardware Ressourcen erstellt eng Schicht vu Sécherheet an Abstraktioun, wat den LLM Kernel erlaabt d'Fäegkeeten vun Hardware Ressourcen ze profitéieren ouni d'Gestioun vun der Hardware direkt ze erfuerderen, wat den Ënnerhalt vun der Integritéit an Effizienz vum System erliichtert. . 

Ëmsetzung

Wéi uewen ernimmt, ginn et sechs grouss Mechanismen an der Aarbecht vum AIOS Kader involvéiert. Den Agent Scheduler ass op eng Manéier entworf datt et fäeg ass Agent Ufroen op eng effizient Manéier ze managen, an huet e puer Ausféierungsschrëtt am Géigesaz zu engem traditionelle sequentielle Ausféierungsparadigma an deem den Agent d'Aufgaben op eng linear Manéier mat de Schrëtt aus der selwechter veraarbecht. Agent gëtt als éischt veraarbecht ier Dir op den nächsten Agent weidergeet, wat zu enger erhéiter Waardezäit fir Aufgaben resultéiert, déi méi spéit an der Ausféierungssequenz erschéngen. Den Agent Scheduler benotzt Strategien wéi Round Robin, First In First Out, an aner Fuerplangalgorithmen fir de Prozess ze optimiséieren. 

De Kontextmanager gouf op eng Manéier entworf datt et verantwortlech ass fir de Kontext ze managen, deen dem grousse Sproochemodell geliwwert gëtt, an de Generatiounsprozess am bestëmmte Kontext. De Kontextmanager beinhalt zwee entscheedend Komponenten: Kontext Snapshot a Restauratioun, a Kontextfenstermanagement. De Kontext Snapshot a Restauratiounsmechanismus, deen vum AIOS Kader ugebuede gëtt, hëlleft bei Situatiounen ze reduzéieren, wou de Scheduler d'Agent Ufroe suspendéiert wéi an der folgender Figur bewisen. 

Wéi an der folgender Figur bewisen, ass et d'Verantwortung vum Memory Manager fir Kuerzfristeg Erënnerung am Liewenszyklus vun engem Agent ze managen, a garantéiert datt d'Donnéeën nëmmen gespäichert an zougänglech sinn wann den Agent aktiv ass, entweder während der Runtime oder wann den Agent waart. fir Ausféierung. 

Op der anerer Säit ass de Späichermanager verantwortlech fir d'Daten op laang Siicht ze erhaalen, an et iwwerwaacht d'Späichere vun Informatioun déi fir eng onbestëmmten Zäit erhale muss ginn, iwwer d'Aktivitéitsdauer vun engem individuellen Agent. Den AISO Kader erreecht permanent Späichere mat enger Vielfalt vun haltbaren Medien, dorënner Cloud-baséiert Léisungen, Datenbanken, a lokal Dateien, fir Datenverfügbarkeet an Integritéit ze garantéieren. Ausserdeem, am AISO Kader, ass et den Tool Manager deen eng variéiert Palette vun API Tools geréiert déi d'Funktionalitéit vun de grousse Sproochmodeller verbesseren, an déi folgend Tabell resüméiert wéi den Tool Manager allgemeng benotzt Tools aus verschiddene Ressourcen integréiert, a klasséiert se. a verschiddene Kategorien. 

Den Zougangsmanager organiséiert Zougangskontrolloperatioune bannent ënnerschiddlech Agenten andeems en eng dedizéierten Privileggrupp fir all Agent verwalten, a refuséiert en Agent Zougang zu sengen Ressourcen, wa se aus der Privileggrupp vum Agent ausgeschloss sinn. Zousätzlech ass den Zougangsmanager och verantwortlech fir Auditprotokoller ze kompiléieren an z'erhalen, déi d'Transparenz vum System weider verbesseren. 

AIOS: Experimenter a Resultater

D'Evaluatioun vum AIOS Kader gëtt vun zwou Fuerschungsfroe guidéiert: éischtens, wéi ass d'Performance vum AIOS Fuerplang fir d'Balance Waarde- a Wendungszäit ze verbesseren, an zweetens, ob d'Äntwert vum LLM op Agentufroe konsequent no Agent Suspensioun ass?

Fir d'Konsistenzfroen ze beäntweren, lafen d'Entwéckler jiddereng vun den dräi Agenten individuell aus, a féieren duerno dës Agenten parallel aus, a probéieren hir Ausgänge während all Etapp z'erreechen. Wéi an der folgender Tabell bewisen, erreechen d'BERT a BLEU Partituren de Wäert vun 1.0, wat eng perfekt Ausriichtung tëscht den Ausgänge beweist, generéiert an Single-Agent a Multi-Agent Konfiguratiounen. 

Fir d'Effizienz Froen ze beäntweren, maachen d'Entwéckler eng komparativ Analyse tëscht dem AIOS Kader mat FIFO oder First In First Out Fuerplang, an enger net geplangter Approche, wou d'Agenten gläichzäiteg lafen. Am net-geplangten Astellung ginn d'Agenten an enger virdefinéierter sequentieller Uerdnung ausgefouert: Math Agent, Narrating Agent, a Rec Agent. Fir déi temporär Effizienz ze bewäerten, benotzt den AIOS-Framework zwee Metriken: Waardezäit, an Ëmlafzäit, a well d'Agente multiple Ufroen un de grousse Sproochemodell schécken, gëtt d'Waardezäit an d'Dauerzäit fir eenzel Agenten als Duerchschnëtt vun der berechent. Waardezäit an Ëmlafzäit fir all Ufroen. Wéi an der folgender Tabell bewisen, weist déi net-geplangte Approche zefriddestellend Leeschtung fir Agente virdru an der Sequenz, awer leiden ënner verlängerten Waarde- an Ëmlafzäite fir Agenten méi spéit an der Sequenz. Op der anerer Säit, d'Fuerplang Approche, déi vum AIOS Kader implementéiert ass, reguléiert souwuel d'Waarde- a Wendungszäiten effektiv. 

Finale Schied

An dësem Artikel hu mir iwwer AIOS geschwat, e LLM Agent Betriebssystem deen an engem Versuch entwéckelt ass fir grouss Sproochmodeller an den OS als Gehir vum OS z'integréieren, wat e Betribssystem mat enger Séil erméiglecht. Fir méi spezifesch ze sinn, ass den AIOS Kader entworf mat der Absicht de Kontextwiessel iwwer Agenten z'erliichteren, d'Ressourceallokatioun ze optimiséieren, Toolservice fir Agenten ze bidden, Zougangskontrolle fir Agenten z'erhalen, a gläichzäiteg Ausféierung vun Agenten z'erméiglechen. D'AISO Architektur weist d'Potenzial fir d'Entwécklung an d'Deployment ze erliichteren grouss Sproochmodell baséiert autonom Agenten, wat zu engem méi effektiven, kohäsiven an effizienten AIOS-Agent Ökosystem resultéiert.