AIOS: Sistema Operacional para Agentes LLM

Nas últimas seis décadas, os sistemas operacionais evoluíram progressivamente, passando de sistemas básicos para sistemas operacionais complexos e interativos que alimentam os dispositivos atuais. Inicialmente, os sistemas operacionais serviram como uma ponte entre a funcionalidade binária do hardware do computador, como a manipulação de portas, e as tarefas no nível do usuário. Ao longo dos anos, no entanto, eles evoluíram de simples sistemas de processamento de trabalhos em lote para técnicas mais sofisticadas de gerenciamento de processos, incluindo multitarefa e compartilhamento de tempo. Esses avanços permitiram que os sistemas operacionais modernos gerenciassem uma ampla gama de tarefas complexas. A introdução de interfaces gráficas de usuário (GUIs), como Windows e MacOS, tornou os sistemas operacionais modernos mais fáceis de usar e interativos, ao mesmo tempo que expandiu o ecossistema do sistema operacional com bibliotecas de tempo de execução e um conjunto abrangente de ferramentas para desenvolvedores.

Inovações recentes incluem a integração e implantação de Modelos de linguagem grandes (LLMs), que revolucionaram vários setores ao desbloquear novas possibilidades. Mais recentemente, agentes inteligentes baseados em LLM demonstraram capacidades notáveis, alcançando desempenho semelhante ao humano em uma ampla gama de tarefas. No entanto, estes agentes ainda estão nos estágios iniciais de desenvolvimento e as técnicas atuais enfrentam vários desafios que afetam a sua eficiência e eficácia. Os problemas comuns incluem o agendamento abaixo do ideal de solicitações de agentes no grande modelo de linguagem, complexidades na integração de agentes com diferentes especializações e manutenção do contexto durante as interações entre o LLM e o agente. O rápido desenvolvimento e a crescente complexidade dos agentes baseados em LLM muitas vezes levam a gargalos e ao uso de recursos abaixo do ideal.

Para enfrentar esses desafios, este artigo discutirá o AIOS, um sistema operacional de agente LLM projetado para integrar grandes modelos de linguagem como o “cérebro” do sistema operacional, dando-lhe efetivamente uma “alma”. Especificamente, a estrutura AIOS visa facilitar a troca de contexto entre agentes, otimizar a alocação de recursos, fornecer serviços de ferramentas para agentes, manter o controle de acesso e permitir a execução simultânea de agentes. Iremos nos aprofundar na estrutura AIOS, explorando seus mecanismos, metodologia e arquitetura, e compará-la com estruturas de última geração. Vamos mergulhar.

Depois de alcançar um sucesso notável em grandes modelos de linguagem, o próximo foco da indústria de IA e ML é desenvolver agentes de IA autônomos que possam operar de forma independente, tomar decisões por conta própria e executar tarefas com intervenção humana mínima ou nenhuma. Estes agentes inteligentes baseados em IA são concebidos para compreender instruções humanas, processar informações, tomar decisões e tomar ações apropriadas para alcançar um estado autónomo, com o advento e desenvolvimento de grandes modelos de linguagem trazendo novas possibilidades para o desenvolvimento destes agentes autónomos. As estruturas LLM atuais, incluindo DALL-E, GPT e muito mais, mostraram habilidades notáveis ​​para compreender instruções humanas, habilidades de raciocínio e resolução de problemas e interagir com usuários humanos junto com ambientes externos. Construídos sobre esses modelos de linguagem grandes, poderosos e capazes, os agentes baseados em LLM têm fortes habilidades de cumprimento de tarefas em diversos ambientes, desde assistentes virtuais até sistemas mais complexos e sofisticados que envolvem a criação de resolução de problemas, raciocínio, planejamento e execução. 

A figura acima dá um exemplo convincente de como um agente autônomo baseado em LLM pode resolver tarefas do mundo real. O usuário solicita ao sistema informações de viagem e, em seguida, o agente de viagens divide a tarefa em etapas executáveis. Em seguida, o agente executa as etapas sequencialmente, reservando voos, reservando hotéis, processando pagamentos e muito mais. Durante a execução das etapas, o que diferencia esses agentes das aplicações de software tradicionais é a capacidade dos agentes de demonstrar capacidade de tomada de decisão e incorporar o raciocínio na execução das etapas. Juntamente com um crescimento exponencial na qualidade destes agentes autônomos, a pressão sobre as funcionalidades de grandes modelos de linguagem e sistemas operacionais testemunhou um aumento, e um exemplo disso é que priorizar e agendar solicitações de agentes em modelos limitados de grandes linguagens representa um desafio significativo. Além disso, uma vez que o processo de geração de grandes modelos de linguagem se torna uma tarefa demorada quando se lida com contextos longos, é possível que o escalonador suspenda a geração resultante, levantando o problema de conceber um mecanismo para capturar o resultado da geração atual do modelo de linguagem. . Como resultado disso, o comportamento de pausa/retomada é ativado quando o modelo de linguagem grande não finalizou a geração de resposta para a solicitação atual. 

Para enfrentar os desafios mencionados acima, o AIOS, um sistema operacional de modelo de linguagem grande, fornece agregações e isolamento de módulos de funcionalidades LLM e SO. A estrutura AIOS propõe um design de kernel específico para LLM na tentativa de evitar possíveis conflitos que surjam entre tarefas associadas e não associadas ao modelo de linguagem grande. O kernel proposto segrega as funções do sistema operacional, especialmente aquelas que supervisionam os agentes LLM, kits de ferramentas de desenvolvimento e seus recursos correspondentes. Como resultado desta segregação, o kernel LLM tenta melhorar a coordenação e gestão das atividades relacionadas aos LLMs. 

AIOS: Metodologia e Arquitetura

Como você pode observar, existem seis mecanismos principais envolvidos no funcionamento da estrutura AIOS. 

• Agendador de Agente: A tarefa atribuída ao agendador do agente é agendar e priorizar as solicitações do agente na tentativa de otimizar a utilização do modelo de linguagem grande. 

• Gerenciador de Contexto: a tarefa atribuída ao gerenciador de contexto é oferecer suporte a instantâneos junto com a restauração do status de geração intermediária no modelo de linguagem grande e o gerenciamento da janela de contexto do modelo de linguagem grande. 

• Gerenciador de memória: A principal responsabilidade do gerenciador de memória é fornecer memória de curto prazo para o log de interação de cada agente. 

• Storage Manager: o gerenciador de armazenamento é responsável por persistir os logs de interação dos agentes no armazenamento de longo prazo para recuperação futura. 

• Gerenciador de ferramentas: O mecanismo gerenciador de ferramentas gerencia a chamada de agentes para ferramentas API externas. 

• Access Manager: O gerenciador de acesso impõe políticas de privacidade e controle de acesso entre agentes. 

Além dos mecanismos mencionados acima, a estrutura AIOS apresenta uma arquitetura em camadas e é dividida em três camadas distintas: a camada de aplicação, a camada de kernel e a camada de hardware. A arquitetura em camadas implementada pela estrutura AIOS garante que as responsabilidades sejam distribuídas uniformemente por todo o sistema, e as camadas superiores abstraem as complexidades das camadas abaixo delas, permitindo interações usando módulos ou interfaces específicas, melhorando a modularidade e simplificando as interações do sistema entre o sistema. camadas. 

Começando com a camada de aplicação, esta camada é usada para desenvolver e implantar agentes de aplicação, como agentes matemáticos ou de viagens. Na camada de aplicação, a estrutura AIOS fornece ao kit de desenvolvimento de software AIOS (AIOS SDK) uma abstração mais alta de chamadas de sistema que simplifica o processo de desenvolvimento para desenvolvedores de agentes. O kit de desenvolvimento de software oferecido pela AIOS oferece um rico kit de ferramentas para facilitar o desenvolvimento de aplicações de agentes, abstraindo as complexidades das funções de nível inferior do sistema, permitindo que os desenvolvedores se concentrem nas funcionalidades e na lógica essencial de seus agentes, resultando em um desenvolvimento mais eficiente. processo. 

Seguindo em frente, a camada do kernel é dividida em dois componentes: o kernel LLM e o kernel do sistema operacional. Tanto o kernel do sistema operacional quanto o kernel do LLM atendem aos requisitos exclusivos de operações específicas do LLM e não do LLM, com a distinção de permitir que o kernel do LLM se concentre em tarefas específicas de grandes modelos de linguagem, incluindo agendamento de agente e gerenciamento de contexto, atividades que são essenciais para lidar com atividades relacionado a grandes modelos de linguagem. A estrutura AIOS concentra-se principalmente em aprimorar o kernel do modelo de linguagem grande sem alterar significativamente a estrutura do kernel do sistema operacional existente. O kernel LLM vem equipado com vários módulos principais, incluindo o agendador de agente, gerenciador de memória, gerenciador de contexto, gerenciador de armazenamento, gerenciador de acesso, gerenciador de ferramentas e a interface de chamada do sistema LLM. Os componentes da camada kernel são projetados na tentativa de atender às diversas necessidades de execução de aplicativos de agente, garantindo execução e gerenciamento eficazes dentro da estrutura AIOS. 

Finalmente, temos a camada de hardware que compreende os componentes físicos do sistema, incluindo GPU, CPU, dispositivos periféricos, disco e memória. É essencial entender que o sistema dos kernels LLM não pode interagir diretamente com o hardware, e essas chamadas fazem interface com as chamadas de sistema do sistema operacional que, por sua vez, gerenciam os recursos de hardware. Esta interação indireta entre o sistema do karnel LLM e os recursos de hardware cria uma camada de segurança e abstração, permitindo que o kernel LLM aproveite as capacidades dos recursos de hardware sem exigir o gerenciamento direto do hardware, facilitando a manutenção da integridade e eficiência do sistema. . 

Implementação

Conforme mencionado acima, existem seis mecanismos principais envolvidos no funcionamento da estrutura AIOS. O escalonador do agente é projetado de forma que seja capaz de gerenciar as solicitações do agente de maneira eficiente, e possui diversas etapas de execução, contrariando um paradigma tradicional de execução sequencial, em que o agente processa as tarefas de maneira linear com as etapas da mesma. agente sendo processado primeiro antes de passar para o próximo agente, resultando em maiores tempos de espera para tarefas que aparecem mais tarde na sequência de execução. O agendador de agente emprega estratégias como Round Robin, First In First Out e outros algoritmos de agendamento para otimizar o processo. 

O gerenciador de contexto foi projetado de forma que seja responsável por gerenciar o contexto fornecido ao grande modelo de linguagem e o processo de geração dado um determinado contexto. O gerenciador de contexto envolve dois componentes cruciais: instantâneo e restauração de contexto e gerenciamento de janela de contexto. O instantâneo de contexto e o mecanismo de restauração oferecido pela estrutura AIOS ajudam a atenuar situações em que o agendador suspende as solicitações do agente, conforme demonstrado na figura a seguir. 

Conforme demonstrado na figura a seguir, é responsabilidade do gerenciador de memória gerenciar a memória de curto prazo dentro do ciclo de vida de um agente e garantir que os dados sejam armazenados e acessíveis somente quando o agente estiver ativo, seja durante o tempo de execução ou quando o agente estiver aguardando. para execução. 

Por outro lado, o gestor de armazenamento é responsável pela preservação dos dados a longo prazo e supervisiona o armazenamento da informação que precisa de ser retida por um período de tempo indefinido, para além da vida útil da actividade de um agente individual. A estrutura AISO alcança armazenamento permanente usando uma variedade de mídias duráveis, incluindo soluções baseadas em nuvem, bancos de dados e arquivos locais, garantindo a disponibilidade e integridade dos dados. Além disso, na estrutura AISO, é o gerenciador de ferramentas que gerencia uma variedade de ferramentas API que aprimoram a funcionalidade dos grandes modelos de linguagem, e a tabela a seguir resume como o gerenciador de ferramentas integra ferramentas comumente usadas de vários recursos e as classifica. em diferentes categorias. 

O gerenciador de acesso organiza operações de controle de acesso dentro de agentes administrando um grupo de privilégios dedicado para cada agente e negando a um agente acesso aos seus recursos se eles forem excluídos do grupo de privilégios do agente. Além disso, o gerenciador de acesso também é responsável por compilar e manter logs de auditoria que aumentam ainda mais a transparência do sistema. 

AIOS: Experimentos e Resultados

A avaliação da estrutura AIOS é orientada por duas questões de pesquisa: primeiro, como está o desempenho do escalonamento AIOS na melhoria da espera do saldo e do tempo de resposta e, segundo, se a resposta do LLM às solicitações do agente é consistente após a suspensão do agente?

Para responder às questões de consistência, os desenvolvedores executam cada um dos três agentes individualmente e, posteriormente, executam esses agentes em paralelo e tentam capturar suas saídas durante cada estágio. Conforme demonstrado na tabela a seguir, as pontuações BERT e BLEU atingem o valor de 1.0, indicando um alinhamento perfeito entre os resultados gerados em configurações de agente único e multiagente. 

Para responder às questões de eficiência, os desenvolvedores realizam uma análise comparativa entre a estrutura AIOS que emprega agendamento FIFO ou First In First Out e uma abordagem não programada, em que os agentes são executados simultaneamente. Na configuração não agendada, os agentes são executados em uma ordem sequencial predefinida: agente matemático, agente narrador e agente rec. Para avaliar a eficiência temporal, a estrutura AIOS emprega duas métricas: tempo de espera e tempo de resposta, e como os agentes enviam múltiplas solicitações para o modelo de linguagem grande, o tempo de espera e o tempo de resposta para agentes individuais são calculados como a média do tempo de espera e tempo de resposta para todas as solicitações. Conforme demonstrado na tabela a seguir, a abordagem não programada apresenta desempenho satisfatório para os agentes no início da sequência, mas sofre com tempos de espera e de resposta prolongados para os agentes mais tarde na sequência. Por outro lado, a abordagem de agendamento implementada pela estrutura AIOS regula eficazmente os tempos de espera e de resposta. 

Considerações Finais

Neste artigo falamos sobre AIOS, um sistema operacional de agente LLM que é projetado na tentativa de incorporar grandes modelos de linguagem no sistema operacional como o cérebro do sistema operacional, permitindo um sistema operacional com alma. Para ser mais específico, a estrutura AIOS foi projetada com a intenção de facilitar a troca de contexto entre agentes, otimizar a alocação de recursos, fornecer serviços de ferramentas para agentes, manter o controle de acesso para agentes e permitir a execução simultânea de agentes. A arquitetura AISO demonstra o potencial para facilitar o desenvolvimento e implantação de agentes autônomos baseados em modelos de linguagem grande, resultando em um ecossistema AIOS-Agent mais eficaz, coeso e eficiente.