AIOS: LLM 에이전트를 위한 운영 체제

지난 6십년 동안 운영 체제는 기본적인 시스템에서 시작하여 오늘날의 장치에서 동작하는 복잡하고 상호작용하는 운영 체제로 진화해 왔다. 초기에 운영 체제는 컴퓨터 하드웨어의 이진 기능과 사용자 수준의 작업 사이를 연결하는 다리 역할을 했다. 그러나 운영 체제는 단순한 배치 작업 처리 시스템에서 더 복잡한 프로세스 관리 기술로 발전하여 멀티태스킹과 시간 공유를 포함한 다양한 작업을 관리할 수 있게 되었다. 이러한 발전은 현대 운영 체제가 다양한 복잡한 작업을 관리할 수 있게 하였다. 그래픽 사용자 인터페이스(GUI) seperti Windows와 MacOS의 도입으로 현대 운영 체제는 더 사용자 친화적이고 상호작용성이 높아졌으며, 런타임 라이브러리와 개발자 도구의综合적인 세트로 운영 체제 생태계를 확장하였다.

최근의 혁신에는 대규모 언어 모델(LLM)의 통합과 배포가 포함되어 있으며, 이는 다양한 산업에서 새로운 가능성을 열어주었다. 최근에는 LLM 기반 지능형 에이전트가 인간과 같은 성능을 발휘하는 다양한 작업을 수행하는 능력을 보여주었다. 그러나 이러한 에이전트는 아직 초기 개발 단계에 있으며, 현재 기술은 효율성과 효과성에 영향을 미치는 여러課題를 안고 있다. 일반적인 문제로는 대규모 언어 모델에 대한 에이전트 요청의 최적화되지 않은 스케줄링, 에이전트 통합의 복잡성, 상호작용 중에 LLM과 에이전트 간의 컨텍스트 유지 등이 있다. LLM 기반 에이전트의 빠른 개발과 증가하는 복잡성은 병목 현상과 최적화되지 않은 리소스 사용으로 이어진다.

이러한課題를 해결하기 위해, 본 문서에서는 LLM 에이전트 운영 체제인 AIOS에 대해 논의할 것이다. AIOS 프레임워크는 운영 체제의 “뇌”로 대규모 언어 모델을 통합하여 효과적으로 “영혼”을 부여한다. 특히, AIOS 프레임워크는 에이전트 간의 컨텍스트 전환을 용이하게 하며, 리소스 할당을 최적화하고, 에이전트를 위한 도구 서비스를 제공하며, 접근 제어를 유지하고, 에이전트의 동시 실행을 가능하게 한다. 우리는 AIOS 프레임워크의 메커니즘, 방법론, 및 아키텍처를 깊이 있게 탐구하고, 이를 최신 프레임워크와 비교할 것이다. 자세히 살펴보자.

remarkable 성과를 달성한 대규모 언어 모델之后, AI 및 ML 산업의 다음 초점은 자율적인 AI 에이전트를 개발하는 것이다. 이러한 에이전트는 독립적으로 동작하며, 결정하고, 작업을 수행할 수 있다. 이러한 AI 기반 지능형 에이전트는 인간의 지시를 이해하고, 정보를 처리하고, 결정하고, 목표를 달성하기 위해 적절한 행동을 취할 수 있다. 현재의 LLM 프레임워크는 DALL-E, GPT 등이 있으며, 인간의 지시를 이해하고, 추론 및 문제 해결 능력, 인간 사용자 및 외부 환경과 상호작용하는 능력을 보여주었다. 이러한 강력한 대규모 언어 모델을 기반으로 하는 LLM 에이전트는 다양한 환경에서 강력한 작업 수행 능력을 가지고 있다.

위의 그림은 LLM 기반 자율 에이전트가 실제 작업을 수행하는 예를 보여준다. 사용자가 시스템에 여행 정보를 요청하면, 여행 에이전트는 작업을 수행 가능한 단계로 나눈다. 그런 다음 에이전트는 순차적으로 단계를 수행하며, 비행기 예약, 호텔 예약, 결제 처리 등이 포함된다. 이러한 에이전트는 전통적인 소프트웨어 응용 프로그램과 달리 결정 능력과 추론 능력을 보여주며, 작업 수행 중에 이러한 능력을 통합한다.

최근의 혁신으로 인해 LLM 기반 에이전트의 품질이指数적으로 증가하고 있으며, 이는 대규모 언어 모델과 운영 체제의 기능에 대한 부담을 증가시키고 있다. 예를 들어, 제한된 대규모 언어 모델에서 에이전트 요청의 우선순위를 지정하는 것은重大な課題이다. 또한, 대규모 언어 모델의 생성 과정은 길고 시간이 걸리는 작업이 될 수 있으며, 이는 스케줄러가 생성 결과를 중단시키는 문제를 야기할 수 있다.

위에서 언급한課題를 해결하기 위해, AIOS는 LLM 및 운영 체제의 기능을 집계하고 모듈화한다. AIOS 프레임워크는 LLM 전용 커널 설계를 제안하며, 이는 LLM 관련 작업과 관련되지 않은 작업 사이에서 발생할 수 있는 잠재적인 충돌을 피하기 위한 시도이다. 이 커널은 운영 체제와 같은 의무를 분리하며, 특히 LLM 에이전트, 개발 도구, 및 해당 리소스를监督한다. 이러한 분리는 LLM 커널이 LLM 관련 활동의 조정 및 관리를 강화하도록 도와준다.

AIOS : 방법론 및 아키텍처

AIOS 프레임워크는 6개의 주요 메커니즘으로 구성된다.

• 에이전트 스케줄러: 에이전트 요청을 스케줄링하고 우선순위를 지정하여 대규모 언어 모델의 사용을 최적화한다.

• 컨텍스트 관리자: 대규모 언어 모델의 컨텍스트를 관리하고, 스냅샷 및 복원 기능을 제공한다.

• 메모리 관리자: 에이전트의 런타임 중에 데이터를 저장하고, 에이전트가 활성화된 동안에만 데이터에 접근할 수 있도록 한다.

• 스토리지 관리자: 에이전트의 상호작용 로그를 장기 저장소에 저장하여 이후에检索할 수 있도록 한다.

• 도구 관리자: 다양한 API 도구를 관리하여 대규모 언어 모델의 기능을 강화한다.

• 접근 관리자: 에이전트 간의 접근 제어를 관리하고, 에이전트의 리소스에 대한 접근을 제어한다.

AIOS 프레임워크는 또한 3개의 계층으로 구성된 아키텍처를 가지고 있다: 애플리케이션 계층, 커널 계층, 하드웨어 계층. 이 아키텍처는 시스템의 책임을均등하게 분산하고, 상위 계층이 하위 계층의 복잡성을 추상화하여 상호작용을 용이하게 한다.

애플리케이션 계층은 에이전트 개발을 위한 SDK를 제공하며, 개발자들이 에이전트를 쉽게 개발할 수 있도록 한다. 커널 계층은 LLM 커널과 OS 커널로 구성되며, LLM 커널은 LLM 관련 작업을専門적으로 처리한다. 하드웨어 계층은 시스템의 물리적 구성 요소를 포함한다.

구현

AIOS 프레임워크는 6개의 주요 메커니즘으로 구성된다. 에이전트 스케줄러는 에이전트 요청을 스케줄링하고 우선순위를 지정하여 대규모 언어 모델의 사용을 최적화한다. 컨텍스트 관리자는 대규모 언어 모델의 컨텍스트를 관리하고, 스냅샷 및 복원 기능을 제공한다.

메모리 관리자는 에이전트의 런타임 중에 데이터를 저장하고, 에이전트가 활성화된 동안에만 데이터에 접근할 수 있도록 한다. 스토리지 관리자는 에이전트의 상호작용 로그를 장기 저장소에 저장하여 이후에检索할 수 있도록 한다.

도구 관리자는 다양한 API 도구를 관리하여 대규모 언어 모델의 기능을 강화한다. 접근 관리자는 에이전트 간의 접근 제어를 관리하고, 에이전트의 리소스에 대한 접근을 제어한다.

AIOS : 실험 및 결과

AIOS 프레임워크의 평가에는 두 가지 연구 질문이 있다: 첫째, AIOS 스케줄링이 대기 시간과 처리 시간을 개선하는지, 둘째, 에이전트 요청에 대한 LLM의 응답이 일관적인지.

일관성에 대한 질문에 답하기 위해, 개발자들은 각 에이전트를 개별적으로 실행하고, 이후에 병렬로 실행하여 출력을 캡처한다. 아래의 표는 BERT 및 BLEU 점수가 1.0에 도달하여, 단일 에이전트 및 다중 에이전트 구성에서 출력이 일관적임을 보여준다.

효율성에 대한 질문에 답하기 위해, 개발자들은 AIOS 프레임워크를 사용하여 FIFO 또는 First In First Out 스케줄링을 사용하고, 비스케줄링 접근 방식을 비교한다. 비스케줄링 접근 방식에서는 에이전트가 순차적으로 실행된다. 효율성을 평가하기 위해, AIOS 프레임워크는 대기 시간과 처리 시간을 사용한다.

최종 생각

본 문서에서는 LLM 에이전트 운영 체제인 AIOS에 대해 논의하였다. AIOS 프레임워크는 에이전트 간의 컨텍스트 전환을 용이하게 하며, 리소스 할당을 최적화하고, 에이전트를 위한 도구 서비스를 제공하며, 접근 제어를 유지하고, 에이전트의 동시 실행을 가능하게 한다. AIOS 아키텍처는 대규모 언어 모델 기반 자율 에이전트의 개발 및 배포를 용이하게 하여, 더 효과적이고 일관적이며 효율적인 AIOS-에이전트 생태계를 구축할 수 있다.