AIOS：LLMエージェントのためのオペレーティングシステム

過去60年間、オペレーティングシステムは進化を遂げてきており、基本的なシステムから今日のデバイスを動かす複雑でインタラクティブなオペレーティングシステムへと発展しています。初期のオペレーティングシステムは、コンピュータハードウェアの二進機能、たとえばゲート操作、とユーザーレベルのタスクの間のブリッジとして機能しました。ただし、オペレーティングシステムは、バッチジョブ処理システムからより洗練されたプロセス管理技術、たとえばマルチタスクとタイムシェアリング、へと発展しました。これらの進歩により、現代のオペレーティングシステムは、複雑なタスクの幅広い管理を可能にしました。グラフィカルユーザーインターフェース（GUI）の導入、たとえばWindowsとMacOSは、現代のオペレーティングシステムをよりユーザーフレンドリーでインタラクティブにしました。また、ランタイムライブラリと包括的な開発ツールのスイートを介して、OSエコシステムを拡張しました。

最近の革新には、大規模言語モデル（LLM）の統合と展開が含まれます。これらは、さまざまな業界に新しい可能性を解放することで革命を起こしました。さらに最近、LLMベースのインテリジェントエージェントは、幅広いタスクで人間のようなパフォーマンスを達成するという驚くべき能力を示しました。しかし、これらのエージェントはまだ開発の初期段階にあり、現在の技術は、効率と有効性に影響を与えるいくつかの課題に直面しています。一般的な問題には、LLM上のエージェントリクエストの最適なスケジューリング、エージェントの統合の複雑さ、エージェントとLLMの間のやり取り中にコンテキストを維持することが含まれます。LLMベースのエージェントの急速な開発と増加する複雑さは、ボトルネックと最適でないリソース使用につながることがよくあります。

これらの課題に対処するために、この記事では、LLMエージェントオペレーティングシステムであるAIOSについて説明します。AIOSフレームワークは、オペレーティングシステムの「脳」として大規模言語モデルを統合することを目的とし、実質的にそれに「魂」を与えます。具体的には、AIOSフレームワークは、エージェント間のコンテキストスイッチを容易にし、リソース割り当てを最適化し、エージェントのツールサービスを提供し、エージェントのアクセス制御を維持し、エージェントの同時実行を可能にすることを目的とします。AIOSフレームワークのメカニズム、方法論、そしてアーキテクチャを深く掘り下げ、最新のフレームワークと比較してみましょう。では、始めましょう。

大規模言語モデルの驚くべき成功を達成した後、AIとML業界の次の焦点は、独立して動作し、独自の決定を下し、人間の介入が最小限または不要な自律的なAIエージェントの開発にあるということです。これらのAIベースのインテリジェントエージェントは、人間の指示を理解し、情報を処理し、決定を下し、自律的な状態を達成するために適切なアクションを取るように設計されています。大規模言語モデルの出現と開発は、これらの自律的なエージェントの開発に新しい可能性をもたらしました。DALL-E、GPTなどの現在のLLMフレームワークは、人間の指示を理解し、推論と問題解決能力、人間ユーザーと外部環境とのやり取り能力を示しています。これらの強力で有能な大規模言語モデルを基盤として、LLMベースのエージェントは、仮想アシスタントからより複雑で洗練されたシステムまで、さまざまな環境でタスクを完了する強力な能力を発揮しています。

上の図は、LLMベースの自律エージェントが現実世界のタスクを解決する方法の説得力のある例です。ユーザーがシステムに旅行情報を要求すると、旅行エージェントはタスクを実行可能なステップに分解し、次にエージェントはステップを順番に実行し、フライトの予約、ホテルの予約、支払いの処理などを行います。ステップを実行する際に、これらのエージェントを従来のソフトウェアアプリケーションと区別するのは、決定能力を示し、ステップの実行に推論を組み込む能力です。また、これらのエージェントの品質の指数関数的な成長とともに、大規模言語モデルとオペレーティングシステムの機能への負担も増加しています。たとえば、限られた大規模言語モデルでエージェントリクエストの優先順位付けとスケジューリングは、重大な課題です。さらに、大規模言語モデルの生成プロセスは、長いコンテキストを扱うときに時間のかかるタスクになる可能性があり、スケジューラーが生成結果を一時停止する可能性があり、スケジューラーが大規模言語モデルの現在の生成結果をスナップショット化するメカニズムを設計するという問題が生じます。したがって、大規模言語モデルが現在のリクエストに対するレスポンスの生成を完了していない場合に、ポーズ/再開の動作が可能になります。

上記の課題に対処するために、AIOSは、LLMとOSの機能の集約とモジュール分離を提供する大規模言語モデルオペレーティングシステムです。AIOSフレームワークは、LLM特有のカーネル設計を提案し、大規模言語モデルに関連するタスクと関連しないタスク之间の潜在的なコンフリクトを回避しようとします。提案されたカーネルは、オペレーティングシステムのような義務、特にLLMエージェント、開発ツールキット、および対応するリソースを担当します。この分離により、LLMカーネルはLLM関連のアクティビティの調整と管理を強化しようとします。

AIOS：方法論とアーキテクチャ

観察すると、AIOSフレームワークの動作には6つの主要メカニズムが関与しています。

• エージェントスケジューラ：エージェントスケジューラのタスクは、大規模言語モデルの利用を最適化するためにエージェントリクエストをスケジュールおよび優先順位付けすることです。

• コンテキストマネージャ：コンテキストマネージャのタスクは、大規模言語モデルのスナップショットをサポートし、生成ステータスを復元し、大規模言語モデルのコンテキストウィンドウ管理を行うことです。

• メモリマネージャ：メモリマネージャの主な責任は、各エージェントのインタラクションログのショートタームメモリを提供することです。

• ストレージマネージャ：ストレージマネージャは、エージェントのインタラクションログを長期ストレージに保存し、将来のリトリーバルを可能にします。

• ツールマネージャ：ツールマネージャメカニズムは、エージェントが外部APIツールを呼び出すことを管理します。

• アクセスマネージャ：アクセスマネージャは、エージェント間のアクセス制御ポリシーを適用し、エージェントのリソースへのアクセスを管理します。

上記のメカニズムに加えて、AIOSフレームワークは層化されたアーキテクチャを特徴とし、3つの明確な層、つまりアプリケーション層、カーネル層、ハードウェア層に分かれています。AIOSフレームワークによって実装された層化アーキテクチャは、システム全体に責任を均等に分配し、上位層が下位層の複雑さを抽象化し、特定のモジュールまたはインターフェースを使用したやり取りを可能にし、モジュール性を向上させ、システムのやり取りを簡素化します。

アプリケーション層から始めて、この層は、数学エージェントや旅行エージェントなどのアプリケーションエージェントの開発と展開に使用されます。アプリケーション層では、AIOSフレームワークは、システムコールのより高い抽象化を提供するAIOSソフトウェア開発キット（AIOS SDK）を提供します。AIOSによって提供されるソフトウェア開発キットは、エージェントアプリケーションの開発を容易にするための豊富なツールキットを提供し、下位レベルのシステム関数の複雑さを抽象化し、開発者がエージェントの機能とロジックに焦点を当てることができます。これにより、開発プロセスがより効率的になります。

次に、カーネル層は、LLMカーネルとOSカーネルの2つのコンポーネントにさらに分割されます。LLMカーネルとOSカーネルは、LLM特有の操作と非LLM操作の両方のユニークな要件を提供します。LLMカーネルは、エージェントのスケジューリング、コンテキスト管理などの大規模言語モデル特有のタスクに重点を置き、LLM関連のアクティビティの調整と管理を強化します。AIOSフレームワークは、LLMカーネルを強化することに重点を置き、既存のOSカーネルの構造を大幅に変更しません。LLMカーネルには、エージェントスケジューラ、メモリマネージャ、コンテキストマネージャ、ストレージマネージャ、アクセスマネージャ、ツールマネージャ、LLMシステムコールインターフェースなどの重要なモジュールが含まれています。カーネル層のコンポーネントは、エージェントアプリケーションの多様な実行要件に対処するように設計されています。

最後に、物理コンポーネントで構成されるハードウェア層があります。ハードウェア層には、GPU、CPU、周辺デバイス、ディスク、メモリが含まれます。LLMカーネルシステムがハードウェアと直接やり取りできないことは重要です。これらの呼び出しは、ハードウェアリソースを管理するオペレーティングシステムのシステムコールとインターフェースします。LLMカーネルシステムとハードウェアリソースの間のこの間接的なやり取りにより、セキュリティと抽象化の層が作成され、LLMカーネルがハードウェアリソースの機能を利用できるようになりますが、ハードウェアを直接管理する必要はありません。これにより、システムの完全性と効率が維持されます。

実装

上記のように、AIOSフレームワークの動作には6つの主要メカニズムが関与しています。エージェントスケジューラは、エージェントリクエストを効率的に管理できるように設計されており、従来のシーケンシャル実行パラダイムとは対照的に、複数の実行ステップがあります。エージェントスケジューラは、Round Robin、First In First Out、他のスケジューリングアルゴリズムなどの戦略を使用してプロセスを最適化します。

コンテキストマネージャは、大規模言語モデルに提供されるコンテキストと、特定のコンテキストに対する生成プロセスを管理するように設計されています。コンテキストマネージャには、コンテキストスナップショットと復元、およびコンテキストウィンドウ管理の2つの重要なコンポーネントがあります。AIOSフレームワークによって提供されるコンテキストスナップショットと復元メカニズムは、スケジューラーがエージェントリクエストを一時停止する状況を緩和するのに役立ちます。

メモリマネージャは、エージェントのライフサイクル内でショートタームメモリを管理する責任があり、データがエージェントがアクティブな場合、または実行待ちの場合にのみ保存され、アクセス可能であることを保証します。

一方、ストレージマネージャは、データを長期的に保存する責任があり、個々のエージェントのアクティビティ期間を超えて情報を保持する必要がある場合に、耐久性のある媒体、クラウドベースのソリューション、データベース、ローカルファイルを使用して永続的なストレージを実現します。さらに、AIOSフレームワークでは、ツールマネージャが、大規模言語モデルの機能を強化するさまざまなAPIツールを管理します。

アクセスマネージャは、各エージェントに専用の特権グループを管理し、エージェントの特権グループから除外された場合、エージェントがそのリソースにアクセスすることを拒否します。また、アクセスマネージャは、システムの透明性をさらに高めるために、監査ログをコンパイルして維持することも責任があります。

AIOS：実験と結果

AIOSフレームワークの評価は、2つの研究質問によって導かれます。まず、AIOSのスケジューリングが待ち時間とターンアラウンド時間のバランスを改善するパフォーマンスはどうか。二番目に、エージェントの停止後、LLMがエージェントリクエストに応答することは一貫しているか。

一貫性に関する質問に答えるために、開発者はそれぞれのエージェントを個別に実行し、次にこれらのエージェントを並行して実行し、各ステージでの出力をキャプチャしようとします。以下の表に示すように、BERTとBLEUスコアは1.0の値に達し、シングルエージェントとマルチエージェント構成で生成された出力の完全な一致を示しています。

効率に関する質問に答えるために、開発者は、AIOSフレームワークを使用したFIFO（First In First Out）またはスケジューリングを使用したアプローチと、スケジューリングされていないアプローチの比較分析を実行します。スケジューリングされていない設定では、エージェントは事前に定義された順序で実行されます。Mathエージェント、Narratingエージェント、Recエージェントの順序です。時間効率を評価するために、AIOSフレームワークは、待ち時間とターンアラウンド時間の2つのメトリクスを使用します。エージェントは大規模言語モデルに複数のリクエストを送信するため、個々のエージェントの待ち時間とターンアラウンド時間は、すべてのリクエストの待ち時間とターンアラウンド時間の平均として計算されます。以下の表に示すように、スケジューリングされていないアプローチは、シーケンスの早いエージェントに対しては満足のいくパフォーマンスを示しますが、シーケンスの後のエージェントに対しては待ち時間とターンアラウンド時間が長くなります。一方、AIOSフレームワークによって実装されたスケジューリングアプローチは、待ち時間とターンアラウンド時間の両方を効果的に調整します。

最終的な考え

この記事では、LLMエージェントオペレーティングシステムであるAIOSについて説明しました。AIOSフレームワークは、オペレーティングシステムの「脳」として大規模言語モデルを統合することを目的とし、実質的にそれに「魂」を与えます。具体的には、AIOSフレームワークは、エージェント間のコンテキストスイッチを容易にし、リソース割り当てを最適化し、エージェントのツールサービスを提供し、エージェントのアクセス制御を維持し、エージェントの同時実行を可能にすることを目的とします。AISOアーキテクチャは、大規模言語モデルベースの自律エージェントの開発と展開を促進する可能性を示しています。これにより、より効果的でまとまりのある効率的なAIOS-エージェントエコシステムが実現します。