AIOS: Операційна система для агентів LLM

За останні шість десятиліть операційні системи еволюціонували поступово, просунувшись від базових систем до складних та інтерактивних операційних систем, які живлять сучасні пристрої. Спочатку операційні системи служили мостом між двійковою функціональністю комп’ютерного апаратного забезпечення, такого як маніпуляція ворітами, та завданнями рівня користувача. Однак з роками вони розвинулися від простих систем обробки пакетних завдань до більш складних технік управління процесами, включаючи багатозадачність та часорозподіл. Ці вдосконалення дозволили сучасним операційним системам керувати широким спектром складних завдань. Введення графічних інтерфейсів користувача (GUI) типу Windows і MacOS зробило сучасні операційні системи більш зручними та інтерактивними, а також розширило екосистему операційної системи за допомогою бібліотек часу виконання та комплексного набору інструментів для розробників.

Недавні інновації включають інтеграцію та розгортання Багатих мовних моделей (LLM), які революціонізували різні галузі, відкриваючи нові можливості. Нещодавно агенти, засновані на LLM, продемонстрували видатні можливості, досягнувши людського рівня виконання на широкому спектрі завдань. Однак ці агенти ще знаходяться на ранній стадії розвитку, а поточні техніки зіштовхуються з декількома проблемами, які впливають на їхню ефективність та ефективність. Типові проблеми включають субоптимальне планування запитів агентів над великою мовною моделлю, складності інтеграції агентів з різними спеціалізаціями та підтримання контексту під час взаємодії між LLM та агентом. Швидкий розвиток та зростаюча складність агентів, заснованих на LLM, часто призводять до瓶нем та субоптимального використання ресурсів.

Щоб вирішити ці проблеми, ця стаття обговорює AIOS, операційну систему агентів LLM, розроблену для інтеграції великих мовних моделей як “мозку” операційної системи, ефективно наділяючи її “душею”. Конкретно,框werk AIOS спрямований на полегшення перемикання контексту між агентами, оптимізацію розподілу ресурсів, надання сервісних інструментів для агентів, підтримання контролю доступу та забезпечення паралельного виконання агентів. Ми глибоко вивчимо框werk AIOS, досліджуючи його механізми, методологію та архітектуру, та порівнюючи його з сучасними框werkами. Давайте почнемо.

Після досягнення видатного успіху у великих мовних моделях, наступним напрямком розвитку галузі штучного інтелекту та машинного навчання є розробка автономних агентів штучного інтелекту, які можуть діяти незалежно, приймати рішення самостійно та виконувати завдання з мінімальними чи без втручання людини. Ці агенти штучного інтелекту розроблені для розуміння інструкцій людини, обробки інформації, прийняття рішень та виконання відповідних дій для досягнення автономного стану, а появу та розвиток великих мовних моделей відкрили нові можливості для розробки цих автономних агентів. Поточні框werkи LLM, включаючи DALL-E, GPT та інші, продемонстрували видатні можливості розуміння інструкцій людини, розуміння та розв’язання проблем, а також взаємодії з людьми та зовнішнім середовищем. Будучи побудованими на основі цих потужних та здатних великих мовних моделей, агенти, засновані на LLM, мають сильні можливості виконання завдань у різних середовищах, від віртуальних асистентів до більш складних та розвинених систем, що включають створення проблем, розв’язання, планування та виконання.

Вищезазначена фігура дає переконливий приклад того, як агент, заснований на LLM, може розв’язувати реальні завдання. Користувач запитує систему про інформацію про поїздку, після чого агент розбиває завдання на виконувані кроки. Потім агент виконує кроки послідовно, бронюючи рейси, резервуючи готелі, обробляючи платежі та інше. Під час виконання кроків те, що відрізняє цих агентів від традиційних програмних застосунків, є здатність агентів демонструвати можливості прийняття рішень та включення розуміння у виконання кроків. Разом з експоненціальним зростанням якості цих автономних агентів, тягар на функціональності великих мовних моделей та операційних систем зазнає зростання, а прикладом цього є те, що пріоритезація та планування запитів агентів у обмежених великих мовних моделях становить суттєву проблему. Крім того, оскільки процес генерації великих мовних моделей стає тривалим завданням при роботі з довгими контекстами, можливо, що планувальник призупинить результат генерації, створюючи проблему розробки механізму для збереження поточного результату генерації мовної моделі. В результаті цього, поведінка паузи/відновлення дозволена, коли велика мовна модель не завершила генерацію відповіді на поточний запит.

Щоб вирішити вищезазначені проблеми, AIOS, операційна система великої мовної моделі, забезпечує агрегацію та модульну ізоляцію функцій LLM та операційної системи. Фреймворк AIOS пропонує спеціальний дизайн ядра LLM, щоб уникнути потенційних конфліктів, які можуть виникнути між завданнями, пов’язаними з великою мовною моделлю. Запропоноване ядро відокремлює обов’язки операційної системи, особливо ті, які контролюють агенти LLM, інструменти розробки та відповідні ресурси. В результаті цього відокремлення, ядро LLM намагається поліпшити координацію та керування діяльністю, пов’язаною з LLM.

AIOS: Методологія та архітектура

Як ви можете побачити, існує шість основних механізмів, залучених до роботи фреймворка AIOS.

• Планувальник агентів: Завдання планувальника агентів полягає у плануванні та пріоритезації запитів агентів у спробі оптимізувати використання великої мовної моделі.

• Менеджер контексту: Завдання менеджера контексту полягає у підтримці знімків, а також відновленні проміжного статусу генерації у великому мовному моделі, а також керуванні вікном контексту великої мовної моделі.

• Менеджер пам’яті: Основна відповідальність менеджера пам’яті полягає у забезпеченні короткочасної пам’яті для журналу взаємодії кожного агента.

• Менеджер сховища: Менеджер сховища відповідає за збереження журналів взаємодії агентів у довгостроковому сховищі для майбутнього відновлення.

• Менеджер інструментів: Механізм менеджера інструментів керує викликом агентів до зовнішніх інструментів API.

• Менеджер доступу: Менеджер доступу забезпечує контроль доступу між агентами.

Крім вищезазначених механізмів, фреймворк AIOS має шарову архітектуру та розділений на три окремі шари: шар застосунків, шар ядра та шар апаратного забезпечення. Шарова архітектура, реалізована фреймворком AIOS, забезпечує розподілення відповідальностей рівномірно по системі, а вищі шари абстрагують складності нижніх шарів, дозволяючи взаємодіяти за допомогою конкретних модулів або інтерфейсів, підвищуючи модульність та спрощуючи взаємодії між шарами.

Починаючи з шару застосунків, цей шар використовується для розробки та розгортання агентів-застосунків, таких як математичні або подорожні агенти. У шарі застосунків фреймворк AIOS забезпечує набір програмного забезпечення для розробки (SDK) з вищим рівнем абстракції системних викликів, що спрощує процес розробки для розробників агентів. Набір програмного забезпечення, запропонований AIOS, пропонує багатий інструментарій для полегшення розробки застосунків агентів, абстрагуючи складності нижніх системних функцій, дозволяючи розробникам зосередитися на функціональності та суттєвій логіці своїх агентів, що призводить до більш ефективного процесу розробки.

Далі, шар ядра розділений на два компоненти: ядро LLM та ядро операційної системи. Обидва ядра служать унікальним вимогам операцій, пов’язаних з LLM, та не пов’язаних з LLM. Відмінність дозволяє ядру LLM зосередитися на завданнях, пов’язаних з великими мовними моделями, включаючи планування агентів та керування контекстом, діяльність, яка є суттєвою для обробки діяльності, пов’язаної з великими мовними моделями. Фреймворк AIOS зосереджується в першу чергу на поліпшенні ядра великої мовної моделі без суттєвих змін структури існуючого ядра операційної системи. Ядро LLM оснащене декількома ключовими модулями, включаючи планувальник агентів, менеджер пам’яті, менеджер контексту, менеджер сховища, менеджер доступу, менеджер інструментів та інтерфейс системних викликів LLM. Компоненти шару ядра розроблені для вирішення різноманітних потреб виконання застосунків агентів, забезпечуючи ефективне виконання та керування у фреймворку AIOS.

Нарешті, у нас є шар апаратного забезпечення, який складається з фізичних компонентів системи, включаючи GPU, CPU, периферійні пристрої, диск та пам’ять. Важливо зрозуміти, що система ядра LLM не може взаємодіяти з апаратним забезпеченням безпосередньо, а ці виклики взаємодіють з системними викликами операційної системи, яка, в свою чергу, керує ресурсами апаратного забезпечення. Ця непряма взаємодія між системою ядра LLM та ресурсами апаратного забезпечення створює рівень безпеки та абстракції, дозволяючи ядру LLM використовувати можливості ресурсів апаратного забезпечення без прямого керування апаратним забезпеченням, полегшуючи підтримання цілісності та ефективності системи.

Реалізація

Як згадувалося вище, існує шість основних механізмів, залучених до роботи фреймворка AIOS. Планувальник агентів розроблений так, щоб керувати запитами агентів ефективно, та має декілька кроків виконання, на відміну від традиційного послідовного виконання, у якому агент обробляє завдання лінійно, з кроками одного агента, обробленими першими, перш ніж перейти до наступного агента, що призводить до збільшення часу очікування завдань, які з’являються пізніше в послідовності виконання. Планувальник агентів використовує стратегії, такі як Round Robin, First In First Out, та інші алгоритми планування для оптимізації процесу.

Менеджер контексту розроблений так, щоб керувати контекстом, наданим великому мовному моделі, а також процесом генерації за певним контекстом. Менеджер контексту включає два важливі компоненти: керування контекстом та відновлення, а також керування вікном контексту. Механізм керування контекстом та відновлення, запропонований фреймворком AIOS, допомагає у вирішенні ситуацій, коли планувальник призупиняє запити агентів, як показано на наступній фігурі.

Як показано на наступній фігурі, менеджер пам’яті відповідає за керування короткочасною пам’яттю протягом життєвого циклу агента та забезпечує, щоб дані зберігалися та були доступні лише під час виконання агента, або коли агент чекає на виконання.

З іншого боку, менеджер сховища відповідає за збереження даних у довгостроковій перспективі та керує зберіганням інформації, яка повинна зберігатися протягом необмеженого часу, за межами життєвого циклу окремого агента. Фреймворк AIOS досягає постійного зберігання за допомогою різних довгострокових носіїв, включаючи хмарні рішення, бази даних та локальні файли, забезпечуючи доступність та цілісність даних. Крім того, у фреймворку AIOS менеджер інструментів керує різноманітними інструментами API, які підвищують функціональність великої мовної моделі, а наступна таблиця підсумовує, як менеджер інструментів інтегрує загальні інструменти з різних джерел та класифікує їх у різні категорії.

Менеджер доступу організовує операції контролю доступу всередині окремих агентів шляхом адміністрування спеціальної групи привілеїв для кожного агента та відмови агенту у доступі до ресурсів, якщо вони виключені з групи привілеїв агента. Крім того, менеджер доступу також відповідає за складання та підтримання журналів аудиту, що підвищує прозорість системи.

AIOS: Експерименти та результати

Оцінка фреймворка AIOS керується двома дослідницькими питаннями: першого, як впливає планування AIOS на баланс часу очікування та часу виконання, та другого, чи відповідають реакції LLM на запити агентів після призупинення агентів?

Щоб відповісти на питання про послідовність, розробники запускають кожен із трьох агентів окремо, а потім виконують ці агенти паралельно, та намагаються захопити їхні виходи на кожному етапі. Як показано на наступній таблиці, оцінки BERT та BLEU досягають значення 1,0, вказуючи на ідеальну відповідність між виходами, згенерованими у конфігураціях одного агента та декількох агентів.

Щоб відповісти на питання про ефективність, розробники проводять порівняльний аналіз між фреймворком AIOS, який використовує планування FIFO або First In First Out, та некерованим підходом, у якому агенти виконуються паралельно. У некерованому режимі агенти виконуються у попередньо визначеному порядку: математичний агент, агент-оповідач та агент-рек. Для оцінки тимчасової ефективності фреймворк AIOS використовує два метрики: час очікування та час виконання, та оскільки агенти надсилають декілька запитів великому мовному моделі, час очікування та час виконання окремих агентів обчислюються як середнє значення часу очікування та часу виконання для всіх запитів. Як показано на наступній таблиці, некерований підхід демонструє задовільну продуктивність для агентів, які знаходяться на початку послідовності, але страждає від тривалих часів очікування та виконання для агентів, які знаходяться пізніше в послідовності. З іншого боку, підхід планування, реалізований фреймворком AIOS, регулює як час очікування, так і час виконання ефективно.

Фінальні думки

У цій статті ми говорили про AIOS, операційну систему агентів LLM, розроблену для інтеграції великих мовних моделей у операційну систему як “мозок” операційної системи, наділяючи її “душею”. Конкретно, фреймворк AIOS розроблений для полегшення перемикання контексту між агентами, оптимізації розподілу ресурсів, надання сервісних інструментів для агентів, підтримання контролю доступу для агентів та забезпечення паралельного виконання агентів. Архітектура AIOS демонструє потенціал для полегшення розробки та розгортання агентів, заснованих на великих мовних моделях, що призводить до більш ефективної, цілісної та ефективної екосистеми AIOS-агентів.