Автономні агенти з AgentOps: спостереження, слідування та більше для вашого застосунку AI

Ріст автономних агентів за допомогою моделей основ (МО) таких як великі мови моделі (ВЛМ) змінив спосіб вирішення складних багатокрокових завдань. Ці агенти виконують завдання, починаючи від підтримки клієнтів і закінчуючи інженерією програмного забезпечення, керуючись складними робочими процесами, які поєднують міркування, використання інструментів і пам’ять.

Однак, оскільки ці системи зростають у можливостях і складності, виникають проблеми зі спостереженням, надійністю і відповідністю вимогам.

Це саме тут вступає AgentOps; концепція, створена за зразком DevOps і MLOps, але адаптована для керування життєвим циклом агентів, заснованих на МО.

Що таке AgentOps?

AgentOps відноситься до процесів, інструментів і рамок, необхідних для проектування, розгортання, моніторингу і оптимізації автономних агентів, заснованих на МО, у виробництві. Його цілі:

• Спостереження: Надання повної видимості виконання і процесів прийняття рішень агентом.
• Слідування: Захоплення детальних артефактів на протяженні всього життєвого циклу агента для налагодження, оптимізації і відповідності вимогам.
• Надійність: Забезпечення послідовних і надійних виходів через моніторинг і міцних робочих процесів.

У своєму ядрі AgentOps розширює традиційний MLOps, підкреслюючи ітеративні, багатокрокові робочі процеси, інтеграцію інструментів і адаптивну пам’ять, зберігаючи при цьому суворе відстеження і моніторинг.

Ключові проблеми, які вирішує AgentOps

1. Складність агентських систем

Автономні агенти обробляють завдання у величезному просторі дій, що вимагає прийняття рішень на кожному етапі. Ця складність вимагає складних механізмів планування і моніторингу.

2. Вимоги до спостереження

Високі ставки випадків використання – такі як медична діагностика або правовий аналіз – вимагають детального слідування. Відповідність вимогам законодавства, таким як закон ЄС про AI, ще більше підкреслює необхідність міцних рамок спостереження.

3. Налагодження і оптимізація

Визначення помилок у багатокрокових робочих процесах або оцінка проміжних виходів є складним завданням без детального слідування дій агента.

4. Масштабованість і керування витратами

Масштабування агентів для виробництва вимагає моніторингу метрик, таких як затримка, використання токенів і операційні витрати, для забезпечення ефективності без компрометації якості.

Ключові функції платформ AgentOps

1. Створення і налаштування агентів

Розробники можуть конфігурувати агентів за допомогою реєстру компонентів:

• Ролі: Визначення обов’язків (наприклад, дослідник, планувальник).
• Ограничення: Встановлення обмежень для забезпечення етичного і надійного поведінки.
• Інструментальні набори: Уможливлення інтеграції з API, базами даних або графами знань.

Агенти створюються для взаємодії з конкретними наборами даних, інструментами і підказками, зберігаючи при цьому відповідність попередньо визначеним правилам.

2. Спостереження і слідування

AgentOps захоплює детальні журнали виконання:

• Сліди: Запис кожного кроку у робочому процесі агента, від викликів ВЛМ до використання інструментів.
• Види: Розбивка слідів на детальні кроки, такі як пошук, генерація вкладень або виклик інструментів.
• Артефакти: Відстеження проміжних виходів, станів пам’яті і шаблонів підказок для допомоги у налагодженні.

Інструменти спостереження, такі як Langfuse або Arize, пропонують панелі управління, які візуалізують ці сліди, допомагаючи ідентифікувати瓶лечення або помилки.

3. Керування підказками

Інженерія підказок грає важливу роль у формуванні поведінки агента. Ключові функції включають:

• Версіонування: Відстеження ітерацій підказок для порівняння продуктивності.
• Виявлення ін’єкції: Ідентифікація шкідливого коду або помилок вводу у підказках.
• Оптимізація: Техніки, такі як ланцюг думок (ЛД) або дерево думок, покращують здатність до міркування.

4. Інтеграція зворотного зв’язку

Зворотний зв’язок людини залишається важливим для ітеративних поліпшень:

• Явний зворотний зв’язок: Користувачі оцінюють виходи або надають коментарі.
• Неявний зворотний зв’язок: Метрики, такі як час виконання завдання або кількість кліків, аналізуються для оцінки ефективності.

Цей цикл зворотного зв’язку поліпшує як продуктивність агента, так і оціночні стандарти, використовувані для тестування.

5. Оцінка і тестування

Платформи AgentOps полегшують суворе тестування по:

• Стандарти: Порівняння продуктивності агента з галузевими стандартами.
• Оцінка крок за кроком: Оцінка проміжних кроків у робочих процесах для забезпечення правильності.
• Оцінка траєкторії: Валідування шляху прийняття рішень, прийнятого агентом.

6. Інтеграція пам’яті і знань

Агенти використовують короткочасну пам’ять для контексту (наприклад, історії розмови) і довгочасну пам’ять для зберігання висновків з попередніх завдань. Це дозволяє агентам адаптуватися динамічно, зберігаючи при цьому узгодженість у часі.

7. Моніторинг і метрики

Усебічний моніторинг відстежує:

• Затримка: Вимірювання часу відповіді для оптимізації.
• Витрати токенів: Моніторинг витрат ресурсів для контролю витрат.
• Метрики якості: Оцінка актуальності, точності і токсичності.

Ці метрики візуалізуються по різних вимірах, таких як сесії користувачів, підказки і робочі процеси, що дозволяє здійснювати втручання в режимі реального часу.

Таксономія слідових артефактів

Стаття вводить систематичну таксономію артефактів, які підтримують спостереження AgentOps:

• Артефакти створення агента: Метадані про ролі, цілі і обмеження.
• Виконавчі артефакти: Журнали викликів інструментів, черги підзадач і кроків міркування.
• Оціночні артефакти: Стандарти, цикли зворотного зв’язку і метрики оцінки.
• Артефакти слідування: Ідентифікатори сесій, ідентифікатори слідів і види для детального моніторингу.

Ця таксономія забезпечує узгодженість і ясність на протяженні всього життєвого циклу агента, роблячи налагодження і відповідність вимогам законодавства більш керованими.

AgentOps (інструмент) Керівництво

Це керівництво проведе вас через процес установки і використання AgentOps для моніторингу і оптимізації ваших агентів AI.

Крок 1: Встановлення SDK AgentOps

Встановіть AgentOps за допомогою вашого улюбленого менеджера пакетів Python:

pip install agentops

Крок 2: Ініціалізація AgentOps

Спочатку імпортуйте AgentOps і ініціалізуйте його за допомогою вашого ключа API. Збережіть ключ API у файлі .env для безпеки:

# Ініціалізація AgentOps з ключем API
import agentops
import os
from dotenv import load_dotenv

<p># Завантаження змінних середовища
load_dotenv()
AGENTOPS_API_KEY = os.getenv(&quot;AGENTOPS_API_KEY&quot;)</p>

<p># Ініціалізація клієнта AgentOps
agentops.init(api_key=AGENTOPS_API_KEY, default_tags=[&quot;my-first-agent&quot;])</p>

Цей крок встановлює спостереження для всіх взаємодій ВЛМ у вашому застосунку.

Крок 3: Запис дій з декораторами

Ви можете інструментувати конкретні функції за допомогою декоратора @record_action, який відстежує їхні параметри, час виконання і вихід. Ось приклад:

from agentops import record_action

<p>@record_action(&quot;custom-action-tracker&quot;)
def is_prime(number):
&quot;&quot;&quot;Перевірка, чи є число простим.&quot;&quot;&quot;
if number &amp;lt; 2:
return False
for i in range(2, int(number**0.5) + 1):
if number % i == 0:
return False
return True</p>

Функція тепер буде записана у панелі управління AgentOps, забезпечуючи метрики часу виконання і відстеження вхідних/вихідних даних.

Крок 4: Відстеження названих агентів

Якщо ви використовуєте названі агенти, використовуйте декоратор @track_agent, щоб пов’язати всі дії і події з конкретними агентами.

from agentops import track_agent

<p>@track_agent(name=&quot;math-agent&quot;)
class MathAgent:
def __init__(self, name):
self.name = name</p>

<p>def factorial(self, n):
&quot;&quot;&quot;Обчислення факторіалу рекурсивно.&quot;&quot;&quot;
return 1 if n == 0 else n * self.factorial(n - 1)</p>

Будь-які дії або виклики ВЛМ у цьому агенті тепер асоціюються з міткою “math-agent”.

Крок 5: Підтримка多 агентів

Для систем, які використовують кілька агентів, ви можете відстежувати події по агентам для кращого спостереження. Ось приклад:

@track_agent(name="qa-agent")
class QAAgent:
def generate_response(self, prompt):
return f"Відповідь на: {prompt}"

<p>@track_agent(name=&quot;developer-agent&quot;)
class DeveloperAgent:
def generate_code(self, task_description):
return f&quot;# Код для виконання: {task_description}&quot;</p>

<p>qa_agent = QAAgent()
developer_agent = DeveloperAgent()</p>

<p>response = qa_agent.generate_response(&quot;Опис спостереження в AI.&quot;)
code = developer_agent.generate_code(&quot;обчислення послідовності Фібоначчі&quot;)</p>

Кожний виклик буде відображатися у панелі управління AgentOps під відповідною міткою агента.

Крок 6: Кінець сесії

Щоб сигналізувати про кінець сесії, використовуйте метод end_session. Опційно, включіть стан сесії (Успіх або Невдача) і причину.

# Кінець сесії
agentops.end_session(state="Успіх", reason="Завершено робочий процес")

Це забезпечує реєстрацію всіх даних і доступність у панелі управління AgentOps.

Крок 7: Візуалізація у панелі управління AgentOps

Відвідайте Панель управління AgentOps, щоб дослідити:

• Повторення сесій: Крок за кроком слідування виконання.
• Аналітика: Метрики витрат ВЛМ, використання токенів і затримки.
• Виявлення помилок: Ідентифікація і налагодження невдач або рекурсивних циклів.

Покращений приклад: Виявлення рекурсивної думки

AgentOps також підтримує виявлення рекурсивних циклів у робочих процесах агентів. Давайте розширим попередній приклад з виявленням рекурсії:

@track_agent(name="recursive-agent")
class RecursiveAgent:
def solve(self, task, depth=0, max_depth=5):
"""Симуляція рекурсивного розв'язання завдань з контролем глибини."""
if depth >= max_depth:
return f"Максимальна глибина рекурсії досягнута для завдання: {task}"
return self.solve(task, depth + 1)

<p>recursive_agent = RecursiveAgent()
output = recursive_agent.solve(&quot;Оптимізація запитів до бази даних&quot;)
print(output)</p>