وكلاء آليون مع AgentOps: مراقبة، قابليّة التّعقب، وما بعدها لبرامجك الذكية

ازدهار الوكلاء الآليين بواسطة نماذج الأساس (FMs) مثل نماذج اللغة الكبيرة (LLMs) أعاد تعريف كيفية حلّ المشاكل المعقدة متعدّدة الخطوات. يقوم هؤلاء الوكلاء بأداء مهام تتراوح من دعم العملاء إلى هندسة البرمجيات، وتحديد مسارات عمل معقدة تجمع بين التفكير والاستخدام الأدوات والذاكرة.

然而،随着 هذه النظم نموًا في القدرات والتعقيد، تظهر تحديات في المراقبة والموثوقية والامتثال.

هنا يأتي دور AgentOps؛ وهو مفهوم مبني على DevOps و MLOps ولكن مصمم لإدارة دورة حياة وكلاء FM-المستندة.

ما هو AgentOps؟

AgentOps يشير إلى العمليات والأدوات والإطارات اللازمة لتصميم وتنفيذ ومراقبة وتحسين وكلاء FM-المستندة في الإنتاج. أهدافه هي:

• المراقبة: تقديم رؤية كاملة لعملية تنفيذ الوكيل وعمليات اتخاذ القرار.
• قابليّة التّعقب: التقاط ملفات مفصلة عبر دورة حياة الوكيل لتصحيح الأخطاء وتحسين الأداء والامتثال.
• الموثوقية: ضمان مخرجات متسقة وموثوقة من خلال المراقبة وسير العمل القوي.

في جوهره، يمتد AgentOps إلى ما هو أبعد من MLOps التقليدية من خلال التأكيد على سير العمل التكراري متعدّدة الخطوات، وتكامل الأدوات، والذاكرة التكيفية، مع الحفاظ على تتبع ومراقبة صارمة.

التحديات الرئيسية التي يعالجها AgentOps

1. تعقيد النظم الوكيلية

يعالج الوكلاء الآليون مهام عبر مساحة عمل واسعة، مما يتطلب اتخاذ قرارات في كل خطوة. يتطلب هذا التعقيد آليات التخطيط والمراقبة المتطورة.

2. متطلبات المراقبة

تتطلب الحالات التي تتمتع بأهمية عالية – مثل التشخيص الطبي أو التحليل القانوني – قابليّة تّعقب دقيقة. كما يعزز الامتثال للتنظيمات مثل قانون الاتحاد الأوروبي للذكاء الاصطناعي الحاجة إلى إطارات مراقبة قوية.

3. تصحيح الأخطاء وتحسين الأداء

من الصعب تحديد الأخطاء في سير العمل متعدّدة الخطوات أو تقييم مخرجات وسيطة دون وجود سجلات مفصلة لأفعال الوكيل.

4. التنقل والتكلفة

يتطلب توسيع نطاق الوكلاء للاستخدام في الإنتاج مراقبة معايير مثل الزمن الفعلي، استخدام الرمز، والتكاليف التشغيلية لضمان الكفاءة دون المساس بالجودة.

الميزات الأساسية لمنصات AgentOps

1. إنشاء الوكيل وتعديله

يمكن للمطورين تكوين الوكلاء باستخدام سجل من المكونات:

• الأدوار: تحديد المسؤوليات (مثل باحث، مخطط).
• الحدود: وضع قيود لضمان السلوك الأخلاقي والموثوق.
• أدوات: تمكين التكامل مع واجهات برمجة التطبيقات، وقواعد البيانات، أو الرسومات المعرفية.

يتم بناء الوكلاء للتفاعل مع مجموعات بيانات محددة وأدوات وملفات تعريف محددة مع الحفاظ على الامتثال للقواعد المحددة مسبقًا.

2. المراقبة والتّعقب

تقوم AgentOps بتقاط سجلات تنفيذ مفصلة:

• السجلات: تسجيل كل خطوة في سير عمل الوكيل، من مكالمات LLM إلى استخدام الأدوات.
• المدى: تقسيم السجلات إلى خطوات دقيقة، مثل الاسترجاع، وتوليد التضمين، أو استدعاء الأدوات.
• الملفات: تتبع المخرجات الوسيطية، وحالات الذاكرة، وملفات تعريف القوالب لمساعدة تصحيح الأخطاء.

توفر أدوات المراقبة مثل Langfuse أو Arize لوحات تحكم تظهر هذه السجلات، مما يساعد في تحديد معوقات أو أخطاء.

3. إدارة الملفات التعريفية

تلعب هندسة الملفات التعريفية دورًا هامًا في تشكيل سلوك الوكيل. الميزات الرئيسية تشمل:

• النسخ: تتبع إصدارات الملفات التعريفية لمقارنة الأداء.
• كشف الحقن: تحديد الشفرة الخبيثة أو أخطاء الإدخال داخل الملفات التعريفية.
• التحسين: تقنيات مثل سلسلة الأفكار (CoT) أو شجرة الأفكار تحسين القدرات العقلية.

4. دمج التغذية الراجعة

تبقى التغذية الراجعة البشرية حاسمة لتحسينات تكرارية:

• التغذية الراجعة الصريحة: يقيّم المستخدمون المخرجات أو يقدمون تعليقات.
• التغذية الراجعة الضمنية: يتم تحليل معايير مثل وقت المهام أو معدلات النقر لقياس الفعالية.

دورة التغذية الراجعة هذه تحسن أداء الوكيل وبenchmarks التقييم المستخدمة للاختبار.

5. التقييم والاختبار

تسهل منصات AgentOps الاختبار الشامل عبر:

• المعايير: مقارنة أداء الوكيل بالمعايير الصناعية.
• التقييمات خطوة بخطوة: تقييم خطوات وسيطة في سير العمل لضمان الصحة.
• تقييم المسار: التحقق من مسار اتخاذ القرار الذي اتخذه الوكيل.

6. دمج الذاكرة والمعرفة

يستخدم الوكلاء الذاكرة القصيرة الأمد للسياق (مثل تاريخ المحادثة) والذاكرة الطويلة الأمد لتخزين رؤى من مهام سابقة. هذا يسمح للوكلاء بالتكيف ديناميكيًا مع الحفاظ على الاتساق مع مرور الوقت.

7. المراقبة والمعايير

تتبع المراقبة الشاملة:

• الزمن الفعلي: قياس أوقات الاستجابة لتحسين الأداء.
• استخدام الرمز: مراقبة استهلاك الموارد للسيطرة على التكاليف.
• معايير الجودة: تقييم الصحة والدقة والسمات السلبية.

تتم تمثيل هذه المعايير عبر أبعاد مثل جلسات المستخدم، وملفات تعريف، وسير العمل، مما يسمح بالتدخلات في الوقت الفعلي.

تصنيف الملفات القابلة للتّعقب

يقدم البحث تصنيفًا منهجيًا للملفات التي تدعم مراقبة AgentOps:

• ملفات إنشاء الوكيل: بيانات وصفية حول الأدوار والأهداف والقيود.
• ملفات التنفيذ: سجلات لدعوات الأدوات وطوابiq الفرعية وخطوات التفكير.
• ملفات التقييم: معايير ودوائر تغذية راجعة ومتغيرات التقييم.
• ملفات التّعقب: معرفات الجلسة، ومعرفات السجلات، ومدى المراقبة الدقيقة.

يضمن هذا التصنيف الاتساق والوضوح عبر دورة حياة الوكيل، مما يجعل تصحيح الأخطاء والامتثال أكثر إدارة.

AgentOps (الأداة) دليل المستخدم

هذا سوف يرشدك من خلال إعداد و使用 AgentOps لمراقبة وتحسين وكلاء الذكاء الاصطناعي.

الخطوة 1: تثبيت SDK AgentOps

ثبت AgentOps باستخدام مدير حزم بايثون المفضل:

pip install agentops

الخطوة 2: 초기 AgentOps

أولًا، استورد AgentOps وحدد مفتاح API الخاص بك. احفظ مفتاح API في ملف .env لأسباب أمنية:

# 초기 AgentOps مع مفتاح API
import agentops
import os
from dotenv import load_dotenv

<p># تحميل متغيرات البيئة
load_dotenv()
AGENTOPS_API_KEY = os.getenv(&quot;AGENTOPS_API_KEY&quot;)</p>

<p># 초기 العميل AgentOps
agentops.init(api_key=AGENTOPS_API_KEY, default_tags=[&quot;my-first-agent&quot;])</p>

هذه الخطوة تُعدّ المراقبة لوكلاء LLM في تطبيقك.

الخطوة 3: تسجيل الإجراءات مع المزين

يمكنك仪ming وظائف محددة باستخدام المزين @record_action، الذي ي跟ّي معاملاتها، وقت التنفيذ، ومخرجاتها. هنا مثال:

from agentops import record_action

<p>@record_action(&quot;custom-action-tracker&quot;)
def is_prime(number):
&quot;&quot;&quot;تحقق مما إذا كان الرقم أوليًا.&quot;&quot;&quot;
if number &amp;lt; 2:
return False
for i in range(2, int(number**0.5) + 1):
if number % i == 0:
return False
return True</p>

الوظيفة سوف تكون مسجلة الآن في لوحة تحكم AgentOps، مما يوفر معايير لوقت التنفيذ وتتبع الإدخال والإخراج.

الخطوة 4: تتبع وكلاء مُسمّاة

إذا كنت تستخدم وكلاء مُسمّاة، استخدم المزين @track_agent لربط جميع الإجراءات والأحداث بوكلاء محددين.

from agentops import track_agent

<p>@track_agent(name=&quot;math-agent&quot;)
class MathAgent:
def __init__(self, name):
self.name = name</p>

<p>def factorial(self, n):
&quot;&quot;&quot;حساب العوامل التكراري.&quot;&quot;&quot;
return 1 if n == 0 else n * self.factorial(n - 1)</p>

أي إجراء أو مكالمة LLM داخل هذا الوكيل سوف ترتبط الآن مع علامة “math-agent”.

الخطوة 5: دعم الوكلاء المتعددين

لنظم تستخدم وكلاء متعددين، يمكنك تتبع الأحداث عبر الوكلاء لتحسين المراقبة. هنا مثال:

@track_agent(name="qa-agent")
class QAAgent:
def generate_response(self, prompt):
return f"الاستجابة ل: {prompt}"

<p>@track_agent(name=&quot;developer-agent&quot;)
class DeveloperAgent:
def generate_code(self, task_description):
return f&quot;# الكود لتنفيذ: {task_description}&quot;</p>

<p>qa_agent = QAAgent()
developer_agent = DeveloperAgent()</p>

<p>response = qa_agent.generate_response(&quot;اشرح قابلية المراقبة في الذكاء الاصطناعي.&quot;)
code = developer_agent.generate_code(&quot;حساب تسلسل فيبوناتشي&quot;)</p>

كل مكالمة سوف تظهر في لوحة تحكم AgentOps تحت مسار الوكيل الخاص بها.

الخطوة 6: إنهاء الجلسة

لإشارة إلى نهاية جلسة، استخدم طريقة end_session. يمكنك تضمين حالة الجلسة (ناجحة أو فاشلة) وسبب اختياريًا.

# نهاية الجلسة
agentops.end_session(state="Success", reason="اكتمل سير العمل")

هذا يضمن تسجيل جميع البيانات وتوفرها في لوحة تحكم AgentOps.

الخطوة 7: التمثيل في لوحة تحكم AgentOps

زر لوحة تحكم AgentOps لاستكشاف:

• إعادة تشغيل الجلسات: سجلات تنفيذ خطوة بخطوة.
• التحليلات: معايير تكلفة LLM، استخدام الرمز، ووقت الاستجابة.
• كشف الأخطاء: تحديد وتصحيح الأخطاء أو الحلقات التكرارية.

مثال محسّن: كشف الأفكار التكرارية

يدعم AgentOps أيضًا كشف الحلقات التكرارية في سير عمل الوكيل. دعونا نوسع المثال السابق مع كشف التكرار:

@track_agent(name="recursive-agent")
class RecursiveAgent:
def solve(self, task, depth=0, max_depth=5):
"""模拟 حلّ تكراري للمهام مع تحكم في العمق."""
if depth >= max_depth:
return f"تم الوصول إلى أقصى عمق تكراري للمهمة: {task}"
return self.solve(task, depth + 1)

<p>recursive_agent = RecursiveAgent()
output = recursive_agent.solve(&quot;تحسين استعلامات قاعدة البيانات&quot;)
print(output)</p>