وكلاء آليون مع AgentOps: مراقبة، قابليّة التّتبّع، وما بعدها لتطبيقاتك الّتي تعتمد على الذكاء الاصطناعي

نمو الوكلاء الآليين بواسطة نماذج الأساس (FMs) مثل نماذج اللغة الكبيرة (LLMs) أعاد تشكيل كيفية حلّنا للمشكلات المعقّدة متعدّدة الخطوات. يقوم هؤلاء الوكلاء بأداء مهام تتراوح من دعم العملاء إلى هندسة البرمجيات، وتحديد مسارات عمل معقّدة تجمع بين الاستدلال واستخدام الأدوات والذاكرة.

然而، مع نمو هذه الأنظمة في القدرة والتعقيد، تظهر تحديات في المراقبة والموثوقية والامتثال.

هنا يأتي دور AgentOps؛ وهو مفهوم مبني على DevOps و MLOps ولكن مصمم لتنظيم دورة حياة وكلاء الأساس.

للتّوفير إلى فهم أساسي لـ AgentOps ودورها الحاسم في تمكين المراقبة وقابليّة التّتبّع لوكلاء الأساس الآليين، قمت بجمع información من ورقة حديثة تصنيف ل AgentOps لتمكين المراقبة لوكلاء الأساس القائم على النماذج بواسطة Liming Dong و Qinghua Lu و Liming Zhu. تقدم الورقة استكشافًا شاملاً لـ AgentOps، وتسلط الضوء على ضرورته في إدارة دورة حياة الوكلاء الآليين – من إنشائهم إلى تنفيذهم وتقييمهم ومراقبتهم. يقسم المؤلفون الملفات القابلة للتّتبّع، ويقترحون ميزات رئيسية لمنصات المراقبة،และมعالجة تحديات مثل تعقيد القرار والامتثال التنظيمي.

في حين أن AgentOps (الأداة) اكتسبت زخمًا كبيرًا كأحد الأدوات الرائدة لمراقبة وتصحيح أخطاء وتنظيم وكلاء الذكاء الاصطناعي (مثل autogen و crew ai)، يركز هذا المقال على مفهوم أوسع لعمليات الذكاء الاصطناعي (Ops).

ذلك قال، توفر AgentOps (الأداة) للمطورين رؤية في سير عمل الوكيل مع ميزات مثل إعادة تشغيل الجلسات وتتبع تكلفة LLM ومراقبة الامتثال. كأحد الأدوات الرائدة في عمليات الذكاء الاصطناعي، سنقوم في وقت لاحق من المقال بمراجعة وظائفها من خلال دروس تعليمية.

ما هو AgentOps؟

يُشير AgentOps إلى العمليات الشاملة والأدوات والإطارات اللازمة لتصميم وتنفيذ ومراقبة وتنظيم وكلاء الأساس الآليين في الإنتاج. أهدافه هي:

• المراقبة: توفير رؤية كاملة في عمليات تنفيذ الوكيل وعمليات اتخاذ القرار.
• قابليّة التّتبّع: التقاط ملفات تفصيلية عبر دورة حياة الوكيل لتصحيح الأخطاء وتنظيمها والامتثال.
• الموثوقية: ضمان مخرجات متسقة وموثوقة من خلال المراقبة وعمليات العمل المتينة.

في جوهره، يمتد AgentOps إلى ما هو أبعد من عمليات الذكاء الاصطناعي التقليدية من خلال التأكيد على عمليات العمل المتكررة متعدّدة الخطوات ودمج الأدوات والذاكرة التكيفية، مع الحفاظ على تتبع ومراقبة صارمة.

التحديات الرئيسية التي يعالجها AgentOps

1. تعقيد أنظمة الوكيل

يُعالج الوكلاء الآليون مهام عبر مساحة فعل واسعة، مما يتطلب اتخاذ قرارات في كل خطوة. يتطلب هذا التعقيد آليات التخطيط والمراقبة المتطورة.

2. متطلبات المراقبة

تتطلب الحالات التي تُستخدم فيها التطبيقات عالية المخاطر – مثل التشخيص الطبي أو التحليل القانوني – قابليّة تتبّع دقيقة. يُشدد الامتثال لللوائح مثل قانون الاتحاد الأوروبي للذكاء الاصطناعي على ضرورة وجود إطارات مراقبة قوية.

3. تصحيح الأخطاء وتنظيمها

يُعدّ تحديد الأخطاء في عمليات العمل متعدّدة الخطوات أو تقييم الإخراجات الوسيطة بدون أثر مفصل للعمل الوكيل أمرًا صعبًا.

4. التنظيم والتكلفة

يتطلب توسيع نطاق الوكلاء لأداء الإنتاج مراقبة معايير مثل التأخير واستخدام الرمز وتكلفة التشغيل لضمان الكفاءة دون المساس بالجودة.

الميزات الأساسية لمنصات AgentOps

1. إنشاء الوكيل وتailه

يمكن للمطورين تكوين الوكلاء باستخدام سجل للمكونات:

• الأدوار: تعريف المسؤوليات (مثل باحث أو مخطط).
• الحواجز: وضع قيود لضمان السلوك الأخلاقي والموثوق.
• أدوات: تمكين التكامل مع واجهات برمجة التطبيقات وقواعد البيانات أو الرسومات المعرفية.

يُبني الوكلاء للتفاعل مع مجموعات بيانات محددة وأدوات وملفات تعريف مع الحفاظ على الامتثال للقواعد المحددة.

2. المراقبة والتتبع

يُقوم AgentOps بتقاط سجلات تنفيذ مفصلة:

• الأثر: تسجيل كل خطوة في سير عمل الوكيل، من مكالمات LLM إلى استخدام الأدوات.
• المدى: تقسيم الأثر إلى خطوات مفصلة، مثل الاسترجاع وتوليد التضمين أو استدعاء الأداة.
• الملفات: تتبع الإخراجات الوسيطة و_states الذاكرة وملفات تعريف الطلب للمساعدة في تصحيح الأخطاء.

توفر أدوات المراقبة مثل Langfuse أو Arize لوحات تحكم تُظهر هذه الأثر، مما يساعد في تحديد معوقات أو أخطاء.

3. إدارة الطلب

تلعب هندسة الطلب دورًا هامًا في تشكيل سلوك الوكيل. تتضمن الميزات الرئيسية:

• النسخة: تتبع إصدارات الطلبات لمقارنة الأداء.
• كشف الحقن: تحديد الشفرة الخبيثة أو أخطاء الإدخال في الطلبات.
• التنظيم: تقنيات مثل سلسلة الفكر (CoT) أو شجرة الفكر تحسن قدرات الاستدلال.

4. دمج التغذية الراجعة

تبقى التغذية الراجعة البشرية حاسمة لتحسينات التكرار:

• التغذية الراجعة الصريحة: يُقيم المستخدمون الإخراجات أو يقدمون تعليقات.
• التغذية الراجعة الضمنية: يتم تحليل معايير مثل وقت المهمة أو معدل النقر لقياس الفعالية.

يُحسن هذا حلقة التغذية الراجعة أداء الوكيل وbenchmarks التقييم المستخدمة للاختبار.

5. التقييم والاختبار

تسهل منصات AgentOps الاختبار الشامل عبر:

• المعايير: مقارنة أداء الوكيل بالمعايير الصناعية.
• تقييمات خطوة بخطوة: تقييم الخطوات الوسيطة في سير العمل لضمان الصحة.
• تقييم المسار: التحقق من مسار اتخاذ القرار الذي اتخذه الوكيل.

6. الذاكرة والتكامل المعرفي

يستخدم الوكلاء الذاكرة القصيرة الأمد لسياق (مثل تاريخ المحادثة) والذاكرة الطويلة الأمد لتخزين الأفكار من المهمات السابقة. هذا يُمكّن الوكلاء من التكيف ديناميكيًا مع الحفاظ على الاتساق مع مرور الوقت.

7. المراقبة والمعايير

تُراقب المراقبة الشاملة:

• التأخير: قياس أوقات الاستجابة لتحسينها.
• استخدام الرمز: مراقبة استهلاك الموارد لمراقبة التكاليف.
• معايير الجودة: تقييم الصلة والدقة والسمية.

تُظهر هذه المعايير عبر أبعاد مثل جلسات المستخدمين والطلبات وسير العمل، مما يُمكّن من التدخلات في الوقت الفعلي.

تصنيف الملفات القابلة للتتبع

تقدم الورقة تصنيفًا منهجيًا للملفات التي تدعم مراقبة AgentOps:

• ملفات إنشاء الوكيل: بيانات وصفية حول الأدوار والأهداف والقيود.
• ملفات التنفيذ: سجلات لدعوات الأدوات وترتيب المهمات الخطوة وخطوات الاستدلال.
• ملفات التقييم: معايير ودوائر التغذية الراجعة ومetrics التقييم.
• ملفات التتبع: معرّفات الجلسة و IDs التتبع والمدى لمراقبة مفصلة.

يضمن هذا التصنيف الاتساق والوضوح عبر دورة حياة الوكيل، مما يجعل تصحيح الأخطاء والامتثال أكثر سهولة.

AgentOps (الأداة) دروس تعليمية

هذا سيساعدك على إعداد وتشغيل AgentOps لمراقبة وتنظيم وكلائك الّذين يعتمدون على الذكاء الاصطناعي.

الخطوة 1: تثبيت SDK AgentOps

ثبت AgentOps باستخدام مدير حزمة بايثون المفضل:

pip install agentops

الخطوة 2: 초기 AgentOps

أولًا، استورد AgentOps وحددته باستخدام مفتاح API. احفظ مفتاح API في ملف .env لأسباب أمنية:

# 초기 AgentOps باستخدام مفتاح API
import agentops
import os
from dotenv import load_dotenv

# تحميل متغيرات البيئة
load_dotenv()
AGENTOPS_API_KEY = os.getenv("AGENTOPS_API_KEY")

# 초기 العميل AgentOps
agentops.init(api_key=AGENTOPS_API_KEY, default_tags=["my-first-agent"])

تُشغل هذه الخطوة مراقبة لجميع تفاعلات LLM في تطبيقك.

الخطوة 3: تسجيل الإجراءات باستخدام الزخارف

يمكنكstrument وظائف محددة باستخدام الزخارف @record_action، والتي تتبع 매개 Variables ووقت التنفيذ والإخراج. هنا مثال:

from agentops import record_action

@record_action("custom-action-tracker")
def is_prime(number):
"""التحقق مما إذا كان الرقم أوليًا."""
if number < 2:
return False
for i in range(2, int(number**0.5) + 1):
if number % i == 0:
return False
return True

الآن سيكون الدالة مسجلة في لوحة تحكم AgentOps، مما يوفر معايير لوقت التنفيذ وتتبع الإدخال والإخراج.

الخطوة 4: تتبع وكلاء مُسمّين

إذا كنت تستخدم وكلاء مُسمّين، استخدم الزخارف @track_agent لربط جميع الإجراءات والأحداث بوكلاء محددين.

from agentops import track_agent

@track_agent(name="math-agent")
class MathAgent:
def __init__(self, name):
self.name = name

def factorial(self, n):
"""حساب العامل الرتيب بشكل متكرر."""
return 1 if n == 0 else n * self.factorial(n - 1)

أي إجراء أو مكالمة LLM داخل هذا الوكيل سيرتبط الآن مع العلامة “math-agent”.

الخطوة 5: دعم متعدد الوكلاء

لنظم تستخدم عدة وكلاء، يمكنك تتبع الأحداث عبر الوكلاء لتحسين المراقبة. هنا مثال:

@track_agent(name="qa-agent")
class QAAgent:
def generate_response(self, prompt):
return f"الاستجابة ل: {prompt}";

@track_agent(name="developer-agent")
class DeveloperAgent:
def generate_code(self, task_description):
return f"# الكود لتنفيذ: {task_description}";

qa_agent = QAAgent()
developer_agent = DeveloperAgent()

response = qa_agent.generate_response("اشرح مراقبة الذكاء الاصطناعي.")
code = developer_agent.generate_code("حساب تسلسل فيبوناتشي")

كل مكالمة سوف تظهر في لوحة تحكم AgentOps تحت تتبع الوكيل الخاص بها.

الخطوة 6: إنهاء الجلسة

لإشارة إلى نهاية الجلسة، استخدم طريقة end_session. اختياريًا، شمل حالة الجلسة (Success أو Fail) والسبب.

# نهاية الجلسة
agentops.end_session(state="Success", reason="اكتمل سير العمل")

هذا يضمن تسجيل جميع البيانات ويمكن الوصول إليها في لوحة تحكم AgentOps.

الخطوة 7: التّصوير في لوحة تحكم AgentOps

زر لوحة تحكم AgentOps AgentOps Dashboard لاستكشاف:

• إعادة تشغيل الجلسة: أثر تنفيذ خطوة بخطوة.
• التحليلات: معايير تكلفة LLM واستخدام الرمز والتأخير.
• كشف الأخطاء: تحديد وتصحيح الأخطاء أو الحلقات التكرارية.

مثال محسّن: كشف الفكر التكراري

يدعم AgentOps أيضًا كشف الحلقات التكرارية في سير عمل الوكيل. دعونا نوسع المثال السابق بكشف التكرار:

@track_agent(name="recursive-agent")
class RecursiveAgent:
def solve(self, task, depth=0, max_depth=5):
"""模拟 حل المهمة التكراري مع التحكم في العمق."""
if depth >= max_depth:
return f"تم الوصول إلى الحد الأقصى لعمق التكرار للمهمة: {task}"
return self.solve(task, depth + 1)

recursive_agent = RecursiveAgent()
output = recursive_agent.solve("تحسين استعلامات قاعدة البيانات")
print(output)

سوف يسجل AgentOps التكرار كجزء من الجلسة، مما يساعدك على تحديد الحلقات اللانهائية أو العمق الزائد.

الخلاصة

أعاد وكلاء الذكاء الاصطناعي الآليون القائمون على نماذج الأساس مثل LLMs تحديد كيفية 접근نا للمشكلات المعقّدة متعدّدة الخطوات عبر الصناعات. ومع ذلك، فإن تعقيدها يطرح تحديات فريدة في المراقبة وقابليّة التّتبّع والموثوقية. هنا يأتي دور AgentOps كإطار لا غنى عنه، يوفر للمطورين الأدوات لمراقبة وتنظيم وضمان الامتثال لوكلاء الذكاء الاصطناعي على مدار دورة حياتهم.