ما الوكلاء القادرون على استخدام الحاسوب؟ كيف يرى الذكاء الاصطناعي البرامج وينقر عليها ويكتب ويتنقل فيها

الوكلاء القادرون على استخدام الحاسوب أنظمة ذكاء اصطناعي تستطيع إدراك واجهة البرنامج والتفاعل معها بإجراءات مثل النقر والكتابة والتمرير والسحب واستخدام اختصارات لوحة المفاتيح. وبدلًا من الحاجة إلى واجهة برمجة تطبيقات مخصّصة لكل تطبيق، تعمل هذه الأنظمة عبر كثير من الواجهات المرئية نفسها التي يستخدمها الناس.

تتيح هذه القدرة للوكلاء التعامل مع نطاق واسع من البرامج القديمة والمواقع الإلكترونية وتطبيقات سطح المكتب. لكنها تنطوي أيضًا على مخاطر غير مألوفة؛ إذ قد يؤدي سوء فهم بسيط لما يظهر على الشاشة إلى تغيير مسار مهمة طويلة، كما قد يتيح الوصول إلى الواجهة الاطلاع على كل ما يستطيع المستخدم المسجّل الدخول رؤيته أو تغييره.

لماذا يهم استخدام الحاسوب

صُمّم كثير من البرامج المهمة في العالم للبشر، لا للوكلاء. وقد لا يوفّر التطبيق واجهة برمجة تطبيقات عامة، أو يتيح برمجيًا الوصول إلى جزء من وظائفه فقط، أو يتطلب إنجاز العمل عبر عدة واجهات.

يمكن لأتمتة العمليات الروبوتية التقليدية التعامل مع واجهات المستخدم، لكنها تعتمد عادةً على محددات ومسارات عمل محددة مسبقًا. أما الوكيل القادر على استخدام الحاسوب، فيضيف نموذجًا يستطيع تفسير الشاشات غير المألوفة، وتحديد الخطوة اللازمة، والتكيف عند تغيّر الواجهة أو ظهور مربع حوار غير متوقع.

وهذا يجعل استخدام الحاسوب أداة متعددة الأغراض. فمن الممكن استخدام حلقة الإدراك والفعل نفسها للتنقل في جداول البيانات، أو أنظمة إدارة علاقات العملاء، أو تطبيقات التصميم، أو المتصفحات، أو البوابات الداخلية.

كيف يعمل الوكيل القادر على استخدام الحاسوب

يمثل إرساء التعليمات على عناصر الواجهة الخطوة الوسطى الأصعب. إذ يجب على الوكيل ربط تعليمة مفاهيمية، مثل «افتح أحدث فاتورة»، بصف أو عنصر تحكم محدد يظهر على الشاشة. وقد تساعد التسميات النصية وبيانات إمكانية الوصول، لكن التخطيطات الديناميكية والواجهات القائمة على لوحات الرسم والعناصر المتداخلة والأيقونات الملتبسة قد تضطر النموذج إلى الاستدلال انطلاقًا من وحدات البكسل.

تشبه الحلقة الأساسية طريقة تفاعل الإنسان مع البرامج.

1. الملاحظة: التقاط لقطة شاشة، وشجرة إمكانية الوصول، وبنية المستند، وموضع المؤشر، وغيرها من حالات البيئة.
2. التفسير: تحديد عناصر التحكم والمحتوى والتحذيرات الظاهرة، والعلاقة بين الشاشة الحالية والمهمة.
3. اختيار إجراء: تحديد ما إذا كان ينبغي النقر أو الكتابة أو التمرير أو الضغط على مفتاح أو الانتظار أو طلب المساعدة.
4. التنفيذ: تنفذ بيئة التشغيل الإجراء عبر واجهة نظام التشغيل أو المتصفح أو الآلة الافتراضية.
5. التحقق: التقاط الشاشة بعد تغيرها وتحديد ما إذا كان الإجراء قد حقق الأثر المقصود.
6. التكرار أو التوقف: مواصلة التقدم نحو الهدف، أو التعافي من خطأ، أو التوقف مؤقتًا عند حدّ محمي.

يقدّم وصف OpenAI لـوكيل قادر على استخدام الحاسوب هذه القدرة بوصفها جمعًا بين الإدراك البصري والاستدلال وإجراءات الفأرة ولوحة المفاتيح. ولا تكمن الفكرة في التنبؤ بنقرة واحدة، بل في الحلقة المغلقة التي تصل الإدراك بالفعل وبالحالة التي تُرصد من جديد.

ما الذي يستطيع الوكيل «رؤيته»

يمكن لأنظمة استخدام الحاسوب تلقي تمثيلات مختلفة للواجهة.

توفر لقطات الشاشة عرضًا عامًا على مستوى وحدات البكسل، وتعمل حتى في غياب بيانات وصفية منظّمة للواجهة. ويمكنها التقاط المخططات والصور وتطبيقات لوحات الرسم والتخطيط المرئي. لكن قد يصعب تفسير الأهداف الصغيرة والحالات المخفية والأيقونات الملتبسة.

تكشف أشجار إمكانية الوصول أو بنية المستند عناصر التحكم والنصوص في صيغة أكثر تنظيمًا. وقد تجعل تحديد العناصر أدق، لكنها قد تغفل معلومات مرئية أو تعمل على نحو غير متّسق بين التطبيقات.

تجمع الأنظمة الهجينة بين وحدات البكسل والعناصر المنظّمة وحالة التطبيق، وأحيانًا واجهات برمجة التطبيقات المباشرة. وغالبًا ما تكون هذه الأنظمة أقوى من التعامل مع كل مشكلة على أنها محاكاة بصرية بحتة.

استخدام الحاسوب في مقابل أتمتة المتصفح

تستخدم أتمتة المتصفح التقليدية التعليمات البرمجية والمحددات الثابتة لتنفيذ سلسلة خطوات معروفة. وهي سريعة ويمكن التنبؤ بنتائجها عندما تكون بنية الصفحة تحت السيطرة. أما الوكيل القادر على استخدام الحاسوب، فيفسر الواجهة ديناميكيًا ويستطيع تحديد تسلسل الخطوات الذي ينبغي اتباعه.

النهجان متكاملان. فقد يتيح نظام متين للوكيل تحديد ما يجب إنجازه، ثم تنفيذ العمليات المعروفة جيدًا عبر الأتمتة الحتمية أو واجهات برمجة التطبيقات. ويكون التفاعل على مستوى وحدات البكسل أكثر فائدة عندما لا تتوفر واجهة منظّمة أو يتعذر تحديد المسار مسبقًا.

استخدام الحاسوب في مقابل واجهات API واستدعاء الأدوات

يحدّ هذا النهج الهجين من الأخطاء والتكلفة معًا. فقد يسترجع الوكيل البيانات عبر واجهة API، ولا يفتح تطبيقًا لسطح المكتب إلا لإكمال نموذج قديم، ثم يتحقق من السجل النهائي من خلال استعلام منظّم آخر. ويجنّب التعامل مع التحكم المرئي بوصفه أداة من بين أدوات عدة إجبار كل خطوة على المرور عبر الواجهة الأقل موثوقية.

توفر واجهة API واجهة موجّهة للآلات، تتضمن عمليات وأنواع بيانات محددة بوضوح. وهي عمومًا أسرع وأكثر دقة وأسهل في التحقق من النقر عبر الشاشة. أما استخدام الحاسوب فيوفر توافقًا أوسع مقابل مزيد من الالتباس.

على سبيل المثال، قد يستعلم وكيل عن المخزون عبر واجهة API، لكنه يستخدم بوابة المورّد على الويب لمعالجة حالة استثنائية لا تدعمها الواجهة. ويمكن لاستدعاء الأدوات إتاحة الإمكانيتين للنموذج، فيما تفضّل بيئة التشغيل المسار الأكثر موثوقية.

حالات الاستخدام الشائعة

• العمليات الإدارية الخلفية: نقل البيانات بين البوابات، ومعالجة النماذج الروتينية، وإعداد السجلات للموافقة عليها.
• البحث: تصفح المواقع، وتصفية النتائج، وجمع الأدلة، وتحديث مستند قيد العمل.
• اختبار البرمجيات: اتباع مسارات المستخدمين، وتسجيل الأعطال، والتحقق من التغييرات المرئية.
• دعم تقنية المعلومات: فحص الإعدادات، وجمع بيانات التشخيص، والإرشاد إلى الإصلاحات المعتمدة أو تنفيذها.
• الإنتاجية الشخصية: تنسيق الملفات وتطبيقات الويب والتقاويم والمستندات.
• إمكانية الوصول: مساعدة المستخدمين على تشغيل واجهات يصعب التنقل فيها بطرق أخرى، مع إخضاع ذلك لضوابط صارمة لحماية الخصوصية.

لماذا تظل المهام التي تستخدم الحاسوب صعبة؟

تضم واجهات المستخدم قوائم ديناميكية، وتحميلًا متأخرًا، ونوافذ منبثقة، ومناطق قابلة للتمرير، وأهدافًا صغيرة، وحالات تبدو متشابهة لكن تترتب عليها نتائج مختلفة. وقد تتطلب المهمة عشرات الخطوات الصحيحة، لذا يتراكم أثر الأخطاء حتى لو كان معدلها في كل خطوة متواضعًا.

تقيّم معايير مثل OSWorld الوكلاء عبر بيئات حاسوبية حقيقية بدلًا من الاقتصار على نقرات منفردة. ويوسّع OSWorld 2.0 هذه الفكرة لتشمل مسارات عمل أطول تتغير فيها الحالات وتزداد فيها أوجه التنوع. ويشير فصل الأداء التقني من مؤشر الذكاء الاصطناعي لعام 2026 الصادر عن ستانفورد إلى تحسّن سريع، لكنه يُظهر أيضًا استمرار الفجوة عن أداء البشر في OSWorld، ما يؤكد أن العروض التوضيحية المبهرة لا تعني موثوقية مطلقة.

أبرز أسباب الإخفاق

• أخطاء تحديد الهدف بصريًا: النقر على عنصر تحكم قريب أو شبيه بالعنصر المقصود.
• الالتباس بشأن الحالة: افتراض تحميل صفحة، أو نجاح الحفظ، أو تغيّر النافذة النشطة، رغم أن ذلك لم يحدث.
• الانحراف في المهام طويلة الأمد: فقدان هدف المهمة بعد تنفيذ العديد من الإجراءات الصغيرة.
• آثار جانبية خفية: إرسال نموذج أو إتمام عملية شراء بينما كان الوكيل ينوي معاينتهما فحسب.
• حقن التعليمات: اتباع تعليمات ضارة مضمنة في صفحة ويب أو مستند أو رسالة.
• كشف بيانات الاعتماد: إفشاء المعلومات المتاحة ضمن جلسة مسجّل الدخول أو إساءة استخدامها.
• أخطاء لا يمكن التراجع عنها: الحذف أو النشر أو الإرسال أو الشراء من دون مراجعة كافية.

مبادئ الأمن والتحكم

محتوى الواجهة غير موثوق. فقد تتضمن صفحة ويب أو رسالة بريد إلكتروني أو مستند تعليمات تهدف إلى صرف الوكيل عن مهمته، وقد تحاكي نافذة حوار ضارة رسالة تأكيد مألوفة. ينبغي للنظام عزل محتوى الصفحة عن السياسات، وتقييد الوجهات وبيانات الاعتماد، والتوقف عند ظهور طلب غير متوقع للحصول على إذن أو تأكيد ذي عواقب مهمة.

ينبغي تشغيل استخدام الكمبيوتر في أضيق بيئة تتيح إنجاز المهمة. فملف تعريف مخصص للمتصفح أو آلة افتراضية أو بيئة معزولة تحدّ من الوصول إلى الحسابات والملفات غير المرتبطة بالمهمة. وينبغي أن تستخدم الجلسات بيانات اعتماد مخصصة للمهمة وأذونات بأدنى امتيازات، بدلًا من أن ترث كامل صلاحيات المستخدم على جهازه.

تتطلب الإجراءات ذات الأثر الكبير حدًا واضحًا للتأكيد. ينبغي للنظام أن يتوقف مباشرة قبل إرسال شيء أو شرائه أو حذفه أو نشره أو تغيير إعدادات حساسة، وأن يعرض للمستخدم الهدف المحدد والأثر المترتب على الإجراء.

ينبغي للوكلاء أيضًا التعامل مع محتوى الشاشة بوصفه بيانات غير موثوقة. ويجب ألا تتغلب التعليمات الواردة داخل صفحة ويب على سياسات النظام أو مهمة المستخدم. كما تتطلب التنزيلات والأوامر المنسوخة والاتصالات الخارجية تحققًا مستقلًا.

كيفية تقييم وكيل يستخدم الكمبيوتر

إنجاز المهمة شرط ضروري، لكنه غير كافٍ. ينبغي للفرق قياس دقة الخطوات، والقدرة على التعافي من الحالات غير المتوقعة، والإجراءات غير الضرورية، والوقت، والتكلفة، والتعرض للبيانات الحساسة، والامتثال للموافقات، والاتساق عبر عمليات التشغيل المتكررة.

ينبغي أن تتنوع بيئات التقييم من حيث دقة الشاشة وتخطيطها والبيانات والتوقيت وحالة التطبيق. وإلا فقد يتكيف الوكيل بإفراط مع معيار اختبار مُعدّ مسبقًا، بينما يفشل في التعامل مع التباين الموجود في البرمجيات المستخدمة يوميًا.

كيفية قراءة مخططات استخدام الكمبيوتر

اقرأ مخططات استخدام الكمبيوتر بدءًا من المدخلات المرقّمة وصولًا إلى النتيجة القابلة للملاحظة. وتعزل المقارنة الحد الفاصل الذي يميز استخدام الكمبيوتر عن أقرب اختصار إليه، بينما يوضح مسار التحكم المواضع التي يجب فيها التحقق من الصلاحيات أو حالات عدم اليقين قبل وقوع عاقبة في العالم الحقيقي. وتظل التسميات نصوصًا عادية في الصفحة، متجاوبة مع أحجام الشاشات، كي يمكن ترجمتها والتفافها وإعادة تدفقها على الهاتف.

في مقال «ما الوكلاء الذين يستخدمون الكمبيوتر؟ كيف يرى الذكاء الاصطناعي البرمجيات وينقر عليها ويكتب فيها ويتنقل عبرها»، يمثّل الرسم خريطة لا ضمانًا. قد يجمع التطبيق الفعلي بين مراحل، أو يكرر خطوة، أو يضيف نقطة تتطلب موافقة بشرية. والأهم هو أن يتمكن الفريق من تحديد الوظائف نفسها في النظام المنشور، وتعيين مسؤول عن كل حد فاصل، واختبار الانتقال بين هذه الحدود. وإذا تعذر رصد مرحلة أو قياسها، فسيصعب تشخيص الإخفاقات فيها.

ما ينبغي تذكره عن الوكلاء الذين يستخدمون الكمبيوتر

تتيح الوكلاء الذين يستخدمون الكمبيوتر التعامل مع واجهة البرامج التي يستخدمها البشر بوصفها أداة عامة. ويمكنها الوصول إلى الأنظمة التي تفتقر إلى واجهات برمجة تطبيقات مناسبة، والتكيف مع مهام لا يسهل على الأتمتة الثابتة توقعها.

لكن هذه القدرة على التعميم تنطوي على غموض واحتمال إحداث آثار واسعة. وتفضّل أقوى التصاميم استخدام واجهات برمجة التطبيقات المنظمة عند توافرها، وعزل بيئة الكمبيوتر، والتحقق من كل تغيير في الحالة، وإبقاء الإجراءات ذات العواقب المهمة تحت سيطرة البشر.