مع ظهور نماذج اللغة الكبيرة المتعددة الأوضاع (MLLM) ، دخلنا عصرًا جديدًا من وكلاء أجهزة المحمول ، قادرين على فهم وتفاعل مع العالم من خلال النصوص والصور والصوت. هذه الوكلاء تشير إلى تقدم كبير على الذكاء الاصطناعي التقليدي ، مما يوفر طريقة أكثر غنى و直觉 للتفاعل مع الأجهزة. من خلال الاستفادة من MLLM ، يمكن لهذه الوكلاء معالجة وتحليل كميات هائلة من المعلومات من مختلف الأوضاع ، مما يتيح لهم تقديم مساعدة شخصيّة وتحسين تجربة المستخدم بطريقة لم تكن متخيلة من قبل.

تعتمد هذه الوكلاء على تقنيات التعلم الآلي المتقدمة وقدرات معالجة اللغة الطبيعية المتقدمة ، مما يسمح لهم بفهم وتوليد نصوص تشبه الإنسان ، وكذلك تفسير البيانات البصرية والصوتية بدقة ملحوظة. من التعرف على الأجسام والمناظر في الصور إلى فهم الأوامر الصوتية وتحليل مشاعر النص ، هذه الوكلاء المتعددة الأوضاع قادرة على التعامل مع مجموعة واسعة من الإدخالات بسلاسة. إمكانات هذه التكنولوجيا هائلة ، حيث توفر خدمات أكثر تعقيدًا ووعيًا سياقيًا ، مثل المساعدين الافتراضيين المتuned إلى المشاعر البشرية وأدوات تعليمية تكيفت مع أساليب التعلم الفردية. كما أنها تمتلك إمكانات ثورية في مجال الإمكانية ، مما يجعل التكنولوجيا أكثر سهولة وصولًا عبر الحواجز اللغوية والحسية.

في هذه المقالة ، سنناقش وكلاء المحمول ، وهو وكلاء أجهزة محمول مستقل متعدد الأوضاع يعتمد في البداية على قدرات الإدراك البصري لتحديد وتحديد العناصر البصرية والنصية بدقة داخل واجهة تطبيق الهاتف المحمول. باستخدام هذا السياق المرئي ، يخطط إطار عمل وكلاء المحمول ويفكك المهمة المعقدة بشكل مستقل ، ويتحرك عبر تطبيقات الهاتف المحمول خطوة بخطوة. يختلف إطار عمل وكلاء المحمول عن الحلول الحالية لأنه لا يعتمد على بيانات النظام أو ملفات XML لتطبيقات الهاتف المحمول ، مما يتيح المرونة المحسنة عبر بيئات تشغيل الهاتف المحمول المختلفة بطريقة مركزية بصرية. يزيل نهج إطار عمل وكلاء المحمول الحاجة إلى التكيفات الخاصة بالنظام ، مما يؤدي إلى تحسين الأداء وخفض المتطلبات الحسابية.

وكلاء المحمول: وكلاء أجهزة محمول مستقل متعدد الأوضاع

في عالم تكنولوجيا الهاتف المحمول السريع ، يبرز مفهوم رائد: نماذج اللغة الكبيرة ، خاصة نماذج اللغة الكبيرة المتعددة الأوضاع أو MLLM القادرة على توليد مجموعة واسعة من النصوص والصور والفيديوهات والكلام عبر لغات مختلفة. التطور السريع لإطارات MLLM في السنوات القليلة الماضية أدى إلى ظهور تطبيق جديد وقوي لنماذج MLLM: وكلاء أجهزة محمول مستقل. وكلاء أجهزة محمول مستقل هي كيانات برمجية تعمل وتتحرك وتعمل بشكل مستقل ، دون الحاجة إلى أوامر بشرية مباشرة ، مصممة للتنقل عبر الشبكات أو الأجهزة لتحقيق مهام أو جمع معلومات أو حل مشاكل.

تم تصميم وكلاء المحمول للعمل على جهاز الهاتف المحمول بناءً على تعليمات المستخدم والمرئيات على الشاشة ، وهي مهمة تتطلب من الوكلاء امتلاك فهم دلالاتي وقدرات إدراك بصرية. ومع ذلك ، وكلاء المحمول الحالية بعيدة عن الكمال لأنها تستند إلى نماذج اللغة الكبيرة المتعددة الأوضاع ، وحتى إطار MLLM الحالي بما في ذلك GPT-4V يفتقر إلى قدرات الإدراك البصري المطلوبة ليكون وكلاء محمول فعالًا.

للمواجهة هذه القضية ، اختارت بعض الإطارات الاستفادة من ملفات تخطيط واجهة المستخدم للمساعدة في قدرات التخصيص ، مع بعض الإطارات التي تتمكن من استخراج مواقع قابلة للتنفيذ على الشاشة عن طريق الوصول إلى ملفات XML للتطبيق ، في حين أن إطارات أخرى اخترت استخدام رمز HTML من التطبيقات الويب. كما يمكن ملاحظة أن معظم هذه الإطارات تعتمد على الوصول إلى الملفات المحلية للتطبيق ، مما يجعل هذه الطريقة غير فعالة إذا لم تتمكن الإطار من الوصول إلى هذه الملفات. لمعالجة هذه القضية وإزالة الاعتماد عن الملفات المحلية في أساليب التخصيص ، عمل المطورون على وكلاء المحمول ، وهو وكلاء أجهزة محمول مستقل مع قدرات إدراك بصرية مثيرة للإعجاب.

علاوة على ذلك ، يهدف إطار وكلاء المحمول إلى الاستفادة من القدرات السياقية لنماذج MLLM المتقدمة مثل GPT-4V لتحقيق قدرات التخطيط الذاتي التي تتيح للنموذج تخطيط المهام بناءً على تاريخ العمليات وتعليمات المستخدم والصور الشاشة بشكل شامل. لتعزيز قدرة الوكيل على تحديد التعليمات غير كاملة والعمليات الخاطئة ، يقدم إطار وكلاء المحمول طريقة للتفكير الذاتي.

بشكل عام ، يمكن تلخيص مساهمات إطار وكلاء المحمول على النحو التالي:

1. يعمل وكلاء المحمول كوكيل أجهزة محمول مستقل ، يستخدم أدوات الإدراك البصري لتحديد موقع العمليات. يخطط كل خطوة بطريقة منهجية ويتعامل مع التفاعل. يعتمد وكلاء المحمول حصريًا على لقطات الشاشة للجهاز ، دون استخدام أي رمز نظام.
2. يقدم وكلاء المحمول Mobile-Eval ، وهو معيار لتقدير وكلاء أجهزة المحمول. يتضمن هذا المعيار مجموعة متنوعة من التطبيقات المحمول الأكثر استخدامًا ، جنبًا إلى جنب مع تعليمات ذكية لهذه التطبيقات ، مصنفة إلى ثلاثة مستويات من الصعوبة.

وكلاء المحمول: الهيكل والمنهجية

في جوهره ، يتكون إطار وكلاء المحمول من نموذج لغة كبير متعدد الأوضاع متقدم ، وهو GPT-4V ، ووحدة كشف النصوص تستخدم لمهام تحديد الموقع.

الإدراك البصري

كما ذكرنا سابقًا ، يُحقق نموذج MLLM GPT-4V نتائج مرضية لتعليمات والصور الشاشة ، ولكنه يفشل في إخراج موقع العمليات بشكل فعال. نظرًا لهذه القصور ، يحتاج إطار وكلاء المحمول الذي يعتمد نموذج GPT-4V إلى الاعتماد على أدوات خارجية للمساعدة في تحديد موقع العمليات.

تحديد النص

يطبق إطار وكلاء المحمول أداة OCR لتحديد موقع النص على الشاشة عندما يحتاج الوكيل إلى النقر على نص معين على شاشة الهاتف المحمول. هناك ثلاث سيناريوهات فريدة لتحديد النص.

سيناريو 1: لم يتم الكشف عن نص محدد

المشكلة: يفشل OCR في الكشف عن النص المحدد ، وهو ما قد يحدث في صور معقدة أو بسبب قيود OCR.

الاستجابة: يوجه الوكيل إلى إما:

• إعادة تحديد النص للنقر ، مما يسمح بالتصحيح اليدوي لاهتمام OCR ، أو
• اختيار عملية بديلة ، مثل استخدام طريقة إدخال مختلفة أو أداء действية أخرى ذات صلة بالمهام المحددة.

الاستدلال: هذه المرونة ضرورية لإدارة الأخطاء أو الهلوسة المحتملة لنموذج GPT-4V ، مما يضمن أن الوكيل يمكنه المضي قدمًا بشكل فعال.

تحديد الأيقونة

يطبق إطار وكلاء المحمول أداة كشف الأيقونة لتحديد موقع الأيقونة عندما يحتاج الوكيل إلى النقر عليها على شاشة الهاتف المحمول.

تنفيذ التعليمات

لترجمة الإجراءات إلى عمليات على الشاشة بواسطة الوكلاء ، يحدد إطار وكلاء المحمول 8 عمليات مختلفة.

• تشغيل التطبيق (اسم التطبيق): يُشغل التطبيق المحدد من واجهة سطح المكتب.
• النقر على النص (تسمية النص): يتفاعل مع جزء الشاشة الذي يعرض التسمية.
• التفاعل مع الأيقونة (وصف الأيقونة ، الموقع): يستهدف ويضغط على منطقة الأيقونة المحددة ، حيث يصف “وصف الأيقونة” سمات مثل اللون والشكل.
• إدخال النص (نص الإدخال): يُدخل النص المحدد في حقل النص النشط.
• التحرك لأعلى ولأسفل: يتنقل عبر محتوى الصفحة الحالية.
• الرجوع إلى الخلف: يرجع إلى الصفحة التي تم عرضها مسبقًا.
• إغلاق: ينتقل إلى سطح المكتب مباشرة من الشاشة الحالية.
• إيقاف: يُنهي العملية عندما يتم إكمال المهمة.

التخطيط الذاتي

يتكرر تنفيذ كل خطوة من العمليات بواسطة الإطار ، ويتم توفير تعليمات الإدخال للمستخدم قبل بداية كل تكرار ، ويستخدم نموذج وكلاء المحمول التعليمات لتوليد تعليمات النظام للعملية بأكملها.

التفكير الذاتي

خلال عملياته ، قد يواجه الوكيل أخطاء تمنعه من تنفيذ الأمر بنجاح. لتعزيز معدل إكمال التعليمات ، تم تطبيق نهج التقييم الذاتي ، والذي يتم تنشيطه في ظروف محددة.

وكلاء المحمول: التجارب والنتائج

لتحديد أدائه بشكل شامل ، يقدم إطار وكلاء المحمول معيار Mobile-Eval ، الذي يتكون من 10 تطبيقات شائعة الاستخدام ، وتصميم ثلاث تعليمات لكل تطبيق.

أخيرًا ، لتقدير الأداء من منظورات مختلفة ، صمم إطار وكلاء المحمول أربعة مقاييس مختلفة.

النتائج موضحة في الشكل التالي.

أفكار ختامية

في هذه المقالة ، ناقشنا وكلاء المحمول ، وهو وكلاء أجهزة محمول مستقل متعدد الأوضاع يستخدم في البداية تقنيات الإدراك البصري لتحديد وتحديد العناصر البصرية والنصية بدقة داخل واجهة تطبيق الهاتف المحمول. باستخدام هذا السياق المرئي ، يخطط إطار وكلاء المحمول ويقوم بتفكيك المهمة المعقدة بشكل مستقل ، ويتحرك عبر تطبيقات الهاتف المحمول خطوة بخطوة. يختلف إطار وكلاء المحمول عن الحلول الحالية لأنه لا يعتمد على بيانات النظام أو ملفات XML لتطبيقات الهاتف المحمول ، مما يتيح المرونة المحسنة عبر بيئات تشغيل الهاتف المحمول المختلفة بطريقة مركزية بصرية. يزيل نهج إطار وكلاء المحمول الحاجة إلى التكيفات الخاصة بالنظام ، مما يؤدي إلى تحسين الأداء وخفض المتطلبات الحسابية. إطار وكلاء المحمول يُبسط من عمليات تطبيقات الهاتف المحمول ، ويجعلها أكثر سهولة وسرعة ، ويوفر تجربة مستخدم أكثر راحة.