Η έλευση των Πολυμορφικών Μεγάλων Γλωσσικών Μοντέλων (MLLM) έχει ανοίξει μια νέα εποχή για τους πράκτορες κινητών συσκευών, ικανούς να κατανοούν και να αλληλεπιδρούν με τον κόσμο μέσω κειμένου, εικόνων και ομιλίας. Αυτοί οι πράκτορες σηματοδοτούν μια σημαντική πρόοδο σε σχέση με τους παραδοσιακούς AI, παρέχοντας einen πλουσιότερο και πιο直觀 τρόπο για τους χρήστες να αλληλεπιδρούν με τις συσκευές τους. Με την αξιοποίηση των MLLM, αυτοί οι πράκτορες μπορούν να επεξεργαστούν και να συνθέσουν τεράστιες ποσότητες πληροφοριών από διάφορες μορφές, επιτρέποντάς τους να προσφέρουν προσωποποιημένη βοήθεια και να βελτιώσουν τις εμπειρίες των χρηστών με τρόπους που προηγουμένως ήταν αδιανόητοι.

Αυτοί οι πράκτορες είναι εξοπλισμένοι με τεχνικές μηχανικής μάθησης και προηγμένες ικανότητες επεξεργασίας φυσικής γλώσσας, επιτρέποντάς τους να κατανοούν και να γεννούν κείμενο που μοιάζει με αυτό των ανθρώπων, καθώς και να ερμηνεύουν οπτικά και ακουστικά δεδομένα με αξιοσημείωτη ακρίβεια. Από την αναγνώριση αντικειμένων και σκηνών σε εικόνες μέχρι την κατανόηση προφορικών εντολών και την ανάλυση συναισθήματος κειμένου, αυτοί οι πολυμορφικοί πράκτορες είναι ικανοί να χειριστούν eine ευρεία γκάμα εισόδων χωρίς προβλήματα. Το потенциάλ τους είναι τεράστιο, προσφέροντας πιο sophisticiated και контекστοποιημένες υπηρεσίες, όπως εικονικοί βοηθοί που είναι συντονισμένοι με τα ανθρώπινα συναισθήματα και εκπαιδευτικά εργαλεία που προσαρμόζονται σε ατομικούς στυλ μάθησης. Επίσης, έχουν το δυναμικό να επαναφέρουν την προσβασιμότητα, καθιστώντας την τεχνολογία πιο προσιτή σε διάφορα γλωσσικά και αισθητηριακά εμπόδια.

Σε αυτό το άρθρο, θα μιλήσουμε για τους Mobile-Πράκτορες, einen αυτόνομο πολυμορφικό πράκτορα συσκευών που αρχικά αξιοποιεί την ικανότητα οπτικών εργαλείων ανίχνευσης για να αναγνωρίσει και να τοποθετήσει με ακρίβεια τα οπτικά και κειμενικά στοιχεία στην διεπαφή της εφαρμογής κινητής συσκευής. Χρησιμοποιώντας αυτήν την ανιχνευμένη οπτική πηγή, το πλαίσιο Mobile-Πράκτορας σχεδιάζει και αναλύει τις σύνθετες εργασίες αυτόνομα και πλοηγεί μέσα από τις κινητές εφαρμογές με βήμα-προς-βήμα εργασίες. Το πλαίσιο Mobile-Πράκτορας διαφέρει από τις υφιστάμενες λύσεις, καθώς δεν βασίζεται στα μεταδεδομένα του κινητού συστήματος ή στα αρχεία XML των κινητών εφαρμογών, επιτρέποντας μεγαλύτερη ευελιξία σε διάφορες κινητές περιβαλλοντικές συνθήκες με επίκεντρο την οπτική επεξεργασία. Η προσέγγιση που ακολουθεί το πλαίσιο Mobile-Πράκτορας εξαλείφει την ανάγκη για συστηματικές προσαρμογές, οδηγώντας σε βελτιωμένη απόδοση και μειωμένες απαιτήσεις υπολογισμού.

Mobile-Πράκτορες: Αυτόνομοι Πολυμορφικοί Πράκτορες Κινητών Συσκευών

Στον ταχύτατο κόσμο της κινητής τεχνολογίας, μια πρωτοποριακή концепция εμφανίζεται ως εξαιρετική: τα Μεγάλα Γλωσσικά Μοντέλα, ειδικά τα Πολυμορφικά Μεγάλα Γλωσσικά Μοντέλα ή MLLM, που είναι ικανά να γεννούν eine ευρεία γκάμα κειμένου, εικόνων, βίντεο και ομιλίας σε διάφορες γλώσσες. Η ταχεία ανάπτυξη των πλαισίων MLLM τα τελευταία χρόνια έχει οδηγήσει σε μια νέα και ισχυρή εφαρμογή των MLLM: τους αυτόνομους κινητούς πράκτορες. Οι αυτόνομοι κινητοί πράκτορες είναι λογισμικά οντότητα που ενεργούν, κινούνται και λειτουργούν ανεξάρτητα, χωρίς την ανάγκη για άμεσες ανθρώπινες εντολές, σχεδιασμένα για να διασχίζουν δίκτυα ή συσκευές για να εκτελέσουν εργασίες, να συλλέξουν πληροφορίες ή να λύσουν προβλήματα.

Οι κινητοί πράκτορες σχεδιάζονται για να λειτουργούν την κινητή συσκευή του χρήστη με βάση τις οδηγίες του χρήστη και τις οπτικές της οθόνης, μια εργασία που απαιτεί από τους πράκτορες να κατέχουν και γλωσσική κατανόηση και οπτική ανίχνευση. Ωστόσο, οι υφιστάμενοι κινητοί πράκτορες είναι μακριά από την τελειότητα, καθώς βασίζονται σε πολυμορφικά μεγάλα γλωσσικά μοντέλα, και ακόμη και τα τρέχοντα state-of-the-art πλαισια MLLM, συμπεριλαμβανομένων των GPT-4V, λείπουν από οπτικές ικανότητες ανίχνευσης που απαιτούνται για να λειτουργήσουν ως αποτελεσματικοί κινητοί πράκτορες.

Για να αντιμετωπίσουν αυτό το πρόβλημα, κάποια πλαισια επέλεξαν να αξιοποιήσουν τα αρχεία διάταξης της διεπαφής χρήστη για να βοηθήσουν το GPT-4V ή άλλα MLLM με ικανότητες τοποθεσίας. Κάποια πλαισια κατόρθωσαν να εξαγάγουν θέσεις δράσης στην οθόνη, επεξεργαζόμενα τα αρχεία XML της εφαρμογής, ενώ άλλα πλαισια επέλεξαν να χρησιμοποιήσουν τον κώδικα HTML από τις web εφαρμογές. Όπως φαίνεται, η πλειονότητα αυτών των πλαισίων βασίζεται στην πρόσβαση σε υποκείμενα και τοπικά αρχεία εφαρμογών, καθιστώντας τη μέθοδο σχεδόν ανεπιτυχή αν το πλαισιο δεν μπορεί να προσεγγίσει αυτά τα αρχεία. Για να αντιμετωπίσουν αυτό το πρόβλημα και να εξαλείψουν την εξάρτηση των τοπικών πρακτόρων από τα υποκείμενα αρχεία στις μεθόδους τοποθεσίας, οι développers εργάστηκαν στον Mobile-Πράκτορα, einen αυτόνομο κινητό πράκτορα με εντυπωσιακές οπτικές ικανότητες ανίχνευσης. Χρησιμοποιώντας το μοντέλο οπτικής ανίχνευσης, το πλαισιο Mobile-Πράκτορας χρησιμοποιεί στιγμιότυπα από την κινητή συσκευή για να τοποθετήσει με ακρίβεια τις εργασίες. Το μοντέλο οπτικής ανίχνευσης περιλαμβάνει μοντέλα OCR και ανίχνευσης που είναι υπεύθυνα για την αναγνώριση κειμένου στην οθόνη και την περιγραφή του περιεχομένου σε συγκεκριμένες περιοχές της οθόνης της κινητής συσκευής.

Επιπλέον, το πλαισιο Mobile-Πράκτορας στοχεύει να αξιοποιήσει τις контεκστοποιημένες ικανότητες των state-of-the-art πλαισίων MLLM, όπως το GPT-4V, για να επιτύχει αυτο-σχεδιασμό που επιτρέπει στο μοντέλο να σχεδιάζει εργασίες με βάση την ιστορία των εργασιών, τις οδηγίες του χρήστη και τα στιγμιότυπα ολοκληρωμένα. Για να ενισχύσειさらに την ικανότητα του πράκτορα να αναγνωρίζει ελλιπείς οδηγίες και λάθος εργασίες, το πλαισιο Mobile-Πράκτορας εισάγει μια μέθοδο αυτο-αναστοχασμού. Υπό την καθοδήγηση προσεκτικά σχεδιασμένων εντολών, ο πράκτορας αναστοχάζεται στις λάθος και άκυρες εργασίες συνεχώς και σταματά τις εργασίες όταν η εργασία ή η οδηγία έχει ολοκληρωθεί.

Συνολικά, οι συνεισφορές του πλαισίου Mobile-Πράκτορας μπορούν να συνοψιστούν ως εξής:

1. Ο Mobile-Πράκτορας λειτουργεί ως αυτόνομος κινητός πράκτορας, αξιοποιώντας εργαλεία οπτικής ανίχνευσης για να εκτελέσει την τοποθεσία των εργασιών. Σχεδιάζει μεθοδικά κάθε βήμα και συμμετέχει σε αυτο-αναστοχασμό. Ιδιαίτερα, ο Mobile-Πράκτορας βασίζεται αποκλειστικά σε στιγμιότυπα της συσκευής, χωρίς την χρήση κανενός συστήματος κώδικα, επιδεικνύοντας μια λύση που βασίζεται αποκλειστικά σε τεχνικές οπτικής.
2. Ο Mobile-Πράκτορας εισάγει τον Mobile-Eval, einen βεληνεκέ για την αξιολόγηση των κινητών πρακτόρων. Αυτός ο βεληνεκές περιλαμβάνει eine ποικιλία από τις 10 πιο συχνά χρησιμοποιούμενες κινητές εφαρμογές, μαζί με έξυπνες οδηγίες για αυτές τις εφαρμογές, κατηγοριοποιημένες σε τρεις επίπεδα δυσκολίας.

Mobile-Πράκτορας: Αρχιτεκτονική και Μεθοδολογία

Στην καρδιά του, το πλαισιο Mobile-Πράκτορας αποτελείται από ένα state-of-the-art Πολυμορφικό Μεγάλο Γλωσσικό Μοντέλο, το GPT-4V, ένα μοντέλο ανίχνευσης κειμένου για εργασίες τοποθεσίας κειμένου. Μαζί με το GPT-4V, ο Mobile-Πράκτορας αξιοποιεί επίσης ένα μοντέλο ανίχνευσης εικονιδίων για την τοποθεσία εικονιδίων.

Οπτική Ανίχνευση

Όπως αναφέρθηκε νωρίτερα, το MLLM GPT-4V παρέχει ικανοποιητικά αποτελέσματα για οδηγίες και στιγμιότυπα, αλλά αποτυγχάνει να εξαγάγει την τοποθεσία αποτελεσματικά όπου diễn ra οι εργασίες. Λόγω αυτού του περιορισμού, το πλαισιο Mobile-Πράκτορας που υλοποιεί το μοντέλο GPT-4V χρειάζεται να βασιστεί σε εξωτερικά εργαλεία για να βοηθήσει στην τοποθεσία των εργασιών, διευκολύνοντας έτσι την έξοδο των εργασιών στην οθόνη της κινητής συσκευής.

Τοποθεσία Κειμένου

Το πλαισιο Mobile-Πράκτορας υλοποιεί ένα εργαλείο OCR για να ανιχνεύσει την τοποθεσία του αντίστοιχου κειμένου στην οθόνη όταν ο πράκτορας χρειάζεται να πατήσει σε ένα συγκεκριμένο κείμενο που εμφανίζεται στην οθόνη της κινητής συσκευής. Υπάρχουν τρεις μοναδικές τοποθεσίες κειμένου.

Σενάριο 1: Δεν Αναγνωρίζεται Κείμενο

Πρόβλημα: Το OCR αποτυγχάνει να αναγνωρίσει το καθορισμένο κείμενο, το οποίο μπορεί να συμβεί σε σύνθετες εικόνες ή λόγω περιορισμών του OCR.

Απάντηση: Οδηγείστε τον πράκτορα να:

• Επιλέξει ξανά το κείμενο για πατήματα, επιτρέποντας μια χειροκίνητη διόρθωση της αναγνώρισης του OCR, ή
• Επιλέξει μια εναλλακτική εργασία, όπως η χρήση μιας διαφορετικής μεθόδου εισαγωγής ή η εκτέλεση μιας άλλης ενέργειας που σχετίζεται με την εργασία.

Λογική: Αυτή η ευελιξία είναι απαραίτητη για τη διαχείριση των περιπτωσιακών ανακρίβειων ή ψευδαισθήσεων του GPT-4V, εξασφαλίζοντας ότι ο πράκτορας μπορεί ακόμη να προχωρήσει αποτελεσματικά.

Σενάριο 2: Αναγνωρίζεται Μια Μοναδική Περίπτωση Κειμένου

Εργασία: Αυτόματα γεννήστε μια ενέργεια για να πατήσετε στο κέντρο των συντεταγμένων του ανιχνευμένου κουτιού κειμένου.

Δικαιολογία: Με μόνο μια περίπτωση που ανιχνεύεται, η πιθανότητα σωστής αναγνώρισης είναι υψηλή, καθιστώντας αποτελεσματική την εκτέλεση μιας άμεσης ενέργειας.

Σενάριο 3: Αναγνωρίζονται Πολλές Περιπτώσεις Κειμένου

Αξιολόγηση: Πρώτα, αξιολογήστε τον αριθμό των ανιχνευμένων περιπτώσεων:

Πολλές Περιπτώσεις: Δείχνει μια οθόνη που είναι γεμάτη με παρόμοιο περιεχόμενο, που δυσκολεύει την επιλογή.

Ενέργεια: Ζητήστε από τον πράκτορα να επιλέξει ξανά το κείμενο, με σκοπό να βελτιώσει την επιλογή ή να điều chỉnh τις παραμέτρους της αναζήτησης.

Λίγες Περιπτώσεις: Ένας διαχειρίσιμος αριθμός ανιχνεύσεων επιτρέπει μια πιο νюανσε ενέργεια.

Ενέργεια: Κροπήστε τις περιοχές γύρω από αυτές τις περιπτώσεις, επεκτείνοντας τα κουτιά ανίχνευσης κειμένου προς τα έξω για να καταγράψετε επιπλέον περιεχόμενο. Αυτή η επέκταση εξασφαλίζει ότι διατηρούνται περισσότερες πληροφορίες, βοηθώντας στην λήψη αποφάσεων.

Επόμενο Βήμα: Σχεδιάστε κουτιά ανίχνευσης σε αυτές τις κροπημένες εικόνες και παρουσιάστε τα στον πράκτορα. Αυτή η οπτική βοήθεια βοηθά τον πράκτορα να αποφασίσει ποια περίπτωση να αλληλεπιδράσει, με βάση контεκστοποιημένες ενδείξεις ή απαιτήσεις της εργασίας.

Αυτή η δομημένη προσέγγιση βελτιώνει την αλληλεπίδραση μεταξύ των αποτελεσμάτων OCR και των εργασιών του πράκτορα, αυξάνοντας την αξιοπιστία και την ευελιξία του συστήματος στην αντιμετώπιση εργασιών που βασίζονται σε κείμενο σε διάφορες περιπτώσεις. Ολόκληρη η διαδικασία παρουσιάζεται στην ακόλουθη εικόνα.

Τοποθεσία Εικονιδίων

Το πλαισιο Mobile-Πράκτορας υλοποιεί ένα εργαλείο ανίχνευσης εικονιδίων για να τοποθετήσει την θέση του εικονιδίου όταν ο πράκτορας χρειάζεται να πατήσει σε αυτό στην οθόνη της κινητής συσκευής. Για να seja πιο συγκεκριμένος, το πλαισιο ζητά από τον πράκτορα να παρέχει συγκεκριμένα χαρακτηριστικά της εικόνας, συμπεριλαμβανομένου του σχήματος και του χρώματος, και στη συνέχεια το πλαισιο υλοποιεί τη μέθοδο Grounding DINO με την εντολή εικονιδίου για να αναγνωρίσει όλα τα εικονίδια που περιέχονται στην οθόνη. Τέλος, ο Mobile-Πράκτορας αξιοποιεί το πλαισιο CLIP για να υπολογίσει τη συσχέτιση μεταξύ της περιγραφής της περιοχής πατήματος και της περιγραφής των διαγραμμένων εικονιδίων και επιλέγει την περιοχή με την υψηλότερη συσχέτιση για πατήματα.

Εκτέλεση Εντολών

Για να μετατρέψει τις ενέργειες σε εργασίες στην οθόνη από τον πράκτορα, το πλαισιο Mobile-Πράκτορας ορίζει 8 διαφορετικές εργασίες.

• Εκκίνηση Εφαρμογής (Όνομα Εφαρμογής): Ξεκινήστε την εφαρμογή που ορίστηκε από την επιφάνεια εργασίας.
• Πατήστε στο Κείμενο (Ετικέτα Κειμένου): Αλληλεπιδράστε με το τμήμα της οθόνης που εμφανίζει την ετικέτα “Ετικέτα Κειμένου”.
• Αλληλεπιδράστε με Εικονίδιο (Περιγραφή Εικονιδίου, Τοποθεσία): Στόχευστε και πατήστε την περιοχή του εικονιδίου, όπου η “Περιγραφή Εικονιδίου” περιλαμβάνει χαρακτηριστικά όπως το χρώμα και το σχήμα του εικονιδίου. Επιλέξτε “Τοποθεσία” από τις επιλογές όπως πάνω, κάτω, αριστερά, δεξιά ή κέντρο, πιθανώς συνδυάζοντας δύο για ακριβή πλοήγηση και για να μειώσετε τα λάθη.
• Εισαγάγετε Κείμενο (Εισαγόμενο Κείμενο): Εισαγάγετε το καθορισμένο “Εισαγόμενο Κείμενο” στο ενεργό πεδίο κειμένου.
• Κатapult Up & Down: Πλοηγηθείτε προς τα πάνω ή προς τα κάτω μέσα από το περιεχόμενο της τρέχουσας σελίδας.
• Πήγαινε Πίσω: Επιστρέψτε στην προηγούμενη σελίδα.
• Κλείσε: Επιστρέψτε στην επιφάνεια εργασίας απευθείας από την τρέχουσα οθόνη.
• Σταμάτησε: Ολοκληρώστε την εργασία όταν η εργασία έχει ολοκληρωθεί.

Αυτο-Σχεδιασμός

Κάθε βήμα της εργασίας εκτελείται επαναληπτικά από το πλαισιο, και πριν από την έναρξη κάθε επανάληψης, ο χρήστης απαιτείται να παρέχει μια είσοδο εντολή, και το μοντέλο Mobile-Πράκτορας χρησιμοποιεί την εντολή για να γεννήσει μια συστήματος εντολή για ολόκληρη τη διαδικασία. Επιπλέον, πριν από την έναρξη κάθε επανάληψης, το πλαισιο καπνίζει μια οθόνη και την παρέχει στον πράκτορα. Ο πράκτορας τότε παρατηρεί την οθόνη, την ιστορία των εργασιών και τις συστήματος εντολές για να εξαγάγει το επόμενο βήμα των εργασιών.

Αυτο-Αναστοχασμός

Κατά τη διάρκεια των εργασιών του, ο πράκτορας μπορεί να αντιμετωπίσει σφάλματα που τον εμποδίζουν να εκτελέσει μια εντολή επιτυχώς. Για να βελτιώσει το ποσοστό εκτέλεσης των εντολών, μια μέθοδος αυτο-αξιολόγησης έχει υλοποιηθεί, ενεργοποιούμενη υπό δύο συγκεκριμένες περιπτώσεις. Αρχικά, αν ο πράκτορας εκτελεί μια ελαττωματική ή άκυρη ενέργεια που σταματά την πρόοδο, όπως όταν αναγνωρίζει ότι η οθόνη παραμένει αμετάβλητη μετά την εκτέλεση της εργασίας ή εμφανίζει μια λάθος σελίδα, θα οδηγηθεί να εξετάσει εναλλακτικές ενέργειες ή να điều chỉnh τις παραμέτρους της υπάρχουσας εργασίας. Δεύτερον, ο πράκτορας μπορεί να χάσει κάποια στοιχεία μιας σύνθετης εντολής. Όταν ο πράκτορας έχει εκτελέσει μια σειρά ενεργειών με βάση το αρχικό του σχέδιο, θα οδηγηθεί να αναθεωρήσει την ακολουθία των ενεργειών του, την τελευταία οθόνη και την εντολή του χρήστη για να αξιολογήσει αν η εργασία έχει ολοκληρωθεί. Αν βρεθούν διαφορές, ο πράκτορας καλείται να γεννήσει αυτόματα νέες ενέργειες για να εκπληρώσει την εντολή.

Mobile-Πράκτορας: Πειράματα και Αποτελέσματα

Για να αξιολογήσει τις ικανότητές του συνολικά, το πλαισιο Mobile-Πράκτορας εισάγει τον Mobile-Eval, einen βεληνεκέ που αποτελείται από 10 συχνά χρησιμοποιούμενες κινητές εφαρμογές, και σχεδιάζει τρεις οδηγίες για κάθε εφαρμογή. Η πρώτη εργασία είναι απλή και καλύπτει μόνο βασικές εργασίες εφαρμογής, ενώ η δεύτερη εργασία είναι πιο σύνθετη από την πρώτη, καθώς έχει κάποιες πρόσθετες απαιτήσεις. Τέλος, η τρίτη εργασία είναι η πιο σύνθετη από όλες, καθώς περιλαμβάνει αφηρημένες οδηγίες χρήστη, με τον χρήστη να μην καθορίζει ρητά ποια εφαρμογή να χρησιμοποιηθεί ή ποια εργασία να εκτελεστεί.

Συνεχίζοντας, για να αξιολογήσει την απόδοση από διάφορες οπτικές, το πλαισιο Mobile-Πράκτορας σχεδιάζει και υλοποιεί 4 διαφορετικά μετρικά.

• Επιτυχία ή Success: Αν ο κινητός πράκτορας ολοκληρώσει τις οδηγίες, θεωρείται επιτυχημένο.

• Βαθμολογία Διαδικασίας ή PS: Το μετρικό της Βαθμολογίας Διαδικασίας μετρά την ακρίβεια κάθε βήματος κατά την εκτέλεση των οδηγιών του χρήστη και υπολογίζεται διαιρώντας τον αριθμό των σωστών βημάτων με τον tổng αριθμό των βημάτων.

• Σχετική Αποδοτικότητα ή RE: Η σχετική αποδοτικότητα είναι ένα μετρικό που υπολογίζει την αναλογία μεταξύ του αριθμού των βημάτων που χρειάζεται ένας άνθρωπος για να εκτελέσει μια οδηγία χειροκίνητα και του αριθμού των βημάτων που χρειάζεται ο πράκτορας για να εκτελέσει την ίδια οδηγία.

• Ποσοστό Ολοκλήρωσης ή CR: Το μετρικό του Ποσοστού Ολοκλήρωσης διαιρεί τον αριθμό των βημάτων που ολοκληρώθηκαν επιτυχώς από τον πράκτορα με τον tổng αριθμό των βημάτων που χρειάζεται ένας άνθρωπος για να ολοκληρώσει την οδηγία. Η τιμή του CR είναι 1 όταν ο πράκτορας ολοκληρώνει την οδηγία επιτυχώς.

Τα αποτελέσματα παρουσιάζονται στην ακόλουθη εικόνα.

Αρχικά, για τις τρεις δοθείσες εργασίες, ο Mobile-Πράκτορας πέτυχε ποσοστά ολοκλήρωσης 91%, 82% και 82%, αντίστοιχα. Αν και δεν όλες οι εργασίες εκτελέστηκαν άψογα, τα ποσοστά επιτυχίας για κάθε κατηγορία εργασιών ξεπέρασαν το 90%. Επιπλέον, το μετρικό της Βαθμολογίας Διαδικασίας αποκάλυψε ότι ο Mobile-Πράκτορας συνεχώς παρουσίασε υψηλή πιθανότητα εκτέλεσης ακριβών ενεργειών για τις τρεις εργασίες, με ποσοστά επιτυχίας γύρω στο 80%. Επίσης, σύμφωνα με το μετρικό της Σχετικής Αποδοτικότητας, ο Mobile-Πράκτορας παρουσίασε αποδοτικότητα 80% στην εκτέλεση εργασιών σε επίπεδο συγκρίσιμο με την ανθρώπινη βελτιστοποίηση. Αυτά τα αποτελέσματα συνολικά υπογραμμίζουν την ικανότητα του Mobile-Πράκτορα ως βοηθού κινητής συσκευής.

Η ακόλουθη εικόνα δείχνει την ικανότητα του Mobile-Πράκτορα να κατανοήσει τις οδηγίες του χρήστη και να σχεδιάσει αυτόνομα τις ενέργειές του. Ακόμη και στην απουσία ρητών λεπτομερειών των εργασιών στις οδηγίες, ο Mobile-Πράκτορας κατάφερε να ερμηνεύσει τις ανάγκες του χρήστη και να τις μετατρέψει σε εκτελέσιμες εργασίες. Ακολουθώντας αυτήν την κατανόηση, ο πράκτορας εκτέλεσε τις οδηγίες μέσω μιας συστηματικής διαδικασίας σχεδιασμού.

Τελικές Σκέψεις

Σε αυτό το άρθρο, μιλήσαμε για τους Mobile-Πράκτορες, einen αυτόνομο πολυμορφικό πράκτορα συσκευών που αρχικά αξιοποιεί την ικανότητα οπτικών εργαλείων ανίχνευσης για να αναγνωρίσει και να τοποθετήσει με ακρίβεια τα οπτικά και κειμενικά στοιχεία στην διεπαφή της εφαρμογής κινητής συσκευής. Με αυτήν την ανιχνευμένη οπτική πηγή, το πλαισιο Mobile-Πράκτορας σχεδιάζει και αναλύει τις σύνθετες εργασίες αυτόνομα και πλοηγεί μέσα από τις κινητές εφαρμογές με βήμα-προς-βήμα εργασίες. Αυτό το πλαισιο διαφέρει από τις υφιστάμενες λύσεις, καθώς δεν βασίζεται στα μεταδεδομένα του κινητού συστήματος ή στα αρχεία XML των κινητών εφαρμογών, επιτρέποντας μεγαλύτερη ευελιξία σε διάφορες κινητές περιβαλλοντικές συνθήκες με επίκεντρο την οπτική επεξεργασία. Η στρατηγική που ακολουθεί το πλαισιο Mobile-Πράκτορας εξαλείφει την ανάγκη για συστηματικές προσαρμογές, οδηγώντας σε βελτιωμένη απόδοση και μειωμένες απαιτήσεις υπολογισμού.