Die Entwicklung von Multimodalen Großsprachmodellen (MLLM) hat eine neue Ära von mobilen Geräte-Agenten eingeläutet, die in der Lage sind, die Welt durch Text, Bilder und Sprache zu verstehen und zu interagieren. Diese Agenten markieren einen bedeutenden Fortschritt gegenüber traditionellem KI, da sie eine reichere und intuitivere Möglichkeit für Benutzer bieten, mit ihren Geräten zu interagieren. Durch die Nutzung von MLLM können diese Agenten große Mengen an Informationen aus verschiedenen Modalitäten verarbeiten und synthetisieren, was es ihnen ermöglicht, personalisierte Unterstützung anzubieten und Benutzererfahrungen auf bisher unvorstellbare Weise zu verbessern.

Diese Agenten werden von fortschrittlichen maschinellen Lernalgorithmen und erweiterten natürlichen Sprachverarbeitungsfähigkeiten angetrieben, was es ihnen ermöglicht, menschliche Texte zu verstehen und zu generieren sowie visuelle und auditive Daten mit bemerkenswerter Genauigkeit zu interpretieren. Von der Erkennung von Objekten und Szenen in Bildern bis zur Verständigung von gesprochenen Befehlen und der Analyse von Textsentimenten sind diese multimodalen Agenten in der Lage, eine Vielzahl von Eingaben nahtlos zu verarbeiten. Das Potenzial dieser Technologie ist enorm, da sie fortschrittlichere und kontextuell bewusste Dienste wie virtuelle Assistenten, die auf menschliche Emotionen abgestimmt sind, und Bildungstools, die sich an individuelle Lernstile anpassen, ermöglicht. Sie haben auch das Potenzial, die Barrierefreiheit zu revolutionieren, indem sie Technologie über Sprach- und Sinnesbarrieren hinweg zugänglicher machen.

In diesem Artikel werden wir über Mobile-Agents sprechen, einem autonomen multi-modalen Geräte-Agenten, der zunächst die Fähigkeit von visuellen Wahrnehmungstools nutzt, um visuelle und textuelle Elemente in der Benutzeroberfläche einer mobilen Anwendung genau zu identifizieren und zu lokalisieren. Mit diesem wahrgenommenen Kontext plant und zerlegt das Mobile-Agent-Framework komplexe Operationen autonom und navigiert durch mobile Anwendungen Schritt für Schritt. Das Mobile-Agent-Framework unterscheidet sich von bestehenden Lösungen, da es nicht auf mobile Systemmetadaten oder XML-Dateien von mobilen Anwendungen angewiesen ist, was eine größere Anpassungsfähigkeit über verschiedene mobile Betriebssysteme hinweg ermöglicht, mit Fokus auf visuell-zentrierte Verarbeitung. Der Ansatz des Mobile-Agent-Frameworks eliminiert die Notwendigkeit für systemspezifische Anpassungen, was zu verbesserter Leistung und geringeren Rechenanforderungen führt.

Mobile-Agents: Autonome Multi-Modale Mobile-Geräte-Agenten

In der schnelllebigen Welt der mobilen Technologie ist ein bahnbrechendes Konzept hervorgetreten: Großsprachmodelle, insbesondere Multimodale Großsprachmodelle oder MLLM, die in der Lage sind, eine Vielzahl von Texten, Bildern, Videos und Sprache in verschiedenen Sprachen zu generieren. Die rasante Entwicklung von MLLM-Frameworks in den letzten Jahren hat zu einer neuen und leistungsstarken Anwendung von MLLM geführt: autonome mobile Agenten. Autonome mobile Agenten sind Software-Entitäten, die unabhängig handeln, sich bewegen und funktionieren, ohne direkte menschliche Befehle zu benötigen, und die darauf ausgelegt sind, Netzwerke oder Geräte zu durchqueren, um Aufgaben zu erfüllen, Informationen zu sammeln oder Probleme zu lösen.

Mobile-Agents sind so konzipiert, dass sie auf der Grundlage von Benutzeranweisungen und Bildschirminhalten operieren, eine Aufgabe, die erfordert, dass die Agenten sowohl semantische Verständnis als auch visuelle Wahrnehmungsfähigkeiten besitzen. Allerdings sind bestehende mobile Agenten weit von perfekt entfernt, da sie auf multimodalen Großsprachmodellen basieren und sogar die aktuellen State-of-the-Art-MLLM-Frameworks, einschließlich GPT-4V, visuelle Wahrnehmungsfähigkeiten fehlen, die erforderlich sind, um als effizienter mobiler Agent zu dienen. Darüber hinaus können bestehende Frameworks zwar effektive Operationen generieren, aber sie haben Schwierigkeiten, die Position dieser Operationen genau auf dem Bildschirm zu lokalisieren, was die Anwendungen und die Fähigkeit von mobilen Agenten, auf mobilen Geräten zu operieren, einschränkt.

Um dieses Problem zu lösen, haben einige Frameworks die Benutzeroberflächen-Layout-Dateien genutzt, um GPT-4V oder andere MLLM mit Lokalisierungsfähigkeiten zu unterstützen, wobei einige Frameworks es geschafft haben, aktionsfähige Positionen auf dem Bildschirm zu extrahieren, indem sie auf die XML-Dateien der Anwendung zugriffen, während andere Frameworks entschieden haben, den HTML-Code von Webanwendungen zu verwenden. Wie man sehen kann, basieren die meisten dieser Frameworks auf dem Zugriff auf unterliegende und lokale Anwendungsdateien, was die Methode fast unwirksam macht, wenn das Framework nicht auf diese Dateien zugreifen kann. Um dieses Problem zu lösen und die Abhängigkeit lokaler Agenten von unterliegenden Dateien bei der Lokalisierungsmethode zu eliminieren, haben Entwickler an Mobile-Agent gearbeitet, einem autonomen mobilen Agenten mit beeindruckenden visuellen Wahrnehmungsfähigkeiten. Mit seinem visuellen Wahrnehmungsmodul verwendet das Mobile-Agent-Framework Bildschirmfotos vom mobilen Gerät, um Operationen genau zu lokalisieren. Das visuelle Wahrnehmungsmodul beherbergt OCR- und Erkennungsmodelle, die für die Identifizierung von Texten innerhalb des Bildschirms und die Beschreibung des Inhalts innerhalb eines bestimmten Bereichs des mobilen Bildschirms verantwortlich sind. Das Mobile-Agent-Framework verwendet sorgfältig erstellte Prompts und ermöglicht eine effiziente Interaktion zwischen den Tools und den Agenten, wodurch die mobilen Geräteoperationen automatisiert werden.

Darüber hinaus zielt das Mobile-Agents-Framework darauf ab, die kontextuellen Fähigkeiten von State-of-the-Art-MLLM-Frameworks wie GPT-4V zu nutzen, um Selbstplanungsfähigkeiten zu erreichen, die es dem Modell ermöglichen, Aufgaben basierend auf der Operationsgeschichte, Benutzeranweisungen und Bildschirmfotos holistisch zu planen. Um die Fähigkeit des Agenten weiter zu verbessern, unvollständige Anweisungen und falsche Operationen zu identifizieren, führt das Mobile-Agent-Framework eine Selbstreflexionsmethode ein. Unter der Anleitung sorgfältig erstellter Prompts reflektiert der Agent über falsche und ungültige Operationen kontinuierlich und stoppt die Operationen, sobald die Aufgabe oder Anweisung abgeschlossen ist.

Insgesamt können die Beiträge des Mobile-Agent-Frameworks wie folgt zusammengefasst werden:

1. Mobile-Agent fungiert als autonome mobiler Geräte-Agent, der visuelle Wahrnehmungstools nutzt, um Operationen zu lokalisieren. Es plant jeden Schritt methodisch und engagiert sich in Selbstreflexion. Beachtenswert ist, dass Mobile-Agent ausschließlich auf Geräte-Bildschirmfotos basiert, ohne den Einsatz von Systemcode, und somit eine Lösung bietet, die rein auf visuellen Techniken basiert.
2. Mobile-Agent führt Mobile-Eval ein, eine Benchmark, die dazu dient, mobile Geräte-Agenten zu bewerten. Diese Benchmark umfasst eine Vielzahl von zehn häufig genutzten mobilen Anwendungen, zusammen mit intelligenten Anweisungen für diese Anwendungen, die in drei Schwierigkeitsstufen unterteilt sind.

Mobile-Agent: Architektur und Methodik

Im Kern besteht das Mobile-Agent-Framework aus einem State-of-the-Art-Multimodalen Großsprachmodell, dem GPT-4V, einem Text-Erkennungsmodul für Text-Lokalisierungsaufgaben. Neben GPT-4V nutzt Mobile-Agent auch ein Icon-Erkennungsmodul für Icon-Lokalisierung.

Visuelle Wahrnehmung

Wie bereits erwähnt, liefert das GPT-4V-MLLM zufriedenstellende Ergebnisse für Anweisungen und Bildschirmfotos, aber es kann die Position, an der die Operationen stattfinden, nicht effektiv ausgeben. Aufgrund dieser Einschränkung muss das Mobile-Agent-Framework, das das GPT-4V-Modell implementiert, auf externe Tools zurückgreifen, um die Operationen zu lokalisieren, und somit die Operationen auf dem mobilen Bildschirm auszuführen.

Text-Lokalisierung

Das Mobile-Agent-Framework implementiert ein OCR-Tool, um die Position des entsprechenden Textes auf dem Bildschirm zu erkennen, wenn der Agent auf einen bestimmten Text auf dem mobilen Bildschirm tippen muss. Es gibt drei einzigartige Text-Lokalisierungsszenarien.

Szenario 1: Kein spezifizierter Text erkannt

Problem: Die OCR kann den spezifizierten Text nicht erkennen, was in komplexen Bildern oder aufgrund von OCR-Einschränkungen auftreten kann.

Antwort: Anweisung an den Agenten, entweder:

• Den Text für das Tippen neu auszuwählen, um eine manuelle Korrektur des OCR-Übersehens zu ermöglichen, oder
• Eine alternative Operation auszuwählen, wie z.B. die Verwendung einer anderen Eingabemethode oder die Ausführung einer anderen Aktion, die für die Aufgabe relevant ist.

Begründung: Diese Flexibilität ist notwendig, um die gelegentlichen Ungenauigkeiten oder Halluzinationen von GPT-4V zu bewältigen, um sicherzustellen, dass der Agent weiterhin effektiv agieren kann.

Szenario 2: Einzelnes Vorkommen des spezifizierten Textes erkannt

Operation: Automatische Generierung einer Aktion, um auf die Mitte der Koordinaten des erkannten Textfeldes zu klicken.

Begründung: Mit nur einem erkannten Vorkommen ist die Wahrscheinlichkeit einer korrekten Identifizierung hoch, was es effizient macht, direkt zu handeln.

Szenario 3: Mehrere Vorkommen des spezifizierten Textes erkannt

Bewertung: Zunächst wird die Anzahl der erkannten Vorkommen bewertet:

Viele Vorkommen: Deutet auf einen Bildschirm hin, der mit ähnlichem Inhalt überfüllt ist, was die Auswahl erschwert.

Aktion: Anweisung an den Agenten, den Text neu auszuwählen, um die Auswahl zu verfeinern oder die Suchparameter anzupassen.

Wenige Vorkommen: Eine überschaubare Anzahl von Erkennungen ermöglicht einen nuancierteren Ansatz.

Aktion: Die Regionen um diese Vorkommen herum werden beschnitten, um die Text-Erkennungsboxen nach außen zu erweitern und mehr Kontext zu erfassen. Diese Erweiterung stellt sicher, dass mehr Informationen erhalten bleiben, um die Entscheidungsfindung zu unterstützen.

Nächster Schritt: Die Erkennungsboxen werden auf den beschnittenen Bildern gezeichnet und dem Agenten präsentiert. Diese visuelle Unterstützung hilft dem Agenten, basierend auf Kontexthinweisen oder Aufgabenanforderungen, zu entscheiden, mit welchem Vorkommen er interagieren soll.

Dieser strukturierte Ansatz optimiert die Interaktion zwischen OCR-Ergebnissen und Agenten-Operationen, wodurch die Zuverlässigkeit und Anpassungsfähigkeit des Systems bei der Verarbeitung von textbasierten Aufgaben in verschiedenen Szenarien verbessert wird. Der gesamte Prozess wird in dem folgenden Bild demonstriert.

Icon-Lokalisierung

Das Mobile-Agent-Framework implementiert ein Icon-Erkennungs-Tool, um die Position eines Icons zu lokalisieren, wenn der Agent darauf klicken muss. Genauer gesagt, fordert das Framework den Agenten auf, bestimmte Attribute des Bildes, einschließlich Form und Farbe, anzugeben, und dann implementiert das Framework die Grounding DINO-Methode mit dem Prompt-Icon, um alle Icons innerhalb des Bildschirmfotos zu identifizieren. Schließlich nutzt Mobile-Agent das CLIP-Framework, um die Ähnlichkeit zwischen der Beschreibung der Klick-Region und der Ähnlichkeit zwischen den gelöschten Icons zu berechnen und die Region mit der höchsten Ähnlichkeit für einen Klick auszuwählen.

Ausführung von Anweisungen

Um die Aktionen in Operationen auf dem Bildschirm durch den Agenten umzusetzen, definiert das Mobile-Agent-Framework 8 verschiedene Operationen.

• Starten der Anwendung (Anwendungsname): Initiiert die angegebene Anwendung von der Desktop-Oberfläche aus.
• Tippen auf Text (Text-Label): Interagiert mit dem Bildschirmteil, der das Label “Text-Label” anzeigt.
• Interagieren mit Icon (Icon-Beschreibung, Position): Zielt auf das spezifizierte Icon-gebiet ab und tippt darauf, wobei “Icon-Beschreibung” Attribute wie Farbe und Form des Icons enthält. Wählt “Position” aus Optionen wie oben, unten, links, rechts oder Mitte, möglicherweise in Kombination, um präzise zu navigieren und Fehler zu reduzieren.
• Eingabe von Text (Eingabe-Text): Gibt den angegebenen “Eingabe-Text” in das aktive Textfeld ein.
• Scrollen nach oben und unten: Navigiert durch den Inhalt der aktuellen Seite nach oben oder unten.
• Zurück: Kehrt zur vorherigen Seite zurück.
• Schließen: Kehrt direkt zur Desktop-Oberfläche zurück.
• Stoppen: Beendet die Operation, sobald die Aufgabe abgeschlossen ist.

Selbstplanung

Jeder Schritt der Operation wird iterativ durch das Framework ausgeführt, und vor Beginn jeder Iteration muss der Benutzer eine Eingabe-Anweisung bereitstellen. Das Mobile-Agent-Modell verwendet diese Anweisung, um einen System-Prompt für den gesamten Prozess zu generieren. Darüber hinaus wird vor Beginn jeder Iteration ein Bildschirmfoto aufgenommen und dem Agenten präsentiert. Der Agent beobachtet dann das Bildschirmfoto, die Operationsgeschichte und die System-Prompts, um den nächsten Schritt der Operationen auszugeben.

Selbstreflexion

Während seiner Operationen kann der Agent auf Fehler stoßen, die ihn daran hindern, einen Befehl erfolgreich auszuführen. Um die Erfüllungsrate der Anweisungen zu verbessern, wurde ein Selbstbewertungsansatz implementiert, der unter zwei bestimmten Umständen aktiviert wird. Zunächst wird der Agent, wenn er eine fehlerhafte oder ungültige Aktion ausführt, die den Fortschritt stoppt, wie z.B., wenn er erkennt, dass das Bildschirmfoto nach der Operation unverändert bleibt oder eine falsche Seite anzeigt, angewiesen, alternative Aktionen zu erwägen oder die Parameter der bestehenden Operation anzupassen. Zweitens kann der Agent einige Elemente einer komplexen Anweisung übersehen. Sobald der Agent eine Reihe von Aktionen basierend auf seinem ursprünglichen Plan ausgeführt hat, wird er aufgefordert, seine Aktionen, das aktuelle Bildschirmfoto und die Benutzeranweisung zu überprüfen, um zu beurteilen, ob die Aufgabe abgeschlossen ist. Wenn Abweichungen festgestellt werden, wird der Agent angewiesen, autonom neue Aktionen zu generieren, um die Anweisung zu erfüllen.

Mobile-Agent: Experimente und Ergebnisse

Um seine Fähigkeiten umfassend zu bewerten, führt das Mobile-Agent-Framework die Mobile-Eval-Benchmark ein, die aus 10 häufig genutzten Anwendungen besteht, und entwirft drei Anweisungen für jede Anwendung. Die erste Operation ist einfach und deckt nur grundlegende Anwendungsoperationen ab, während die zweite Operation komplexer ist und zusätzliche Anforderungen enthält. Schließlich ist die dritte Operation die komplexeste, da sie abstrakte Benutzeranweisungen enthält, bei denen der Benutzer nicht explizit angibt, welche App zu verwenden ist oder welche Operation durchzuführen ist.

Um die Leistung aus verschiedenen Perspektiven zu bewerten, entwirft und implementiert das Mobile-Agent-Framework 4 verschiedene Metriken.

• Erfolg oder Erfolgsrate: Wenn der mobile Agent die Anweisungen erfolgreich ausführt, gilt dies als Erfolg.

• Prozess-Score oder PS: Der Prozess-Score misst die Genauigkeit jedes Schritts während der Ausführung der Benutzeranweisungen und wird berechnet, indem die Anzahl der korrekten Schritte durch die Gesamtzahl der Schritte geteilt wird.

• Relative Effizienz oder RE: Der relative Effizienz-Score ist ein Verhältnis zwischen der Anzahl der Schritte, die ein Mensch benötigt, um die Anweisung manuell auszuführen, und der Anzahl der Schritte, die der Agent benötigt, um dieselbe Anweisung auszuführen.

• Abschlussrate oder CR: Die Abschlussrate teilt die Anzahl der menschlich durchgeführten Schritte, die das Framework erfolgreich abschließt, durch die Gesamtzahl der Schritte, die ein Mensch benötigt, um die Anweisung abzuschließen. Der Wert von CR ist 1, wenn der Agent die Anweisung erfolgreich abschließt.

Die Ergebnisse werden in der folgenden Abbildung dargestellt.

Zunächst erreicht das Mobile-Agent für die drei gegebenen Aufgaben Abschlussraten von 91%, 82% und 82%. Obwohl nicht alle Aufgaben fehlerfrei ausgeführt wurden, übertrafen die Erfolgsraten für jede Aufgabenkategorie 90%. Darüber hinaus zeigt der PS-Metrik, dass das Mobile-Agent konsequent eine hohe Wahrscheinlichkeit aufweist, korrekte Aktionen für die drei Aufgaben auszuführen, mit Erfolgsraten um 80%. Zusätzlich zeigt der RE-Metrik, dass das Mobile-Agent eine Effizienz von 80% bei der Ausführung von Operationen aufweist, die mit menschlicher Optimalität vergleichbar ist. Diese Ergebnisse unterstreichen gemeinsam die Fähigkeiten des Mobile-Agent als mobiler Geräte-Assistent.

Die folgende Abbildung veranschaulicht die Fähigkeit des Mobile-Agent, Benutzeranweisungen zu verstehen und seine Aktionen unabhängig zu planen. Selbst wenn die Anweisungen keine expliziten Operationen enthalten, interpretiert das Mobile-Agent die Bedürfnisse des Benutzers und wandelt sie in ausführbare Aufgaben um. Nach diesem Verständnis führt der Agent die Anweisungen durch einen systematischen Planungsprozess aus.

Schlussgedanken

In diesem Artikel haben wir über Mobile-Agents gesprochen, einem multi-modalen autonomen Geräte-Agenten, der zunächst die Fähigkeit von visuellen Wahrnehmungstechnologien nutzt, um visuelle und textuelle Elemente in der Benutzeroberfläche einer mobilen Anwendung genau zu identifizieren und zu lokalisieren. Mit diesem wahrgenommenen Kontext plant und zerlegt das Mobile-Agent-Framework komplexe Operationen autonom und navigiert durch mobile Anwendungen Schritt für Schritt. Dieses Framework unterscheidet sich von bestehenden Lösungen, da es nicht auf mobile Systemmetadaten oder die XML-Dateien von mobilen Anwendungen angewiesen ist, was eine größere Anpassungsfähigkeit über verschiedene mobile Betriebssysteme hinweg ermöglicht, mit Fokus auf visuell-zentrierte Verarbeitung. Der Ansatz des Mobile-Agent-Frameworks eliminiert die Notwendigkeit für systemspezifische Anpassungen, was zu verbesserter Leistung und geringeren Rechenanforderungen führt. Die Strategie, die vom Mobile-Agent-Framework eingesetzt wird, macht systemspezifische Anpassungen überflüssig, was zu verbesserter Effizienz und geringeren Rechenanforderungen führt. Die mobile Apps’ XML-Dateien werden dadurch flexibler über verschiedene mobile Betriebssysteme hinweg, mit Fokus auf visuell-zentrierte Verarbeitung.