Von Absicht zu Ausführung: Wie Microsoft Large Language Models in handlungsorientierte KI umwandelt

Large Language Models (LLMs) haben die Art und Weise, wie wir natürliche Sprachverarbeitung handhaben, verändert. Sie können Fragen beantworten, Code schreiben und Gespräche führen. Doch sie haben Schwierigkeiten, wenn es um reale Aufgaben geht. Zum Beispiel kann ein LLM Ihnen helfen, einen Mantel zu kaufen, aber es kann den Kauf nicht selbst ausführen. Diese Lücke zwischen Denken und Handeln ist eine große Einschränkung. Menschen benötigen nicht nur Informationen, sondern auch Ergebnisse.

Um diese Lücke zu schließen, wandelt Microsoft (MSFT ) LLMs in handlungsorientierte KI-Agenten um. Indem sie es ihnen ermöglichen, zu planen, Aufgaben zu unterteilen und mit der realen Welt zu interagieren, ermöglichen sie es LLMs, praktische Aufgaben effektiv zu bewältigen. Diese Veränderung hat das Potenzial, umzudefinieren, was LLMs können, und sie in Werkzeuge umzuwandeln, die komplexe Workflows automatisieren und alltägliche Aufgaben vereinfachen. Lassen Sie uns sehen, was erforderlich ist, um dies zu erreichen, und wie Microsoft dieses Problem angeht.

Was LLMs benötigen, um zu handeln

Damit LLMs Aufgaben in der realen Welt ausführen können, müssen sie über das Verständnis von Text hinausgehen. Sie müssen mit digitalen und physischen Umgebungen interagieren und sich an veränderte Bedingungen anpassen. Hier sind einige der Fähigkeiten, die sie benötigen:

1. Verständnis von Benutzerabsichten

Um effektiv zu handeln, müssen LLMs Benutzeranfragen verstehen. Eingaben wie Text oder Sprachbefehle sind oft vage oder unvollständig. Das System muss die Lücken mit seinem Wissen und dem Kontext der Anfrage füllen. Mehrschrittige Gespräche können dazu beitragen, diese Absichten zu verfeinern, um sicherzustellen, dass die KI versteht, bevor sie handelt.

2. Umwandlung von Absichten in Aktionen

Nachdem ein LLM eine Aufgabe verstanden hat, muss es diese in handhabbare Schritte umwandeln. Dies kann das Klicken auf Schaltflächen, das Aufrufen von APIs oder das Steuern von physischen Geräten umfassen. Das LLM muss seine Aktionen an die spezifische Aufgabe anpassen und sich an die Umgebung anpassen, um Herausforderungen zu meistern, die auftreten.

3. Anpassung an Veränderungen

Reale Aufgaben verlaufen nicht immer wie geplant. LLMs müssen Probleme vorhersehen, Schritte anpassen und Alternativen finden, wenn Probleme auftreten. Zum Beispiel sollte das System, wenn eine notwendige Ressource nicht verfügbar ist, eine andere Möglichkeit finden, die Aufgabe abzuschließen. Diese Flexibilität stellt sicher, dass der Prozess nicht ins Stocken gerät, wenn sich Dinge ändern.

4. Spezialisierung auf spezifische Aufgaben

Obwohl LLMs für den allgemeinen Gebrauch konzipiert sind, macht Spezialisierung sie effizienter. Durch die Konzentration auf spezifische Aufgaben können diese Systeme bessere Ergebnisse mit weniger Ressourcen erzielen. Dies ist besonders wichtig für Geräte mit begrenzter Rechenleistung, wie Smartphones oder eingebettete Systeme.

Indem sie diese Fähigkeiten entwickeln, können LLMs über das bloße Verarbeiten von Informationen hinausgehen. Sie können sinnvolle Aktionen ausführen und den Weg für die nahtlose Integration von KI in alltägliche Workflows ebnen.

Wie Microsoft LLMs transformiert

Microsofts Ansatz zur Schaffung handlungsorientierter KI folgt einem strukturierten Prozess. Das Hauptziel ist es, LLMs zu ermöglichen, Befehle zu verstehen, effektiv zu planen und zu handeln. Hier ist, wie sie es tun:

Schritt 1: Datensammlung und -vorbereitung

In der ersten Phase sammelten sie Daten im Zusammenhang mit ihren spezifischen Anwendungsfällen: UFO-Agent (siehe unten). Die Daten umfassen Benutzeranfragen, Umgebungsdetails und aufgabenbezogene Aktionen. Zwei Arten von Daten werden in dieser Phase gesammelt: Erstens sammelten sie Daten zum Aufgabenplan, die es LLMs ermöglichen, die erforderlichen Schritte für die Aufgabe zu skizzieren. Zum Beispiel könnten die Schritte für “Schriftgröße in Word ändern” das Auswählen von Text und die Anpassung der Symbolleiste umfassen. Zweitens sammelten sie Daten zu Aufgabenaktionen, die es LLMs ermöglichen, diese Schritte in präzise Anweisungen umzusetzen, wie das Klicken auf bestimmte Schaltflächen oder das Verwenden von Tastenkombinationen.

Diese Kombination gibt dem Modell sowohl das große Bild als auch die detaillierten Anweisungen, die es benötigt, um Aufgaben effektiv auszuführen.

Schritt 2: Modelltraining

Sobald die Daten gesammelt sind, werden LLMs durch mehrere Trainingsphasen verfeinert. Im ersten Schritt werden LLMs für die Aufgabenplanung trainiert, indem sie gelehrt werden, Benutzeranfragen in handhabbare Schritte zu unterteilen. Experten gelabelte Daten werden dann verwendet, um sie zu lehren, wie sie diese Pläne in spezifische Aktionen umsetzen. Um ihre Problemlösungsfähigkeiten weiter zu verbessern, haben LLMs an einem selbstverstärkenden Explorationsprozess teilgenommen, der es ihnen ermöglicht, ungelöste Aufgaben zu bewältigen und neue Beispiele für kontinuierliches Lernen zu generieren. Schließlich wird das Verstärkungslernen angewendet, bei dem Feedback von Erfolgen und Misserfolgen verwendet wird, um ihre Entscheidungsfindung weiter zu verbessern.

Schritt 3: Offline-Test

Nach dem Training wird das Modell in kontrollierten Umgebungen getestet, um seine Zuverlässigkeit zu gewährleisten. Metriken wie Task Success Rate (TSR) und Step Success Rate (SSR) werden verwendet, um die Leistung zu messen. Zum Beispiel könnte das Testen eines Kalender-Management-Agents das Verifizieren seiner Fähigkeit umfassen, Meetings zu planen und Einladungen ohne Fehler zu senden.

Schritt 4: Integration in reale Systeme

Sobald das Modell validiert ist, wird es in ein Agenten-Framework integriert. Dies ermöglicht es ihm, mit realen Umgebungen zu interagieren, wie dem Klicken auf Schaltflächen oder der Navigation durch Menüs. Tools wie UI-Automatisierungs-APIs halfen dem System, Benutzeroberflächenelemente dynamisch zu identifizieren und zu manipulieren.

Zum Beispiel, wenn es die Aufgabe hat, Text in Word zu markieren, identifiziert der Agent die Markierungsschaltfläche, wählt den Text aus und wendet die Formatierung an. Ein Speicher kann es dem LLM ermöglichen, vergangene Aktionen zu verfolgen, sodass es sich an neue Szenarien anpassen kann.

Schritt 5: Real-World-Test

Der letzte Schritt ist die Online-Evaluation. Hier wird das System in realen Szenarien getestet, um sicherzustellen, dass es unerwartete Änderungen und Fehler handhaben kann. Zum Beispiel könnte ein Kunden-Support-Bot Benutzer durch das Zurücksetzen eines Passworts führen, während es sich an falsche Eingaben oder fehlende Informationen anpasst. Dieses Testen stellt sicher, dass die KI robust und bereit für den alltäglichen Gebrauch ist.

Ein praktisches Beispiel: Der UFO-Agent

Um zu zeigen, wie handlungsorientierte KI funktioniert, entwickelte Microsoft den UFO-Agenten. Dieses System ist dafür konzipiert, reale Aufgaben in Windows-Umgebungen auszuführen, indem es Benutzeranfragen in abgeschlossene Aktionen umwandelt.

Im Kern verwendet der UFO-Agent ein LLM, um Anfragen zu interpretieren und Aktionen zu planen. Wenn ein Benutzer zum Beispiel sagt: “Markieren Sie das Wort ‘wichtig’ in diesem Dokument”, interagiert der Agent mit Word, um die Aufgabe abzuschließen. Er sammelt Kontextinformationen, wie die Positionen von Benutzeroberflächenelementen, und verwendet diese, um Aktionen zu planen und auszuführen.

Der UFO-Agent verlässt sich auf Tools wie die Windows-Benutzeroberflächen-Automatisierungs-API (UIA). Diese API scannet Anwendungen nach Steuerelementen, wie Schaltflächen oder Menüs. Für eine Aufgabe wie “Dokument als PDF speichern” verwendet der Agent die UIA, um die “Datei”-Schaltfläche zu identifizieren, die “Speichern als”-Option zu finden und die notwendigen Schritte auszuführen. Durch die konsistente Struktur der Daten stellt das System sicher, dass es von der Ausbildung bis zur realen Anwendung reibungslos funktioniert.

Die Überwindung von Herausforderungen

Obwohl dies eine spannende Entwicklung ist, birgt die Schaffung handlungsorientierter KI auch Herausforderungen. Skalierbarkeit ist ein großes Problem. Das Training und die Bereitstellung dieser Modelle für verschiedene Aufgaben erfordern erhebliche Ressourcen. Die Gewährleistung von Sicherheit und Zuverlässigkeit ist ebenso wichtig. Modelle müssen Aufgaben ohne ungewollte Konsequenzen ausführen, insbesondere in sensiblen Umgebungen. Und da diese Systeme mit privaten Daten interagieren, ist es auch wichtig, ethische Standards in Bezug auf Datenschutz und Sicherheit einzuhalten.

Microsofts Roadmap konzentriert sich auf die Verbesserung der Effizienz, die Erweiterung von Anwendungsfällen und die Einhaltung ethischer Standards. Mit diesen Fortschritten könnten LLMs umdefinieren, wie KI mit der Welt interagiert, und sie praktischer, anpassungsfähiger und handlungsorientierter machen.

Die Zukunft der KI

Die Umwandlung von LLMs in handlungsorientierte Agenten könnte ein Game-Changer sein. Diese Systeme können Aufgaben automatisieren, Workflows vereinfachen und Technologie zugänglicher machen. Microsofts Arbeit an handlungsorientierter KI und Tools wie dem UFO-Agenten ist nur der Anfang. Wenn die KI weiterhin evolviert, können wir cleverere, fähigere Systeme erwarten, die nicht nur mit uns interagieren, sondern Aufgaben erledigen.