Large Action Modelle (LAMs): Die nächste Grenze in der AI-gesteuerten Interaktion

Vor fast einem Jahr hat Mustafa Suleyman, Mitbegründer von DeepMind, vorhergesagt, dass die Ära der generativen AI bald von etwas Interaktiverem abgelöst werden würde: Systemen, die in der Lage sind, Aufgaben durch Interaktion mit Software-Anwendungen und menschlichen Ressourcen auszuführen. Heute beginnen wir, diese Vision Gestalt annehmen zu sehen, mit der Entwicklung von Rabbit AI‘s neuem AI-gesteuertem Betriebssystem, R1. Dieses System hat eine beeindruckende Fähigkeit demonstriert, menschliche Interaktionen mit Anwendungen zu überwachen und nachzuahmen. Im Herzen von R1 liegt das Large Action Model (LAM), ein fortschrittlicher AI-Assistent, der darauf programmiert ist, Benutzerabsichten zu verstehen und Aufgaben in ihrem Auftrag auszuführen. Während es zuvor unter anderen Begriffen wie Interaktive AI und Large Agentic Model bekannt war, gewinnt das Konzept von LAMs an Momentum als eine wichtige Innovation in der AI-gesteuerten Interaktion. Dieser Artikel erforscht die Details von LAMs, wie sie sich von traditionellen großen Sprachmodellen (LLMs) unterscheiden, stellt Rabbit AI’s R1-System vor und betrachtet, wie Apple sich einer LAM-ähnlichen Herangehensweise nähert. Er diskutiert auch die potenziellen Anwendungen von LAMs und die Herausforderungen, denen sie gegenüberstehen.

Verständnis von Large Action oder Agentic Modellen (LAMs)

Ein LAM ist ein fortschrittlicher AI-Agent, der darauf programmiert ist, menschliche Absichten zu verstehen und spezifische Ziele auszuführen. Diese Modelle sind hervorragend darin, menschliche Bedürfnisse zu verstehen, komplexe Aufgaben zu planen und mit verschiedenen Modellen, Anwendungen oder Menschen zu interagieren, um ihre Pläne umzusetzen. LAMs gehen über einfache AI-Aufgaben wie die Generierung von Antworten oder Bildern hinaus; sie sind vollständige Systeme, die darauf ausgelegt sind, komplexe Aktivitäten wie Reiseplanung, Terminverwaltung und E-Mail-Verwaltung zu bewältigen. Zum Beispiel würde bei der Reiseplanung ein LAM mit einer Wetter-App für Vorhersagen zusammenarbeiten, mit Flugbuchungsdiensten interagieren, um geeignete Flüge zu finden, und mit Hotelbuchungssystemen interagieren, um Unterkünfte zu sichern. Im Gegensatz zu vielen traditionellen AI-Modellen, die sich ausschließlich auf Neuronale Netze verlassen, verwenden LAMs einen hybriden Ansatz, der neuro-symbolische Programmierung kombiniert. Diese Integration von symbolischer Programmierung hilft bei logischem Denken und Planung, während neuronale Netze zur Erkennung komplexer sensorischer Muster beitragen. Diese Kombination ermöglicht es LAMs, ein breites Spektrum von Aufgaben zu bewältigen, was sie als nuancierte Entwicklung in der AI-gesteuerten Interaktion kennzeichnet.

Vergleich von LAMs mit LLMs

Im Gegensatz zu LAMs sind LLMs AI-Agenten, die hervorragend darin sind, Benutzeranfragen zu interpretieren und textbasierte Antworten zu generieren, und helfen hauptsächlich bei Aufgaben, die die Sprachverarbeitung betreffen. Ihre Reichweite ist jedoch in der Regel auf textbezogene Aktivitäten beschränkt. Andererseits erweitern LAMs die Fähigkeiten von AI über die Sprache hinaus und ermöglichen es ihnen, komplexe Aktionen auszuführen, um spezifische Ziele zu erreichen. Zum Beispiel könnte ein LLM effektiv eine E-Mail basierend auf Benutzeranweisungen erstellen, während ein LAM weiter geht, indem es nicht nur die E-Mail erstellt, sondern auch den Kontext versteht, entscheidet, welche Antwort geeignet ist, und die Zustellung der E-Mail verwaltet.

Darüber hinaus sind LLMs in der Regel darauf ausgelegt, das nächste Token in einer Textfolge vorherzusagen und geschriebene Anweisungen auszuführen. Im Gegensatz dazu sind LAMs nicht nur mit Sprachverständnis ausgestattet, sondern auch mit der Fähigkeit, mit verschiedenen Anwendungen und realen Systemen wie IoT-Geräten zu interagieren. Sie können physische Aktionen ausführen, Geräte steuern und Aufgaben verwalten, die die Interaktion mit der externen Umgebung erfordern, wie z. B. die Buchung von Terminen oder die Vorbestellung von Reservierungen. Diese Kombination von Sprachfähigkeiten mit praktischer Ausführung ermöglicht es LAMs, in vielfältigeren Szenarien als LLMs zu operieren.

LAMs in Aktion: Das Rabbit R1

Das Rabbit R1 ist ein prominentes Beispiel für LAMs in der Praxis. Dieses AI-gesteuerte Gerät kann mehrere Anwendungen über eine einzige, benutzerfreundliche Schnittstelle verwalten. Ausgestattet mit einem 2,88-Zoll-Touchscreen, einer drehbaren Kamera und einem Scrollrad, ist das R1 in einem schlanken, runden Gehäuse unterzeichnet, das in Zusammenarbeit mit Teenage Engineering entwickelt wurde. Es läuft auf einem 2,3-GHz-MediaTek-Prozessor, der von 4 GB Speicher und 128 GB Speicher unterstützt wird.

Im Herzen des R1 liegt sein LAM, das intelligenterweise die Funktionalitäten von Apps überwacht und komplexe Aufgaben wie die Steuerung von Musik, die Buchung von Verkehrsmitteln, das Bestellen von Lebensmitteln und das Senden von Nachrichten aus einer einzigen Interaktionsstelle heraus vereinfacht. Auf diese Weise eliminiert das R1 die Mühe, zwischen mehreren Apps oder mehreren Anmeldungen zu wechseln, um diese Aufgaben auszuführen.

Das LAM im R1 wurde ursprünglich durch die Beobachtung von menschlichen Interaktionen mit beliebten Apps wie Spotify und Uber trainiert. Diese Schulung hat es dem R1 ermöglicht, Benutzeroberflächen zu navigieren, Symbole zu erkennen und Transaktionen zu verarbeiten. Diese umfassende Schulung ermöglicht es dem R1, sich fließend an fast jede Anwendung anzupassen. Darüber hinaus ermöglicht ein spezieller Trainingsmodus den Benutzern, neue Aufgaben vorzustellen und zu automatisieren, wodurch die Fähigkeiten des R1 kontinuierlich erweitert werden und es zu einem dynamischen Werkzeug im Bereich der AI-gesteuerten Interaktionen wird.

Apples Fortschritte bei der Einführung von LAM-ähnlichen Funktionen in Siri

Apples AI-Forschungsteam hat kürzlich Einblicke in ihre Bemühungen gegeben, die Fähigkeiten von Siri durch eine neue Initiative zu erweitern, die denen von LAMs ähnelt. Die Initiative, die in einem Forschungspapier über Reference Resolution As Language Modeling (ReALM) beschrieben wird, zielt darauf ab, Siris Fähigkeit zu verbessern, konversationellen Kontext zu verstehen, visuelle Inhalte auf dem Bildschirm zu verarbeiten und umgebende Aktivitäten zu erkennen. Der Ansatz, den ReALM bei der Verarbeitung von Benutzeroberflächen-Eingaben verfolgt, ähnelt den Funktionalitäten, die bei Rabbit AI’s R1 beobachtet werden, und zeigt Apples Absicht, Siris Verständnis von Benutzerinteraktionen zu verbessern.

Diese Entwicklung deutet darauf hin, dass Apple die Einführung von LAM-Technologien in Betracht zieht, um die Interaktionen zwischen Benutzern und Geräten zu verfeinern. Obwohl es keine expliziten Ankündigungen über die Bereitstellung von ReALM gibt, deutet das Potenzial für eine signifikante Verbesserung von Siris Interaktion mit Apps auf vielversprechende Fortschritte in der Gestaltung eines intuitiveren und responsiveren Assistenten hin.

Potenzielle Anwendungen von LAMs

LAMs haben das Potenzial, ihre Wirkung weit über die Verbesserung der Interaktionen zwischen Benutzern und Geräten hinaus auszudehnen; sie könnten erhebliche Vorteile in verschiedenen Branchen bieten.

• Kundenservice: LAMs können den Kundenservice verbessern, indem sie unabhängig Anfragen und Beschwerden über verschiedene Kanäle hinweg bearbeiten. Diese Modelle können Anfragen mit natürlicher Sprache verarbeiten, Lösungen automatisieren und Termine verwalten, um einen personalisierten Service basierend auf der Kundenhistorie zu bieten, um die Zufriedenheit zu verbessern.
• Gesundheitswesen: Im Gesundheitswesen können LAMs bei der Patientenversorgung helfen, indem sie Termine organisieren, Medikamente verwalten und die Kommunikation zwischen Diensten erleichtern. Sie sind auch nützlich für die Fernüberwachung, die Interpretation medizinischer Daten und die Warnung des Personals in Notfällen, insbesondere bei der Betreuung von chronischen und älteren Patienten.
• Finanzen: LAMs können personalisierte Finanzberatung anbieten und Aufgaben wie Portfolioausgleich und Anlagevorschläge verwalten. Sie können auch Transaktionen überwachen, um Betrug zu erkennen und zu verhindern, und sich nahtlos in Bankensysteme integrieren, um verdächtige Aktivitäten schnell anzusprechen.

Herausforderungen von LAMs

Trotz ihres erheblichen Potenzials stoßen LAMs auf mehrere Herausforderungen, die angegangen werden müssen.

• Datenschutz und Sicherheit: Angesichts des umfassenden Zugriffs auf persönliche und sensible Informationen, die LAMs benötigen, um zu funktionieren, ist die Gewährleistung von Datenschutz und Sicherheit eine große Herausforderung. LAMs interagieren mit persönlichen Daten über verschiedene Anwendungen und Plattformen hinweg, was Bedenken hinsichtlich der sicheren Handhabung, Speicherung und Verarbeitung dieser Informationen aufwirft.
• Ethische und regulatorische Bedenken: Da LAMs immer mehr autonome Rollen in der Entscheidungsfindung und Interaktion mit menschlichen Umgebungen übernehmen, werden ethische Überlegungen immer wichtiger. Fragen nach Verantwortlichkeit, Transparenz und dem Umfang der Entscheidungsbefugnis, die Maschinen übertragen wird, sind von entscheidender Bedeutung. Darüber hinaus können regulatorische Herausforderungen bei der Bereitstellung solcher fortschrittlicher AI-Systeme in verschiedenen Branchen auftreten.
• Komplexität der Integration: LAMs erfordern die Integration mit einer Vielzahl von Software- und Hardware-Systemen, um Aufgaben effektiv auszuführen. Diese Integration ist komplex und kann schwierig zu verwalten sein, insbesondere bei der Koordination von Aktionen über verschiedene Plattformen und Dienste hinweg, wie z. B. die Buchung von Flügen, Unterkünften und anderen logistischen Details in Echtzeit.
• Skalierbarkeit und Anpassungsfähigkeit: Obwohl LAMs darauf ausgelegt sind, sich an eine breite Palette von Szenarien und Anwendungen anzupassen, bleibt die Skalierung dieser Lösungen, um konsistent und effizient in verschiedenen realen Umgebungen zu funktionieren, eine Herausforderung. Es ist entscheidend, sicherzustellen, dass LAMs sich an veränderte Bedingungen anpassen und ihre Leistung über verschiedene Aufgaben und Benutzerbedürfnisse hinweg aufrechterhalten können, um ihren langfristigen Erfolg zu gewährleisten.

Zusammenfassung

Large Action Modelle (LAMs) sind eine bedeutende Innovation in der AI, die nicht nur die Interaktionen mit Geräten, sondern auch die Anwendungen in verschiedenen Branchen beeinflusst. Wie durch Rabbit AI’s R1-System und Apples Fortschritte bei Siri demonstriert, sind LAMs auf dem Weg, interaktivere und intuitivere AI-Systeme zu schaffen. Diese Modelle sind darauf vorbereitet, die Effizienz und Personalisierung in Branchen wie Kundenservice, Gesundheitswesen und Finanzen zu verbessern.

Jedoch ist die Bereitstellung von LAMs mit Herausforderungen verbunden, darunter Datenschutzbedenken, ethische Fragen, Integrationskomplexität und Skalierbarkeit. Es ist entscheidend, diese Probleme anzugehen, während wir auf eine breitere Einführung von LAM-Technologien zusteuern, um ihre Fähigkeiten verantwortungsvoll und effektiv zu nutzen. Da LAMs weiterentwickelt werden, bleibt ihr Potenzial, digitale Interaktionen zu verändern, erheblich, was ihre Bedeutung in der zukünftigen AI-Landschaft unterstreicht.