Div Garg, CEO und Mitgründer von AGI, Inc – Interview-Serie

Div Garg, CEO und Mitgründer von AGI, Inc, ist ein KI-Forscher und Unternehmer, der sich auf autonome Agenten, Edge-Intelligenz, Computer-Vision und Robotik konzentriert. Bevor er AGI, Inc gründete, war er Mitgründer und Leiter von MultiOn, einem frühen Pionier im Bereich Computer-Agenten, und später Vorsitzender des Aufsichtsrats. Garg war auch fast vier Jahre lang als adjungierter Fakultätsmitglied an der Stanford University tätig, wo er den Kurs CS 25: Transformers United entwickelte, den ersten Kurs der Universität, der sich auf Transformer-Architekturen konzentrierte. Seine frühere Erfahrung umfasst die Leitung der KI-Entwicklung bei Collaborative Robotics, die Durchführung von Forschungen bei NVIDIA (NVDA ) und Apple (AAPL ) sowie die Arbeit an Computer-Vision- und autonomen Fahrzeugtechnologien bei Google, Uber und Cornell University, wo seine Forschung die einflussreiche Pseudo-LiDAR-Ansatz zur Kamera-basierten 3D-Wahrnehmung umfasste.

AGI, Inc ist ein KI-Forschungsunternehmen, das private, sichere und zugängliche Intelligenz entwickelt, die direkt auf Edge-Geräten läuft. Seine Flaggschiff-Technologie, AGI-0, ist ein aktionsorientiertes KI-System, das darauf ausgelegt ist, Benutzervorlieben zu verstehen und Aufgaben über Anwendungen auf Smartphones, Computern, Wearables und anderen verbundenen Geräten hinweg zu erfüllen, einschließlich Workflows, die Einkauf, Transport, Terminplanung, Messaging und Unterhaltung umfassen. Das Unternehmen bietet auch eine Plattform, die es Herstellern von Hardware und Entwicklern ermöglicht, Bildschirm-fähige Agenten zu integrieren, die über bestehende Anwendungen hinweg reasonieren und handeln können, ohne separate Integrationen für jede App aufbauen zu müssen. AGI, Inc. hat seine Technologie mit Lenovo demonstriert und optimiert seinen Agenten-Stack für Qualcomm (QCOM ) Snapdragon-basierte Geräte.

Sie haben bei Apple, Google, Nvidia und MultiOn gearbeitet, bevor Sie Ihren PhD an der Stanford University pausierten, um AGI, Inc zu gründen. Was war die spezifische Einschränkung oder der Moment, der Sie davon überzeugte, dass bestehende KI-Ansätze nicht ausreichten und dass der Bau eines autonomen Agenten auf dem Gerät der richtige Weg nach vorne war?

Diese Veränderung fand irgendwann zwischen 2023 und 2024 statt, als ich an Web-Agenten arbeitete. Wir konnten Agenten erstellen, die Aktionen in Browsern ausführen konnten, aber nur, wenn die Website eine ordnungsgemäße Struktur aufwies, mit der der Agent arbeiten konnte. Sobald jedoch etwas schiefging und nicht wie eine idealisierte Version des DOM verhielt, wie ein Modal-Fenster oder ein Animations-Effekt, hörte der Agent auf zu funktionieren. Andererseits findet alles, was wichtig ist, wenn Menschen mit ihren Smartphones interagieren möchten, innerhalb von Anwendungen statt. Anwendungen bieten keine API; sie präsentieren Bildschirme.

Es war dieser Unterschied, der zu unseren Schlussfolgerungen führte. Die Lösung des Problems bestand nicht darin, komplexere APIs oder größere Modelle zu erstellen, sondern vielmehr darin, einen Agenten zu erstellen, der das Gerät aus der Sicht einer Person bedienen würde. Das bedeutete, das Smartphone wie eine Person zu behandeln – mit Bildschirmen zu interagieren.

Viele KI-Assistenten verlassen sich heute noch stark auf APIs, Integrationen und Cloud-Orchestrierung. Was funktioniert in diesem Modell nicht, und warum glauben Sie, dass die Ausführung auf dem Gerät die fehlende Schicht ist?

Es gibt drei Probleme damit. Das erste ist die Abdeckung. APIs erfordern, dass alle Entwickler eine Schnittstelle bereitstellen, was die Fähigkeiten des Agenten auf den langsamsten Partner beschränkt. App-Intents von Apple sind ein gutes Beispiel für eine solche Technologie, die bereits bei der WWDC 2024 entwickelt wurde. Dann gibt es das Problem der Privatsphäre. Cloud-Orchestrierung erfordert, dass der Bildschirminhalt, Nachrichten und Aktivitäten auf die Server eines Dritten übertragen werden. Schließlich gibt es das Problem der Kosten und der Latenz. Alle Verarbeitung über die Cloud hinweg ist langsam und teuer.

Die Ausführung auf dem Gerät löst all diese Probleme. Der Agent hängt nicht von anderen ab und interagiert mit dem System, indem er direkt mit der Benutzeroberfläche interagiert.

Ihr Ansatz verlagert die KI von der Beantwortung von Fragen zur tatsächlichen Erledigung von Aufgaben über Anwendungen hinweg. Was waren die größten technischen Herausforderungen bei der Erstellung eines Agenten, der ein Telefon wie ein Mensch bedienen kann?

Das zuverlässige Steuern eines Telefons ist schwieriger, als es klingt. Zunächst muss der Agent den Bildschirm des Telefons wie ein Mensch wahrnehmen, Sinn daraus machen und die entsprechende Aktion ausführen. Die Wahrnehmung erfolgt durch ein Vision-Language-Modell, das in der Lage ist, Schaltflächen, Textfelder, Menüs, Layouts usw. zu erkennen. Die Auswahl der Aktion ist erforderlich, um Mehrdeutigkeiten, teilweise geladene Seiten, Modal-Dialoge und Fehler zu handhaben. Schließlich muss die Aktion präzise genug sein, um einen Tap auf die richtige Stelle zu platzieren.

Das größte Problem liegt jedoch in der Fähigkeit, zuverlässig mit komplexen Anwendungen über einen langen Zeitraum hinweg zu interagieren. Die Buchung eines Ubers ist eine Sache, aber die Ausführung eines mehrstufigen Prozesses innerhalb einer Anwendung, bei dem jeder Schritt von früheren Interaktionen abhängt, ist ein ganz anderes Spiel. Genau deshalb war die Ausbildung von Modellen von Ende zu Ende für die Entwicklung des Produkts unerlässlich.

Sie haben dies als Übergang von Assistenten zu Agenten beschrieben. Was bedeutet dieser Übergang in der Praxis für den täglichen Benutzer, und wie schnell erwarten Sie, dass sich das Verhalten ändert?

Die praktische Veränderung kommt von der Oberfläche selbst. Wo heute die App ist und wir lernen, die App zu verwenden, wird morgen der Agent sein, und die Apps werden zu Fähigkeiten, die vom Agenten auf unsere behalf komponiert werden. Wir hören auf, über Apps nachzudenken, und beginnen, über Absichten nachzudenken: “Buche mir eine Fahrt nach Hause.” “Sende die Fotos vom Wochenende an Mama.” “Zeige mir Hotels in Lissabon, in denen ich ein bisschen Ruhe für das nächste Wochenende finden kann.” Der Agent weiß, welche Apps zu verwenden sind.

Die Verhaltensänderung beginnt langsam und beschleunigt sich, wenn sie fortschreitet. Zunächst werden die Menschen diesen Ansatz für einfache Aufgaben ausprobieren, denen sie vertrauen, und dann weiter ausdehnen, sobald sie können. Der Auslöser für die vollständige Akzeptanz wird kommen, wenn der Agent die Routine-Aufgaben auf unseren Telefonen jedes Mal richtig erledigt.

Wie wichtig ist die enge Integration von Hardware und Software für die Machbarkeit von agentischer KI im großen Maßstab, insbesondere angesichts von Partnerschaften wie Qualcomm und Lenovo?

Das ist der Unterschied zwischen einem Prototyp, der für Forschungszwecke verwendet wird, und einer Anwendung, die tatsächlich benutzbar ist. Geräte, die von Snapdragon angetrieben werden, verfügen über neuronale Verarbeitungseinheiten, die sicherstellen, dass die Algorithmen des Agenten auf dem Gerät mit minimalen Verzögerungen und Energieverbrauch ausgeführt werden können. Qualcomm hat Jahre damit verbracht, diese Optimierung zu erreichen, und die Partnerschaft, die wir auf der MWC 2026 bekannt gegeben haben, hatte genau dieses Ziel im Blick.

Das andere Ende ist Lenovo. Lenovo kann Hunderte von Millionen von Benutzern über Smartphones, Tablets und PCs erreichen, die nach einer Differenzierung durch KI suchen. Der Weg über Partner mit bestehenden Geräte-Portfolios und die schnelle und transparente Erreichung dieser Benutzer ist besser als der alternative Weg. Ich weiß das aus Erfahrung.

Vertrauen scheint ein großes Hindernis zu sein. Wie entwerfen Sie Systeme, in denen Benutzer sich wohlfühlen, wenn sie KI-Aktionen in ihrem Namen ausführen lassen, insbesondere wenn diese Aktionen mehrere Anwendungen und sensible Daten umfassen?

Vertrauen wird durch Offenheit darüber aufgebaut, was der Agent kann und nicht kann. Jede Aktion, die etwas Wichtiges wie einen tatsächlichen Kauf, das Senden einer Nachricht oder die Änderung von Kontoeinstellungen umfasst, benötigt die Zustimmung des Benutzers. Der Agent kann bis zur Kaufabwicklung auf eigene Faust gehen, aber nicht weiter, bis der Benutzer es tut. Unsere Partnerschaft mit Visa fügt authentifizierte Zahlungsmöglichkeiten hinzu.

Das alles basiert auf zwei einfachen Philosophien. Die erste ist “Mensch in der Schleife für alles Wesentliche”. Die zweite ist “Rückgängig machen, wo immer möglich”. Darüber hinaus wird der Agent nur das sehen, was auf dem Bildschirm sichtbar ist, und die vom Betriebssystem festgelegten Berechtigungen einhalten.

Es gibt eine wachsende Erzählung, dass die App-Ökonomie gestört werden könnte. Sehen Sie Agenten als Ersatz für Apps oder als Umgestaltung, wie Apps zugänglich und monetarisiert werden?

Die Apps verschwinden nie. Die Dynamik ändert sich einfach. Heute ist die App die Art und Weise, wie die Marke mit dem Verbraucher kommuniziert. Morgen wird der Agent dies tun, und die App wird das Werkzeug sein, das vom Agenten verwendet wird. App-Entwickler sind hier, um zu bleiben, weil es immer eine Notwendigkeit für die Anwendung hinter dem Service-Aufruf, der Textnachricht oder der Transaktion geben wird. Der Unterschied liegt in der Oberfläche, auf der diese Auswahlmöglichkeiten getroffen werden.

Das stellt eine neue Grenze für Apps und für die Marken dar, die sie verwenden. Das stellt keine Bedrohung dar, sondern vielmehr eine großartige Gelegenheit, mit unseren Partnern in der Entwicklung und auf den Plattformen zu erkunden und zu entwickeln.

Ihr System vermeidet es, auf APIs zu verlassen. Erzeugt das Spannungen mit Entwicklern und Plattformen oder schafft es letztendlich eine offene Ökosystem?

Es ist weniger kontrovers, als es klingt. Es gibt keinen Wettbewerb zwischen den Entwicklern und uns. Die Art und Weise, wie eine Oberfläche funktioniert, ist derselbe Prozess, den eine Person verwenden würde, um eine Anwendung zu verwenden, also verwendet der Agent dieselben Oberflächen wie jeder andere. Entwickler können technische Praktiken anwenden, um den Zugriff zu blockieren, und wir verstehen ihre Gründe.

Ein interessanteres Ergebnis ist das Fehlen von Konflikten. Ein offenes System mit universeller Interoperabilität ist für jeden von Vorteil, im Vergleich zu einem geschlossenen System, in dem jeder Assistent nur auf bestimmten Apps verwendet werden kann, weil er nur diese Art von maßgeschneiderten Integrationen unterstützt. Universellität hilft den Benutzern, aber auch den Apps mit tatsächlichem Wert.

On-Device-KI wird oft als Vorteil für die Privatsphäre dargestellt. Wie balancieren Sie die lokale Verarbeitung mit der Notwendigkeit leistungsstarker Modelle, die traditionell eine große Rechenleistung erfordern?

Es handelt sich um ein Hybrid-System, das weiterhin in Richtung eines vollständig auf dem Gerät ausgeführten Systems evolviert. Sowohl Aktionen als auch leichte Argumentation finden auf dem Telefon statt, während schwere Argumentation in der Cloud stattfindet. Durch die Stack-Optimierung durch unsere Arbeit mit Qualcomm und die Fähigkeiten der NPUs der Telefone, die zunehmend leistungsfähiger werden, gibt es eine Verschiebung in Richtung eines lokalisierten Modells. Derzeit können die meisten Flaggschiff-Telefone auf dem Markt die erforderliche Arbeitslast bewältigen.

Die Dichotomie zwischen leistungsstarker Leistung und lokalisierter Verarbeitung ist auch veraltet. Modelle werden effizienter, und die Hardware auf dem Telefon wird leistungsfähiger. Alles kann erreicht werden, wenn der Stack ordnungsgemäß optimiert ist.

Blicken Sie drei bis fünf Jahre voraus, was sieht ein vollständig realisiertes AI-natives Gerät aus, und was muss technisch und kulturell passieren, bevor diese Vision zum Mainstream wird?

Die tatsächliche Implementierung würde ein einzelner Agent sein, der Sie über die Geräte hinweg begleitet. Sie sagen Ihrem PC, dass er Informationen über Geschenke finden soll, wechseln zu Ihrem Smartphone, um einen Kauf zu tätigen, und dann sagen Sie Ihrem Auto, dass es warm werden soll. Die Absicht ist dieselbe; der Kontext bleibt konstant, während die Oberfläche sich ändert. Die Telefone sind der Einstiegspunkt, da dort der größte Teil der Rechnung stattfindet. Danach wird es zu PCs, Fernsehern, Autos und schließlich zu Smartglasses gehen, und die Zusammenarbeit mit Qualcomm macht einen großen Unterschied in dieser Hinsicht.

Technisch gesehen bedeutet es, die Ausführung auf dem Gerät und die Zuverlässigkeit über einen langen Zeitraum hinweg fortzusetzen, sowie ordnungsgemäße Übergänge zwischen den Geräten. Aus kultureller Sicht würde die Veränderung darin bestehen, den Agenten mit zunehmend komplexen Aufgaben zu vertrauen, was auf der Fähigkeit des Agenten basiert, Ihnen alles zu sagen, was er nicht kann, ohne Zögern, und keine der einfachen Versprechen zu brechen, die Ihnen gemacht wurden.

Vielen Dank für das großartige Interview. Leser, die mehr erfahren möchten, sollten AGI, Inc besuchen.