Div Garg, PDG et co-fondateur d’AGI, Inc – Série d’entretiens

Div Garg, PDG et co-fondateur d’AGI, Inc, est un chercheur en intelligence artificielle et entrepreneur axé sur les agents autonomes, l’intelligence de bord, la vision par ordinateur et la robotique. Avant de fonder AGI, Inc., il a co-fondé et dirigé MultiOn, un pionnier précoce dans les agents d’utilisation de l’ordinateur, et a ensuite occupé le poste de président de son conseil d’administration. Garg a également passé près de quatre ans en tant que membre de la faculté adjointe à l’Université de Stanford, où il a créé CS 25 : Transformers United, le premier cours de l’université consacré aux architectures de transformateurs. Ses expériences antérieures incluent la direction du développement de l’intelligence artificielle chez Collaborative Robotics, la conduite de recherches chez NVIDIA (NVDA ) et Apple (AAPL ), ainsi que le travail sur les technologies de vision par ordinateur et de conduite autonome chez Google, Uber et l’Université Cornell, où ses recherches comprenaient l’approche influente de Pseudo-LiDAR pour la perception 3D basée sur l’appareil photo.

AGI, Inc. est une société de recherche en intelligence artificielle qui développe une intelligence privée, sécurisée et accessible qui fonctionne directement sur les appareils de bord. Sa technologie phare, AGI-0, est un système d’intelligence artificielle axé sur l’action conçu pour comprendre les préférences de l’utilisateur et effectuer des tâches à travers des applications sur les téléphones, les ordinateurs, les accessoires et d’autres appareils connectés, y compris les flux de travail impliquant les achats, le transport, la planification, la messagerie et les divertissements. La société propose également une plate-forme qui permet aux fabricants de matériel et aux développeurs d’ajouter des agents sensibles à l’écran capables de raisonner et d’agir à travers les applications existantes sans avoir à créer des intégrations distinctes pour chaque application. AGI, Inc. a démontré sa technologie avec Lenovo et optimise son pile d’agents pour les appareils alimentés par Qualcomm (QCOM ) Snapdragon.

Vous avez travaillé chez Apple, Google, Nvidia et aidé à pionnier les premiers systèmes d’agents chez MultiOn avant de mettre en pause votre doctorat à Stanford pour fonder AGI, Inc. Quelle limitation spécifique ou quel moment vous a convaincu que les approches d’intelligence artificielle existantes n’étaient pas suffisantes et que la construction d’un agent autonome sur appareil était la bonne voie à suivre ?

Ce changement s’est produit quelque part entre 2023 et 2024, alors que je travaillais sur les agents Web. Nous pouvions créer des agents pour effectuer des actions dans les navigateurs, mais seulement si le site Web avait une structure appropriée que l’agent pouvait travailler avec. Dès que quelque chose allait mal et ne se comportait pas comme une version idéalisée du DOM, telle qu’une fenêtre contextuelle ou un effet d’animation, l’agent cessait de fonctionner. En revanche, tout ce qui compte lorsque les gens veulent interagir avec leurs smartphones se passe dans les applications. Les applications ne fournissent aucun type d’API ; ils présentent des écrans à la place.

C’est cette différence qui a conduit à nos conclusions. La solution au problème n’allait pas être plus d’API sophistiquées ou de modèles plus grands, mais plutôt l’agent qui fonctionnerait sur l’appareil du point de vue d’une personne. Cela signifiait traiter le smartphone comme une personne le ferait – en interagissant avec ses écrans.

De nombreux assistants d’intelligence artificielle aujourd’hui s’appuient encore fortement sur les API, les intégrations et l’orchestration cloud. Qu’est-ce qui se brise fondamentalement dans ce modèle et pourquoi croyez-vous que l’exécution sur appareil est la couche manquante ?

Il y a trois problèmes avec cela. Le premier est la couverture. Les API nécessitent que tous les développeurs doivent interfacer avec vous, ce qui limite les capacités de votre agent aux partenaires les plus lents. Les intentions d’application d’Apple sont un excellent exemple de cette technologie qui a commencé à être travaillée à la WWDC 2024. Ensuite, il y a la vie privée. L’orchestration cloud nécessite que votre contenu d’écran, vos messages et vos activités soient envoyés aux serveurs d’un tiers. Enfin, il y a le problème du coût et de la latence. Tous les traitements aller-retour via le cloud le rendent lent et coûteux.

L’exécution sur appareil résout tous ces problèmes. Votre agent ne dépend de personne d’autre et interface avec le système en interagissant directement avec l’interface utilisateur.

Votre approche déplace l’intelligence artificielle de la réponse aux questions à la réalisation effective de tâches à travers les applications. Quels ont été les défis techniques les plus difficiles pour permettre à un agent de fonctionner de manière fiable sur un téléphone comme le ferait un humain ?

Contrôler de manière fiable un téléphone est plus difficile que cela ne le semble. Tout d’abord, un agent doit percevoir simultanément l’écran du téléphone comme un humain, comprendre ce qui vient ensuite et effectuer l’action appropriée. La perception est effectuée par un modèle de vision-langage capable de reconnaître les boutons, les zones de texte, les menus, les dispositions, etc. La sélection d’action est requise pour gérer les ambiguïtés, les pages partiellement chargées, les dialogues modaux et les erreurs. Enfin, l’action doit être suffisamment précise pour que le tapage atterrisse à l’emplacement correct.

Le problème le plus important, cependant, réside dans la capacité à interagir de manière fiable avec des applications complexes sur une longue période. Réserver un Uber est une chose, mais effectuer un processus multétape dans une application où chaque étape dépend des interactions précédentes est un tout autre jeu. C’est précisément pourquoi la formation de modèles de bout en bout était essentielle au développement du produit.

Vous avez décrit cela comme un passage d’assistants à des agents. Qu’est-ce que cette transition signifie réellement dans la pratique pour les utilisateurs quotidiens et à quelle vitesse attendez-vous que le comportement change ?

Le changement pratique vient de l’interface elle-même. Là où aujourd’hui nous avons l’application et apprenons à l’utiliser, demain nous aurons l’agent et les applications deviendront des capacités composées par l’agent en notre nom. Nous arrêterons de penser aux applications et commencerons à penser à l’intention : « Réservez-moi un trajet jusqu’à la maison. » « Envoyez les photos du week-end à Maman. » « Montrez-moi les hôtels à Lisbonne où je peux avoir un peu de paix pour le week-end prochain. » L’agent sait quelles applications utiliser.

Le changement de comportement commence lentement et s’accélère à mesure qu’il progresse. Au début, les gens essayeront cette approche pour des tâches simples qu’ils font confiance et s’étendront ensuite autant qu’ils le peuvent. Le déclencheur de l’acceptation à grande échelle viendra lorsque l’agent obtiendra les tâches routinières correctes sur nos téléphones chaque fois.

Avec des partenariats comme Qualcomm et Lenovo, à quel point l’intégration étroite du matériel et du logiciel est-elle importante pour rendre l’intelligence artificielle agente utilisable à grande échelle ?

C’est la différence entre un prototype utilisé à des fins de recherche et une application qui est réellement utilisable. Les appareils alimentés par Snapdragon disposent d’unités de traitement neuronales, qui garantiront que les algorithmes de l’agent peuvent fonctionner sur l’appareil avec un minimum de retards et de consommation d’énergie. Qualcomm a consacré des années à atteindre cette optimisation, et le partenariat que nous avons annoncé au MWC 2026 avait cet objectif précis en tête.

L’autre extrémité est Lenovo. Lenovo peut atteindre des centaines de millions d’utilisateurs à travers les smartphones, les tablettes et les PC, cherchant à se différencier en utilisant l’intelligence artificielle. Passer par des partenaires ayant des portefeuilles d’appareils existants et les atteindre rapidement et de manière transparente bat la route alternative. Je le sais par expérience.

La confiance semble être un obstacle majeur. Comment concevez-vous des systèmes dans lesquels les utilisateurs se sentent à l’aise de laisser l’intelligence artificielle agir en leur nom, en particulier lorsque ces actions s’étendent à plusieurs applications et à des données sensibles ?

La confiance est construite sur la base d’être ouvert sur ce que l’agent est et n’est pas capable de faire. Toute action impliquant quelque chose d’important, comme effectuer un achat réel, envoyer un message ou modifier les paramètres du compte, nécessite l’approbation de l’utilisateur. L’agent a la capacité d’aller jusqu’à la page de paiement de son propre chef, mais pas plus loin jusqu’à ce que vous le fassiez. Notre partenariat avec Visa ajoute des rails de paiement authentifiés par-dessus.

Ceci est fait sur la base de deux philosophies simples. La première est « l’humain dans la boucle pour tout ce qui est substantiel ». La deuxième est celle de « la réversibilité partout où cela est possible ». De plus, l’agent ne verra que ce qui est visible sur l’écran et honorera les autorisations du système d’exploitation qui ont été mises en place.

Il y a un récit croissant selon lequel l’économie des applications pourrait être perturbée. Voyez-vous les agents remplacer les applications en entier ou remodeler la façon dont les applications sont accessibles et monétisées ?

Les applications ne disparaissent jamais. La dynamique change simplement. Aujourd’hui, l’application est la façon dont la marque communique avec le consommateur. Demain, l’agent le sera et l’application sera l’outil utilisé par l’agent. Les développeurs d’applications sont là pour rester car il y aura toujours un besoin pour l’application derrière l’appel de service, le message texte ou la transaction. La différence sera l’interface sur laquelle ces choix sont effectués.

Ceci représente une nouvelle frontière pour les applications et pour les marques qui les utilisent. Ceci représente aucune menace du tout, mais plutôt une opportunité incroyable d’explorer et de développer avec nos partenaires en développement et en plateformes.

Votre système évite de s’appuyer sur les API. Cela crée-t-il des tensions avec les développeurs et les plateformes, ou débloque-t-il finalement un écosystème plus ouvert ?

C’est moins conflictuel que cela ne le semble. Il n’y a pas de concurrence entre les développeurs et nous. La façon dont une interface fonctionne est le même processus qu’une personne utiliserait une application, donc l’agent utilise les mêmes interfaces que n’importe qui d’autre. Les développeurs peuvent employer des pratiques techniques courantes pour bloquer l’accès, et nous comprenons leur raisonnement.

Un résultat plus intrigant est l’absence de conflit. Un système ouvert avec une interopérabilité universelle profite à tout le monde, par rapport à un système fermé, où chaque assistant ne peut être utilisé que sur des applications spécifiques, car il ne prend en charge que ce type d’intégration sur mesure. L’universalité aide les utilisateurs, mais elle aide également les applications qui ont une valeur réelle.

L’intelligence artificielle sur appareil est souvent présentée comme un avantage en matière de confidentialité. Comment équilibrez-vous le traitement local avec le besoin de modèles puissants qui nécessitent traditionnellement un calcul à grande échelle ?

Il s’agit d’un système hybride qui continuera d’évoluer vers un système entièrement sur appareil. Les actions et la raison légère se produisent sur le téléphone, tandis que la raison lourde se produit dans le cloud. Avec l’optimisation de la pile via notre travail avec Qualcomm et les capacités des NPUs des téléphones qui deviennent de plus en plus avancés, il y a un déplacement vers un modèle plus localisé. Actuellement, la plupart des téléphones phares disponibles sur le marché ont la capacité de gérer la charge de travail requise.

La dichotomie entre avoir des performances puissantes et sacrifier la localisation ou vice versa est également obsolète. Les modèles deviennent plus efficaces et le matériel du téléphone devient plus capable. Tout peut être réalisé lorsque la pile est correctement optimisée.

En regardant trois à cinq ans à l’avance, à quoi ressemble un appareil entièrement réalisé en intelligence artificielle, et qu’est-ce qui doit se produire techniquement et culturellement avant que cette vision ne devienne mainstream ?

La mise en œuvre réelle consisterait en un seul agent suivant les appareils. Vous dites à votre PC de trouver des informations sur les cadeaux, basculez vers votre smartphone pour effectuer un achat, puis dites à votre voiture de se réchauffer. L’intention est la même ; le contexte reste constant, tandis que la surface change. Les téléphones sont le point d’insertion, car c’est là que se produit la plupart de l’informatique pour le moment. Ensuite, cela passera aux PC, aux téléviseurs, aux voitures et enfin aux lunettes intelligentes, et la collaboration avec Qualcomm fait une énorme différence à cet égard.

D’un point de vue technique, il s’agit de continuer la raison sur appareil et d’augmenter la fiabilité à long terme, ainsi que des transitions correctes entre les appareils. D’un point de vue culturel, le changement serait de plus en plus de confiance dans les agents avec des tâches de plus en plus complexes, ce qui est basé sur l’agent vous disant tout ce qu’il ne peut pas faire sans hésitation, et également ne pas rompre les promesses simples faites à vous.

Merci pour cette grande interview, les lecteurs qui souhaitent en savoir plus peuvent visiter AGI, Inc.