Qui surveille les agents ? La nouvelle ère de la surveillance de l’IA

Lorsque l’on discute des agents IA, l’imagination de la plupart des gens évoque des systèmes superintelligents agissant seuls, faisant des choses imprévisibles. Donc, un jour, l’agent-secrétaire pourrait être incroyablement utile, et le lendemain, il pourrait donner vos coordonnées bancaires à une personne aléatoire.

La partie « superintelligente » n’a pas vraiment d’importance dans cette préoccupation. Le problème clé n’est pas à quel point un agent IA est « intelligent », mais plutôt à quel point il a de la liberté et accès à l’infrastructure.

Dans la pratique, la valeur d’un agent est définie moins par son niveau d’intelligence et plus par les limites de son autorité. Même un agent relativement simple, une fois qu’il a accès à des jeux de données, des systèmes d’entreprise, des opérations financières ou des API externes, acquiert la capacité d’influencer des processus à une échelle qui exige une attention et une surveillance spéciales.

C’est pourquoi les systèmes de surveillance et de contrôle sont de plus en plus vitaux, non seulement au niveau du modèle mais également au niveau de leur comportement dans l’infrastructure.

Il n’est pas étonnant que les initiatives visant à observer et contrôler l’activité des agents aient gagné en importance ces dernières années. Ces solutions pratiques sont déjà mises en œuvre par les grandes entreprises technologiques.

Comment fonctionne un agent

Pour comprendre comment la surveillance fonctionne, nous devons d’abord examiner ce qu’est un agent. En termes simplifiés, il peut être considéré comme une combinaison d’un noyau cognitif, le « cerveau » et d’outils.

Les outils sont des services et des intégrations externes auxquels l’agent peut accéder. Par exemple, pour un agent de voyage, cela pourrait inclure Booking.com ou Airbnb pour trouver des hôtels, des agrégateurs de billets d’avion pour acheter des billets et des systèmes de paiement ou des cartes bancaires pour effectuer des paiements. En eux-mêmes, ces outils ne sont pas intelligents ; ils permettent simplement à l’agent d’agir dans le monde réel.

Le noyau cognitif est un modèle de langage (LLM). Il permet à l’agent de travailler de manière significative avec les requêtes formulées par les humains. Par exemple, la requête « Je veux voler en Europe pendant trois jours dans le mois prochain, où le temps sera agréable » est trop vague. L’agent demande au LLM de « diviser la requête en catégories ». En réponse, il reçoit des paramètres structurés : où, quand, pour combien de temps et dans quelles conditions.

Autrefois, ChatGPT ne générait que des réponses textuelles. Maintenant, intégré dans un agent, il devient une combinaison de « cerveau + outils », capable non seulement d’expliquer mais d’agir. Le LLM structure la tâche et les outils permettent d’exécuter des actions spécifiques.

Comment fonctionne la surveillance

À ce stade, un système de contrôle entre en jeu. J’appelle cette solution de sécurité un « chien de garde » (il y a quelque temps, j’ai même envisagé de créer une startup axée sur cela), une sorte de chien de garde intégré à l’agent. Son rôle est de surveiller les actions de l’agent et de les vérifier par rapport à la requête originale. L’objectif est de garantir que l’agent fonctionne dans les limites prévues.

Revenons à l’exemple de voyage : disons que notre utilisateur veut réserver un voyage de trois jours en Europe. L’agent interagit avec les services météorologiques, les billets d’avion et le compte bancaire pour le paiement. Tout semble normal. Mais soudain, le « chien de garde » remarque que l’agent demande l’accès à une base de données d’entreprise ou à un compte bancaire non lié au paiement du voyage. Cela déclenche une alerte de sécurité et signale un comportement suspect.

Il est important de comprendre l’échelle : un agent peut servir des milliers d’utilisateurs par jour, avec chaque requête déclenchant des centaines d’opérations, aboutissant à des millions d’actions. Le « chien de garde » analyse toutes les actions et génère des statistiques. Les rapports pourraient indiquer : « 13 % des actions étaient redondantes, 7 % concernaient la sécurité financière ». Des détails supplémentaires expliquent quelles actions spécifiques semblaient suspectes.

Cet outil permet aux développeurs de voir l’image complète et de réagir rapidement aux anomalies, formant une solution pratique de contrôle de l’IA qui combine la surveillance en temps réel, la détection d’anomalies et la responsabilité.

Qui bénéficie du »chien de garde« : les développeurs ou les utilisateurs ?

Principalement, le « chien de garde » est destiné aux développeurs pour garantir que le système fonctionne correctement. Cependant, on peut également imaginer une version externe : un agent observateur séparé qui surveille l’agent principal. Cela ajoute une autre couche de sécurité de l’IA, étendant la surveillance au-delà du système interne.

Il y a une limitation importante : le processus interne de l’agent reste « fermé ». Nous ne pouvons observer que son comportement, pas ses processus cognitifs. Une analogie avec les humains : je peux voir quelqu’un prendre un téléphone, composer un numéro et parler. Mais je ne sais pas quel numéro a été composé, quelle était l’intention ou ce qui a été dit. De même, un observateur externe voit les actions de l’agent mais pas son noyau cognitif.

Une autre considération intrigante : les agents pourraient essayer de contourner ou de désactiver de tels observateurs à l’avenir, tout comme les humains résistent souvent à la surveillance constante. Même si cela peut sembler de la science-fiction aujourd’hui, c’est possible. L’intégration de solutions de sécurité internes de l’IA, de détection d’anomalies et de surveillance en couches peut aider à atténuer ces risques et à maintenir le contrôle sur des systèmes de plus en plus autonomes.

Règles primitives ou analyse contextuelle ?

Aujourd’hui, de tels systèmes « chien de garde » fonctionnent sur un principe simple : « autorisé » ou « non autorisé ». Par exemple, si la règle dit « l’accès à Amazon est interdit », et que l’agent y va, une violation est enregistrée. Mais cette approche ne comprend pas le contexte.

Un système plus avancé devrait analyser la violation et sa raison. Pourquoi l’agent est-il allé sur Amazon ? Était-il justifié en termes de tâche ? Ici, nous parlons d’une surveillance contextuelle, similaire au travail d’un psychologue.

Pour l’instant, de telles solutions n’existent que sous forme de concepts. Les systèmes existants sont limités à un contrôle strict en noir et blanc. Mais à l’avenir, à mesure que les agents deviennent plus complexes, un « chien de garde » capable de prendre en compte le contexte émergera.

Aujourd’hui, nous assistons à une croissance des initiatives de surveillance des agents. Ils sont activement développés au niveau des plus grandes entreprises technologiques. Par exemple, ActiveFence travaille avec de grands acteurs comme NVIDIA et Amazon.

De plus, il est raisonnable de supposer que Google, OpenAI, Anthropic et Amazon utilisent déjà leurs propres systèmes « chien de garde » internes, analyses et télémétrie.

J’ai remarqué cette demande parmi les clients d’entreprise de Keymakr – la surveillance et le contrôle sont devenus une partie intégrante de l’infrastructure de l’IA. Sans eux, le déploiement d’agents à grande échelle serait impossible.