Qu’est-ce que signifie réellement Human-in-the-Loop ?

Au début du XXe siècle, le philosophe britannique Gilbert Ryle a forgé le terme « fantôme dans la machine ». Écrivant dans The Concept of Mind, Ryle a utilisé la métaphore pour contester le dualisme corps-esprit qui maintient que l’esprit et le corps existent comme des substances séparées. Pour Ryle, cette division était une erreur, car la cognition et l’action physique étaient inséparables, faisant partie d’un système unique plutôt que de deux parties interactives.

Avec l’avènement de l’IA, une métaphore similaire émerge maintenant lorsqu’on parle des utilisateurs d’outils d’IA pour augmenter la productivité : le souvent utilisé « human-in-the-loop ». Si les humains et les systèmes intelligents sont maintenant plus fusionnés que jamais, construisons-nous une fusion sans faille ou créons-nous une illusion de contrôle commode ?

Les startups s’appuient lourdement sur ce concept pour parler de leurs outils. Alors qu’il promet à la fois l’innovation et la réassurance, la réalité est souvent plus compliquée. La responsabilité peut facilement devenir diffuse et la traçabilité de la responsabilité plus difficile à suivre.

Alors que les systèmes d’IA pénètrent plus profondément dans des domaines sensibles – de l’éducation à la guerre – les enjeux ne sont plus abstraits. Qu’est-ce que signifie réellement human-in-the-loop et est-ce simplement un euphémisme pour lorsqu’ils disparaissent complètement ?

1. Human-in-the-loop comme bouclier de responsabilité

Utilisé de manière irresponsable, le terme human-in-the-loop peut être un moyen facile de déplacer la responsabilité sans vraiment s’engager avec elle. Comme beaucoup le remarquent, une signature humaine à la fin d’un processus ne garantit pas l’intégrité éthique, surtout si le système sous-jacent est mal conçu ou insuffisamment compris.

Maysa Hawwash, fondatrice et PDG de Scale X, a écrit sur le glissement de la responsabilité et est directe sur la façon dont le concept est souvent déployé. « C’est en réalité pas très différent des autres moyens de déplacement de la charge. » Hawwash a déclaré à Startup Beat, en utilisant l’exemple de la façon dont les responsables des ressources humaines utilisent souvent une politique de signature pour éloigner l’entreprise de la responsabilité. « Si vous avez cette politique et que les gens la lisent et la signent, alors, en tant qu’entreprise, vous n’êtes pas responsable, n’est-ce pas ? » a-t-elle déclaré.

Ce qui émerge, c’est un modèle familier à travers les systèmes d’entreprise où la responsabilité est déplacée plutôt qu’éliminée. Hawwash considère cela comme une solution de facilité qui évite la réflexion critique ou la compréhension des domaines où cela peut affecter les gens ou les communautés. « Vous déplacez la charge, et alors cela n’a pas d’importance si les gens comprennent la politique, cela n’a pas d’importance si la politique a du sens. »

Dans ce cadre, « human-in-the-loop » risque de devenir moins une question d’intervention significative et plus une question de couverture procédurale. Le danger ici n’est pas seulement sémantique. Lorsque la surveillance est réduite à une signature, le rôle humain devient symbolique plutôt que substantiel.

Hawwash a référencé une récente atrocité militaire – l’école de Minab, en Iran – où les humains ont approuvé une frappe, mais la présence d’un décideur humain n’a pas nécessairement équivalu à une clarté éthique ou à une délibération adéquate. « Lorsque vous êtes en guerre ou que vous conduisez une chirurgie complexe, vous n’avez pas le luxe de temps pour utiliser human-in-the-loop comme un bouclier. »

2. Conception pour la responsabilité, et non seulement la surveillance

L’alternative n’est pas d’abandonner les systèmes human-in-the-loop, mais de les prendre au sérieux en tant qu’engagements de conception. Cela signifie aller au-delà de la surveillance symbolique pour atteindre des structures de responsabilité délibérées.

« Il y a cette grande course pour mettre plus d’IA sur le marché. Il n’y a pas beaucoup de réflexion à partir d’une perspective de conception, comme quel est l’impact en aval sur les communautés, sur les gens ou sur les utilisateurs finals », a déclaré Hawwash.

La vitesse est devenue la variable de compétition dominante. Dans cette course, la responsabilité est souvent reportée plutôt que intégrée. Le résultat est un modèle réactif d’éthique où la résolution des problèmes se produit après le déploiement, et non pendant le développement.

L’accessibilité peut accélérer l’adoption, mais elle conduit également à des conséquences plus amplifiées. Les systèmes ne sont plus confinés aux utilisateurs techniques, car ils peuvent façonner les décisions pour les gens ayant des niveaux de compréhension et de contexte variables. Dans un tel environnement, la responsabilité ne peut pas être sous-traitée à l’utilisateur final.

3. Human-in-the-loop comme précision et responsabilité

Abhay Gupta, cofondateur de Frizzle, offre une perspective plus opérationnelle – une perspective ancrée dans la construction d’un système où la surveillance humaine est à la fois pratique et nécessaire.

Son entreprise est née d’un problème spécifique : les enseignants surmenés. « Dans la ville, on parle des banquiers et des consultants qui travaillent 70 heures par semaine, mais on n’entend pas parler des enseignants qui travaillent autant. Alors, par curiosité, nous avons interviewé des centaines d’enseignants et, dans l’ensemble, la notation était leur plus grande perte de temps. »

L’automatisation de la notation peut sembler simple, mais la complexité de la rédaction manuscrite mathématique introduit des limites réelles pour l’IA. « Il y a le problème de précision. L’IA n’est pas parfaite, nous avons donc construit un système human-in-the-loop. Si l’IA n’est pas confiante – comme avec une écriture illisible – il signale cela pour que l’enseignant le révise et approuve ou rejette. »

Ici, le rôle humain n’est pas seulement ornemental. Le système identifie explicitement son incertitude et achemine ces cas vers un humain. « Pour nous, il s’agit de précision. Il y aura toujours des cas limites – peut-être 1-3 % – où l’IA a du mal, donc un humain doit intervenir. »

Cette approche redefinit human-in-the-loop comme un mécanisme de contrôle de la qualité. Mais Gupta va plus loin : « Au cœur de l’IA, elle n’est pas 100 % précise – elle peut halluciner ou produire des sorties incorrectes. Human-in-the-loop agit comme contrôle de qualité final avant que les résultats n’atteignent l’utilisateur final. C’est également une question de responsabilité. Quelqu’un doit être responsable de la sortie, et pour le moment, cela doit encore être un humain. »

Importamment, le rôle humain préserve également quelque chose de moins quantifiable : l’aspect relationnel de l’enseignement. « C’est également pour préserver le côté humain de l’enseignement. Les enseignants ont différents styles, nous laissons donc les enseignants personnaliser la façon dont les commentaires sont livrés »

Redefinir Human-in-the-loop

L’expression « human in the loop » porte une simplicité rassurante. Elle suggère que quel que soit le degré d’avancement de nos systèmes, un humain reste en contrôle et que nous ne sommes pas simplement des « fantômes dans la machine ». Mais à mesure que les startups déployant l’IA dans des environnements à hauts enjeux augmentent, cette réassurance exige une scrutiny.

Le problème plus profond est la conception. Si les risques d’un système sont mal compris ou intentionnellement minimisés, insérer un humain à la fin ne fait pas grand-chose pour corriger les failles fondamentales. De manière cruciale, cela signifie également définir le rôle de l’humain non pas comme un recours, mais comme une partie intégrante du fonctionnement du système. Un humain dans la boucle ne devrait pas simplement approuver le résultat. Les startups devraient chercher à habiliter leur personnel à les façonner, à les défier et, lorsque nécessaire, à les outrepasser avec autorité.