Qu’est-ce que signifie réellement Human-in-the-loop ?

Au début du XXe siècle, le philosophe britannique Gilbert Ryle a forgé le terme « fantôme dans la machine ». Écrivant dans Le Concept de l’esprit, Ryle a utilisé la métaphore pour s’opposer au dualisme corps-esprit qui maintient que l’esprit et le corps existent comme des substances séparées. Pour Ryle, cette division était une erreur, car la cognition et l’action physique étaient inséparables, faisant partie d’un système unique plutôt que de deux parties interactives.

Avec l’avènement de l’IA, une métaphore similaire émerge lorsqu’on parle des utilisateurs d’outils d’IA pour augmenter la productivité : le souvent utilisé « human-in-the-loop ». Si les humains et les systèmes intelligents sont maintenant plus fusionnés que jamais, construisons-nous une fusion sans faille ou créons-nous une illusion de contrôle commode ?

Les startups s’appuient lourdement sur ce concept pour parler de leurs outils. Alors qu’il promet à la fois l’innovation et la réassurance, la réalité est souvent plus compliquée. La responsabilité peut facilement devenir diffuse et la responsabilité plus difficile à tracer.

Alors que les systèmes d’IA pénètrent plus profondément dans des domaines sensibles – de l’éducation à la guerre – les enjeux ne sont plus abstraits. Qu’est-ce que human-in-the-loop signifie réellement et est-ce simplement un euphémisme pour lorsqu’ils disparaissent complètement ?

1. Human-in-the-loop comme bouclier de responsabilité

Utilisé sans soin, le terme human-in-the-loop peut être un moyen facile de déplacer la responsabilité sans vraiment s’engager avec elle. Comme beaucoup le remarquent, une signature humaine à la fin d’un processus ne garantit pas l’intégrité éthique, en particulier si le système sous-jacent est mal conçu ou insuffisamment compris.

Maysa Hawwash, fondatrice et PDG de Scale X, a écrit sur le glissement de la responsabilité et est directe sur la façon dont le concept est souvent déployé. « C’est en fait pas très différent des autres moyens de déplacement de la charge ». Hawwash a dit à Startup Beat, en utilisant l’exemple de la façon dont les responsables des ressources humaines utilisent une politique de signature pour déplacer la responsabilité de l’entreprise. « Si vous avez cette politique et que les gens la lisent et la signent, alors, en tant qu’entreprise, vous n’êtes pas responsable, n’est-ce pas ? » a-t-elle dit.

Ce qui émerge, c’est un modèle familier à travers les systèmes d’entreprise où la responsabilité est déplacée plutôt qu’éliminée. Hawwash voit cela comme la solution de facilité qui évite la réflexion critique ou la compréhension des domaines où elle peut affecter les gens ou les communautés. « Vous déplacez la charge, et alors cela n’a pas d’importance si les gens comprennent la politique, cela n’a pas d’importance si la politique a du sens ».

Dans ce cadre, « human-in-the-loop » risque de devenir moins une intervention significative et plus une couverture procédurale. Le danger ici n’est pas seulement sémantique. Lorsque la surveillance est réduite à une signature, le rôle humain devient symbolique plutôt que substantiel.

Hawwash a référencé une récente atrocité militaire – l’école de Minab, en Iran – où les humains ont approuvé une frappe, mais la présence d’un décideur humain n’a pas nécessairement équivalu à une clarté éthique ou à une délibération adéquate. « Lorsque vous êtes en guerre ou que vous conduisez une chirurgie complexe, vous n’avez pas le luxe de temps pour utiliser human-in-the-loop comme un bouclier ».

2. Conception pour la responsabilité, et non seulement la surveillance

L’alternative n’est pas d’abandonner les systèmes human-in-the-loop, mais de les prendre au sérieux comme des engagements de conception. Cela signifie aller au-delà de la surveillance symbolique vers des structures de responsabilité délibérées.

« Il y a cette grande course pour obtenir plus d’IA sur le marché. Il n’y a pas beaucoup de réflexion à partir d’une perspective de conception, comme quel est l’impact en aval sur les communautés, les gens ou les utilisateurs finals », a dit Hawwash.

La vitesse est devenue la variable de compétition dominante. Dans cette course, la responsabilité est souvent reportée plutôt qu’intégrée. Le résultat est un modèle réactif d’éthique où la résolution des problèmes se produit après le déploiement plutôt qu’avant pendant le développement.

L’accessibilité peut accélérer l’adoption, mais elle conduit également à des conséquences amplifiées. Les systèmes ne sont plus confinés aux utilisateurs techniques, car ils peuvent façonner les décisions pour les gens ayant des niveaux de compréhension et de contexte variables. Dans un tel environnement, la responsabilité ne peut pas être sous-traitée à l’utilisateur final.

3. Human-in-the-loop comme précision et responsabilité

Abhay Gupta, cofondateur de Frizzle, offre une perspective plus opérationnelle – ancrée dans la construction d’un système où la surveillance humaine est à la fois pratique et nécessaire.

Sa société est née d’un problème spécifique : les enseignants surmenés. « Dans la ville, vous entendez parler de banquiers et de consultants travaillant 70 heures par semaine, mais vous n’entendez pas parler d’enseignants travaillant autant. Alors, par curiosité, nous avons interviewé des centaines d’enseignants et, à travers le tableau, la notation était leur plus grande perte de temps ».

L’automatisation de la notation peut sembler simple, mais la complexité de la rédaction mathématique manuscrite introduit des limitations réelles pour l’IA. « Il y a le problème de précision. L’IA n’est pas parfaite, nous avons donc construit un système human-in-the-loop. Si l’IA n’est pas sûre – comme avec une écriture manuscrite désordonnée – elle le signale à l’enseignant pour examen et approbation ou rejet ».

Ici, le rôle humain n’est pas seulement ornemental. Le système identifie explicitement son incertitude et achemine ces cas vers un humain. « Pour nous, c’est une question de précision. Il y aura toujours des cas limites – peut-être 1-3 % – où l’IA lutte, donc un humain doit intervenir ».

Cette approche reconfigure human-in-the-loop comme un mécanisme de contrôle de la qualité. Mais Gupta va plus loin : « Au cœur de l’IA, elle n’est pas 100 % précise – elle peut halluciner ou produire des sorties incorrectes. Human-in-the-loop agit comme contrôle de qualité final avant que les résultats n’atteignent l’utilisateur final. C’est également une question de responsabilité. Quelqu’un doit être responsable de la sortie, et pour le moment, cela doit encore être un humain ».

Importamment, le rôle humain préserve également quelque chose de moins quantifiable : l’aspect relationnel de l’enseignement. « C’est également pour préserver le côté humain de l’enseignement. Les enseignants ont des styles différents, nous laissons donc les enseignants personnaliser la façon dont les commentaires sont livrés ».

Rédefinition de Human-in-the-loop

L’expression « human-in-the-loop » porte une simplicité rassurante. Elle suggère que, quel que soit le degré d’avancement de nos systèmes, un humain reste en contrôle et que nous ne sommes pas simplement des « fantômes dans la machine ». Mais à mesure que les startups déployent de plus en plus l’IA dans des environnements à hauts enjeux, cette réassurance exige un examen attentif.

Le problème plus profond est la conception. Si les risques d’un système sont mal compris ou intentionnellement minimisés, insérer un humain à la fin ne fait peu pour corriger les failles fondamentales. Crucialement, cela signifie également définir le rôle de l’humain non comme un recours, mais comme une partie intégrante du fonctionnement du système. Un humain dans la boucle ne devrait pas simplement approuver le résultat. Les startups devraient chercher à habiliter leur personnel à façonner, à remettre en question et, lorsque nécessaire, à outrepasser avec autorité.