Lorsque le conseiller est un bot. Intelligence conversationnelle sans briser les personnes.

Que ne peut pas faire l’IA ? Nous lui posons des questions sur la façon de dépenser notre argent de manière sage, elle nous parle de véhicules fiscalement efficaces. Nous lui demandons des conseils sur les relations, et elle offre de l’empathie façonnée par la reconnaissance de modèles. Demandez-lui ce que vous devez faire de votre vie à 2 heures du matin, et elle vous donnera une réponse… car c’est pour cela qu’elle a été conçue.

La préoccupation émergente n’est pas l’échec de ces outils, mais leur fluidité. Ils sont si certains et si rassurants que ce qui est conçu pour nous soutenir peut, avec suffisamment de certitude et de répétition, commencer à déformer notre façon de penser, de ressentir et d’agir de manière que nous n’avions pas prévue.

Les titres clignotent en rouge. OpenAI a récemment révélé que, dans une semaine donnée, des centaines de milliers d’utilisateurs de ChatGPT pourraient présenter des signes de détresse émotionnelle grave, y compris des idées suicidaires. Pendant ce temps, les professionnels de la santé mentale mettent en garde contre un « phénomène dans lequel les utilisateurs développent des illusions ou une dépendance à travers des conversations avec des chatbots chargées d’émotion ». Les États américains limitent déjà l’utilisation des bots dans la thérapie à la suite de cela.

Ces histoires nous dérangent car elles remettent en question l’hypothèse de base selon laquelle l’IA n’est qu’un outil. Lorsque le conseiller devient un confident ou ressemble à un ami, que se passe-t-il avec la véritable connexion humaine ?

Les développeurs ne créent plus seulement des fonctionnalités amusantes ; ils façonnent des interactions qui peuvent influencer la façon dont les gens se sentent et pensent. C’est pourquoi il est essentiel de concevoir une intelligence conversationnelle qui offre de la valeur sans compromettre le bien-être mental des utilisateurs.

1.   Étalez l’intention

Une récente étude de Harvard met en garde que les bots conversationnels ont tendance à être d’accord même lorsque les utilisateurs ont tort, car ce type de renforcement maintient les utilisateurs engagés. Cependant, cela ouvre également la porte à une « affirmation sycophante ». Si un chatbot n’est pas censé être un thérapeute ou un ami intime, vous devriez résister à sa conception pour qu’il offre ce niveau d’affirmation émotionnelle.

La première étape est l’intentionnalité : définir exactement ce que votre bot est censé faire et ce qu’il devrait éviter. Est-ce un assistant de support client, un guide de productivité, un coach de carrière, un aide financier, un compagnon de conversation, un créateur de recettes ? La clarté à ce stade dessine les lignes de démarcation qui empêchent le système de dériver vers un territoire indésirable.

Les types de conversations, tels que les conversations ouvertes, personnelles et non personnelles, et les modalités comme la voix ou le texte, influencent l’utilisation émotionnelle et problématique. L’étude prouve que l’utilisation quotidienne élevée est corrélée à une plus grande solitude et à une dépendance à l’égard de l’IA.

Les développeurs doivent se demander : Comment maintenir les conversations suffisamment ouvertes pour être utiles, mais suffisamment fermées pour éviter l’implication émotionnelle ? Par exemple, un bot de support client pourrait permettre des explications ouvertes du problème de l’utilisateur, mais éviter les phrases d’affirmation émotionnelle telles que « Cela a l’air vraiment difficile, je suis là pour vous… ».

Lorsque l’objectif est trop large, le risque d’attachement émotionnel involontaire ou de dépassement nocif augmente. En étalant l’intention, vous minimisez la chance que les gens commencent à traiter le bot comme un thérapeute ou un âme sœur.

2.   Vérifiez la base de connaissances

Selon un rapport d’hallucination de 2025, certains LLM encore hallucinent jusqu’à 30 % des réponses. Même les meilleurs modèles n’éliminent pas complètement le risque. Les taux d’hallucination les plus bas parmi les modèles d’IA suivis étaient encore d’environ 3-5 %.

Une fois que vous avez défini votre objectif, assurez-vous que la base de connaissances du bot est ancrée dans des sources fiables et expertes. Si vous construisez quelque chose avec des objectifs de santé mentale ou de soutien émotionnel, impliquez des cliniciens, des psychologues ou des experts dans le domaine pour curer le contenu.

Notre conseiller médical, le Dr Miguel Villagra, a déclaré à QuickBlox que « Lorsque nous externalisons trop de notre processus de prise de décision et de traitement émotionnel à l’IA, nous perdons le muscle mental qui nous aide à tester la réalité et à nous auto-corrigier ». Plus récemment, de grands modèles comme OpenAI suggèrent que les chatbots introduisent des « pauses » ou de petites pauses conversationnelles qui poussent les utilisateurs à revenir à leur propre jugement au lieu de laisser le système supporter la charge émotionnelle.

Cependant, ces pauses dépendent de la capacité du bot à savoir quand s’arrêter et quand rediriger. Ce jugement repose sur une solide base de connaissances vérifiée pour l’ancrer dans les faits plutôt que dans la flatterie. Les lacunes ou les inexactitudes dans la base de données sont les moyens les plus faciles et les plus évitables d’accéder aux hallucinations, où l’IA donne aux utilisateurs des conseils trompeurs ou dangereux avec confiance.

Lorsque les informations sous-jacentes sont soigneusement sélectionnées, mises à jour régulièrement et structurées autour de sources vérifiées, le modèle est beaucoup moins susceptible d’inventer des réponses ou de répéter émotionnellement tout ce qu’il entend. Au lieu de cela, il est forcé de puiser dans des matériaux fondés, de rediriger lorsqu’il sort de son domaine et de remettre en question les hypothèses.

3.   Intégrez des vérifications de sécurité

Seulement 48 heures après le lancement de ses compagnons d’IA, Grok est devenu l’application numéro un au Japon. Les utilisateurs peuvent discuter avec ces personnages par voix, tandis que des avatars réalistes miment les expressions et les gestes. C’est un niveau d’immersion impressionnant, mais également inquiétant.

Les vérifications de sécurité sont vos garde-fous. Elles devraient inclure :

• Rappels de réalité : des rappels qui rappellent aux utilisateurs qu’ils discutent avec un IA, et non avec un humain.
• Détection de crise : des mécanismes pour identifier le langage qui signale une détresse sévère, des pensées suicidaires ou des idées délirantes.
• Protocoles d’escalade : lorsqu’un risque est détecté, le bot devrait gentiment diriger les utilisateurs vers de l’aide humaine, telle que des ressources professionnelles, des lignes d’assistance ou les conseiller de contacter des amis de confiance.

Sans ces vérifications, les développeurs risquent de permettre des « chambres d’écho » qui renforcent les schémas de pensée nocifs. Les experts ont explicitement averti que l’agréabilité de l’IA peut valider des boucles de croyance malsaines.

4.   Dialogues d’équipe rouge

Après avoir testé les principaux bots, une étude menée par des chercheurs de l’Université de Stanford a constaté que GPT-4o montrait un stigmate dans 38 % des réponses, et que Meta’s Llama 3.1-405b le faisait 75 % du temps. Si les meilleurs modèles des laboratoires de classe mondiale montrent encore des stigmates mesurables, les petites équipes qui construisent des bots spécifiques au domaine sont presque garanties d’avoir des défaillances de sécurité cachées.

Avant de lancer, effectuez des tests adverses. Engagez une équipe rouge, qui peut être interne ou externe, avec la tâche spécifique de tester le bot avec des conversations risquées et chargées d’émotion. Leur seul but est de tester le bot contre les scénarios humains les plus difficiles et les plus complexes, pour prévenir tout préjudice réel pour les utilisateurs une fois le produit lancé.

Les équipes rouges peuvent demander aux bots de jouer des cas de figure extrêmes. Pour les services client, ce serait quelqu’un en crise, pour les bots de compagnie, quelqu’un de solitaire, ou quelqu’un avec des croyances déformées. Évaluez comment le bot répond. Reste-t-il ancré ? Encourage-t-il le réalisme plutôt que l’illusion ? Cette phase aide à découvrir des angles morts que vos vérifications de sécurité ou votre base de connaissances seules ne peuvent pas détecter.

5.   Lancez une version canari

Le rapport de sécurité de l’IA international 2025, publié par un panel de 96 experts mondiaux, met en avant la surveillance et l’intervention comme étant critiques pour la mitigation des risques dans les déploiements d’IA. Le rapport identifie des risques systémiques, tels que la perte de contrôle, les défaillances de fiabilité ou les biais, qui sont difficiles à détecter dans des environnements contrôlés mais peuvent émerger seulement lorsque les modèles interagissent avec de vrais utilisateurs.

Le déploiement de votre bot auprès d’un petit groupe contrôlé, également appelé « version canari », aide les développeurs à surveiller comment les utilisateurs réels interagissent. Les experts examineraient les interactions pour évaluer si les utilisateurs devenaient excessivement attachés sur le plan émotionnel.

Il est important d’impliquer des conseillers pertinents, notamment des psychologues, à ce stade, car ils peuvent comprendre plus en profondeur quels mots et phrases déclencheurs pourraient amener les utilisateurs sur une voie risquée.

Les développeurs devraient recueillir à la fois des commentaires qualitatifs et quantitatifs du groupe de contrôle, comme la longueur de la conversation, les changements d’humeur, les invites à tester les limites, les divulgations émotionnelles répétées, les niveaux de confort des utilisateurs rapportés et tout modèle que les psychologues signalent comme des signes de dépendance ou de détresse. Ce lancement initial vise à valider les hypothèses et à affiner l’architecture de sécurité dans un lancement étroitement ciblé, plutôt que dans une version complète.

6.   Surveillance et itération continues

En 2024, des experts de neuf pays et de l’Union européenne se sont réunis pour discuter de la coopération internationale sur la science de la sécurité de l’IA. Le rapport de synthèse met l’accent sur la nécessité d’une gouvernance de l’IA itérative et évolutives. Les dirigeants ont plaidé pour des cadres de test dans le monde réel, une évaluation par des tiers et une assurance continue au-delà des vérifications préalables au déploiement.

Suivant les conseils du rapport, les développeurs doivent être vigilants pour surveiller en continu les interactions des utilisateurs et suivre les indicateurs de sécurité tels que les déclencheurs de crise ou les dialogues à haut risque répétés. Cela pourrait inclure des phrases ou des comportements qui laissent supposer des préjudices auto-infligés, des intentions suicidaires, une solitude extrême ou des croyances délirantes.

Dans ces cas, les développeurs doivent mettre à jour les bases de connaissances en ajoutant des règles de refus plus claires et en affinant les modèles de réponse à la crise, en corrigeant toute lacune factuelle que le bot a mal gérée. Ils devraient également envisager d’incorporer de nouvelles orientations des psychologues ou des experts dans le domaine pour aider le système à diriger les conversations de manière sûre la prochaine fois que ces déclencheurs apparaîtront. Si des modèles émergent, tels que les utilisateurs s’appuyant de plus en plus sur le bot pour un soutien émotionnel, vous pourriez avoir besoin de resserrer les contraintes ou de réévaluer votre philosophie de conception.

L’intelligence conversationnelle a un potentiel transformateur. Utilisée de manière réfléchie, elle peut étendre l’accès, amplifier l’empathie et réduire les frictions dans le coaching ou le soutien de type counseling de base. En tant que personne profondément investie dans cet espace, mon pari n’est pas de remplacer les humains, mais de les augmenter ; en donnant aux gens plus d’outils, et non moins, et en le faisant de manière responsable.