Plus critique la décision est cruciale, moins l’IA devrait travailler seule

Les agents IA ont clairement un problème qui se déguise en un discours sur leurs avantages. L’agent parle avec confiance et écrit élégamment, traitant les informations plus rapidement qu’un humain. Cela peut donner l’impression que l’IA est prête à fonctionner de manière autonome. En réalité, dès qu’une décision implique de l’argent réel, des attentes de la part des clients et de la confiance, l’IA ne devrait pas être un système autonome, car elle a toujours besoin d’une surveillance adulte.

Cette leçon n’a pas été tirée de la théorie – elle a été apprise grâce à des tests, lorsque l’IA du service de lifestyle de luxe a pu interagir avec de vrais clients.

Des conseils bien intentionnés qui peuvent être dangereux

Lors des premiers tests de l’application de gestion de lifestyle basée sur l’IA, le système semblait impressionnant au premier abord. Il pouvait compiler une liste de restaurants, suggérer des options de divertissement, rédiger des itinéraires pour des activités locales et combiner tout cela en des recommandations claires et de haute qualité. Mais dans environ 15% des cas, il a simplement inventé les détails – et l’a fait de manière convaincante enough pour être crédible.

Il y a un exemple qui a rendu ce problème impossible à ignorer: l’IA a recommandé un restaurant à Dubaï qui avait fermé huit mois plus tôt. Lorsqu’on lui a demandé des explications, il n’a pas hésité ni admis avoir fait une erreur. L’agent a doublé la mise en fabriquant une critique et en la citant.

Une autre fois, l’agent a confondu un snack-bar sur le trottoir avec un restaurant étoilé au guide Michelin parce que les noms étaient quelque peu similaires. Si un humain n’avait pas examiné la commande, le client du service de conciergerie pourrait avoir fini par avoir un dîner qui n’était pas du tout ce qui avait été prévu.

Ensuite, il y a eu l’incident avec le jeu de padel. Un client a demandé des informations sur un club de sports avec des courts de padel. L’IA allait le diriger vers un endroit qui n’avait que des courts de tennis. Pourquoi ? Parce que quelque part dans les données sources, il a trouvé un article de presse indiquant que des courts de padel allaient être construits là-bas, et il a subtilement converti « prévu » en « déjà existant ». C’est précisément ce qui rend les modèles un expérimentation risquée dans le secteur des services: même si l’IA n’a pas de données complètes et exactes, elle ne s’arrête pas – elle improvise.

Les hallucinations de l’IA comme menace commerciale

Ce problème ne concerne pas seulement l’industrie du tourisme – il réside dans la mise en œuvre de l’IA elle-même.

Dans des paramètres clairement définis, l’IA fonctionne brillamment. Vous pouvez lui fournir des données structurées, des API à jour, et il surpassera les humains par une large marge. Il triera les cas selon dix-sept paramètres, analysera instantanément les règles et générera des brouillons prêts à l’emploi en quelques secondes. Mais le monde réel est loin d’être une base de données structurée. La réalité est pleine de cas limites, d’informations obsolètes, de préférences ambigües, de formulations vagues et de lacunes opérationnelles.

C’est précisément là que les hallucinations commencent à présenter un risque commercial. Des études ont répétivement averti que les hallucinations peuvent détruire instantanément la confiance, surtout lorsque le client reçoit des informations polies mais inexactes au moment de la prise de décision. Les gens utilisent déjà largement les planificateurs de voyage IA, mais la confiance fait encore défaut.

Les HNWIs comme test de stress ultime pour l’IA

Maintenant, augmentons les enjeux.

L’IA gère facilement les tâches standard – un exemple de telle tâche est la réservation d’un voyage de Londres à Dubaï: classe affaires, hôtel quatre étoiles pour trois nuits. Le véritable test de stress est un brief d’un HNWI: c’est notre anniversaire. Elle a mentionné un restaurant à Amalfi avec une porte bleue. Elle adore les pivoines mais déteste les roses, et elle se sentira plus à l’aise avec un chauffeur qui parle français. 

Une telle demande sonne élégante, mais du point de vue opérationnel, c’est un champ de mines. Un agent IA suggérera certainement des options, mais il peut également fournir 40% d’informations incorrectes avec une confiance totale.

Les clients dans les segments de luxe et des HNWIs révèlent les véritables limites de l’IA plus rapidement que tout test, car leurs demandes ne sont pas standardisées et leurs attentes sont émotionnelles, dépendantes du contexte et très spécifiques. Plus souvent qu’autrement, de telles demandes sont difficiles à vérifier automatiquement.

De plus, l’échec pour servir efficacement les clients HNWIs ne se terminera pas par un simple remboursement. Cela endommagera la réputation de l’entreprise, car les recommandations et la confiance sont crucialement importantes dans ce segment.

Les employés réels traitent ces hallucinations chaque jour. Ils remarquent le restaurant qui se trouve à être fermé le mardi exact où le client arrive, et la promenade rapide de cinq minutes qui s’avère en réalité être une marche de vingt-cinq minutes en montée avec des bagages. Un spécialiste formé ne manquera pas un hôtel de charme qui semble parfait en photo mais est en réalité recouvert de scaffolding en raison de rénovations.

Pourquoi la fintech nécessite de l’exactitude, et non de la vitesse

On peut appliquer la même logique à l’ensemble du secteur de la fintech. L’IA peut analyser les produits, comparer les options, identifier les anomalies et générer des recommandations rapidement et efficacement. Mais lorsqu’il s’agit d’argent, il n’y a pas de tolérance pour les erreurs aléatoires.

Les entreprises de fintech paient soudainement le prix des décisions prises par l’automatisation – sous la forme d’une perte de confiance de la part des clients. Les entreprises réussies mettent en place des mécanismes de contrôle dès le départ, plutôt que de les introduire rétroactivement une fois que les dégâts sont déjà faits ; le modèle approprié implique une surveillance humaine.

Une couche de vérification supplémentaire est requise entre l’IA et le client – une étape où le résultat est soigneusement vérifié et sécurisé. Dans les domaines où le coût de l’erreur est élevé, cette couche devient la fondation du produit.

Un concept plus utile est l’infrastructure. L’IA devrait se concentrer sur les tâches structurées: recherche, tri, comparaison et rédaction. Dans ce processus, les humains devraient prendre les décisions finales. Au fil du temps, certains processus de travail deviendront suffisamment stables pour être entièrement automatisés. À ce stade, il sera probablement possible d’établir une base de référence, mais cela devrait être fait sur la base de preuves, et non sur la foi. Ces idées peuvent sembler moins inspirantes qu’un avenir entièrement autonome, mais c’est exactement comment les entreprises sérieuses finiront par réussir.

Ces idées peuvent sembler moins inspirantes qu’un avenir entièrement autonome, mais c’est exactement comment les entreprises sérieuses finiront par réussir.