Hoe kritischer de beslissing, hoe minder AI alleen moet werken

AI-agents hebben duidelijk een probleem dat vermomd is als een pitch over hun voordelen. De agent spreekt zelfverzekerd en schrijft elegant, informatie verwerkt sneller dan een mens. Dit kan de indruk geven dat de AI klaar is om autonoom te opereren. In werkelijkheid, zodra een beslissing echt geld, klantverwachtingen en vertrouwen betreft, mag AI geen autonoom systeem zijn, omdat het nog steeds toezicht van volwassenen nodig heeft.

Deze les werd niet afgeleid uit theorie – het werd geleerd door middel van tests, toen de AI van de luxelevensstijl-service in staat was om te communiceren met echte klanten.

Goedbedoelde adviezen die gevaarlijk kunnen zijn

In de eerste tests van de AI-gepowered levensstijlbeheer-app, leek het systeem indrukwekkend op het eerste gezicht. Het kon een shortlist van restaurants samenstellen, entertainment-opties suggereren, itineraries voor lokale activiteiten opstellen en al deze informatie combineren in duidelijke, kwalitatief hoogwaardige aanbevelingen. Maar in ongeveer 15% van de gevallen verzon het gewoon de details – en deed dit overtuigend genoeg om geloofwaardig te zijn.

Er is een voorbeeld dat dit probleem onmogelijk te negeren maakte: de AI beval een restaurant in Dubai aan dat acht maanden eerder was gesloten. Toen het hierover werd gevraagd, aarzelde het niet of gaf het toe dat het een fout had gemaakt. De agent hield vol door een recensie te fabriceren en deze aan te halen.

Nog een keer, de agent verwarde een straatkraam met een Michelin-sterrenrestaurant omdat de namen enigszins vergelijkbaar waren. Als een mens de bestelling niet had gecontroleerd, had de klant van de conciergeservice mogelijk met een diner geëindigd dat niets te maken had met wat was gepland.

Toen was er het incident met het padel-spel. Een klant vroeg naar een sportschool met padel-banen. De AI was op het punt om hem naar een plaats te sturen die alleen tennisbanen had. Waarom? Omdat het ergens in de brondata een nieuwsartikel vond waarin stond dat padel-banen daar gepland waren, en het “gepland” subtiel omzette in “al bestaand”. Dit is precies wat modellen een riskant experiment in de dienstensector maakt: zelfs als de AI geen complete en accurate data heeft, stopt het niet – het improviseert.

AI-hallucinaties als bedrijfsrisico

Dit probleem is niet beperkt tot de toeristenindustrie – het ligt in de implementatie van AI zelf.

Binnen duidelijk gedefinieerde parameters werkt AI briljant. U kunt het voorzien van gestructureerde data, up-to-date API’s, en het zal u overtreffen met een grote marge. Het zal zaken sorteren volgens zeventien parameters, de regels onmiddellijk scannen en kant-en-klare ontwerpen genereren in seconden. Maar de echte wereld is ver van een gestructureerde database. De realiteit is vol van randgevallen, verouderde informatie, dubbelzinnige voorkeuren, vage bewoordingen en operationele lacunes.

Dit is precies waar hallucinaties beginnen om een bedrijfsrisico te vormen. Studies hebben herhaaldelijk gewaarschuwd dat hallucinaties het vertrouwen in één keer kunnen vernietigen, vooral wanneer een klant gepolijste maar onnauwkeurige informatie krijgt op het moment van besluitvorming. Mensen gebruiken AI-planners al op grote schaal, maar vertrouwen ontbreekt nog steeds.

HNWI’s als de ultieme stress-test voor AI

Laten we de inzet verhogen.

AI kan gemakkelijk standaardtaken uitvoeren – een voorbeeld van een dergelijke taak is het boeken van een reis van Londen naar Dubai: businessclass, een viersterrenhotel voor drie nachten. De echte stress-test is een brief van een HNWI: het is onze verjaardag. Ze noemde een restaurant in Amalfi met een blauwe deur. Ze houdt van pioenrozen maar haat rozen, en ze zal zich meer op haar gemak voelen met een chauffeur die Frans spreekt.

Een dergelijke aanvraag klinkt elegant, maar vanuit operationeel oogpunt is het een mijnenveld. Een AI-agent zal zeker opties suggereren, maar het kan ook 40% onjuiste informatie verstrekken met complete zekerheid.

Klanten in de luxueuze en HNWI-segmenten onthullen de echte beperkingen van AI sneller dan enige test, aangezien hun verzoeken niet gestandaardiseerd zijn en hun verwachtingen emotioneel, contextafhankelijk en zeer specifiek zijn. Vaker wel dan niet zijn dergelijke verzoeken moeilijk om automatisch te verifiëren.

Bovendien zal het falen om HNWI-clients effectief te bedienen niet eindigen met een eenvoudige terugbetaling. Het zal de reputatie van het bedrijf schaden, aangezien aanbevelingen en vertrouwen cruciaal belangrijk zijn in dit segment.

Echte medewerkers hebben elke dag te maken met deze hallucinaties. Ze merken het restaurant op dat toevallig gesloten is op de dinsdag dat de klant aankomt, en de snelle vijfminutenwandeling die eigenlijk een vijfentwintig minuten lange wandeling bergopwaarts met bagage blijkt te zijn. Een getrainde specialist zal geen boutique-hotel over het hoofd zien die perfect is op foto’s maar eigenlijk bedekt is met steigers vanwege renovaties.

Waarom fintech nauwkeurigheid nodig heeft, niet snelheid

We kunnen dezelfde logica toepassen op de hele fintechsector. AI kan producten analyseren, opties vergelijken, afwijkingen identificeren en aanbevelingen genereren snel en efficiënt. Maar als het om geld gaat, is er geen ruimte voor willekeurige fouten.

Fintech-bedrijven betalen de prijs voor door automatisering genomen beslissingen – in de vorm van verloren klantvertrouwen. Succesvolle bedrijven implementeren controlemechanismen vanaf het begin, in plaats van ze achteraf in te voeren als de schade al is aangericht; het juiste model omvat menselijk toezicht.

Een extra verificatielaag is vereist tussen de AI en de klant – een fase waarin het resultaat grondig wordt geverifieerd en veilig is. In gebieden waar de kosten van fouten hoog zijn, wordt deze laag de basis van het product.

Een nuttiger concept is infrastructuur. AI moet zich richten op gestructureerde taken: onderzoek, sorteren, vergelijken en opstellen. In dit proces moeten mensen de eindbeslissingen nemen. Na verloop van tijd zullen sommige werkprocessen stabiel genoeg worden om volledig geautomatiseerd te worden. Op dat moment zal het waarschijnlijk mogelijk zijn om een basislijn vast te stellen, maar dit moet worden gedaan op basis van bewijs, niet op geloof.

Deze ideeën kunnen minder inspirerend klinken dan de volledig autonome toekomst, maar dit is precies hoe serieuze bedrijven uiteindelijk zullen slagen.