Ju mer kritiska beslut, desto mindre bör AI arbeta ensam

AI-agenter har tydligtvis ett problem som maskeras som en presentation av deras fördelar. Agenten talar med tillförsikt och skriver elegant, bearbetar information snabbare än en människa. Detta kan ge intrycket att AI är redo att fungera autonomt. I verkligheten, så snart ett beslut involverar riktiga pengar, kundförväntningar och förtroende, bör AI inte vara ett autonomt system, eftersom det fortfarande behöver vuxen översyn.

Denna lärdom härrör inte från teori – den lärdes genom testning, när AI i lyxlivsstilsservicen kunde interagera med riktiga kunder.

Välmenande råd som kan vara farligt

I tidiga tester av AI-drivna livsstilsappar, tycktes systemet imponerande vid första anblicken. Det kunde sammanställa en kortlista över restauranger, föreslå underhållningsalternativ, utarbeta itinerarier för lokala aktiviteter och kombinera allt detta till tydliga, högkvalitativa rekommendationer. Men i cirka 15% av fallen, hittade det helt enkelt på detaljerna – och gjorde det på ett övertygande sätt så att det var trovärdigt.

Det finns ett exempel som gjorde detta problem omöjligt att ignorera: AI rekommenderade en restaurang i Dubai som hade stängt åtta månader tidigare. När den tillfrågades om det, tvekade den inte eller medgav att den hade gjort ett misstag. Agenten backade upp genom att fabricera en recension och citera den.

En annan gång, förväxlade agenten en gatukantrestaurang med en michelinstjärnig restaurang eftersom namnen var något lika. Om en människa inte hade granskat beställningen, kunde kundtjänstens kund ha hamnat i en middag som inte alls var vad som var planerat.

Sedan var det incidenten med padelspelet. En kund frågade om en idrottsklubb med padelbanor. AI var på väg att dirigera honom till en plats som endast hade tennisbanor. Varför? Eftersom den någonstans i källdata hittade en nyhetsartikel som angav att padelbanor var planerade att byggas där, och den subtilt omvandlade “planerad” till “redan existerar”. Detta är exakt vad som gör modellerna till en riskabel experiment i servicebranschen: även om AI inte har fullständig och korrekt data, slutar den inte – den improviserar.

AI-hallucinationer som affärsrisk

Detta problem är på inget sätt begränsat till turistbranschen – det ligger i implementeringen av AI själv.

Inom tydligt definierade parametrar fungerar AI utmärkt. Du kan tillhandahålla det med strukturerad data, uppdaterade API:er, och det kommer att överträffa dig med stor marginal. Det kommer att sortera fall enligt sjutton parametrar, genast skanna reglerna och generera färdiga utkast på några sekunder. Men den riktiga världen är långt ifrån en strukturerad databas. Verkligheten är full av undantagsfall, föråldrad information, tvetydiga preferenser, otydliga ord och operativa luckor.

Detta är exakt där hallucinationer börjar utgöra en affärsrisk. Studier har upprepade gånger varnat för att hallucinationer kan omedelbart förstöra förtroendet, särskilt när en kund får polerad men inkorrekt information i beslutsögonblicket. Människor använder redan AI-planerare i stor utsträckning, men förtroendet saknas fortfarande.

HNWI:er som den ultimata stressprovningsstenen för AI

Låt oss höja insatserna.

AI hanterar lätt standarduppgifter – ett exempel på en sådan uppgift är att boka en resa från London till Dubai: business class, ett fyra-stjärnigt hotell i tre nätter. Den riktiga stressprovningsstenen är en begäran från en HNWI: det är vår bröllopsdag. Hon nämnde en restaurang i Amalfi med en blå dörr. Hon älskar pioner men avskyr rosor, och hon kommer att känna sig mer bekväm med en chaufför som talar franska.

En sådan begäran låter elegant, men från ett operativt perspektiv är det en minerad zon. En AI-agent kommer säkert att föreslå alternativ, men den kan också tillhandahålla 40% felaktig information med fullständig tillförsikt.

Kunder i lyx- och HNWI-segmenten avslöjar AI:s verkliga begränsningar snabbare än något test skulle kunna, eftersom deras begäran inte är standardiserade och deras förväntningar är emotionella, kontextberoende och högt specifika. Mer oftänkt än inte är sådana begäran svåra att verifiera automatiskt.

Dessutom kommer misslyckandet att betjäna HNWI-klienter effektivt inte att sluta med en enkel återbetalning. Det kommer att skada företagets rykte, eftersom rekommendationer och förtroende är avgörande viktiga i detta segment.

Riktiga anställda hanterar dessa hallucinationer varje dag. De märker restaurangen som råkar vara stängd på den tisdag kunden anländer, och den snabba femminuterspromenaden som faktiskt visar sig vara en tjugofemminuters uppförsbacke med bagage. En utbildad specialist kommer inte att förbise en boutiquehotell som ser perfekt ut på foton men faktiskt är täckt av ställningar på grund av renoveringar.

Varför fintech kräver noggrannhet, inte hastighet

Vi kan tillämpa samma logik på hela fintech-sektorn. AI kan analysera produkter, jämföra alternativ, identifiera avvikelser och generera rekommendationer snabbt och effektivt. Men när det gäller pengar, finns det noll tolerans för slumpmässiga fel.

Fintech-företag betalar plötsligt priset för beslut fattade av automatisering – i form av förlorat kundförtroende. Framgångsrika företag implementerar kontrollmekanismer tidigt, snarare än att införa dem i efterhand när skadan redan är skedd; den riktiga modellen innefattar mänsklig översyn.

En ytterligare verifieringslager krävs mellan AI och kunden – en etapp där resultatet noggrant verifieras och säkerställs. I områden där felets kostnad är hög, blir detta lager grunden för produkten.

En mer användbar koncept är infrastruktur. AI bör fokusera på strukturerade uppgifter: forskning, sortering, jämförelse och utkast. I denna process bör människor fatta de slutliga besluten. Över tiden kommer vissa arbetsprocesser att bli stabila nog för att vara fullständigt automatiserade. Vid den tidpunkten kommer det troligen att vara möjligt att etablera en baslinje, men detta bör göras baserat på bevis, inte på tro.

Dessa idéer kan låta mindre inspirerande än den fullständigt autonoma framtiden, men detta är exakt hur allvarliga företag kommer att lyckas i slutändan.