Jo kritiskere beslutningen er, jo mindre bør AI arbeide alene

AI-agenter har åpenbart et problem som er forkledd som en fremstilling av deres fordeler. Agenten snakker med tillit og skriver elegant, prosesserer informasjon raskere enn et menneske. Dette kan gi inntrykk av at AI er klar til å operere autonomt. I virkeligheten, så snart et valg involverer ekte penger, kundeforståelse og tillit, bør AI ikke være et autonomt system, fordi det fortsatt trenger voksen tilsyn.

Denne læren ble ikke avledet fra teori – den ble lært gjennom testing, da AI i luksuslivsstilservicen kunne samhandle med ekte kunder.

Velmenende råd som kan være farlige

I tidlige tester av AI-drevne livsstilsadministrasjonsappen, virket systemet imponerende ved første øyekast. Det kunne kompilere en kortliste over restauranter, foreslå underholdningsalternativer, utarbeide reiseplaner for lokale aktiviteter, og kombinere all dette inn i klare, høykvalitets anbefalinger. Men i omtrent 15% av tilfellene, fant den bare opp detaljene – og gjorde det på en overbevisende måte til å være troverdig.

Det er et eksempel som gjorde dette problemet umulig å ignorere: AI anbefalte en restaurant i Dubai som hadde stengt åtte måneder tidligere. Når den ble spurt om det, nølte den ikke eller innrømmet at den hadde gjort en feil. Agenten doblet ned og fabrikkerte en anmeldelse og siterte den.

En annen gang, forvekslet agenten en gatekant-snackbar med en michelinstjernede restaurant fordi navnene var noenlunde like. Hvis et menneske ikke hadde gjennomgått bestillingen, kunne kunden til konserneservicen ha endt opp med en middag som ikke var noe som var planlagt.

Så var det hendelsen med padelspillet. En kunde spurte om en sportsklubb med padelbaner. AI var på vei til å sende ham til et sted som bare hadde tennisbaner. Hvorfor? Fordi et sted i kildedataene, fant den en nyhetsartikkel som sa at padelbaner var planlagt å bygges der, og den konverterte subtilt “planlagt” til “allerede eksisterer”. Dette er nøyaktig hva som gjør modellene til en risikabel eksperiment i servicenæringen: selv om AI ikke har fullstendig og nøyaktig data, stopper den ikke – den improviserer.

AI-hallusinasjoner som forretningsmessig trussel

Dette problemet er på ingen måte begrenset til reiseindustrien – det ligger i implementeringen av AI selv.

Innenfor tydelig definerte parametre, fungerer AI strålende. Du kan gi det strukturert data, oppdaterte API-er, og det vil overgå deg med et stort margin. Det vil sortere saker etter sytten parametre, skanne regler på en gang, og generere ferdige utkast i sekunder. Men den virkelige verden er langt fra en strukturert database. Virkeligheten er full av spesialtilfeller, foreldet informasjon, tvetydige preferanser, vagt formulering og operasjonelle hull.

Dette er nøyaktig der hallusinasjoner begynner å utgjøre en forretningsmessig risiko. Studier har gjentatte ganger advart om at hallusinasjoner kan øyeblikkelig ødelegge tillit, spesielt når en kunde mottar polert, men nøyaktig informasjon i øyeblikket for beslutning. Folk er allerede i stor utstrekning bruker AI-planleggere, men tillit mangler.

HNWI-er som den ultimate stresstesten for AI

La oss nå heve innsatsen.

AI håndterer lett standardoppgaver – et eksempel på en slik oppgave er å bestille en reise fra London til Dubai: forretningsklasse, et firestjerners hotell for tre netter. Den virkelige stresstesten er en oppgave fra en HNWI: det er vår bryllupsdag. Hun nevnte en restaurant i Amalfi med en blå dør. Hun elsker pæoner, men hater roser, og hun vil føle seg mer komfortabel med en sjåfør som snakker fransk.

Slike forespørsler lyder elegante, men fra et operasjonelt ståsted, er det en minefelt. En AI-agent vil uten tvil foreslå alternativer, men den kan også gi 40% feil informasjon med full tillit.

Kunder i luksus- og HNWI-segmentene avslører de virkelige begrensningene til AI raskere enn noen test kunne, siden deres forespørsler ikke er standardiserte, og deres forventninger er emosjonelle, kontekstavhengige og høyt spesifikke. Mer ofte enn ikke, er slike forespørsler vanskelige å verifisere automatisk.

I tillegg vil feil i å betjene HNWI-kunder ikke slutte med en enkel refund. Det vil skade selskapets omdømme, siden anbefalinger og tillit er kritisk viktige i dette segmentet.

Ekte ansatte håndterer disse hallusinasjonene hver dag. De legger merke til restauranten som skjer til å være stengt på denaktige tirsdag kunden ankommer, og den rask fem-minutters spasertur som faktisk viser seg å være en femogtyve-minutters oppoverbakke med bagasje. En trent spesialist vil ikke overse en boutiquehotell som ser perfekt ut på bilder, men faktisk er dekket av stillas for å renovere.

Hvorfor fintech-trenger nøyaktighet, ikke hastighet

Vi kan anvende samme logikk på hele fintech-sektoren. AI kan analysere produkter, sammenligne alternativer, identifisere anomalier og generere anbefalinger raskt og effektivt. Men når det gjelder penger, er det null toleranse for tilfeldige feil.

Fintech-selskaper betaler nå prisen for beslutninger tatt av automatisering – i form av tap av kundetillit. Suksessfulle selskaper implementerer kontrollmekanismer tidlig, i stedet for å introdusere dem retrospektivt når skaden allerede er skjedd; den riktige modellen innebærer menneskelig tilsyn.

En ekstra verifiseringslag er nødvendig mellom AI og kunden – et stadium hvor resultatet blir grundig verifisert og sikret. I felt hvor feilens kostnad er høy, blir dette laget grunnlaget for produktet.

En mer nyttig konsept er infrastruktur. AI bør fokusere på strukturerte oppgaver: forskning, sortering, sammenligning og utarbeidelse. I denne prosessen bør mennesker ta de endelige beslutningene. Over tid vil noen arbeidsprosesser bli stabile nok til å bli fullstendig automatisert. På det tidspunktet vil det sannsynligvis være mulig å etablere en basis, men dette bør gjøres basert på bevis, ikke på tro.

Disse idéene kan høres mindre inspirerende enn den fullstendig autonome fremtiden, men dette er nettopp hvordan alvorlige selskaper ultimate vil lykkes.