Jo mere kritisk beslutningen er, jo mindre bør AI arbejde alene

AI-agenter har åbenbart et problem, der er forkledt som en præsentation af deres fordele. Agenten taler med sikkerhed og skriver elegant, og processerer informationer hurtigere end et menneske. Dette kan give indtryk af, at AI er klar til at fungere autonomt. I virkeligheden er det, så snart en beslutning indebærer rigtige penge, kundernes forventninger og tillid, AI ikke bør være et autonomt system, fordi det stadig behøver voksen tilsyn.

Denne lære blev ikke afledt af teori – det blev lært gennem test, da AI i luksuslivsstilservice kunne interagere med rigtige kunder.

Velmenende råd, der kan være farlige

I de tidlige tests af den AI-drevne livsstilsstyringsapp, så systemet imponerende ud på første hånd. Det kunne samle en kortliste over restauranter, foreslå underholdningsmuligheder, udarbejde rejsedagsordener for lokale aktiviteter og kombinere alt dette i klare, højkvalitetsanbefalinger. Men i cirka 15% af tilfældene opfandt det simpelthen detaljerne – og gjorde det så overbevisende, at det var troværdigt.

Der er et eksempel, der gjorde dette problem umuligt at ignorere: AI anbefalede en restaurant i Dubai, der havde lukket otte måneder tidligere. Når man spurgte om det, tøvede det ikke eller indrømmede, at det havde begået en fejl. Agenten fastholdt sin beslutning ved at fabrikere en anmeldelse og citerede den.

En anden gang forvekslede Agent en gadekant-snackbar med en Michelin-stjernede restaurant, fordi navnene var lidt ens. Hvis et menneske ikke havde gennemgået ordren, kunne kunden i luksus- og HNWI-segmentet være endt med en middag, der ikke var, som det var planlagt.

Så var der episoden med padel-spillet. En kunde spurgte om en sportsklub med padel-baner. AI var ved at dirigere ham til et sted, der kun havde tennisbaner. Hvorfor? Fordi et sted i kildekoden fandt en nyhedsartikel, der sagde, at padel-baner var planlagt til at blive bygget der, og det omformede “planlagt” til “allerede eksisterer”. Dette er præcis, hvad der gør modeller til en risikabel eksperiment i service-sektoren: selv om AI ikke har komplet og præcis data, stopper det ikke – det improviserer.

AI-hallucinationer som forretnings-trussel

Dette problem er på ingen måde begrænset til turismebranchen – det ligger i implementeringen af AI selv.

Inden for tydeligt definerede parametre fungerer AI briljant. Du kan give det struktureret data, opdaterede API’er, og det vil overgå dig med en stor margin. Det vil sortere sager efter sytten parametre, scanne reglerne og generere klar-drafts i sekunder. Men den virkelige verden er langt fra en struktureret database. Virkeligheden er fuld af edge-cases, forældede informationer, tvetydige præferencer, vagt formulerede ord og operationelle huller.

Dette er præcis, hvor hallucinationer begynder at udgøre en forretnings-risiko. Studier har gentagne gange advaret om, at hallucinationer kan ødelægge tillid på få sekunder, især når en kunde modtager polerede, men ukorrekte oplysninger i øjeblikket for beslutningstagning. Mennesker er allerede flittigt brugende AI-planlæggere, men tillid mangler stadig.

HNWI’er som den ultimative stresstest for AI

Lad os nu hæve indsatsen.

AI kan nemt klare standardopgaver – et eksempel på en sådan opgave er at booke en rejse fra London til Dubai: business class, et firestjernet hotel i tre nætter. Den virkelige stresstest er en brief fra en HNWI: det er vores bryllupsdag. Hun nævnte en restaurant i Amalfi med en blå dør. Hun elsker pæoner, men hadede roser, og hun vil føle sig mere komfortabel med en chauffør, der taler fransk.

En sådan anmodning lyder elegant, men fra et operativt synspunkt er det en minefelt. En AI-agent vil sandsynligvis foreslå muligheder, men det kan også give 40% forkert information med fuld sikkerhed.

Kunder i luksus- og HNWI-segmentet afslører AI’s virkelige begrænsninger hurtigere end nogen test kunne, da deres anmodninger ikke er standardiserede, og deres forventninger er emotionelle, kontekstafhængige og højst specifikke. Ofte er sådanne anmodninger svære at verificere automatisk.

Desuden vil fiasko i at betjene HNWI-kunderne ikke slutte med en simpel refusion. Det vil skade virksomhedens rygte, da anbefalinger og tillid er afgørende vigtige i dette segment.

Rigtige medarbejdere håndterer disse hallucinationer hver dag. De bemærker restauranten, der tilfældigvis er lukket på den pågældende tirsdag, da kunden ankommer, og den hurtige fem-minutters gåtur, der i virkeligheden viser sig at være en 25-minutters stejlgående tur med bagage. En trænet specialist vil ikke overse en boutique-hotel, der ser perfekt ud på billeder, men i virkeligheden er dækket af stillads på grund af renovering.

Hvorfor fintech kræver præcision, ikke hast

Vi kan anvende samme logik på hele fintech-sektoren. AI kan analysere produkter, sammenligne muligheder, identificere anomalier og generere anbefalinger hurtigt og effektivt. Men når det kommer til penge, er der zero tolerance for tilfældige fejl.

Fintech-virksomheder betaler pludselig prisen for beslutninger, der er truffet af automatisering – i form af tabt kundetillid. Succesfulde virksomheder implementerer kontrolmekanismer tidligt, snarere end at introducere dem retroaktivt, når skaden allerede er sket; den rigtige model indebærer menneskelig tilsyn.

En yderligere verificeringslag er nødvendig mellem AI og kunden – et stadie, hvor resultatet grundigt verificeres og sikres. I felter, hvor fejlens omkostning er høj, bliver dette lag grundlaget for produktet.

Et mere nyttigt begreb er infrastruktur. AI bør fokusere på strukturerede opgaver: forskning, sortering, sammenligning og udarbejdelse. I denne proces bør mennesker træffe de endelige beslutninger. Over tid vil nogle arbejdsprocesser blive stabile nok til at blive fuldt automatiserede. På det tidspunkt vil det sandsynligvis være muligt at etablere en baseline, men dette bør gøres på baggrund af beviser, ikke på tro.

Disse idéer kan lyde mindre inspirerende end den fuldt autonome fremtid, men dette er præcis, hvordan seriøse virksomheder vil lykkes i sidste ende.