Cu cât decizia este mai critică, cu atât AI ar trebui să lucreze mai puțin singur

Agentați AI au, în mod evident, o problemă care se prezintă sub forma unui discurs despre avantajele lor. Agentul vorbește cu încredere și scrie elegant, procesând informații mai repede decât un om. Acest lucru poate crea impresia că AI-ul este gata să funcționeze în mod autonom. În realitate, de îndată ce o decizie implică bani reali, așteptări ale clienților și încredere, AI-ul nu ar trebui să fie un sistem autonom, deoarece încă are nevoie de supravegherea unui adult.

Această lecție nu a fost derivată din teorie – a fost învățată prin testare, când AI-ul serviciului de lifestyle de lux a putut interacționa cu clienți reali.

Sfaturi bine-intenționate care pot fi periculoase

În testele inițiale ale aplicației de management de lifestyle bazată pe AI, sistemul a părut impresionant la prima vedere. A putut compila o listă scurtă de restaurante, a sugerat opțiuni de divertisment, a creat itinerarii pentru activități locale și a combinat toate acestea în recomandări clare și de calitate. Dar în aproximativ 15% din cazuri, a inventat pur și simplu detaliile – și a făcut-o într-un mod suficient de convingător pentru a fi credibil.

Există un exemplu care a făcut această problemă imposibil de ignorat: AI-ul a recomandat un restaurant din Dubai care fusese închis cu opt luni înainte. Când a fost întrebat despre acesta, nu a ezitat și nici nu a admis că a făcut o greșeală. Agentul a insistat și a fabricat o recenzie și a citat-o.

O altă dată, agentul a confundat un bar de snack de pe stradă cu un restaurant cu stele Michelin pentru că numele erau similare. Dacă un om nu ar fi verificat comanda, clientul serviciului de concierge ar fi putut să se trezească cu o cină care nu semăna deloc cu ce fusese planificat.

Apoi a fost incidentul cu jocul de padel. Un client a întrebat despre un club sportiv cu terenuri de padel. AI-ul a fost pe punctul de a-l direcționa către un loc care avea doar terenuri de tenis. De ce? Pentru că undeva în datele sursă, a găsit un articol de știri care spunea că terenurile de padel urmau să fie construite acolo, și a transformat subtil “urmează să fie construite” în “există deja”. Acesta este exact ceea ce face ca modelele să fie un experiment riscant în sectorul serviciilor: chiar dacă AI-ul nu are date complete și precise, nu se oprește – improvizează.

Halucinațiile AI ca amenințare pentru afaceri

Această problemă nu este deloc limitată la industria turismului – se află în însăși implementarea AI.

În parametri clar definiți, AI funcționează briliant. Puteți să-i oferiți date structurate, API-uri actualizate, și va depăși cu mult performanța dumneavoastră. Va sorta cazurile în funcție de 17 parametri, va scana instantaneu regulile și va genera proiecte gata de utilizat în secunde. Dar lumea reală este departe de a fi o bază de date structurată. Realitatea este plină de cazuri limită, informații învechite, preferințe ambigue, formulări vagi și lacune operaționale.

Acesta este exact locul în care halucinațiile încep să reprezinte un risc pentru afaceri. Studiile au avertizat în mod repetat că halucinațiile pot distruge instantaneu încrederea, mai ales atunci când un client primește informații polițe și inexacte în momentul luării deciziilor. Oamenii sunt deja foarte utilizați planificatori AI, dar încrederea lipsește.

HNWI ca test de stres final pentru AI

Acum să ridicăm miza.

AI gestionează cu ușurință sarcinile standard – un exemplu de astfel de sarcină este rezervarea unei călătorii de la Londra la Dubai: clasa business, hotel de patru stele pentru trei nopți. Testul de stres real este un brief de la un HNWI: este aniversarea noastră. Ea a menționat un restaurant din Amalfi cu o ușă albastră. Ea iubește paeonii, dar urăște trandafirii, și se va simți mai confortabil cu un șofer care vorbește franceza.

Un astfel de request sună elegant, dar din punct de vedere operațional, este o mină. Un agent AI va sugera, fără îndoială, opțiuni, dar poate furniza și 40% informații incorecte cu încredere deplină.

Clienții din segmentele de lux și HNWI dezvăluie limitele reale ale AI mai repede decât orice test ar putea, deoarece solicitările lor nu sunt standardizate, și așteptările lor sunt emoționale, dependente de context și foarte specifice. Mai des decât nu, astfel de solicitări sunt dificil de verificat în mod automat.

Mai mult decât atât, eșecul de a servi clienții HNWI în mod eficient nu se va încheia cu o simplă rambursare. Va dăuna reputației companiei, deoarece recomandările și încrederea sunt crucial de importante în acest segment.

Angajații reali se confruntă cu aceste halucinații în fiecare zi. Ei observă restaurantul care se întâmplă să fie închis în acea marți când clientul sosește, și scurta plimbare de cinci minute care se dovedește a fi o plimbare de 25 de minute în pantă, cu bagaje. Un specialist instruit nu va ignora un hotel boutique care arată perfect în fotografii, dar este de fapt acoperit cu șantier din cauza renovărilor.

De ce fintech-ul necesită acuratețe, nu viteză

Putem aplica aceeași logică întregului sector fintech. AI poate analiza produse, compara opțiuni, identifica anomalii și genera recomandări rapid și eficient. Dar atunci când vine vorba de bani, nu există toleranță pentru erori aleatorii.

Companiile fintech plătesc prețul pentru deciziile luate de automatizare – sub forma pierderii încrederii clienților. Companiile de succes implementează mecanisme de control de la început, și nu introduc retroactiv odată ce daunele au fost deja făcute; modelul corect implică supravegherea umană.

Un strat suplimentar de verificare este necesar între AI și client – o etapă în care rezultatul este verificat și securizat. În domenii în care costul erorii este ridicat, acest strat devine fundamentul produsului.

Un concept mai util este infrastructura. AI ar trebui să se concentreze asupra sarcinilor structurate: cercetare, sortare, comparație și redactare. În acest proces, oamenii ar trebui să ia deciziile finale. În timp, unele procese de lucru vor deveni suficient de stabile pentru a fi complet automate. În acel moment, va fi probabil posibil să se stabilească un nivel de referință, dar acesta ar trebui să fie făcut pe baza evidențelor, nu a credinței.

Aceste idei pot părea mai puțin inspirate decât viitorul complet autonom, dar acesta este exact modul în care companiile serioase vor reuși în cele din urmă.