Im bardziej krytyczna decyzja, tym mniej AI powinno działać samodzielnie

Agenci AI mają wyraźnie problem, który jest zamaskowany jako prezentacja ich zalet. Agent mówi z pewnością siebie i pisze elegancko, przetwarzając informacje szybciej niż człowiek. To może dać wrażenie, że AI jest gotowy do działania autonomicznego. W rzeczywistości, jak tylko decyzja dotyczy prawdziwych pieniędzy, oczekiwań klientów i zaufania, AI nie powinno być systemem autonomicznym, ponieważ nadal potrzebuje nadzoru dorosłych.

Ta lekcja nie została wywnioskowana z teorii – została poznana przez testowanie, kiedy AI luksusowego serwisu lifestyle był w stanie współpracować z prawdziwymi klientami.

Dobrze znane porady, które mogą być niebezpieczne

W wczesnych testach aplikacji zarządzania stylem życia opartej na AI, system wydawał się imponujący na pierwszy rzut oka. Mógł on skompilować listę restauracji, zasugerować opcje rozrywki, sporządzić plany lokalnych aktywności i połączyć wszystko to w jasne, wysokiej jakości rekomendacje. Ale w około 15% przypadków po prostu wymyślał szczegóły – i robił to w sposób wystarczająco przekonywujący, aby być wiarygodnym.

Istnieje przykład, który uczynił ten problem niemożliwym do zignorowania: AI zarekomendował restaurację w Dubaju, która była zamknięta osiem miesięcy wcześniej. Kiedy został o to zapytany, nie zawahał się ani nie przyznał, że popełnił błąd. Agent podwoił stawkę, wymyślając recenzję i cytując ją.

Innym razem agent AI pomylił stragany z jedzeniem na ulicy z restauracją z gwiazdką Michelin, ponieważ nazwy były trochę podobne. Jeśli człowiek nie sprawdziłby zamówienia, klient serwisu concierge mógłby skończyć z kolacją, która nie była w ogóle taka, jak planowana.

Potem był incydent z grą w padla. Klient zapytał o klub sportowy z kortami do padla. AI był gotowy skierować go do miejsca, które miało tylko korty tenisowe. Dlaczego? Ponieważ gdzieś w danych źródłowych znalazł artykuł prasowy, który mówił, że korty do padla są planowane do budowy, i subtelnie zamienił “planowane” na “już istnieją”. To właśnie sprawia, że modele są ryzykownym eksperymentem w sektorze usług: nawet jeśli AI nie ma kompletnych i dokładnych danych, nie przestaje – improwizuje.

Halucynacje AI jako zagrożenie biznesowe

Ten problem nie jest w żaden sposób ograniczony do branży turystycznej – leży on w samym wdrożeniu AI.

W ramach wyraźnie określonych parametrów AI działa genialnie. Można mu dostarczyć strukturalne dane, aktualne API i wyprzedzi nas o dużą różnicę. Będzie sortował przypadki według siedemnastu parametrów, natychmiast skanował reguły i generował gotowe do użycia projekty w sekundach. Ale prawdziwy świat jest daleko od strukturalnej bazy danych. Rzeczywistość jest pełna przypadków granicznych, nieaktualnych informacji, niejasnych preferencji, niejasnego sformułowania i luk operacyjnych.

To właśnie tutaj halucynacje zaczynają stanowić zagrożenie biznesowe. Badania wielokrotnie ostrzegały, że halucynacje mogą natychmiast zniszczyć zaufanie, zwłaszcza gdy klient otrzymuje dopracowaną, ale nieprawidłową informację w momencie podejmowania decyzji. Ludzie już szeroko używają planistów AI, ale zaufanie nadal brakuje.

HNWI jako ostateczny test stresowy dla AI

Teraz zwiększmy stawkę.

AI łatwo radzi sobie z zadaniami standardowymi – przykładem takiego zadania jest zarezerwowanie podróży z Londynu do Dubaju: klasa biznesowa, hotel czterogwiazdkowy na trzy noce. Prawdziwy test stresowy to brief od HNWI: to nasza rocznica. Wspomniała o restauracji w Amalfi z niebieskimi drzwiami. Kocha piwonie, ale nienawidzi róż, i będzie się czuła bardziej komfortowo z kierowcą, który mówi po francusku.

Taki wniosek brzmi elegancko, ale z punktu widzenia operacyjnego jest to pole minowe. Agent AI na pewno zasugeruje opcje, ale może również dostarczyć 40% nieprawidłowych informacji z całkowitą pewnością.

Klienci w segmencie luksusowym i HNWI ujawniają prawdziwe ograniczenia AI szybciej niż jakikolwiek test, ponieważ ich wnioski nie są standaryzowane, a ich oczekiwania są emocjonalne, zależne od kontekstu i wysoko wyspecjalizowane. Bardzo często takie wnioski są trudne do weryfikacji automatycznie.

Ponadto niepowodzenie w obsłudze klientów HNWI nie skończy się na prostym zwrocie pieniędzy. Zniszczy reputację firmy, ponieważ rekomendacje i zaufanie są niezwykle ważne w tym segmencie.

Prawdziwi pracownicy mają do czynienia z tymi halucynacjami każdego dnia. Zauważają restaurację, która akurat jest zamknięta w wtorek, kiedy klient przyjeżdża, i szybki pięciominutowy spacer, który okazuje się dwudziestopięciominutowym wzniesieniem z bagażem. Wytrenowany specjalista nie pominie hotelu butikowego, który wygląda idealnie na zdjęciach, ale jest w reality pokryty rusztowaniami z powodu remontu.

Dlaczego fintech wymaga dokładności, a nie szybkości

Możemy zastosować tę samą logikę do całego sektora fintech. AI może analizować produkty, porównywać opcje, identyfikować anomalie i generować rekomendacje szybko i efektywnie. Ale kiedy chodzi o pieniądze, nie ma tolerancji dla losowych błędów.

Firmy fintech płacą teraz cenę za decyzje podejmowane przez automatyzację – w postaci utraconego zaufania klientów. Udane firmy wdrażają mechanizmy kontroli na wczesnym etapie, zamiast wprowadzać je retroaktywnie, gdy już została wyrządzona szkoda; właściwy model obejmuje nadzór ludzki.

Wymagana jest dodatkowa warstwa weryfikacji między AI a klientem – etap, na którym wynik jest starannie sprawdzony i zabezpieczony. W dziedzinach, w których koszt błędu jest wysoki, ta warstwa staje się podstawą produktu.

Bardziej przydatnym pojęciem jest infrastruktura. AI powinno się skupić na zadaniami strukturalnymi: badaniach, sortowaniu, porównywaniu i tworzeniu projektów. W tym procesie ludzie powinni podejmować ostateczne decyzje. Z czasem niektóre procesy pracy staną się wystarczająco stabilne, aby zostać w pełni zautomatyzowane. W tym momencie prawdopodobnie będzie możliwe ustalenie podstawy, ale powinno to być dokonane na podstawie dowodów, a nie wiary.

Te pomysły mogą brzmieć mniej inspirująco niż w pełni autonomiczna przyszłość, ale to właśnie w ten sposób poważne firmy ostatecznie odnoszą sukces.