Più Critica è la Decisione, Meno l’AI Dovrebbe Lavorare da Solo

Gli agenti di intelligenza artificiale hanno chiaramente un problema che è mascherato come un discorso sui loro vantaggi. L’agente parla con fiducia e scrive elegantemente, elaborando le informazioni più velocemente di un essere umano. Ciò può dare l’impressione che l’AI sia pronta a funzionare in modo autonomo. In realtà, non appena una decisione coinvolge denaro reale, aspettative dei clienti e fiducia, l’AI non dovrebbe essere un sistema autonomo, perché ha ancora bisogno di una supervisione adulta.

Questa lezione non è stata derivata dalla teoria – è stata appresa attraverso test, quando l’AI del servizio di lifestyle di lusso è stato in grado di interagire con clienti reali.

Consigli benevoli che possono essere pericolosi

Nei primi test dell’app di gestione dello stile di vita basata sull’AI, il sistema sembrava impressionante a prima vista. Poteva compilare un elenco di ristoranti, suggerire opzioni di intrattenimento, redigere itinerari per attività locali e combinare tutto ciò in raccomandazioni chiare e di alta qualità. Ma nel 15% dei casi, semplicemente inventava i dettagli – e lo faceva in modo convincente abbastanza da essere credibile.

C’è un esempio che ha reso questo problema impossibile da ignorare: l’AI ha consigliato un ristorante a Dubai che era stato chiuso otto mesi prima. Quando gli è stato chiesto, non ha esitato o ammesso di aver fatto un errore. L’agente ha raddoppiato la posta inventando una recensione e citandola.

Un’altra volta, l’agente ha scambiato un bar di snack per strada per un ristorante con stella Michelin perché i nomi erano simili. Se un essere umano non avesse esaminato l’ordine, il cliente del servizio di concierge potrebbe essere finito con una cena che non era nulla di ciò che era stato pianificato.

Poi c’è stato l’incidente con il gioco di padel. Un cliente ha chiesto informazioni su un club sportivo con campi da padel. L’AI stava per indirizzarlo in un posto che aveva solo campi da tennis. Perché? Perché da qualche parte nei dati di origine, aveva trovato un articolo di notizie che affermava che i campi da padel erano stati pianificati per essere costruiti lì, e li aveva sottilmente convertiti da “pianificati” a “già esistenti”. Questo è esattamente ciò che rende i modelli un esperimento rischioso nel settore dei servizi: anche se l’AI non ha dati completi e precisi, non si ferma – improvvisa.

Le allucinazioni dell’AI come minaccia commerciale

Questo problema non è affatto limitato al settore del turismo – si trova nell’implementazione stessa dell’AI.

All’interno di parametri chiaramente definiti, l’AI funziona in modo brillante. Puoi fornirle dati strutturati, API aggiornate e supererà di gran lunga le tue prestazioni. Ordinerà i casi in base a diciassette parametri, scansionerà istantaneamente le regole e genererà bozzetti pronti all’uso in pochi secondi. Ma il mondo reale è ben lontano da un database strutturato. La realtà è piena di casi limite, informazioni obsolete, preferenze ambigue, parole vaghe e lacune operative.

È proprio qui che le allucinazioni iniziano a rappresentare un rischio commerciale. Studi hanno ripetutamente avvertito che le allucinazioni possono distruggere immediatamente la fiducia, soprattutto quando un cliente riceve informazioni raffinate ma inaccurate nel momento della presa di decisione. Le persone stanno già utilizzando ampiamente i pianificatori di viaggio AI, ma la fiducia rimane carente.

Gli HNWI come test di stress definitivo per l’AI

Alziamo la posta.

L’AI gestisce facilmente i compiti standard – un esempio di tale compito è la prenotazione di un viaggio da Londra a Dubai: classe business, hotel a quattro stelle per tre notti. Il vero test di stress è un briefing di un HNWI: è il nostro anniversario. Ha menzionato un ristorante ad Amalfi con una porta blu. Ama le peonie ma odia le rose e si sentirà più a suo agio con un autista che parla francese.

Una tale richiesta sembra elegante, ma dal punto di vista operativo, è un campo minato. Un agente AI suggerirà certamente opzioni, ma potrebbe anche fornire il 40% di informazioni errate con completa fiducia.

I clienti nel settore del lusso e degli HNWI rivelano i limiti reali dell’AI più velocemente di qualsiasi test potrebbe, poiché le loro richieste non sono standardizzate e le loro aspettative sono emotive, dipendenti dal contesto e altamente specifiche. Più spesso di quanto non si pensi, tali richieste sono difficili da verificare automaticamente.

Inoltre, il fallimento nel servire efficacemente i clienti HNWI non si concluderà con un semplice rimborso. Danneggerà la reputazione dell’azienda, poiché le raccomandazioni e la fiducia sono crucialmente importanti in questo settore.

I dipendenti reali trattano queste allucinazioni ogni giorno. Notano il ristorante che capita di essere chiuso proprio il martedì in cui il cliente arriva e la breve passeggiata di cinque minuti che in realtà si rivela essere una camminata in salita di venticinque minuti con bagagli. Uno specialista addestrato non trascurerà un albergo boutique che sembra perfetto nelle foto ma è in realtà coperto da impalcature a causa di ristrutturazioni.

Perché la fintech richiede accuratezza, non velocità

Possiamo applicare la stessa logica all’intero settore della fintech. L’AI può analizzare prodotti, confrontare opzioni, identificare anomalie e generare raccomandazioni in modo rapido ed efficiente. Ma quando si tratta di denaro, non c’è tolleranza per errori casuali.

Le aziende di fintech stanno pagando il prezzo per le decisioni prese dall’automazione – sotto forma di perdita di fiducia dei clienti. Le aziende di successo implementano meccanismi di controllo fin dall’inizio, piuttosto che introdurli retroattivamente una volta che il danno è già stato fatto; il modello appropriato prevede la supervisione umana.

È richiesto un ulteriore strato di verifica tra l’AI e il cliente – una fase in cui il risultato viene verificato a fondo e reso sicuro. In campi in cui il costo dell’errore è alto, questo strato diventa la base del prodotto.

Un concetto più utile è l’infrastruttura. L’AI dovrebbe concentrarsi su compiti strutturati: ricerca, ordinamento, confronto e stesura. In questo processo, gli esseri umani dovrebbero prendere le decisioni finali. Nel tempo, alcuni processi di lavoro diventeranno stabili abbastanza da poter essere completamente automatizzati. A quel punto, sarà probabilmente possibile stabilire un livello di base, ma ciò dovrebbe essere fatto sulla base delle prove, non della fede.

Queste idee possono sembrare meno ispiratrici di un futuro completamente autonomo, ma è proprio così che le aziende serie alla fine avranno successo.