Dove dovrebbe fermarsi il modello linguistico: progettare l’IA per le buste paga, le ammissioni e altri ambiti in cui gli errori hanno conseguenze

Negli ultimi anni ho lavorato per integrare l’IA in prodotti in cui una risposta sbagliata ha un costo concreto: una piattaforma di conformità normativa per l’elaborazione delle buste paga, basata sull’IA e destinata al mercato australiano, dove un errore finisce sul conto bancario di qualcuno, e un prodotto per le ammissioni universitarie, dove un abbinamento inadeguato può influenzare i quattro anni successivi della vita di uno studente. In entrambi i casi, la domanda che ha determinato l’architettura era la stessa: fin dove si può spingere il modello linguistico prima che subentri un sistema deterministico?

Una busta paga su cinque negli Stati Uniti contiene un errore, con un costo medio di 291 dollari per ciascun errore, prima ancora che entrino in gioco le controversie legali. La legge europea sull’IA classifica tra gli ambiti ad alto rischio l’uso dell’IA nelle decisioni di ammissione e nella gestione del personale.

Affidare i numeri alle regole

Le regole deterministiche disciplinano tutto ciò che comporta un importo in dollari o conseguenze legali; il modello interpreta e spiega nell’ambito di tali regole, e non fa altro.

Nella piattaforma per l’elaborazione delle buste paga, il nostro obiettivo era definire un confine netto tra le regole retributive e l’IA. Per prima cosa, gli esperti di paghe definiscono le regole retributive in un formato strutturato. Il sistema le elabora quindi e genera tutti gli scenari possibili che ne possono derivare. L’insieme completo di questi scenari diventa la fonte di verità del modello. Il modello non può creare nuove regole, modificare quelle esistenti o decidere quali fonti utilizzare. Può solo recuperare il set di regole pertinente, consultare le tabelle delle tariffe e citare lo scenario utilizzato. La creazione delle regole, la generazione degli scenari e la selezione delle fonti restano del tutto al di fuori del livello dell’IA.

Il prodotto per le ammissioni segue la stessa logica: i requisiti geografici, i limiti di budget, lo status degli istituti e le soglie di idoneità vengono applicati come regole prima che il modello possa influenzare una graduatoria. Se uno studente dice di dover frequentare l’università in California, il modello non può indicare come alternativa un istituto fuori dallo Stato solo perché lo ritiene altrimenti adatto. Il modello gestisce le preferenze meno vincolanti e le spiegazioni, mentre la logica deterministica funge da salvaguardia ogni volta che non è accettabile una risposta solo approssimativamente corretta.

Il recupero delle informazioni ancora il modello, ma solo fino a un certo punto

La generazione aumentata dal recupero (RAG) mantiene le risposte ancorate alle politiche dell’organizzazione, anziché a ciò che il modello ha assorbito durante l’addestramento. Ma i suoi vantaggi sono anche sopravvalutati. Quando il RegLab di Stanford ha testato strumenti commerciali di ricerca giuridica basati sulla RAG, questi hanno comunque prodotto allucinazioni tra il 17% e il 33% delle volte. Il recupero restringe ciò che il modello può dire, ma il modello può comunque sbagliare.

L’ho imparato direttamente. Una volta, sulla piattaforma per l’elaborazione delle buste paga, il sistema ha trovato il corretto contratto collettivo di lavoro per un caso, ma il modello ha comunque interpretato in modo errato le regole sugli straordinari. La fonte era quella giusta, eppure la risposta era sbagliata; da allora abbiamo quindi limitato molto di più ciò che il modello può decidere autonomamente. Abbiamo trasferito le regole retributive importanti nella logica aziendale esplicita, richiesto che ogni risposta fosse supportata da materiale di riferimento e aggiunto test basati sul caso in cui si era verificato l’errore. L’accesso alle informazioni giuste è utile solo se si controlla anche il modo in cui il modello le utilizza.

Rendere ogni risposta tracciabile

Prima di generare una risposta, il sistema registra esattamente quale regolamento e quale versione sono stati utilizzati, insieme al modello e agli altri dettagli della richiesta. È difficile verificare un’affermazione secondo cui una risposta dell’IA si basava sulle politiche aziendali. È molto più probante affermare che è stata generata utilizzando la versione 7 di uno specifico accordo, conservata in archivio e confrontabile con altre versioni. Tracciamo inoltre ogni chiamata al modello e agli strumenti: che cosa ha chiesto l’utente, quali informazioni sono state recuperate, quali strumenti sono stati eseguiti, che cosa ha restituito il modello ed eventuali errori verificatisi nel processo. Quando arriva una richiesta di assistenza, possiamo vedere esattamente da dove ha avuto origine una risposta errata. La decisione del 2024 relativa ad Air Canada, con cui un tribunale ha imposto alla compagnia aerea di applicare uno sconto inventato dal suo chatbot, mostra quali siano i costi dell’alternativa.

Coinvolgere le persone quando sono in gioco le conseguenze

Il Profilo sull’IA generativa del NIST considera la distinzione tra ciò che un sistema fa autonomamente e ciò che richiede l’intervento di una persona una decisione di governance. Indirizziamo il caso a una persona quando il sistema è incerto, quando le informazioni sono in conflitto o quando la decisione potrebbe incidere in modo significativo sull’utente. Nel processo di ammissione, un profilo studentesco insolito o una raccomandazione che non soddisfa chiaramente i requisiti imprescindibili dello studente viene segnalato per la valutazione di un consulente. Questo passaggio ha permesso di individuare raccomandazioni apparentemente ragionevoli, ma che non tenevano conto di un vincolo presente nel profilo dello studente; ciascuna di esse ha inoltre contribuito a migliorare il sistema. Nessuno dei due prodotti finalizza alcunché autonomamente. È necessario il contributo di un consulente prima che si possa fare affidamento su una raccomandazione, e ogni busta paga generata dal sistema viene segnalata per l’approvazione prima dell’invio. La revisione umana non è prevista per ogni richiesta. L’obiettivo è automatizzare con sicurezza i casi ordinari e coinvolgere una persona quando il sistema ha buone ragioni per essere incerto.

Decidere di cosa può occuparsi oggi il modello

Per valutare qualsiasi flusso di lavoro, applico un criterio pratico. Se un risultato errato può essere individuato e annullato prima che raggiunga una persona, quel passaggio può essere affidato al modello. Se la risposta può essere verificata rispetto a una regola, è la regola a determinarla e il modello a spiegarla. Se un risultato errato arriverebbe a una busta paga o influenzerebbe una decisione di ammissione prima che qualcuno lo veda, quel passaggio non è ancora pronto.

I modelli linguistici sono i migliori interpreti che abbiamo mai messo davanti a un regolamento. Nei settori in cui gli errori si pagano, dovrebbero fermarsi all’interpretazione.