IBM Research riferisce che la memoria appresa supera il benchmark di assistenza τ²-Bench

In un post del 20 ottobre 2026 su Hugging Face, IBM Research ha riferito che le linee guida apprese automaticamente dalle sessioni di addestramento dell’agente e aggiunte al suo prompt di sistema hanno portato un agente standard di assistenza clienti basato su GPT-4.1 a ottenere un Pass^4 del 67,5% nel dominio della vendita al dettaglio di τ²-bench, superando tutte le voci relative alla vendita al dettaglio nell’istantanea della classifica del team del 12 ottobre 2026.

Il risultato è frutto di ALTK-Evolve, il metodo del laboratorio per creare quello che gli autori definiscono un repertorio di strategie appreso. Il metodo analizza i tentativi dell’agente nei task di addestramento e usa lo stesso modello per distillare successi e insuccessi in brevi regole comportamentali, che riguardano situazioni come l’autenticazione di un cliente, la conferma di una transazione o la gestione di un reso. Secondo il post, lo stesso modello è alla base sia dell’estrazione delle linee guida sia dell’agente stesso, e il processo non richiede aggiornamenti dei pesi né annotazioni umane. Il team aveva già dimostrato l’approccio con agenti di programmazione; il nuovo studio lo applica all’assistenza clienti. Il post elenca undici autori di IBM Research, tra cui Ashwath Vaithinathan Aravindan, Vatche Isahagian e Vinod Muthusamy.

Come è stato condotto lo studio

τ²-bench, mantenuto da Sierra Research, è un framework di simulazione per valutare gli agenti di assistenza clienti in diversi domini. Secondo il repository di τ²-bench, ogni dominio specifica una policy che l’agente deve seguire, un insieme di strumenti e una serie di task di valutazione; il documento fondamentale del benchmark descrive inoltre un ambiente a doppio controllo. Lo studio di IBM utilizza i domini della vendita al dettaglio e delle compagnie aeree. Ogni task mette in relazione l’agente con un cliente simulato da un LLM, gli strumenti del dominio e un documento contenente le policy; un task è considerato risolto solo quando lo stato finale del database corrisponde al risultato atteso, descritto nel post come una ricompensa binaria rigorosa.

La valutazione ha utilizzato l’implementazione di τ²-bench di un agente ReAct di base con un ciclo in due fasi THINK→ACT, usando gpt-4.1 come modello dell’agente e gpt-5.5 come modello del simulatore del cliente, con quattro prove per task. L’unica modifica consisteva nell’aggiungere al prompt di sistema, dopo la policy del dominio, un semplice elenco in Markdown delle linee guida apprese. Tra gli esempi pubblicati figurano l’autenticazione dell’utente prima di qualsiasi azione relativa a un ordine, la richiesta dell’approvazione esplicita dell’utente prima di azioni che aggiornano il database, la presentazione di dettagli analitici dei rimborsi, l’esecuzione di un’azione per passaggio e l’analisi degli handle con nomi composti prima di cercare gli utenti.

Le linee guida sono state estratte dalle traiettorie dell’agente nei task di addestramento di τ²-bench usando gpt-4.1 e applicate senza modifiche al set di test tenuto da parte. Ogni linea guida include un conteggio del supporto, ovvero il numero di task di addestramento distinti da cui è stata estratta. Lo studio confronta tre configurazioni: una baseline senza linee guida; sup3, che mantiene solo le linee guida con un supporto pari ad almeno tre (31 nella vendita al dettaglio, 14 nel settore aereo); e lossless, che mantiene tutte le linee guida conservate (292 nella vendita al dettaglio, 101 nel settore aereo).

Risultati sui set di test tenuti da parte: vendita al dettaglio e settore aereo

Lo studio considera due metriche nelle quattro prove per task: l’accuratezza media, ossia il tasso medio di successo, che gli autori indicano come misura della capacità, e Pass^4, la percentuale di task risolti in tutte e quattro le prove, indicata come misura dell’affidabilità e identificata come la metrica riportata nella classifica di τ²-bench.

Sui 40 task di test della vendita al dettaglio tenuti da parte, IBM riferisce che l’agente baseline ha ottenuto un’accuratezza media del 78,1% e un Pass^4 del 57,5%. Il nucleo sup3 ha raggiunto rispettivamente il 78,8% e il 60,0%, mentre la configurazione lossless ha ottenuto l’82,5% e il 67,5%, con incrementi dichiarati di 4,4 e 10,0 punti percentuali rispetto alla baseline.

Sui 20 task di test del settore aereo tenuti da parte, la baseline ha ottenuto un’accuratezza del 57,5% e un Pass^4 del 35,0%. Il nucleo sup3 ha raggiunto un’accuratezza del 60,0% e un Pass^4 del 45,0%, mentre lossless ha ottenuto rispettivamente il 65,0% e il 40,0%. I due domini hanno dato risultati diversi in termini di quantità di linee guida: nella vendita al dettaglio il miglioramento maggiore è stato ottenuto con il set lossless completo, mentre nel settore aereo il nucleo compatto sup3 ha prodotto il miglior Pass^4. IBM afferma che il conteggio del supporto è un parametro da ottimizzare per ciascun dominio, anziché un valore da impostare una volta per tutte.

Costi, una nuova valutazione con un modello di frontiera e stato in classifica

Il costo totale degli LLM per conversazione sull’intero split di base è aumentato con la dimensione del prompt: nella vendita al dettaglio è passato da 0,084 $ nella baseline a 0,139 $ con lossless, con un aumento dichiarato del 65%; nel settore aereo, da 0,081 $ a 0,107 $, con un aumento dichiarato del 32%. Le varianti sup3 sono costate rispettivamente 0,095 $ e 0,097 $. Nelle esecuzioni abbinate risolte sia con le impostazioni baseline sia con quelle basate sulle linee guida, le conversazioni sono state leggermente più brevi quando si usavano le linee guida: nella vendita al dettaglio, con lossless, i turni dell’assistente sono scesi da 10,59 a 10,16; nel settore aereo, da 9,15 a 8,82. Nessuna variante li ha allungati. IBM afferma che un numero inferiore di turni comporta una latenza end-to-end più bassa per il cliente e che, in produzione, il costo aggiuntivo dell’input può essere in gran parte recuperato grazie alla memorizzazione nella cache dei prompt, poiché il blocco delle linee guida è identico a ogni chiamata.

Il team ha inoltre ripetuto la valutazione nel dominio del settore aereo usando gpt-5.5 sia come agente sia come modello per l’estrazione delle linee guida, estraendole nuovamente dalle esecuzioni dell’agente stesso. Nessuna linea guida estratta ha raggiunto un supporto pari ad almeno tre, quindi il nucleo ad alto supporto era sup2, con 103 linee guida, affiancato da un set lossless di 146 linee guida. Sugli stessi task di test del settore aereo tenuti da parte, la baseline con gpt-5.5 ha ottenuto un’accuratezza del 72,5% e un Pass^4 del 55,0%; sup2 ha raggiunto rispettivamente l’80,0% e il 70,0%; lossless ha ottenuto l’82,5% e il 70,0%, con incrementi dichiarati di 10,0 punti percentuali nell’accuratezza e di 15,0 punti nel Pass^4. IBM riferisce che il risultato lossless è stato riprodotto esattamente nelle ripetizioni della valutazione.

I risultati degli invii in classifica sono calcolati sull’intero split di base, combinando le attività di addestramento e quelle di test, e riportati a Pass^4; per questo differiscono dai numeri sui dati tenuti da parte riportati sopra. In base alla fotografia della classifica al 12 ottobre 2026, IBM dichiara che il proprio agente per il retail è al primo posto con il 67,5%, davanti a RAFT-30B-A3B, al 61,4%: IBM identifica quest’ultimo come un modello sottoposto a fine-tuning sui dati sintetici di τ²-bench per il retail e indica un vantaggio di 6,1 punti. Per il settore aereo, IBM riferisce che l’agente gpt-5.5 è al primo posto con l’82,0%, davanti alle voci di frontiera elencate, che si attestano tra il 66 e il 72%; la variante gpt-4.1 sup3 si è invece classificata all’ottavo posto con il 44%, davanti a GPT-5.2 eseguito senza ragionamento e con risultati quasi pari a Claude Sonnet 4.5. IBM afferma che questo approccio migliora gli agenti standard senza aggiornare i pesi, ricorrere ad annotazioni umane o incorrere in contaminazioni del set di test.

L’invio del retail in classifica è stato presentato come pull request per τ²-bench il 14 settembre 2026 e riporta Pass^1 all’81,14% e Pass^4 al 67,54% su 114 attività dello split di base, con quattro prove e un costo medio di 0,1084 $ per conversazione su tau2-bench v1.0.1; segnala inoltre che le linee guida sono state apprese da uno split di addestramento del retail incluso nello split di valutazione di base. L’invio del settore aereo in classifica è seguito il 21 settembre 2026 e riporta Pass^1 all’88,50% e Pass^4 all’82,00% su 50 attività, con un costo medio di 0,1690 $ per conversazione. Entrambi gli invii dichiarano che i prompt sono stati modificati, indicano di aspettarsi la dicitura «Non verificato» e sono ancora aperti.