IBM Research raportează că memoria învățată depășește benchmarkul τ²-bench pentru servicii

Într-o postare din 20 octombrie 2026 pe Hugging Face, IBM Research a raportat că instrucțiunile învățate automat din propriile rulări de antrenare ale unui agent și adăugate la promptul său de sistem au ridicat un agent standard GPT-4.1 pentru servicii clienți la un scor Pass^4 de 67,5% în domeniul retail al τ²-bench, peste toate rezultatele din retail din clasamentul echipei din 12 octombrie 2026.

Rezultatul provine de la ALTK-Evolve, metoda laboratorului pentru construirea a ceea ce autorii descriu drept un repertoriu de reguli învățate. Metoda analizează încercările unui agent în sarcini de antrenare și folosește același model pentru a distila reușitele și eșecurile în reguli comportamentale concise, care acoperă situații precum autentificarea unui client, confirmarea unei tranzacții sau gestionarea unui retur. Potrivit postării, același model stă la baza atât a extragerii instrucțiunilor, cât și a agentului propriu-zis, iar procesul nu necesită actualizarea ponderilor sau adnotare umană. Echipa demonstrase anterior abordarea în cazul agenților de programare; noul studiu o aplică serviciilor pentru clienți. Postarea enumeră unsprezece autori de la IBM Research, printre care Ashwath Vaithinathan Aravindan, Vatche Isahagian și Vinod Muthusamy.

Cum a fost desfășurat studiul

τ²-bench, întreținut de Sierra Research, este un cadru de simulare pentru evaluarea agenților de servicii pentru clienți în diferite domenii. Potrivit depozitului τ²-bench, fiecare domeniu specifică o politică pe care agentul trebuie să o respecte, un set de instrumente și un set de sarcini de evaluare, iar lucrarea fundamentală despre benchmark descrie un mediu cu control dual. Studiul IBM folosește domeniile retail și companii aeriene. Fiecare sarcină pune agentul în interacțiune cu un client simulat de un LLM, cu instrumentele specifice domeniului și cu un document scris care descrie politica; o sarcină este considerată rezolvată doar dacă starea finală a bazei de date corespunde rezultatului așteptat, ceea ce postarea descrie drept o recompensă binară strictă.

Evaluarea a folosit implementarea proprie a τ²-bench pentru un agent ReAct de bază, cu un ciclu în două faze GÂNDEȘTE→ACȚIONEAZĂ, utilizând gpt-4.1 drept model al agentului și gpt-5.5 drept model al simulatorului de clienți, cu patru încercări pentru fiecare sarcină. Singura modificare a fost adăugarea la promptul de sistem, după politica domeniului, a unei liste simple de instrucțiuni învățate, în format Markdown. Printre exemplele publicate se numără autentificarea utilizatorului înainte de orice acțiune legată de o comandă, solicitarea aprobării explicite a utilizatorului înaintea acțiunilor care modifică baza de date, prezentarea detaliată a rambursărilor pe articole, efectuarea unei singure acțiuni la fiecare pas și analizarea identificatorilor combinați care conțin numele înainte de căutarea utilizatorilor.

Instrucțiunile au fost extrase din traiectoriile agentului în sarcinile de antrenare τ²-bench, folosind gpt-4.1, și aplicate fără modificări setului de testare rezervat. Fiecare instrucțiune are asociat un număr de susțineri, adică numărul de sarcini de antrenare distincte din care a fost extrasă. Studiul compară trei configurații: o configurație de bază fără instrucțiuni; sup3, care păstrează doar instrucțiunile cu cel puțin trei susțineri (31 în retail, 14 în domeniul companiilor aeriene); și lossless, care păstrează toate instrucțiunile reținute (292 în retail, 101 în domeniul companiilor aeriene).

Rezultatele pe seturile de testare rezervate pentru retail și companii aeriene

Studiul urmărește doi indicatori în cele patru încercări pentru fiecare sarcină: Mean Accuracy, rata medie de succes, pe care autorii o consideră indicatorul capacității, și Pass^4, procentul sarcinilor rezolvate în toate cele patru încercări, considerat indicatorul fiabilității și identificat drept măsura raportată în clasamentul τ²-bench.

În cele 40 de sarcini de testare rezervate din domeniul retail, IBM raportează că agentul din configurația de bază a obținut o acuratețe medie de 78,1% și un scor Pass^4 de 57,5%. Nucleul sup3 a obținut 78,8% și 60,0%, iar configurația lossless a obținut 82,5% și 67,5%, ceea ce reprezintă creșteri de 4,4 și, respectiv, 10,0 puncte procentuale față de configurația de bază.

În cele 20 de sarcini de testare rezervate din domeniul companiilor aeriene, configurația de bază a obținut o acuratețe de 57,5% și un scor Pass^4 de 35,0%. Nucleul sup3 a ajuns la o acuratețe de 60,0% și un scor Pass^4 de 45,0%, în timp ce configurația lossless a ajuns la o acuratețe de 65,0% și un scor Pass^4 de 40,0%. Cele două domenii au dat rezultate diferite în privința volumului optim: retailul s-a îmbunătățit cel mai mult cu setul complet lossless, în timp ce, în domeniul companiilor aeriene, nucleul compact sup3 a avut cel mai bun scor Pass^4. IBM afirmă că numărul de susțineri este un parametru care merită ajustat pentru fiecare domeniu, nu o valoare care trebuie stabilită rigid.

Costuri, o nouă evaluare cu un model de vârf și statutul în clasament

Costul total al LLM-urilor per conversație, pe întregul set de bază, a crescut odată cu dimensiunea promptului: în retail, de la 0,084 USD în configurația de bază la 0,139 USD cu lossless, o creștere de 65%, iar în domeniul companiilor aeriene, de la 0,081 USD la 0,107 USD, o creștere de 32%; variantele sup3 au costat 0,095 USD și, respectiv, 0,097 USD. În rulările comparabile, rezolvate atât cu setările de bază, cât și cu cele cu instrucțiuni, conversațiile au fost puțin mai scurte cu instrucțiuni: în retail, numărul de ture ale asistentului a scăzut de la 10,59 la 10,16 cu lossless, iar în domeniul companiilor aeriene, de la 9,15 la 8,82; nicio variantă nu le-a prelungit. IBM afirmă că mai puține ture înseamnă o latență de la un capăt la altul mai mică pentru client și că, în producție, costul suplimentar al intrării poate fi recuperat în mare parte prin memorarea în cache a prompturilor, deoarece blocul de instrucțiuni este identic la fiecare apel.

Echipa a reevaluat și domeniul companiilor aeriene, folosind gpt-5.5 atât ca agent, cât și ca model pentru extragerea instrucțiunilor, și a extras din nou instrucțiunile din propriile rulări ale agentului respectiv. Nicio instrucțiune extrasă nu a atins pragul de cel puțin trei susțineri, astfel că nucleul cu susținere ridicată a fost sup2, cu 103 instrucțiuni, alături de un set lossless cu 146 de instrucțiuni. Pe aceleași sarcini de testare rezervate din domeniul companiilor aeriene, configurația de bază cu gpt-5.5 a obținut o acuratețe de 72,5% și un scor Pass^4 de 55,0%; sup2 a ajuns la 80,0% și 70,0%; iar lossless a ajuns la 82,5% și 70,0%, ceea ce reprezintă creșteri de 10,0 puncte de acuratețe și 15,0 puncte Pass^4. IBM raportează că rezultatul lossless a fost reprodus cu exactitate în evaluările repetate.

Rezultatele din clasament sunt calculate pe întregul set de bază, care combină sarcinile de antrenare și de testare, și sunt raportate ca Pass^4; prin urmare, valorile diferă de cele pentru setul de evaluare separat prezentate mai sus. Potrivit instantaneului din 12 octombrie 2026, IBM afirmă că agentul său pentru retail ocupă primul loc, cu 67,5%, înaintea modelului RAFT-30B-A3B, cu 61,4% — un model despre care compania precizează că a fost ajustat fin pe date sintetice din τ²-bench pentru retail —, cu un avans declarat de 6,1 puncte. În domeniul companiilor aeriene, IBM afirmă că agentul gpt-5.5 ocupă primul loc, cu 82,0%, depășind modelele de ultimă generație pe care le listează la 66–72%; varianta gpt-4.1 sup3 s-a clasat pe locul al optulea, cu 44%, înaintea GPT-5.2 rulat fără raționament și aproape la egalitate cu Claude Sonnet 4.5. IBM afirmă că această abordare îmbunătățește agenții standard fără actualizări ale ponderilor, adnotare umană sau scurgerea de date din setul de testare.

Înscrierea agentului pentru retail în clasament a fost depusă ca cerere de integrare pentru τ²-bench la 14 septembrie 2026. Aceasta raporta valori de la Pass^1, de 81,14%, până la Pass^4, de 67,54%, pentru 114 sarcini din setul de bază, cu patru încercări, la un cost mediu de 0,1084 USD per conversație pe tau2-bench v1.0.1, și menționa că regulile au fost învățate dintr-un set de antrenare pentru retail inclus în setul de evaluare de bază. Înscrierea agentului pentru companii aeriene în clasament a urmat la 21 septembrie 2026, raportând valori de la Pass^1, de 88,50%, până la Pass^4, de 82,00%, pentru 50 de sarcini, la un cost mediu de 0,1690 USD per conversație. Ambele înscrieri dezvăluie că solicitările au fost modificate, precizează că se așteaptă să fie listate ca „Neverificate” și sunt încă deschise.