Unde ar trebui să se oprească modelul lingvistic: proiectarea IA pentru salarizare, admitere și alte domenii în care greșelile au consecințe grave

În ultimii ani, am integrat IA în produse în care un răspuns greșit are un cost: o platformă de conformitate în materie de salarizare, bazată pe IA, pentru piața australiană, unde o eroare ajunge în contul bancar al cuiva, și un produs pentru admiterea la facultate, unde o potrivire nepotrivită poate influența următorii patru ani din viața unui student. În ambele cazuri, aceeași întrebare a determinat arhitectura. Cât de departe ar trebui să i se permită modelului lingvistic să meargă înainte ca un proces determinist să preia controlul?

Unul din cinci state de plată din SUA conține o eroare, al cărei cost mediu este de 291 USD, fără a lua în calcul eventualele litigii. Regulamentul UE privind IA include IA utilizată pentru decizii de admitere și gestionarea raporturilor de muncă în categoriile cu risc ridicat.

Lăsați regulile să stabilească valorile numerice

Regulile deterministe se ocupă de tot ce implică o sumă de bani sau consecințe juridice, iar modelul interpretează și explică aceste reguli, fără a face nimic în plus.

Pe platforma de salarizare, obiectivul nostru a fost să delimităm clar regulile de salarizare de IA. Mai întâi, experții în salarizare definesc regulile de plată într-un format structurat. Apoi, sistemul prelucrează aceste reguli și generează toate scenariile posibile care pot decurge din ele. Întregul set de scenarii devine sursa de adevăr a modelului. Modelul nu poate crea reguli noi, modifica regulile existente sau decide ce surse să folosească. Poate doar să recupereze setul de reguli relevant, să consulte tabelele de tarife și să indice scenariul pe care l-a folosit. Crearea regulilor, generarea scenariilor și selectarea surselor rămân în întregime în afara componentei de IA.

Produsul pentru admitere urmează aceeași logică: cerințele privind localizarea, limitele bugetului, statutul instituției și pragurile de eligibilitate sunt aplicate sub formă de reguli înainte ca modelul să poată influența clasamentul. Dacă un student spune că trebuie să urmeze o facultate în California, modelul nu poate recomanda în locul acesteia o instituție din alt stat doar pentru că o consideră, în rest, o potrivire foarte bună. Modelul gestionează preferințele mai flexibile și explicațiile, iar logica deterministă acționează ca o protecție ori de câte ori un rezultat doar aproximativ corect nu este acceptabil.

Regăsirea oferă un fundament modelului, dar numai până la un punct

Generarea augmentată cu recuperare menține răspunsurile ancorate în politicile proprii ale organizației, nu în orice informație pe care modelul a asimilat-o în timpul antrenării. Însă eficiența ei este și supraestimată. Când RegLab de la Stanford a testat instrumente comerciale de cercetare juridică bazate pe RAG, acestea au continuat să halucineze în 17–33% dintre cazuri. Regăsirea restrânge ceea ce poate spune modelul, dar acesta poate totuși să greșească.

Am învățat asta direct. Pe platforma de salarizare, sistemul a găsit cândva actul de stabilire a condițiilor de muncă aplicabil unui caz, dar modelul a interpretat totuși greșit regulile privind orele suplimentare. Sursa corectă fusese recuperată, dar răspunsul era greșit, așa că, după acel incident, am devenit mult mai stricți în privința deciziilor pe care modelul le putea lua singur. Am mutat regulile importante de salarizare în logica de afaceri explicită, am impus ca fiecare răspuns să fie susținut de materiale-sursă și am adăugat teste bazate pe cazul care eșuase. Accesul la informațiile corecte este util doar dacă controlați și modul în care modelul le folosește.

Asigurați trasabilitatea fiecărui răspuns

Înainte de generarea unui răspuns, sistemul înregistrează cu exactitate regulamentul și versiunea folosite, precum și modelul și alte detalii ale solicitării. Este dificil de verificat afirmația că un răspuns al IA s-a bazat pe politica unei companii. O dovadă mult mai solidă este să precizezi că răspunsul a fost generat folosind versiunea 7 a unui anumit acord, care a fost păstrată și poate fi comparată cu alte versiuni. De asemenea, urmărim fiecare apel către un model sau un instrument: ce a solicitat utilizatorul, ce informații au fost recuperate, ce instrumente au fost rulate, ce a returnat modelul și ce erori au apărut pe parcurs. Când primim o sesizare pentru asistență, putem vedea cu exactitate de unde provine un răspuns incorect. Hotărârea din 2024 privind Air Canada, prin care un tribunal a obligat compania aeriană să onoreze o reducere inventată de chatbotul său, arată cât costă alternativa.

Implicați oamenii acolo unde există consecințe

Profilul NIST privind IA generativă tratează delimitarea dintre ceea ce face un sistem de unul singur și ceea ce necesită intervenția unei persoane drept o decizie de guvernanță. Direcționăm un caz către o persoană atunci când sistemul nu este sigur, când informațiile se contrazic sau când decizia ar putea avea un impact semnificativ asupra utilizatorului. În procesul de admitere, un profil neobișnuit al unui student sau o recomandare care nu îndeplinește în mod clar cerințele sale stricte este semnalată pentru a fi analizată de un consilier. Această etapă a scos la iveală recomandări care păreau rezonabile la prima vedere, dar nu respectau o constrângere din profilul studentului, iar fiecare astfel de caz a contribuit la îmbunătățirea sistemului. Niciunul dintre produse nu finalizează nimic de unul singur. Este necesară intervenția unui consilier înainte ca o recomandare să poată fi luată în considerare, iar fiecare fluturaș de salariu generat de sistemul de salarizare este semnalat pentru aprobare înainte de a fi trimis. Verificarea umană nu este necesară pentru fiecare solicitare. Scopul este să automatizăm cu încredere cazurile obișnuite și să implicăm o persoană atunci când sistemul are motive întemeiate să nu fie sigur.

Ce decizii poate lua modelul în mod autonom astăzi

Există un test practic pe care îl aplic oricărui flux de lucru. Dacă un rezultat greșit poate fi detectat și anulat înainte să ajungă la o persoană, modelul poate prelua acea etapă. Dacă răspunsul poate fi verificat în raport cu o regulă, regula stabilește rezultatul, iar modelul îl explică. Dacă un rezultat greșit ar ajunge la un fluturaș de salariu sau ar influența o decizie de admitere înainte ca cineva să îl verifice, etapa respectivă nu este încă pregătită.

Modelele lingvistice sunt cei mai buni interpreți pe care i-am pus vreodată în fața unui regulament. În domeniile în care greșelile se plătesc scump, interpretarea este punctul în care ar trebui să se oprească.