Scale AI lansează împreună cu IMDA un benchmark de raționament juridic pentru Singapore

Scale AI și Infocomm Media Development Authority (IMDA) din Singapore au prezentat SG-LegalClarify pe 12 noiembrie 2026. Benchmarkul testează 19 modele lingvistice pe 1.860 de scenarii din 10 domenii ale dreptului din Singapore. Evaluarea analizează atât acuratețea juridică, cât și măsura în care modelele solicită informațiile lipsă înainte de a răspunde.

Scale descrie SG-LegalClarify drept prima inițiativă de cercetare din cadrul unei colaborări formalizate în aprilie 2026 și prezentate public pe 7 iulie 2026. Proiectul urmărește să ajute guvernele să evalueze sistemele de inteligență artificială în raport cu propriile legi și instituții, în loc să presupună că rezultatele obținute la benchmarkuri internaționale se aplică în orice context național.

Lucrarea de cercetare prezintă Singapore drept un test exigent, deoarece dreptul englez de tip common law, moștenit, coexistă cu modificări locale și cu legi specifice Singaporelui. Prin urmare, un model care se bazează pe raționamente generice de tip common law poate să nu identifice norma locală aplicabilă. SG-LegalClarify testează și o abilitate distinctă: aceea de a stabili dacă o întrebare conține suficiente informații relevante din punct de vedere juridic pentru a putea primi un răspuns.

Această distincție contează și în întrebările obișnuite. Un șofer care întreabă despre sancțiunea pentru depășirea vitezei poate fi nevoit să precizeze tipul vehiculului, viteza efectivă și punctele de penalizare pe care le are deja. Un asistent care indică o sancțiune fără aceste detalii poate oferi un răspuns care pare autoritar, dar este incorect din punct de vedere juridic.

Întrebările formulate în perechi testează când solicită modelele informații suplimentare

Setul de date pornește de la 1.100 de întrebări-sursă în limba engleză: 340 cu toate detaliile necesare și 760 cu informații insuficiente. Fiecărei întrebări cu informații insuficiente îi corespunde o întrebare completă, care include detaliile ascunse. Întrebările au fost redactate de 23 de avocați verificați, dintre care șapte au fost și evaluatori. Experiența lor juridică varia de la doi la 37 de ani, cu o mediană de șase ani.

Fiecare întrebare are o grilă de evaluare redactată de un avocat, care acoperă identificarea problemei, redarea regulii de drept, aplicarea acesteia și concluzia; în întregul set de date sunt 12.546 de criterii. Dintre acestea, 89,0% sunt obligatorii pentru ca un răspuns să fie corect pe fond; rezultatele principale iau în calcul numai criteriile obligatorii.

Mai întâi, o etapă de verificare a suficienței informațiilor obligă fiecare model să aleagă între a răspunde direct și a solicita informații suplimentare. Dacă alege să ceară informații, un utilizator simulat dezvăluie detaliile ascunse numai când modelul le solicită explicit. Un juriu format din trei modele de inteligență artificială, selectate în urma unor comparații cu evaluările avocaților, notează fiecare criteriu prin votul majorității.

Căutarea a îmbunătățit scorurile, dar clarificarea a rămas un punct slab

Lucrarea arată că Claude Fable 5 a obținut cel mai bun rezultat în testarea fără căutare, îndeplinind 69,8% dintre criteriile obligatorii, față de o medie de 53,8%. Cu ajutorul căutării pe web, Kimi K3 a fost pe primul loc, cu 77,8%, iar media a crescut la 63,0%; toate modelele s-au îmbunătățit, deși în proporții diferite. Redarea regulilor a fost componenta cu cele mai slabe rezultate, ratele de promovare fiind de 43,2% fără căutare și de 56,5% cu aceasta.

Potrivit rezumatului Scale, în aproximativ 39% dintre scenariile fără căutare în care lipseau informații, modelele nu au adresat nicio întrebare de clarificare, în timp ce în aproximativ 28% dintre scenariile care conțineau deja suficiente informații au adresat întrebări inutile. Când lipseau informații, modelele au solicitat, în medie, doar 39% dintre informațiile relevante identificate de experții în drept.

Într-o comparație descriptivă a testelor cu acces la web în care modelele au solicitat toate informațiile relevante care lipseau, lucrarea arată că 55,6% au ajuns la concluzia juridică corectă, 32,1% au ajuns la o concluzie incorectă, iar 12,3% nu au formulat nicio concluzie. Prin urmare, colectarea tuturor informațiilor necesare nu a garantat aplicarea corectă a legii.

Limitele evaluării și planurile de publicare

Autorii semnalează mai multe limite ale rezultatelor: validarea de către oameni a asistenților bazați pe inteligență artificială a fost limitată, diferențele dintre furnizori au împiedicat accesul identic la instrumentele de căutare, iar direcționarea inițială este posibil să fi modificat comportamentul de clarificare. Nu toate variabilele lipsă adnotate sunt necesare pentru a rezolva un caz; prin urmare, faptul că nu sunt solicitate toate informațiile nu indică automat o clarificare insuficientă.

Cercetătorii intenționează să publice 50% dintre întrebările-sursă din fiecare categorie și să păstreze restul pentru evaluarea privată, menținând fiecare pereche de întrebări cu informații insuficiente și complete în aceeași partiție. De asemenea, se preconizează publicarea rezultatelor modelelor pentru partiția publică și a fluxului de evaluare.

Declarația de etică a lucrării precizează că scorurile nu trebuie interpretate ca dovezi că un model poate oferi în siguranță consultanță juridică fără supraveghere. Pentru guvernele care evaluează inteligența artificială aplicată dreptului, rezultatele arată că solicitarea de clarificări ține de evaluarea acurateței: un sistem trebuie să identifice ce informații sunt relevante potrivit dreptului local, apoi să aplice corect legea după ce le obține.