Scale AI lancia con IMDA un benchmark sul ragionamento giuridico a Singapore

Scale AI e la Infocomm Media Development Authority (IMDA) di Singapore hanno presentato SG-LegalClarify il 12 novembre 2026, mettendo alla prova 19 modelli linguistici su 1.860 scenari relativi a 10 ambiti del diritto di Singapore. Il benchmark valuta sia l’accuratezza giuridica sia la capacità dei modelli di chiedere le informazioni mancanti prima di rispondere.

Scale descrive SG-LegalClarify come la prima iniziativa di ricerca nell’ambito di una collaborazione formalizzata nell’aprile 2026 e resa nota pubblicamente il 7 luglio 2026. Il progetto mira ad aiutare i governi a valutare i sistemi di IA in base alle proprie leggi e istituzioni, anziché presumere che i risultati ottenuti nei benchmark internazionali siano applicabili a ogni contesto nazionale.

Il documento di ricerca presenta Singapore come una prova impegnativa, poiché il common law inglese ereditato dal passato convive con modifiche locali e leggi specifiche di Singapore. Un modello che si affidi a un ragionamento generico basato sul common law può quindi non individuare la norma locale applicabile. SG-LegalClarify verifica anche una capacità distinta: stabilire se una richiesta contenga informazioni giuridicamente rilevanti sufficienti per poter rispondere.

Questa distinzione è importante anche nelle richieste di tutti i giorni. Un automobilista che chiede quale sanzione rischia per eccesso di velocità potrebbe dover indicare il tipo di veicolo, la velocità effettiva e i punti di demerito già accumulati. Un assistente che fornisca una sanzione senza questi dettagli può dare una risposta che sembra autorevole, ma che è giuridicamente errata.

Domande abbinate verificano quando i modelli chiedono chiarimenti

Il set di dati parte da 1.100 domande di partenza in lingua inglese: 340 complete di tutti i dettagli e 760 incomplete. Ciascuna domanda incompleta ha una domanda corrispondente completa, che include i fatti mancanti. Le domande sono state redatte da 23 avvocati qualificati, sette dei quali hanno anche svolto il ruolo di revisori. La loro esperienza giuridica andava da due a 37 anni, con una mediana di sei anni.

Per ogni domanda, un avvocato ha redatto una griglia di valutazione che copre l’individuazione delle questioni giuridiche, il richiamo delle norme, la loro applicazione e la conclusione; il set di dati comprende 12.546 criteri. Di questi, l’89,0% è obbligatorio affinché una risposta sia corretta nella sostanza; nei risultati principali vengono conteggiati solo gli elementi obbligatori.

Una verifica preliminare della sufficienza delle informazioni chiede innanzitutto a ciascun modello di scegliere se rispondere direttamente o raccogliere altri fatti. Se il modello sceglie di raccogliere informazioni, un utente simulato rivela i fatti mancanti solo quando il modello li richiede esplicitamente. Un gruppo di tre modelli IA incaricati della valutazione, selezionati sulla base di confronti con le valutazioni di avvocati umani, assegna un voto a ciascun criterio a maggioranza.

La ricerca online migliora i punteggi, ma la richiesta di chiarimenti resta carente

Il documento riferisce che Claude Fable 5 ha ottenuto i risultati migliori nei test senza consultazione di fonti esterne, soddisfacendo il 69,8% dei criteri obbligatori, contro una media del 53,8%. Con la ricerca sul web, Kimi K3 si è classificato al primo posto con il 77,8% e la media è salita al 63,0%; tutti i modelli sono migliorati, anche se in misura diversa. Il richiamo delle norme è risultato l’aspetto più debole della valutazione, con tassi di superamento del 43,2% senza ricerca e del 56,5% con la ricerca.

Nel suo riepilogo, Scale riferisce che in circa il 39% degli scenari senza consultazione di fonti esterne in cui mancavano informazioni, i modelli non hanno posto alcuna domanda di chiarimento, mentre in circa il 28% degli scenari che contenevano già informazioni sufficienti hanno posto domande non necessarie. Quando mancavano informazioni, i modelli hanno chiesto in media solo il 39% dei dati pertinenti individuati dagli esperti di diritto.

In un confronto descrittivo delle prove con accesso al web in cui i modelli hanno richiesto tutte le informazioni mancanti pertinenti, il documento riferisce che nel 55,6% dei casi è stata raggiunta la conclusione giuridica corretta, nel 32,1% una conclusione errata e nel 12,3% non è stata formulata alcuna conclusione. Raccogliere tutte le informazioni, quindi, non garantiva che la legge venisse applicata correttamente.

Limiti della valutazione e piani di pubblicazione

Gli autori indicano diversi limiti dei risultati: la convalida umana degli assistenti IA è stata limitata, le differenze tra i fornitori hanno impedito di garantire un accesso identico agli strumenti di ricerca e il instradamento iniziale potrebbe aver modificato il comportamento dei modelli nel chiedere chiarimenti. Non tutte le variabili mancanti annotate sono necessarie per risolvere un caso; pertanto, una copertura incompleta delle richieste di informazioni non indica automaticamente che le richieste di chiarimento siano inadeguate.

I ricercatori prevedono di pubblicare il 50% delle domande di partenza in ciascuna categoria e di tenere le restanti riservate per la valutazione privata, mantenendo ogni coppia di domande incomplete e complete nella stessa suddivisione. È inoltre prevista la pubblicazione degli output dei modelli relativi alla parte pubblica e della procedura di valutazione.

La dichiarazione etica del documento afferma che i punteggi non devono essere interpretati come prova del fatto che un modello sia sicuro per fornire consulenza legale senza supervisione. Per i governi che valutano l’IA applicata al diritto, i risultati indicano che la richiesta di chiarimenti è parte integrante del problema dell’accuratezza: un sistema deve riconoscere quali fatti sono rilevanti secondo la legge locale e poi applicare correttamente tale legge dopo averli acquisiti.