Scale AI lance avec l’IMDA un banc d’essai sur le raisonnement juridique à Singapour

Scale AI et l’Infocomm Media Development Authority (IMDA) de Singapour ont présenté SG-LegalClarify le 12 novembre 2026. Ce banc d’essai évalue 19 modèles de langage sur 1 860 scénarios couvrant 10 domaines du droit singapourien. Il examine à la fois l’exactitude juridique des modèles et leur capacité à demander les faits manquants avant de répondre.

Scale présente SG-LegalClarify comme la première initiative de recherche issue d’une collaboration officialisée en avril 2026 et présentée publiquement le 7 juillet 2026. Le projet vise à aider les gouvernements à évaluer les systèmes d’IA au regard de leurs propres lois et institutions, plutôt qu’à supposer que les résultats obtenus sur des bancs d’essai internationaux s’appliquent à tous les contextes nationaux.

L’article de recherche présente Singapour comme un terrain d’évaluation exigeant, car le droit anglais hérité de la common law coexiste avec des modifications locales et des lois propres à Singapour. Un modèle qui s’appuie sur un raisonnement générique fondé sur la common law risque donc de passer à côté de la règle locale applicable. SG-LegalClarify évalue aussi une compétence distincte : déterminer si une question contient suffisamment d’informations pertinentes sur le plan juridique pour qu’il soit possible d’y répondre.

Cette distinction compte dans les questions courantes. Un automobiliste qui demande quelle sanction s’applique à un excès de vitesse peut devoir préciser le type de véhicule, sa vitesse réelle et le nombre de points de pénalité déjà inscrits à son dossier. Un assistant qui indique une sanction sans disposer de ces éléments peut donner une réponse qui semble faire autorité, mais qui est juridiquement erronée.

Des questions appariées évaluent à quel moment les modèles posent des questions

Le jeu de données comprend au départ 1 100 questions sources en anglais : 340 entièrement précisées et 760 insuffisamment précisées. Chaque question insuffisamment précisée est associée à une version entièrement précisée qui contient les faits cachés. Vingt-trois avocats habilités ont rédigé les questions, et sept d’entre eux ont également participé à leur examen. Leur expérience juridique allait de deux à 37 ans, avec une médiane de six ans.

Chaque question est assortie d’une grille d’évaluation rédigée par un avocat, qui couvre le repérage des questions juridiques, le rappel des règles, leur application et la conclusion. Le jeu de données comprend au total 12 546 critères. Parmi eux, 89,0 % sont obligatoires pour qu’une réponse soit correcte sur le fond ; les résultats principaux ne comptabilisent que ces critères obligatoires.

Un filtre de suffisance demande d’abord à chaque modèle de choisir entre répondre directement et recueillir des faits. Dans le second cas, un utilisateur simulé ne révèle les faits cachés que si le modèle les demande explicitement. Un panel de trois modèles d’IA faisant office de juges, sélectionnés à l’issue de comparaisons avec les évaluations d’avocats, note chaque critère à la majorité des voix.

La recherche améliore les résultats, mais les demandes de précisions restent un point faible

L’article indique que Claude Fable 5 arrive en tête des évaluations sans accès à des ressources externes, avec 69,8 % des critères obligatoires satisfaits, contre une moyenne de 53,8 %. Avec la recherche sur le Web, Kimi K3 domine avec 77,8 %, et la moyenne atteint 63,0 % ; tous les modèles progressent, mais dans des proportions variables. Le rappel des règles est la composante la moins bien évaluée, avec des taux de réussite de 43,2 % sans recherche et de 56,5 % avec recherche.

Selon le résumé de Scale, dans environ 39 % des scénarios évalués sans accès à des ressources externes où des faits manquaient, les modèles n’ont posé aucune question de clarification. À l’inverse, ils ont posé des questions inutiles dans environ 28 % des scénarios qui contenaient déjà suffisamment d’informations. Lorsque des faits manquaient, les modèles n’ont demandé, en moyenne, que 39 % des éléments pertinents recensés par les experts juridiques.

Dans une comparaison descriptive des essais avec recherche sur le Web où les modèles ont demandé tous les faits manquants pertinents, l’article indique que 55,6 % ont abouti à la bonne conclusion juridique, 32,1 % à une conclusion erronée et 12,3 % n’ont fourni aucune conclusion. Le fait de recueillir toutes les informations nécessaires ne garantissait donc pas une application correcte du droit.

Limites de l’évaluation et projets de mise à disposition

Les auteurs relèvent plusieurs limites des résultats : la validation humaine des assistants d’IA était limitée, les différences entre fournisseurs empêchaient de donner à tous un accès identique aux outils de recherche, et l’aiguillage préalable a pu modifier le comportement des modèles en matière de demandes de précisions. En outre, toutes les variables manquantes annotées ne sont pas nécessaires pour résoudre un cas ; le fait de ne pas demander certains éléments ne signifie donc pas automatiquement que les demandes de précisions étaient inadéquates.

Les chercheurs prévoient de mettre à disposition 50 % des questions sources de chaque catégorie et de réserver le reste à une évaluation privée, en veillant à ce que chaque paire — question insuffisamment précisée et question entièrement précisée — figure dans le même sous-ensemble. Ils prévoient également de publier les sorties des modèles sur le sous-ensemble public ainsi que le processus d’évaluation.

La déclaration d’éthique de l’article précise que les scores ne doivent pas être interprétés comme la preuve qu’un modèle peut fournir sans danger des conseils juridiques sans supervision. Pour les gouvernements qui évaluent l’IA juridique, les résultats montrent que les demandes de précisions font partie intégrante de l’évaluation de l’exactitude : un système doit repérer les faits que le droit local juge pertinents, puis appliquer correctement ce droit après les avoir obtenus.