Le benchmark de Vals AI sur l’aide juridique révèle les limites des modèles pour orienter les utilisateurs vers des ressources locales

NextLadder Ventures et Vals AI ont annoncé le Benchmark de l’accès à la justice le 10 novembre 2026, indiquant qu’aucun des 23 modèles d’IA n’avait atteint le seuil de 80 % requis pour constituer un premier point de contact fiable dans 252 scénarios d’aide juridique.

Les résultats et la méthodologie du benchmark mettent en évidence un net écart entre l’explication du droit et la recherche d’une aide concrète. Selon Vals AI, les modèles ont satisfait à 78 % à 87 % des critères établis par des experts pour les explications juridiques générales, mais seulement à 30 % à 50 % pour trouver des ressources précises, comme un programme local d’aide juridique, un centre d’information juridique d’un tribunal ou un formulaire particulier. Dans au moins 70 % de leurs réponses finales, 21 modèles ont indiqué un répertoire national — notamment LawHelp.org, le service Find Legal Help de l’ABA ou le 211 — au lieu de trouver systématiquement le programme ou le bureau local pertinent.

Dans leur annonce conjointe, les auteurs classent Qwen 3.8 Max en première position, avec 76,4 % des critères satisfaits, suivi de Claude Sonnet 5.5, à 74,9 %, et de Wonder Full, à 74,7 %. Les résultats des trois modèles se situent dans leurs marges d’erreur respectives. Ce regroupement signifie que l’ordre numérique ne permet pas de désigner clairement un vainqueur.

Meghana Kotcherlakota, chercheuse chez Vals AI, a distingué ce projet des benchmarks d’IA juridique axés sur les cabinets d’avocats et les entreprises : « Nous avons créé le Benchmark de l’accès à la justice pour montrer, problème par problème, dans quelle mesure ces modèles aident les personnes qui en ont le plus besoin, et pour suivre leurs progrès. »

Le communiqué replace les résultats dans le contexte de l’étude Justice Gap de 2022 de la Legal Services Corporation, selon laquelle les Américains à faibles revenus n’ont reçu aucune aide juridique ou une aide insuffisante pour 92 % de leurs problèmes juridiques civils. Parmi les personnes qui n’ont pas cherché d’aide, 46 % ont invoqué le coût. La recherche s’appuie sur une enquête menée auprès d’environ 5 000 adultes par NORC at the University of Chicago, ainsi que sur des données d’organismes d’aide juridique financés par la Legal Services Corporation.

Comment le benchmark a évalué l’aide au premier contact

Le benchmark place chaque modèle dans le rôle d’un premier point de contact, à l’image d’un agent chargé de l’accueil ou d’un centre d’information juridique d’un tribunal, qui fournit des renseignements juridiques généraux plutôt que des conseils juridiques. Deux professionnels du droit ont fourni des demandes issues de situations réelles, puis six spécialistes de l’aide juridique les ont adaptées aux États qui leur avaient été attribués : la Californie, la Louisiane, la Virginie, New York, le Maryland et le Texas. Les experts ont rédigé les questions d’ouverture, les faits contextuels qui restaient cachés à moins que la conversation ne les fasse ressortir, les évaluations de difficulté et les grilles d’évaluation, qui comptaient en moyenne 15,4 critères indépendants.

Le jeu de données complet comprend 504 scénarios, répartis à parts égales entre le jeu de test public et un jeu de validation privé. Chaque modèle évalué pouvait effectuer des recherches sur le Web, ouvrir des pages et interroger un client simulé par GPT-5 avant que Decider v1.2, un évaluateur automatisé, ne note l’ensemble de la conversation. Seules les informations demandées par le modèle évalué lui étaient fournies, et le client simulé n’ajoutait aucun autre détail ni ne remettait en question les hypothèses erronées. Le score d’un modèle correspondait à la proportion cumulée de critères de la grille satisfaits dans l’ensemble des scénarios de test.

Les choix de conversation et de sources ont révélé des lacunes

Les lois, les règles des tribunaux et la jurisprudence représentaient 42 % des pages consultées par les modèles, tandis que les sites d’aide juridique et les sites d’information juridique à but non lucratif en représentaient 10 %. Vals AI relie cette tendance à l’écart entre les scores : la lecture des lois peut aider à formuler un résumé général, mais elle ne donne pas le nom de l’organisme ou du bureau du tribunal que l’utilisateur devrait contacter ensuite.

L’analyse des conversations de Vals AI fait état d’une moyenne d’environ 3,5 échanges. La plupart des modèles fournissaient une réponse complète dès leur première intervention, avant de poser des questions, le cas échéant. GPT-6.1 Sol terminait sa première réponse par une question dans 88 % des cas, mais se classait au 18e rang, avec un score de 68,1 % pour la collecte d’informations, le critère de la grille qui mesure si un modèle a demandé les renseignements nécessaires. Ce contraste montre que poser souvent des questions ne permettait pas nécessairement de faire ressortir les faits précisés par les experts. Les modèles qui ne posaient pas de questions supposaient parfois des éléments, comme l’État où se trouvait l’utilisateur ou l’existence préalable d’une décision de justice.

Dans les résultats par sujet de Vals AI, les scénarios liés au logement et aux relations entre propriétaires et locataires obtiennent les meilleurs scores, avec 75,4 % pour l’ensemble des modèles. Les questions relatives aux prestations publiques obtiennent les scores les plus faibles, à 57,3 %, même si cette catégorie ne comprend que cinq scénarios. Le droit de la famille compte 110 scénarios et obtient une moyenne de 71,2 % ; dans cette catégorie, les questions de droit de visite obtiennent 61,3 %, et celles portant sur la prise en charge d’enfants par des proches, en lien avec les services de protection de l’enfance, 63,0 %.

Deux exemples cités dans l’annonce montrent comment ces lacunes ont influé sur les conseils fournis. Dans une affaire de petites créances en Louisiane portant sur une promesse verbale de remboursement, seuls huit modèles ont demandé si la dette concernait un bien immobilier, quatre ont averti que l’expiration du délai de 10 ans pour déposer une demande empêcherait tout recouvrement, et trois ont orienté l’utilisateur vers le site Web du greffier du tribunal pour obtenir les formulaires de demande et de dispense des frais. Dans un scénario concernant un dépôt de garantie à New York, où le locataire avait déménagé, 14 modèles ont été pénalisés pour avoir recommandé une mise en demeure extrajudiciaire, une démarche déconseillée par la grille d’évaluation des experts ; seuls quatre ont orienté le locataire vers le programme municipal Right to Counsel.

Scores des modèles gratuits et premium

Dans une comparaison distincte des principaux fournisseurs de chatbots, le groupe des modèles gratuits estimé par Vals AI a obtenu une moyenne de 69,7 %, contre 70,4 % pour les modèles premium. Claude Sonnet 5.5 a obtenu un score supérieur de 1,2 point de pourcentage à Claude Opus 5.5, et seul le modèle premium de xAI a nettement surpassé le modèle gratuit de ce fournisseur. Les catégories d’offre attribuées aux modèles dans cette comparaison sont des estimations, et non des correspondances confirmées par les fournisseurs ; les tests API identiques ne peuvent pas rendre pleinement compte du comportement des chatbots grand public. Les modèles à poids ouverts ont été exclus.

Les organisations ont indiqué qu’elles collaboraient à une analyse plus complète et à une note complémentaire destinée à aider les professionnels de terrain à comprendre les lacunes qui subsistent. Pour les organismes d’aide juridique qui évaluent ces systèmes, l’enjeu pratique est le suivant : expliquer la loi ne constitue qu’une partie de la performance lors du premier contact. Le benchmark évalue également la capacité des modèles à faire ressortir des faits susceptibles de changer l’issue d’un dossier et à proposer une prochaine étape précise, adaptée au contexte local.