iMerit lance Scholars, une plateforme pour développer la formation et l’évaluation de l’IA par des experts

Un modèle peut produire une explication médicale convaincante ou une réponse fluide à un problème de mathématiques et pourtant commettre une erreur que seul un spécialiste saura reconnaître. C’est à ce besoin de jugement expert que répond le lancement par iMerit de la plateforme Scholars d’iMerit, un système conçu pour coordonner les personnes qui entraînent, évaluent et mettent à l’épreuve des modèles d’IA avancés.

L’entreprise, détenue par EXL, a annoncé son lancement le 26 octobre. La plateforme regroupe le recrutement, l’intégration, la mise en relation avec des experts, l’attribution de projets, le suivi des engagements et les paiements. Selon l’annonce, le programme Scholars existant compte plus de 30 000 professionnels invités et sélectionnés dans 118 pays et parlant 106 langues.

La plateforme est conçue pour gérer des centaines de milliers d’experts à mesure que la demande augmente. Il s’agit d’un objectif en matière de capacité opérationnelle, distinct de la taille actuelle déclarée de la communauté. À court terme, l’ambition est de faciliter la coordination des contributions humaines spécialisées à toutes les étapes du cycle de développement et de déploiement des modèles.

Constituer les effectifs qui feront progresser les modèles

La communauté Scholars rassemble des experts en médecine, en mathématiques, en agriculture, en linguistique, en systèmes autonomes et dans d’autres domaines spécialisés. Ils contribuent au réglage fin supervisé, à l’évaluation des modèles, aux tests d’intrusion et à l’apprentissage par renforcement à partir du retour humain, généralement désigné par le sigle RLHF.

Ces activités font appel à des formes de jugement différentes. Le réglage fin peut nécessiter un exemple soigneusement conçu de la réponse que le modèle devrait produire. L’évaluation consiste à déterminer si une sortie répond à des critères définis. Les tests d’intrusion visent délibérément à mettre un système à l’épreuve pour en révéler les défaillances, tandis que les retours humains peuvent apporter des préférences et des corrections utiles aux entraînements ultérieurs.

Il est donc aussi important de confier chaque tâche à la bonne personne que d’élargir le vivier d’experts. Un médecin spécialisé dans un domaine pointu peut repérer une erreur lourde de conséquences qui échapperait à un évaluateur aux connaissances plus générales. Un linguiste peut déceler une ambiguïté qui disparaît dans une traduction littérale.

La nouvelle plateforme associe les projets à des spécialistes du domaine et à des personnes dotées des compétences cognitives requises, tout en fournissant l’infrastructure administrative nécessaire pour maintenir l’engagement des experts. iMerit décrit son objectif comme l’établissement d’une relation durable avec des spécialistes qui se familiarisent avec le travail et prennent part à des cycles de retour d’expérience.

« Nous avons besoin de personnes suffisamment compétentes non seulement pour enseigner aux modèles, mais aussi pour démontrer qu’ils se trompent et les corriger », a déclaré Radha Basu, vice-présidente exécutive et responsable d’iMerit chez EXL.

Ango Hub relie le jugement des experts aux données d’entraînement

La technologie opérationnelle qui sous-tend la plateforme Scholars est Ango Hub, la plateforme d’annotation de données et d’évaluation de modèles d’iMerit. Elle transforme le travail des experts en éléments organisés et vérifiables, susceptibles d’être intégrés à un processus d’entraînement ou d’évaluation.

La documentation actuelle d’Ango Hub décrit des processus configurables, la possibilité de faire intervenir plusieurs annotateurs sur un même élément, des tâches de référence et des outils permettant aux réviseurs d’accepter, de rejeter ou de corriger les étiquettes. Des consignes de projet et un système de signalement des problèmes aident les réviseurs à résoudre les questions, tandis que des contrôles d’accès fondés sur les rôles déterminent qui peut travailler sur certaines données.

La plateforme prend en charge plusieurs types de contenus, notamment les images, les vidéos, les fichiers audio, les textes, les PDF et les données médicales au format DICOM. Cette diversité est importante, car le développement des modèles associe de plus en plus le langage à des informations visuelles, cliniques ou issues du monde physique. L’interface et le processus de révision doivent être adaptés aux contenus examinés par les experts.

Il est utile de distinguer les deux plateformes : Scholars coordonne les experts et leurs relations avec les projets, tandis qu’Ango Hub fournit les outils et les processus qui permettent de transformer leurs contributions en données exploitables par l’IA.

De la correction des réponses à l’évaluation de workflows complets d’agents

Le Deep Reasoning Lab d’iMerit permet d’examiner ce processus plus en détail. L’entreprise indique que les experts conçoivent des scénarios à plusieurs étapes, examinent les sorties des modèles, classent les erreurs et proposent des corrections accompagnées d’explications. Ces exemples structurés peuvent aider les développeurs à déterminer à quel moment une réponse déraille et à créer des données d’entraînement ciblées.

Ces traces de raisonnement sont des éléments élaborés et vérifiés dans le cadre d’une tâche. Il ne faut pas en déduire qu’elles révèlent tous les calculs internes à l’origine de la réponse d’un modèle. Leur intérêt pratique est de rendre le parcours d’évaluation et les corrections suffisamment explicites pour pouvoir les examiner et les réutiliser.

Le service d’évaluation des agents de l’entreprise étend l’examen au-delà de la réponse finale pour couvrir les étapes de planification, les appels aux outils, les états intermédiaires et les résultats. Il prévoit des grilles d’évaluation structurées et un arbitrage par des experts pour étudier des aspects tels que l’accomplissement des tâches, le choix des outils, l’ancrage dans les sources et le respect des limites définies par les politiques.

Cela devient important lorsque l’IA peut agir. Un agent peut produire un résumé soigné tout en utilisant le mauvais outil ou en laissant la tâche sous-jacente inachevée. L’examen de la séquence d’actions permet aux spécialistes de repérer ces défaillances et de transmettre des retours structurés aux développeurs.

Les paiements et la continuité des projets deviennent des éléments de l’infrastructure

Le lancement intègre également Trolley pour les paiements à l’échelle mondiale. iMerit indique que cette intégration prend en charge les paiements sécurisés et les processus de conformité destinés à sa communauté internationale d’experts.

Les opérations de paiement peuvent sembler éloignées des performances des modèles, mais elles déterminent si un spécialiste peut participer de manière régulière. Le recrutement, l’intégration, l’accès aux tâches et la rémunération deviennent autant de dépendances opérationnelles lorsqu’un projet fait appel à des experts dans de nombreux pays.

La plateforme regroupe ces fonctions avec la mise en relation et l’engagement, au lieu de laisser chaque équipe projet les mettre en place séparément. Pour les clients, l’objectif est de bénéficier d’une main-d’œuvre et d’un processus de révision plus cohérents ; pour les experts, de suivre plus clairement le parcours qui mène de leur participation à un projet à l’achèvement des tâches et au versement de leur rémunération.

« Vous ne vous contentez pas d’annoter des données : vous contribuez à façonner le raisonnement et le comportement de ces systèmes dans votre domaine », a déclaré Pavel Kopach, médecin spécialiste en pathologie au Beth Israel Deaconess Medical Center et expert iMerit en IA dans le domaine de la santé, dans l’annonce.

EXL apporte le contexte du déploiement en entreprise

Le lancement fait suite à la finalisation de l’acquisition d’iMerit par EXL, annoncée le 3 août. EXL a présenté cette association comme un moyen de combiner son expertise en entraînement et en évaluation de modèles avec ses capacités en matière de données d’entreprise, de contexte opérationnel et de mise en œuvre de l’IA.

Cela ouvre aux Scholars de nouveaux débouchés commerciaux. Basu a indiqué qu’iMerit étend ses activités au-delà du développement de modèles de pointe, aux processus des secteurs bancaire, de la santé et de l’assurance, où l’adaptation au domaine, la confiance et la sécurité déterminent si l’IA peut fonctionner efficacement en production.

La nouvelle plateforme ne permet pas, à elle seule, d’établir qu’un modèle est fiable dans tous les contextes spécialisés. Elle répond à un préalable plus concret : organiser les personnes, les outils et les retours nécessaires pour évaluer un système au regard des exigences de ce contexte. À mesure que l’IA s’intègre davantage aux processus professionnels, la capacité à trouver le bon expert, à recueillir une correction utile et à réinjecter ces connaissances dans le développement devient un élément de plus en plus important du socle technologique.