iMerit lanza Scholars Platform para ampliar la formación y evaluación de IA dirigidas por expertos

Un modelo puede ofrecer una explicación médica convincente o responder con fluidez a un problema matemático y, aun así, cometer un error que solo un especialista detectaría. La necesidad de contar con el criterio de expertos está detrás del lanzamiento de iMerit de la plataforma Scholars de iMerit, un sistema diseñado para organizar a las personas que entrenan, evalúan y ponen a prueba modelos avanzados de IA.

La empresa, propiedad de EXL, anunció el lanzamiento el 26 de octubre e integró en una plataforma unificada la contratación, la incorporación, la asignación de expertos, la asignación de proyectos, la participación y los pagos. Según el anuncio, su programa Scholars actual cuenta con más de 30.000 profesionales invitados y evaluados en 118 países y que hablan 106 idiomas.

La plataforma está diseñada para gestionar a cientos de miles de expertos a medida que crezca la demanda. Esta cifra se refiere a la escala operativa prevista y es distinta del tamaño actual declarado de la comunidad. La propuesta inmediata es facilitar la coordinación de los aportes de especialistas a lo largo de todo el ciclo de vida del desarrollo y la implementación de modelos.

Desarrollar la fuerza laboral que impulsa la mejora de los modelos

La comunidad Scholars abarca la medicina, las matemáticas, la agricultura, la lingüística, los sistemas autónomos y otros campos especializados. Estos expertos contribuyen al ajuste fino supervisado, la evaluación de modelos, las pruebas de seguridad ofensivas y el aprendizaje por refuerzo a partir de la retroalimentación humana, conocido comúnmente como RLHF.

Estas actividades requieren distintos tipos de criterio. El ajuste fino puede necesitar un ejemplo cuidadosamente elaborado de la respuesta que debería producir un modelo. La evaluación determina si un resultado cumple los criterios establecidos. Las pruebas de seguridad ofensivas buscan deliberadamente fallos en un sistema, mientras que la retroalimentación humana puede aportar preferencias y correcciones que orienten el entrenamiento posterior.

Por eso, asignar a cada tarea a la persona adecuada es tan importante como ampliar el grupo de expertos. Un profesional clínico familiarizado con una especialidad concreta puede detectar un error importante que pasaría inadvertido para un revisor con conocimientos más generales. Un lingüista puede reconocer una ambigüedad que desaparece en una traducción literal.

La nueva plataforma asigna proyectos según la especialización y las habilidades cognitivas de cada persona, y proporciona la infraestructura administrativa necesaria para mantener la participación de los expertos. iMerit describe su objetivo como establecer una relación continua con especialistas que se familiaricen con el trabajo y participen en ciclos de retroalimentación.

«Necesitamos personas con los conocimientos suficientes no solo para enseñar a los modelos, sino también para demostrar que se equivocan y corregirlos», afirmó Radha Basu, vicepresidenta ejecutiva y directora de iMerit en EXL.

Ango Hub conecta el criterio de los expertos con los datos de entrenamiento

La tecnología operativa que sustenta la plataforma Scholars es Ango Hub, la plataforma de iMerit para la anotación de datos y la evaluación de modelos. Su función es convertir el trabajo de los expertos en materiales organizados y revisables que puedan incorporarse a un flujo de entrenamiento o evaluación.

La documentación actual del producto Ango Hub describe flujos de trabajo configurables, la participación de varios anotadores en un mismo recurso, tareas de referencia y controles para que los revisores acepten, rechacen o corrijan etiquetas. Las directrices de los proyectos y un sistema de incidencias ayudan a los revisores a resolver dudas, mientras que los controles de acceso basados en roles determinan quién puede trabajar con determinados datos.

La plataforma admite varias modalidades, como imágenes, video, audio, texto, archivos PDF y datos médicos DICOM. Esa amplitud es relevante porque el desarrollo de modelos combina cada vez más el lenguaje con información visual, clínica o del mundo físico. La interfaz y el proceso de revisión deben adaptarse al material que examina cada experto.

Conviene distinguir entre las dos plataformas: Scholars coordina al grupo de expertos y su relación con los proyectos, mientras que Ango Hub proporciona las herramientas y los flujos de trabajo que permiten convertir las contribuciones de los expertos en datos de IA utilizables.

De corregir respuestas a evaluar flujos de trabajo completos de agentes

Deep Reasoning Lab de iMerit ofrece una visión más detallada de ese proceso. La empresa explica que los expertos diseñan escenarios de varios pasos, revisan los resultados de los modelos, clasifican los errores y aportan correcciones con explicaciones. Estos ejemplos estructurados pueden ayudar a los desarrolladores a identificar dónde falla una respuesta y a crear material de entrenamiento específico.

Estos rastros de razonamiento son materiales seleccionados, creados y revisados para una tarea. No debe suponerse que revelen todos los cálculos internos que produjeron la respuesta de un modelo. Su utilidad práctica consiste en hacer explícitos el proceso de evaluación y sus correcciones para que puedan examinarse y reutilizarse.

El servicio de evaluación de agentes de la empresa amplía la revisión para abarcar, además de la respuesta final, los pasos de planificación, las llamadas a herramientas, los estados intermedios y los resultados. La empresa describe el uso de rúbricas estructuradas y la evaluación por expertos para abordar aspectos como la finalización de tareas, la selección de herramientas, la fundamentación y los límites de las políticas.

Esto cobra importancia cuando la IA puede actuar. Un agente puede elaborar un resumen pulido y, al mismo tiempo, utilizar la herramienta equivocada o dejar la tarea subyacente sin terminar. Revisar la secuencia de acciones permite a los especialistas detectar esos fallos y enviar comentarios estructurados a los desarrolladores.

Los pagos y la continuidad de los proyectos pasan a formar parte de la infraestructura

El lanzamiento también integra Trolley para realizar pagos internacionales. iMerit afirma que la integración facilita los pagos seguros y los procesos de cumplimiento normativo para su comunidad internacional de expertos.

Las operaciones de pago pueden parecer ajenas al rendimiento de los modelos, pero influyen en la posibilidad de que un especialista participe de forma constante. La contratación, la incorporación, el acceso a las tareas y la remuneración se convierten en dependencias operativas cuando un proyecto cuenta con expertos de muchos países.

La plataforma integra estas funciones con los procesos de emparejamiento y participación, en lugar de dejar que cada equipo de proyecto las organice por separado. Para los clientes, el beneficio previsto es contar con una plantilla y un proceso de revisión más coherentes; para los expertos, es disponer de una ruta más clara desde su incorporación al proyecto hasta la finalización del trabajo y el cobro.

«No solo estás etiquetando datos: estás ayudando a definir cómo razonan y se comportan estos sistemas en tu campo», afirmó Pavel Kopach, M.D., especialista en patología del Beth Israel Deaconess Medical Center y iMerit Scholar especializado en IA para la atención médica, en el anuncio.

EXL aporta el contexto de implementación empresarial

El lanzamiento se produce tras la finalización por parte de EXL de la adquisición de iMerit, anunciada el 3 de agosto. EXL presentó la combinación como una forma de unir la experiencia en entrenamiento y evaluación de modelos con sus capacidades de gestión de datos empresariales, conocimiento operativo e implementación de IA.

Esto abre una vía más amplia para comercializar Scholars. Basu afirmó que iMerit está ampliando su actividad, desde el desarrollo de modelos de vanguardia hasta los flujos de trabajo de banca, atención médica y seguros, donde la adaptación al ámbito específico, la confianza y la seguridad influyen en la capacidad de la IA para operar con éxito en entornos de producción.

La nueva plataforma no demuestra por sí misma que un modelo sea fiable en todos los entornos especializados. Aborda un requisito previo más concreto: organizar a las personas, las herramientas y los comentarios necesarios para poner a prueba un sistema frente a las exigencias de ese entorno. A medida que la IA se integra cada vez más en los flujos de trabajo profesionales, la capacidad de encontrar al experto adecuado, obtener una corrección útil e incorporar ese conocimiento al desarrollo se convierte en una parte cada vez más importante de la infraestructura tecnológica.