iMerit lança plataforma Scholars para ampliar o treinamento e a avaliação de IA conduzidos por especialistas

Um modelo pode produzir uma explicação médica convincente ou uma resposta fluente a um problema de matemática e, ainda assim, cometer um erro que só um especialista perceberia. Essa necessidade de avaliação especializada está por trás do lançamento da iMerit da plataforma Scholars da iMerit, um sistema criado para organizar as pessoas que treinam, avaliam e desafiam modelos avançados de IA.

A empresa controlada pela EXL anunciou o lançamento em 26 de outubro, reunindo recrutamento, integração, correspondência entre especialistas e projetos, atribuição de tarefas, engajamento e pagamentos em uma plataforma unificada. Segundo o anúncio, o programa Scholars existente conta com mais de 30.000 profissionais convidados e avaliados em 118 países e que falam 106 idiomas.

A plataforma foi projetada para gerenciar centenas de milhares de especialistas à medida que a demanda cresce. Isso se refere à escala operacional pretendida, que é diferente do tamanho atual informado para a comunidade. A proposta imediata é facilitar a coordenação da contribuição humana especializada em todo o ciclo de desenvolvimento e implantação de modelos.

Formação da força de trabalho por trás do aprimoramento de modelos

A comunidade Scholars reúne profissionais de medicina, matemática, agricultura, linguística, sistemas autônomos e outras áreas especializadas. Esses especialistas contribuem para o ajuste fino supervisionado, a avaliação de modelos, os testes adversariais e o aprendizado por reforço com feedback humano, conhecido pela sigla RLHF.

Essas atividades exigem diferentes tipos de julgamento. O ajuste fino pode exigir um exemplo cuidadosamente elaborado da resposta que o modelo deve produzir. A avaliação verifica se uma saída atende a critérios definidos. Os testes adversariais buscam deliberadamente identificar falhas em um sistema, enquanto o feedback humano pode fornecer preferências e correções que orientem treinamentos posteriores.

Por isso, encontrar a pessoa certa para cada tarefa é tão importante quanto ampliar o grupo de especialistas. Um profissional de saúde com experiência em uma especialidade restrita pode detectar um erro relevante que passe despercebido por um avaliador com conhecimentos mais gerais. Um linguista pode identificar uma ambiguidade que desapareceria em uma tradução literal.

A nova plataforma associa projetos a especializações em determinadas áreas e a habilidades cognitivas, além de oferecer a infraestrutura administrativa necessária para manter os especialistas engajados. A iMerit descreve o objetivo como estabelecer uma relação contínua com especialistas que aprendem o trabalho e participam de ciclos de feedback.

“Precisamos de pessoas com conhecimento suficiente não apenas para ensinar os modelos, mas também para provar que estão errados e corrigi-los”, afirmou Radha Basu, vice-presidente executiva e diretora da iMerit na EXL.

Ango Hub conecta o julgamento de especialistas aos dados de treinamento

A tecnologia operacional que sustenta a plataforma Scholars é o Ango Hub, plataforma de anotação de dados e avaliação de modelos da iMerit. Sua função é transformar o trabalho dos especialistas em materiais organizados e passíveis de revisão, que possam ser incorporados a um fluxo de treinamento ou avaliação.

A documentação atual do produto Ango Hub descreve fluxos de trabalho configuráveis, vários anotadores por ativo, tarefas de referência e controles para que os revisores aceitem, rejeitem ou corrijam rótulos. Diretrizes de projeto e um sistema de registro de problemas ajudam os revisores a resolver dúvidas, enquanto controles de acesso baseados em funções determinam quem pode trabalhar com dados específicos.

A plataforma oferece suporte a várias modalidades, incluindo imagens, vídeos, áudio, texto, PDFs e dados médicos DICOM. Essa abrangência é relevante porque o desenvolvimento de modelos combina cada vez mais linguagem com informações visuais, clínicas ou do mundo físico. A interface e o processo de revisão precisam se adequar ao material examinado pelo especialista.

É útil distinguir as duas plataformas: Scholars coordena a força de trabalho especializada e sua relação com os projetos, enquanto Ango Hub oferece as ferramentas e os fluxos de trabalho que transformam as contribuições dos especialistas em dados de IA utilizáveis.

Da correção de respostas à avaliação de fluxos de trabalho completos de agentes

O Deep Reasoning Lab da iMerit oferece uma visão mais detalhada desse processo. A empresa afirma que especialistas projetam cenários com várias etapas, analisam as saídas dos modelos, classificam erros e fornecem correções acompanhadas de explicações. Esses exemplos estruturados podem ajudar os desenvolvedores a identificar onde uma resposta falha e a criar materiais de treinamento direcionados.

Esses registros de raciocínio são materiais selecionados, criados e revisados para uma tarefa. Não se deve presumir que revelem todos os cálculos internos que levaram à resposta de um modelo. Seu valor prático está em explicitar o suficiente o percurso da avaliação e suas correções para que possam ser examinados e reutilizados.

O serviço de avaliação de agentes da empresa amplia a análise para além da resposta final, abrangendo etapas de planejamento, chamadas de ferramentas, estados intermediários e resultados. A empresa descreve o uso de rubricas estruturadas e avaliações por especialistas para questões como conclusão de tarefas, seleção de ferramentas, fundamentação e limites de políticas.

Isso se torna importante quando a IA pode agir. Um agente pode produzir um resumo bem elaborado enquanto usa a ferramenta errada ou deixa a tarefa subjacente incompleta. Analisar a sequência de ações permite que especialistas identifiquem essas falhas e enviem feedback estruturado aos desenvolvedores.

Pagamentos e continuidade dos projetos passam a fazer parte da infraestrutura

O lançamento também integra o Trolley para viabilizar pagamentos globais. Segundo a iMerit, a integração oferece suporte a pagamentos seguros e a processos de conformidade para sua comunidade internacional de especialistas.

As operações de pagamento podem parecer distantes do desempenho dos modelos, mas afetam a possibilidade de um especialista participar de forma consistente. Recrutamento, integração, acesso às tarefas e remuneração tornam-se dependências operacionais quando um projeto conta com especialistas de muitos países.

A plataforma reúne essas funções com os processos de seleção e engajamento, em vez de deixar cada equipe de projeto encarregada de organizá-las separadamente. Para os clientes, o benefício esperado é contar com uma força de trabalho e um processo de revisão mais consistentes; para os especialistas, é ter um percurso mais claro entre a entrada em um projeto, a conclusão do trabalho e o recebimento do pagamento.

“Você não está apenas rotulando dados: está ajudando a moldar a forma como esses sistemas raciocinam e se comportam na sua área”, disse, no anúncio, Pavel Kopach, M.D., especialista em patologia do Beth Israel Deaconess Medical Center e bolsista da iMerit em IA na saúde.

EXL traz o contexto da implantação em empresas

O lançamento ocorre após a conclusão da aquisição da iMerit pela EXL, anunciada em 3 de agosto. A EXL apresentou a união como uma forma de combinar a experiência em treinamento e avaliação de modelos com seus dados empresariais, seu contexto operacional e suas capacidades de implementação de IA.

Isso amplia as possibilidades de atuação da Scholars no mercado. Basu afirmou que a iMerit está expandindo sua atuação, que antes se concentrava no desenvolvimento de modelos de fronteira, para incluir fluxos de trabalho nos setores bancário, de saúde e de seguros, nos quais a personalização por domínio, a confiança e a segurança influenciam a capacidade de a IA operar com sucesso em produção.

A nova plataforma, por si só, não comprova que um modelo seja confiável em todos os contextos especializados. Ela trata de um pré-requisito mais concreto: organizar as pessoas, as ferramentas e o feedback necessários para testar um sistema diante das exigências daquele contexto. À medida que a IA se integra cada vez mais aos fluxos de trabalho profissionais, encontrar o especialista certo, registrar uma correção útil e reincorporar esse conhecimento ao desenvolvimento torna-se uma parte cada vez mais importante da infraestrutura tecnológica.