Modelos e plataformas de IA
Baidu’s ERNIE Evolve automatiza a pesquisa em IA e a otimização da inferência
Adicione Unite.AI às suas fontes preferidas no Google
Baidu apresentou o ERNIE Evolve em 9 de novembro de 2026, relatando resultados melhores do que os das comparações públicas em três métricas de NanoChat e NanoGPT e uma vazão 33,7% maior em um teste determinístico de inferência do ERNIE-5.5-Flash. O sistema automatizado de pesquisa seleciona linhas de investigação, edita código de IA e mantém apenas as melhorias aprovadas em avaliações e revisões independentes.
O anúncio também aborda o trabalho ativo de engenharia de inferência para o ERNIE-5.5-Flash, ainda em desenvolvimento. O papel do sistema vai além de escrever código: ele seleciona linhas de investigação, executa testes e usa tanto os fracassos quanto os sucessos para orientar iterações posteriores.
Um ciclo de pesquisa com verificações independentes
Dado um repositório, um objetivo de otimização e critérios de avaliação, o ERNIE Evolve modifica o código e executa experimentos em ambientes isolados. Um Diretor do ciclo externo escolhe uma direção e uma versão inicial usando um Banco de Experiências com experimentos anteriores e uma Base de Conhecimento composta por artigos, código de código aberto e conhecimento especializado. Faixas paralelas contêm árvores de versões candidatas; dentro de cada uma, um Seletor escolhe uma candidata e uma hipótese, e um Executor implementa a alteração.
A aprovação depende de um Avaliador fixo e de um Revisor independente. O Avaliador fica fora do repositório, é invisível para os agentes, exclui alterações fora do escopo e exige ganhos acima de um limiar de ruído. O Revisor verifica se o trabalho segue a direção da pesquisa e descarta tentativas de explorar brechas na avaliação. Candidatas que se desviem da direção não podem se tornar a melhor versão.
Resultados em benchmarks públicos e código disponibilizado
A Baidu relata os seguintes resultados em comparação com os resultados públicos usados na avaliação:
| Tarefa e condições | Métrica | ERNIE Evolve | Comparação pública |
|---|---|---|---|
| NanoChat AutoResearch, treinamento de cinco minutos em um B200 | Bits de validação por byte; quanto menor, melhor | 0.8763 | Média de 0,887791 em 10 sementes |
| NanoGPT Speedrun Track 1, oito GPUs H100 | Segundos para atingir uma perda de validação de 3,28 no FineWeb; quanto menor, melhor | 38,92 segundos em 18 execuções | 39,9 segundos |
| NanoGPT Speedrun Track 3, dados, tamanho do lote e arquitetura fixos | Etapas para atingir uma perda de validação de 3,28 no FineWeb; quanto menor, melhor | 2.590 em oito execuções | 2.690 em oito execuções |
| SOL-ExecBench, 235 problemas de kernel | Pontuação média de desempenho em relação ao limite teórico analítico do B200; quanto maior, melhor | 0.819 | Pontuação líder de 0,827 |
No NanoChat, o ERNIE Evolve adicionou duas ramificações de previsão à rede neural: uma usa estatísticas de n-gramas do corpus de treinamento; a outra recupera documentos correspondentes e faz previsões com base em suas continuações. Uma porta treinada ajusta a combinação de acordo com o desempenho de cada ramificação em posições anteriores dos tokens.
O repositório de resultados disponibiliza o código final e os registros de medição, com o código executado incorporado a cada registro ou identificado por seu SHA-256. O repositório lista sete artefatos de kernel do SOL-ExecBench, com pontuações de 0,6669 a 0,9920; as definições das tarefas e os dados de carga de trabalho da NVIDIA não são redistribuídos.
A linha do SOL-ExecBench ressalva os resultados mais amplos: o ERNIE Evolve não liderou todas as métricas listadas, embora a comparação da Baidu o coloque à frente do Recursive e do Hyra-1.0 nessa tarefa.
Otimização da inferência para o ERNIE-5.5-Flash
A Baidu aplicou o ERNIE Evolve à inferência de baixa latência no Kunlunxin P800, à vazão de inferência determinística em GPUs e à velocidade de decodificação de solicitações individuais. A maioria das linhas de base já havia sido otimizada por engenheiros, e as alterações precisavam passar pelos mesmos testes de carga e verificações de correção aplicados ao trabalho apresentado por engenheiros.
No Kunlunxin P800, a Baidu relata que quatro rodadas de pesquisa elevaram a velocidade de geração a 623,6% da linha de base, com aprovação nas verificações de correção e sem alterações no modelo nem na configuração de implantação. As primeiras rodadas habilitaram conexões hiperconectadas com restrições de variedade, fundidas, e decodificação especulativa; depois, reduziram a sobrecarga de escalonamento e sincronização no host. Uma correção no despacho, feita na quarta rodada, habilitou o caminho de baixa latência do DeepEP.
No treinamento por aprendizagem por reforço, a tarefa determinística exigia que os tokens gerados e as probabilidades logarítmicas fossem idênticos bit a bit, independentemente da composição do lote, e correspondessem à recomputação da sequência completa. O modo determinístico do SGLang atende a esses requisitos ao fixar a ordem das reduções, mas isso limita a utilização da GPU. Após cerca de três dias, a Baidu relata que o trabalho também reduziu em 26% o tempo médio por token de saída e em 12% o tempo até o primeiro token, mantendo o determinismo. O maior ganho individual veio da substituição da amostragem determinística, que consumia cerca de 14% do tempo da GPU por etapa, por um kernel Triton que processa blocos do vocabulário em paralelo.
Para a decodificação na GPU de uma única solicitação, a Baidu relata um aumento de velocidade de 14,9% em relação a um serviço que já havia sido otimizado por engenheiros, sem alteração na precisão. Três das sete linhas de pesquisa resultaram em ganhos. Entre elas estavam o uso de instruções FP16 nativas para multiplicações de matrizes FP8 com menos de oito linhas de entrada e a substituição de varreduras sequenciais de especialistas por um escalonador de mistura de especialistas de dois níveis.
Esses testes também revelaram restrições mais rigorosas de modularidade e determinismo, ruído de medição comparável aos ganhos individuais e ambientes que abrangiam mecanismos de inferência, bibliotecas de kernels, plug-ins de hardware e scripts de inicialização de serviços. Algumas mudanças úteis apresentaram ganhos menores que o ruído; por isso, as candidatas precisavam comprovar seu valor em testes de carga de ponta a ponta, e não em medições isoladas de kernels.
A Baidu planeja aplicar o ciclo à otimização de sistemas de treinamento e, em seguida, usar métricas das capacidades dos modelos para orientar a geração automatizada de hipóteses, o projeto de experimentos e a validação. A meta de longo prazo é que a IA identifique lacunas de capacidade e gere e refine tarefas de avaliação.
A empresa afirma que o autoaperfeiçoamento recursivo deve permanecer sob controle humano e poder ser interrompido, dentro de limites explícitos para objetivos, permissões e recursos, com avaliação contínua de segurança e supervisão humana. A transição de métricas de engenharia fixas para as capacidades dos modelos e o projeto de benchmarks torna esses controles de avaliação e supervisão centrais para determinar até que ponto o ciclo de pesquisa pode se expandir.
