Modelos y plataformas de IA
Baidu ERNIE Evolve automatiza la investigación en IA y la optimización de la inferencia
Añade Unite.AI a tus fuentes preferidas en Google
Baidu presentó ERNIE Evolve el 9 de noviembre de 2026 y afirmó haber obtenido mejores resultados que las comparaciones públicas en tres métricas de NanoChat y NanoGPT, así como un rendimiento un 33,7 % mayor en una prueba de inferencia determinista de ERNIE-5.5-Flash. El sistema automatizado de investigación selecciona líneas de investigación, modifica código de IA y conserva únicamente las mejoras que superan una evaluación y una revisión independientes.
El anuncio también abarca el trabajo activo de ingeniería de inferencia para ERNIE-5.5-Flash, que está en desarrollo. La función del sistema va más allá de escribir código: selecciona líneas de investigación, ejecuta pruebas y utiliza tanto los fracasos como los éxitos para orientar las iteraciones posteriores.
Un ciclo de investigación con comprobaciones independientes
A partir de un repositorio, un objetivo de optimización y criterios de evaluación, ERNIE Evolve modifica código y ejecuta experimentos en entornos aislados. Un Director del ciclo externo elige una línea de investigación y una versión inicial mediante un banco de experiencias de experimentos anteriores y una base de conocimientos de artículos, código de código abierto y conocimientos especializados. En paralelo, varios carriles contienen árboles de versiones candidatas; en cada uno, un Selector elige una candidata y una hipótesis, y un Ejecutor implementa el cambio.
La aceptación depende de un Evaluador fijo y de un Revisor independiente. El Evaluador está fuera del repositorio, es invisible para los agentes, excluye los cambios ajenos al alcance y exige mejoras que superen un umbral de ruido. El Revisor comprueba que se respete la línea de investigación y descarta los intentos de aprovechar resquicios de la evaluación. Las candidatas que se apartan de la línea de investigación no pueden convertirse en la mejor versión.
Resultados en pruebas de referencia públicas y código publicado
Baidu informa de los siguientes resultados frente a las comparaciones públicas utilizadas en su evaluación:
| Tarea y condiciones | Métrica | ERNIE Evolve | Comparación pública |
|---|---|---|---|
| NanoChat AutoResearch, entrenamiento de cinco minutos en una B200 | Bits de validación por byte; cuanto más bajo, mejor | 0.8763 | Media de 0.887791 en 10 semillas |
| NanoGPT Speedrun Track 1, ocho GPU H100 | Segundos hasta alcanzar una pérdida de validación de 3.28 en FineWeb; cuanto menos, mejor | 38.92 segundos en 18 ejecuciones | 39.9 segundos |
| NanoGPT Speedrun Track 3, con datos, tamaño de lote y arquitectura fijos | Pasos hasta alcanzar una pérdida de validación de 3.28 en FineWeb; cuanto menos, mejor | 2,590 en ocho ejecuciones | 2,690 en ocho ejecuciones |
| SOL-ExecBench, 235 problemas de kernels | Puntuación media de velocidad máxima teórica frente a un límite de rendimiento analítico de B200; cuanto más alta, mejor | 0.819 | Puntuación líder: 0.827 |
En NanoChat, ERNIE Evolve añadió dos ramas de predicción junto a la red neuronal: una utiliza estadísticas de n-gramas del corpus de entrenamiento y la otra recupera documentos coincidentes y predice a partir de sus continuaciones. Una compuerta aprendida ajusta la combinación según el rendimiento de cada rama en posiciones anteriores de los tokens.
El repositorio de resultados publica el código final y los registros de mediciones; cada registro incluye el código ejecutado o identifica su SHA-256. Enumera siete artefactos de kernels de SOL-ExecBench con puntuaciones de 0.6669–0.9920; las definiciones de las tareas y los datos de carga de trabajo de NVIDIA no se redistribuyen.
La fila de SOL-ExecBench matiza los resultados generales: ERNIE Evolve no lideró en todas las métricas enumeradas, aunque la comparación de Baidu lo sitúa por delante de Recursive y Hyra-1.0 en esa tarea.
Optimización de la inferencia para ERNIE-5.5-Flash
Baidu aplicó ERNIE Evolve a la inferencia de baja latencia en Kunlunxin P800, al rendimiento de la inferencia determinista en GPU y a la velocidad de decodificación de una sola solicitud. La mayoría de las líneas base ya habían sido optimizadas por ingenieros, y los cambios debían superar las mismas pruebas de carga y comprobaciones de corrección que el trabajo presentado por los ingenieros.
En Kunlunxin P800, Baidu informa que cuatro rondas de investigación elevaron la velocidad de generación al 623.6% de la línea base y superaron las comprobaciones de corrección, sin modificar el modelo ni la configuración de implementación. Las primeras rondas habilitaron conexiones hiperparámetricas fusionadas y restringidas por variedad, así como la decodificación especulativa; después, redujeron la sobrecarga de planificación y sincronización en el host. Una corrección de despacho en la cuarta ronda habilitó la ruta de baja latencia de DeepEP.
Para el entrenamiento por aprendizaje por refuerzo, la tarea determinista exigía que los tokens generados y las probabilidades logarítmicas fueran idénticos bit a bit, independientemente de la composición del lote, y que coincidieran con el recálculo de la secuencia completa. El modo determinista de SGLang cumple esos requisitos al fijar el orden de reducción, pero eso limita la utilización de la GPU. Tras aproximadamente tres días, Baidu informa que el trabajo también redujo un 26 % el tiempo medio por token de salida y un 12 % el tiempo hasta el primer token, manteniendo el determinismo. La mayor mejora individual se obtuvo al sustituir el muestreo determinista, que consumía alrededor del 14 % del tiempo de GPU por paso, por un kernel de Triton que procesa en paralelo fragmentos del vocabulario.
En la decodificación de GPU para una sola solicitud, Baidu informa de un aumento de velocidad del 14,9 % frente a un servicio que ya había sido optimizado por ingenieros, sin cambios en la precisión. Tres de las siete líneas de investigación produjeron mejoras. Entre ellas se encontraban el uso de instrucciones nativas FP16 para multiplicaciones de matrices FP8 con menos de ocho filas de entrada y la sustitución de los análisis secuenciales de expertos por un planificador de mezcla de expertos de dos niveles.
Estas pruebas también revelaron restricciones más estrictas de módulos y determinismo, ruido de medición comparable a las mejoras individuales y entornos que abarcaban motores de inferencia, bibliotecas de kernels, complementos de hardware y scripts de inicio de servicios. Algunos cambios útiles eran menores que el ruido, por lo que los candidatos debían demostrar su valor en pruebas de carga de extremo a extremo, en lugar de hacerlo mediante mediciones aisladas de kernels.
Baidu planea aplicar este ciclo a la optimización de sistemas de entrenamiento y, después, utilizar métricas de capacidad del modelo para orientar la generación automatizada de hipótesis, el diseño de experimentos y la validación. Su objetivo a más largo plazo es que la IA identifique carencias de capacidades y genere y perfeccione tareas de evaluación.
La empresa afirma que la automejora recursiva debe permanecer bajo control humano y poder interrumpirse, dentro de límites explícitos para los objetivos, los permisos y los recursos, con evaluación continua de la seguridad y supervisión humana. El paso de métricas de ingeniería fijas a las capacidades de los modelos y al diseño de pruebas de referencia hace que esos controles de evaluación y supervisión sean fundamentales para determinar hasta dónde puede ampliarse el ciclo de investigación.
