AI 모델 및 플랫폼
Baidu의 ERNIE Evolve, AI 연구와 추론 최적화 자동화
Unite.AI를 Google의 선호 소스에 추가
Baidu는 2026년 11월 9일 ERNIE Evolve를 발표하며, NanoChat 및 NanoGPT의 세 가지 지표에서 공개 비교 결과보다 나은 성과를 거뒀고 결정론적 ERNIE-5.5-Flash 추론 테스트 한 건에서는 처리량이 33.7% 높았다고 밝혔다. 이 자동 연구 시스템은 연구 방향을 선택하고 AI 코드를 수정하며, 별도의 평가와 검토를 통과한 개선 사항만 채택한다.
이번 발표에는 개발 중인 ERNIE-5.5-Flash의 추론 엔진을 능동적으로 최적화하는 작업도 포함됐다. 이 시스템의 역할은 코드 작성에 그치지 않는다. 연구 방향을 정하고 테스트를 수행하며, 실패와 성공을 모두 활용해 이후 반복 작업의 방향을 잡는다.
독립적인 검증을 갖춘 연구 루프
저장소와 최적화 목표, 평가 기준이 주어지면 ERNIE Evolve는 코드를 수정하고 격리된 환경에서 실험을 실행한다. 바깥 루프의 디렉터는 이전 실험을 모은 경험 은행과 논문, 오픈소스 코드, 도메인 지식으로 구성된 지식 베이스를 바탕으로 연구 방향과 시작 버전을 선택한다. 병렬 레인에는 후보 버전의 트리가 구성되며, 각 레인 안에서 선택기가 후보와 가설을 고르고 실행기가 변경 사항을 구현한다.
채택 여부는 고정된 평가기와 별도의 검토자에 달려 있다. 평가기는 저장소 바깥에 있어 에이전트가 볼 수 없으며, 범위를 벗어난 변경 사항은 제외하고 잡음 임계값을 넘는 개선을 요구한다. 검토자는 연구 방향을 따랐는지 확인하고 평가의 허점을 악용한 결과는 폐기한다. 연구 방향에서 벗어난 후보는 최적 버전으로 채택될 수 없다.
공개 벤치마크 결과와 공개된 코드
Baidu는 평가에 사용한 공개 비교 결과를 기준으로 다음과 같은 성과를 보고했다.
| 작업 및 조건 | 지표 | ERNIE Evolve | 공개 비교 결과 |
|---|---|---|---|
| NanoChat AutoResearch, B200 한 대에서 5분간 학습 | 검증 데이터의 바이트당 비트 수, 낮을수록 좋음 | 0.8763 | 시드 10개에서의 평균 0.887791 |
| NanoGPT Speedrun Track 1, H100 GPU 8개 | FineWeb 검증 손실 3.28에 도달하는 시간(초), 짧을수록 좋음 | 실행 18회 기준 38.92초 | 39.9초 |
| NanoGPT Speedrun Track 3, 데이터, 배치 크기, 아키텍처 고정 | FineWeb 검증 손실 3.28에 도달하는 데 필요한 단계 수, 적을수록 좋음 | 실행 8회 기준 2,590 | 실행 8회 기준 2,690 |
| SOL-ExecBench, 커널 문제 235개 | 분석적으로 산출한 B200 성능 상한선 대비 평균 속도 점수, 높을수록 좋음 | 0.819 | 최고 점수 0.827 |
NanoChat에서 ERNIE Evolve는 신경망과 함께 두 가지 예측 분기를 추가했다. 하나는 학습 말뭉치의 n-그램 통계를 사용하고, 다른 하나는 일치하는 문서를 검색해 그 뒤에 이어지는 내용을 바탕으로 예측한다. 학습된 게이트는 각 분기가 이전 토큰 위치에서 보인 성능을 활용해 두 분기의 결합 비중을 조정한다.
결과 저장소에는 최종 코드와 측정 로그가 공개되어 있으며, 실행한 코드는 각 로그에 포함되거나 SHA-256으로 식별된다. 이 저장소에는 0.6669~0.9920점을 받은 SOL-ExecBench 커널 산출물 7개가 나열되어 있다. NVIDIA의 작업 정의와 워크로드 데이터는 재배포되지 않는다.
SOL-ExecBench 항목은 전체 결과의 범위를 한정해 보여 준다. ERNIE Evolve가 나열된 모든 지표에서 앞선 것은 아니지만, Baidu의 비교에서는 해당 작업에서 Recursive와 Hyra-1.0보다 높은 성과를 거뒀다.
ERNIE-5.5-Flash의 추론 최적화
Baidu는 Kunlunxin P800의 저지연 추론, GPU의 결정론적 추론 처리량, 단일 요청 디코딩 속도에 ERNIE Evolve를 적용했다. 기준 시스템 대부분은 이미 엔지니어가 최적화한 상태였으며, 변경 사항은 엔지니어가 제출한 작업과 동일한 부하 테스트 및 정확성 검사를 통과해야 했다.
Kunlunxin P800에서 Baidu는 네 차례의 연구를 통해 모델과 배포 설정을 바꾸지 않고도 정확성 검사를 통과하면서 생성 속도를 기준선의 623.6%까지 높였다고 밝혔다. 초기 단계에서는 매니폴드 제약 하이퍼커넥션과 추측 디코딩을 융합해 적용한 뒤, 호스트 측 스케줄링과 동기화 오버헤드를 줄였다. 네 번째 단계에서 디스패치 문제를 수정해 DeepEP의 저지연 경로를 사용할 수 있게 됐다.
강화 학습 학습 작업에서는 배치 구성이 어떻든 생성된 토큰과 로그 확률이 비트 단위까지 동일해야 했으며, 전체 시퀀스를 다시 계산한 결과와도 일치해야 했다. SGLang의 결정론적 모드는 리덕션 순서를 고정해 이러한 요구 사항을 지원하지만, 그로 인해 GPU 활용률이 제한된다. Baidu는 약 3일간의 작업으로 결정론을 유지하면서 출력 토큰당 평균 시간도 26%, 첫 토큰 생성 시간도 12% 줄였다고 밝혔다. 개별 개선 중 가장 큰 효과는 단계당 GPU 시간의 약 14%를 차지하던 결정론적 샘플링을 어휘 청크를 병렬 처리하는 Triton 커널로 대체해 얻었다.
단일 요청 GPU 디코딩에서 Baidu는 이미 엔지니어가 튜닝한 서비스보다 속도가 14.9% 향상됐으며 정확도는 변하지 않았다고 보고했습니다. 연구 방향 7개 중 3개에서 성능 향상이 나타났습니다. 여기에는 입력 행이 8개 미만인 FP8 행렬 곱셈에 네이티브 FP16 명령어를 사용하고, 전문가를 순차적으로 검색하는 방식 대신 2단계 혼합 전문가 스케줄러를 도입하는 방안이 포함됐습니다.
이 테스트에서는 모듈 간 제약과 결정성 요건이 더 엄격하다는 점, 개별 성능 향상 폭과 맞먹는 측정 노이즈, 추론 엔진과 커널 라이브러리, 하드웨어 플러그인, 서비스 시작 스크립트에 걸친 다양한 환경도 드러났습니다. 유용한 변경 사항 중 일부는 노이즈보다 효과가 작았기 때문에, 후보 변경 사항은 개별 커널 측정이 아니라 엔드투엔드 부하 테스트를 통해 실제 효과를 입증해야 했습니다.
Baidu는 이 반복 과정을 학습 시스템 최적화에 적용한 뒤, 모델 역량 지표를 활용해 가설 생성과 실험 설계, 검증을 자동으로 이끌 계획입니다. 장기적으로는 AI가 역량의 공백을 찾아내고 평가 과제를 생성하고 개선하는 것을 목표로 합니다.
회사는 재귀적 자기 개선을 명시적인 목표·권한·자원 범위 안에서 사람이 통제하고 중단할 수 있어야 하며, 지속적인 안전성 평가와 사람의 감독을 받아야 한다고 밝혔습니다. 고정된 엔지니어링 지표에서 모델 역량과 벤치마크 설계로 나아가면, 평가와 감독을 위한 이러한 통제 장치가 연구 반복 과정의 확장 범위를 결정하는 핵심 요소가 됩니다.
