바이두, 추가 학습용 ERNIE 5.5 Flash Base 공개

바이두 ERNIE 팀은 2026년 11월 5일 ERNIE-5.5-Flash-Base를 발표하고 다운로드 가능한 가중치를 공개했다. 이 모델은 텍스트 전용 전문가 혼합 모델로, 총 매개변수는 2,800억 개이며 토큰당 140억 개가 활성화된다. 이 체크포인트는 사전 학습을 마친 상태이며 중간 학습이나 사후 학습은 거치지 않았다. 따라서 개발자는 도메인 적응, 지시 튜닝, 강화 학습 연구를 위한 공통 출발점으로 활용할 수 있다.

이번 공개는 학습 방법을 통제된 조건에서 비교할 수 있는 고정 기준선도 제공한다. 바이두는 사후 학습을 거친 ERNIE 5.5 Flash 모델을 이번 베이스 버전에 이어 공개할 예정이라고 밝혔다.

아키텍처와 학습 시스템

모델 카드에는 레이어 43개, 은닉 크기 4,096, 어텐션 헤드 64개가 명시되어 있다. 이 가운데 37개 레이어는 고도 압축 어텐션을 사용한다. 해당 레이어의 캐시에는 128토큰 블록마다 항목 하나씩 저장되며, 최근 압축되지 않은 토큰을 담는 짧은 윈도도 포함된다. 다중 헤드 잠재 어텐션을 사용하는 6개 레이어는 전체 문맥에 토큰 단위로 접근할 수 있도록 유지하고, 인덱서를 사용해 점수가 가장 높은 이전 위치를 선택한다. 바이두에 따르면 이러한 희소 선택 방식은 문맥이 길어져도 쿼리당 핵심 어텐션 비용을 일정하게 유지한다.

첫 번째 레이어를 제외한 모든 레이어는 라우팅되는 전문가 512개 중 10개를 활성화하는 전문가 혼합 블록과 공유 전문가 1개를 사용한다. 전문가는 모델의 전체 은닉 폭이 아니라 2,048차원 잠재 공간에서 작동한다. 바이두에 따르면 이 방식은 전체 폭을 사용하는 전문가와 비교해 전문가 분배 및 결합 트래픽과 전문가 FLOPs를 대략 절반으로 줄인다. 이 설계에는 다양체 제약 하이퍼커넥션을 통한 병렬 잔차 스트림 4개와 학습 가능한 구간별 온도를 적용한 MultiMax 출력 헤드도 포함된다.

사전 학습에는 토큰 33조 5천억 개, Muon 옵티마이저, FP8 혼합 정밀도가 사용됐다. 학습 중 사용한 문맥 길이는 점차 늘려 128K 토큰까지 확장했으며, 미세 조정과 추론에서는 100만 토큰을 지원한다. 다국어 웹 데이터와 함께 학습 말뭉치에는 코드와 커밋, 이슈, 풀 리퀘스트, 리뷰, 생성된 테스트, CI 검증을 거친 수정 사항 등 소프트웨어 개발 기록이 포함된다. 선별된 장문 문서, 의미상 유사한 방해 요소가 포함된 시퀀스, 합성 검색 및 질의응답 데이터는 장문 문맥 학습에 사용된다. 이러한 선택은 베이스 모델을 저장소 수준의 추론, 에이전트 기반 소프트웨어 엔지니어링, 장문 입력에 맞춘다.

함께 제공되는 FlashMask 저장소에는 Hopper 및 Blackwell GPU용 어텐션 커널이 문서화되어 있다. Blackwell 구성에서는 쿼리와 키의 헤드 차원을 최대 576, 값의 헤드 차원을 최대 512까지 지원한다. 바이두는 SM100 하드웨어에서 FlashAttention-4 MaskMod와 비교해 순전파 속도는 최대 175%, 역전파 속도는 최대 74% 향상된다고 밝혔다. 분산 Muon 시스템은 밀집 매개변수와 MoE 매개변수의 동기화를 하나의 집단 연산으로 통합하고, 옵티마이저 상태를 노드 간에 더 고르게 분산한다. 옵티마이저의 업데이트 방식은 변경하지 않는다.

바이두의 벤치마크 결과

바이두는 동일한 하네스와 프롬프트, 퓨샷 예시를 사용하고, 자유 형식 질의응답에는 동일한 LLM 평가자를 적용해 ERNIE를 공개된 DeepSeek-V4-Flash-Base, Hy3-preview-Base, MiMo-V2.5-Base 체크포인트와 비교했다. 바이두가 공개한 표에서 선두를 차지한 항목과 뒤처진 항목을 보여 주는 일부 결과는 다음과 같다.

바이두의 비교 결과에서 모든 과제를 휩쓴 모델은 없다. ERNIE는 제시된 MMLU와 HumanEval+ 결과에서 앞섰지만, FullStackBench에서는 Hy3가, InfiniteBench에서는 DeepSeek가 앞섰다. 이 표는 이러한 예외를 명시하면서도 바이두의 평가에서 ERNIE가 시험 및 코딩 과제에서 강한 성과를 보였음을 뒷받침한다.

배포 및 라이선스 조건

다운로드는 FP8 및 BF16 safetensors 형식으로 제공된다. 모델 카드에는 체크포인트가 베이스 모델이라는 점에 부합하도록 completions API를 통해 SGLang 및 vLLM으로 프로덕션 환경에서 서빙하는 방법이 설명되어 있다. NVIDIA의 Megatron Bridge 레시피에는 데이터 준비, 학습, Hugging Face 형식으로의 내보내기를 아우르는 지도 미세 조정 워크플로가 추가되어 있다. 전체 모델 레시피에서는 노드 16개를 사용하며, 각 노드에는 GB300 GPU 4개가 탑재된다. NVIDIA는 Blackwell GB200 및 GB300 시스템에서 레시피를 검증했다. 구성 요소는 Hopper도 지원하지만, Hopper에서는 검증되지 않았다.

맞춤형 ERNIE 5.5 Flash Base 모델 라이선스 계약 v1.0에는 지역 및 상업적 이용 조건이 명시되어 있다. 허용 지역에서 유럽연합, 영국, 대한민국은 제외되며, 해당 지역 밖에서의 사용, 수정, 배포 등의 활동은 허가되지 않는다. 비상업적 이용에는 모델 라이선스 비용이 부과되지 않는다. 관련 제품 또는 서비스의 연간 매출이 5,000만 달러 이하인 상업적 이용에는 일회성 통지와 눈에 잘 띄는 “Powered by ERNIE” 표기가 필요하다. 이 기준을 초과하는 경우에는 바이두의 별도 사전 서면 승인을 받아야 한다.

이 계약은 라이선스가 적용되는 자료와 파생 모델, 그 출력물을 무관한 AI 또는 머신러닝 시스템의 성능을 개선하는 데 사용하는 것도 금지합니다. 이 제한은 증류 및 합성 데이터 작업 흐름과 관련이 있습니다. 라이선스는 파생 모델과 출력물 사용 제한을 정의하면서 이러한 작업 흐름을 명시적으로 다룹니다.

ERNIE 5.5 Flash Base는 연구자와 개발자가 Baidu의 사전 학습 과정을 반복하지 않고도 후속 학습 방법을 시험할 수 있도록 고정된 체크포인트를 제공합니다. 이 모델은 활성 연산량과 긴 컨텍스트 처리 비용을 제어하는 데 중점을 두도록 설계됐지만, 실제 활용 범위는 전체 모델을 미세 조정하는 데 필요한 하드웨어와 지역, 대규모 상업적 이용, 무관한 모델로의 역량 이전을 제한하는 라이선스 때문에 제약을 받습니다.