์ธ๊ณต์ง๋ฅ
์ง๋ฅํ ์ธํ ๋ฆฌ์ ์ค, HRM-Text ์ถ์ – ์ค์ผ์ผ ์ฐ์ ๊ฒฝ์์ ๋์ ํ๋ ๋ ๊ธฐ๋ฐ AI ๋ชจ๋ธ
AI 산업이 점점 더 큰 언어 모델과 더 큰 데이터 센터에 수십억 달러를 투자하는 동안, 싱가포르 기반 AI 연구 회사인 지능형 인텔리전스(Sapient Intelligence)는 매우 다른 접근 방식을 취하고 있습니다.
회사에서는 HRM-Text라는 새로운 10억 매개변수 이론 언어 모델을 발표했습니다. 이는 뇌가 느린 의도적 推論과 빠른 낮은 수준의 처리를 분리하는 방식에서 영감을 받은 계층적 반복 아키텍처를 중심으로 설계되었습니다.
규모만으로 승리하려고 시도하는 대신, Sapient는 HRM-Text를 推論의 깊이와 계산 효율성이 원시 매개변수 수보다 다음 단계의 AI 개발에서 더 중요해질 수 있다는 증거로 пози션합니다.
이 출시로 AI 부문에서 나타나는 더广い 추세가 계속됩니다. 즉, 단순히 트랜스포머를 무한히 확장하는 것이 더 일반적인 지능 형태를 달성하기에 충분할지에 대한 회의적 인식이 증가하고 있습니다.
트랜스포머 플레이북을 넘어서
대부분의 현대적인 대규모 언어 모델은 다음 토큰 예측에 중점을 둔 대부분의 피드 전방 시스템을 통해 정보를 처리하는 트랜스포머 아키텍처에 의존합니다. Sapient의 HRM 프레임워크는 대신 여러 推論 계층이 출력이 생성되기 전에 내부적으로 상호 작용하는 계층적 반복 구조를 도입합니다.
회사는 이 아키텍처를 두 개의 상호 연결된 시스템으로 설명합니다. 하나는 추상적인 계획 및 推論을 담당하는 상위 수준 “느린 컨트롤러”이고, 다른 하나는 자세한 계산을 처리하는 하위 수준 “빠른 작업자”입니다.
이것은 현재 AI 시스템에서 널리 사용되는 체인-오브-사고 방법과 다릅니다. 여기서 推論은 긴 가시적 텍스트 시퀀스를 통해 표현됩니다. HRM-Text는 대신 응답을 생성하기 전에 잠재 공간 내에서 대부분의 推論을 내부적으로 수행합니다.
Sapient는 이 구조가 큰 모델 크기나 거대한 추론 비용에 의존하지 않고도 더 복잡한 다단계 推論을 수행할 수 있는 더 작은 시스템을 허용한다고 주장합니다.
회사에서 제공한 벤치마크 결과에 따르면 HRM-Text는 비교적 작은 발자국에도 불구하고 MATH에서 56.2%, ARC-Challenge에서 81.9%, DROP에서 82.2%, MMLU에서 60.7%의 성과를 달성했습니다.
효율성이 전략적 AI 전장이 됩니다
이 출시가 이루어진 시점은 AI 인프라 비용, 전력 소비, 컴퓨팅 가용성에 대한 우려가 중앙 산업 문제가 되고 있는 시점입니다.
최첨단 AI 시스템을 훈련하고 배포하는 것은 이제 대규모 GPU 클러스터, 초대형 데이터 센터 및 정부와 인프라 제공업체가 점점 더 심사숙고하는 에너지 소비 수준을 필요로 합니다. Sapient의 주장은 향후의 돌파구가 더 큰 시스템을 확장하는 것에서가 아니라 기본 아키텍처를 근본적으로 재고하는 데서 나올 수 있다고 합니다.
회사는 HRM-Text가 약 1일 동안 2대 기계에 걸쳐 16개의 GPU를 사용하여 약 1,000달러의 비용으로 훈련될 수 있다고 주장합니다. 대조적으로, 최전선 언어 모델은 수백만 달러에 달하는 훈련 예산을 필요로 할 수 있습니다.
모델의 컴팩트한 배포 프로파일도 주목할 만합니다. int4 양자화에서 HRM-Text는 약 0.6 GiB를 차지하여 스마트폰과 에지 디바이스에서 로컬 배포가 이론적으로 가능합니다.
이 작은 시스템에 대한 초점은 기업이 온디바이스 AI, 개인 정보 보호 민감한 추론 및 클라우드 인프라에 전적으로 의존하지 않는 오프라인 推論 시스템으로 이동함에 따라 점점 더 중요해질 수 있습니다.
뇌 기반 AI로의 더广い 추세
Sapient의 작업은 전통적인 트랜스포머 확장의 대안을 탐색하는 AI 연구의 더广い 운동을 반영합니다.
회사의 HRM 아키텍처는 계층적 처리, 시간적 분리 및 반복 계산과 같은 신경 과학 개념에서 크게 영감을 받았습니다.
웹사이트에서 Sapient는 장기적인 목표를 통계적 암기보다 推論, 계획 및 적응적 학습이 가능한 아키텍처를 통해 인공 일반 지능을 추구하는 것으로 설명합니다.
회사의 연구 팀에는 DeepMind, DeepSeek 및 xAI와 같은 조직의 전임 기여자와 MIT, 카네기 멜런 대학교, 쓰잉화 대학교 및 캠브리지 대학교와 같은 기관에 연결된 연구원이 포함됩니다.
Sapient의 계층적 推論 모델의 이전 버전은従来의 LLM보다 훨씬 더 작은 매개변수 수로 강력한 推論 성능을 달성한 것으로 이미 AI 연구 원에서 주목을 받았습니다.
AI 진행 상황 측정의 변화
HRM과 같은 아키텍처가 궁극적으로 가장 큰 전선 모델과 경쟁할 수 있는지 여부는 여전히 열린 질문입니다. AI 산업은 이미 더 일반적인 지능 형태를 달성하기에 충분하지 않을 수 있다는 우려와 함께 대규모 언어 모델에 대한 투자를 지속적으로 증가시켜 왔습니다.
그러나 Sapient의 출시가 이루어진 시점은 산업이 무제한 확장의 한계와 직면하고 있는 시점입니다. GPU 부족, 전력 병목, 추론 비용 및 더 큰 데이터셋으로 인한 감소하는 수익은 연구자들이 최근 몇 년 동안 AI 개발을 지배해 온 가정에 대해 재고하도록 강요하고 있습니다.
HRM-Text와 같은 시스템이 계속 개선된다면 AI의 진행 상황을 측정하는 방식을 재정의할 수 있습니다. 매개변수 수에서 효율성, 推論의 깊이 및 적응성으로 주의를 돌릴 수 있습니다.
회사는 HRM-Text를 출시하는 일환으로 GitHub를 통해 완전히 오픈소스로 공개했습니다.
