Deep Cogito, 자체 개선 AI를 위한 사후 학습 엔진 구축을 위해 4,300만 달러 시리즈 A 라운드 유치

Deep Cogito가 4,300만 달러 규모의 시리즈 A 라운드를 유치했으며, 샌프란시스코 AI 연구소는 이미 사전 학습된 기본 모델 이후에 일어나는 일, 즉 인공지능 스택에서 점점 중요해지는 부분을 확장하려 하고 있다.

라운드는 TQ Ventures가 주도했으며, Benchmark, Nexus Venture Partners, Atreides Management, South Park Commons, 그리고 고객이자 전략적 투자자인 클라우드 보안 기업 Zscaler가 참여했다. 이번 자금 조달로 Deep Cogito의 총 자금은 5,600만 달러를 넘어섰다.

Google의 AI Search 제품(예: AI Mode, AI Overviews)에서 일했던 Drishan Arora와 Dhruv Malrana가 설립한 Deep Cogito는 앞으로 AI 지능 향상이 단순히 사전 학습을 더 크게 하는 것이 아니라, 더 나은 학습 알고리즘과 사후 학습을 통해 이루어질 것이라고 내다보고 있다.

이는 기존에 더 큰 기본 모델을 처음부터 구축하는 데 주력하는 연구소들과는 AI 경쟁의 다른 영역에 회사를 위치시킨다.

Deep Cogito가 사후 학습에 베팅하는 이유

Pre-training은 대규모 언어 모델에 방대한 양의 데이터를 노출시켜 폭넓은 지식 기반을 제공한다. 사후 학습은 그 모델이 어떻게 행동하고, 추론하며, 지시를 따르고, 도구를 사용하고, 특정 작업을 수행하는지를 형성한다.

Deep Cogito의 논지는 이 두 번째 단계가 훨씬 더 성장할 여지가 있다는 것이다.

회사의 연구는 대규모 강화 학습과 모델이 스스로 능력을 점진적으로 향상시킬 수 있는 방법에 집중한다. 사전 학습된 모델을 거의 완성된 제품으로 보고 약간의 정렬만 필요하다고 보는 대신, Deep Cogito는 이를 기본 능력을 지속적으로 개발할 수 있는 출발점으로 본다.

Arora는 라운드 발표 시 다음과 같이 구분을 요약했다: “Pre-training은 모델에 방대한 지식과 능력을 부여한다. Post-training은 그 모델이 실제로 무엇이 될 수 있는지를 결정한다.”

이는 단순히 사전 학습을 확대하는 비용이 점점 더 부담스러워지는 상황에서 특히 중요하다. 최첨단 기본 모델을 훈련하려면 방대한 데이터셋, GPU 클러스터, 전력 인프라, 그리고 막대한 자본이 필요한다. 충분히 효과적인 사후 학습 시스템은 전체 과정을 다시 수행하지 않고도 기존 모델에서 훨씬 더 많은 지능을 추출할 수 있다.

비싼 추론을 더 나은 직관으로 전환하기

Deep Cogito 연구의 핵심은 Iterated Distillation and Amplification (IDA)이며, 이 접근법은 회사가 첫 번째 Cogito 모델 패밀리와 함께 공개했다.

개념 자체는 비교적 간단하지만, 이를 대규모로 구현하는 것은 쉽지 않다.

증폭 단계에서는 모델에 추가 연산과 기법을 제공해 즉시 생성할 수 있는 답보다 더 강력한 답을 도출하도록 한다. 그 결과 향상된 내용은 모델의 파라미터에 다시 증류된다. 이렇게 업그레이드된 모델이 다음 반복의 출발점이 된다.

모델이 어려운 질문을 마주할 때마다 점점 더 긴 추론 과정을 수행하도록 요구하는 대신, 목표는 그보다 계산 비용이 많이 드는 추론 단계에서 배운 일부를 점진적으로 내재화하는 것이다.

Deep Cogito는 이를 모델의 “직관”을 향상시키는 것으로 설명한다.

이 구분은 추론 비용 측면에서 중요해질 수 있다. 긴 추론 체인은 정확도를 높일 수 있지만 토큰 사용량, 지연 시간, 비용도 증가시킨다. 더 나은 추론 경로를 내재화한 모델은 추론 시 더 적은 연산으로도 유사한 결론에 도달할 수 있다.

Cogito 모델이 접근법을 공개적으로 검증하다

Deep Cogito는 이러한 기술을 시험하기 위해 오픈 가중치 모델인 Cogito 패밀리를 활용해 왔다.

초기 출시 모델은 30억에서 700억 파라미터였으며, 이후 회사는 70B, 109B 혼합 전문가(MoE), 405B, 671B MoE 모델로 패밀리를 확장했다.

Cogito v2와 함께, 회사는 671B 모델이 DeepSeek R1 0528보다 추론 체인이 약 60% 짧으면서도 여러 평가에서 경쟁력을 유지한다고 보고했다. Deep Cogito는 또한 30억에서 671B까지 8개의 Cogito 모델을 훈련하는 데 총 350만 달러 미만을 사용했다고 밝혔지만, 벤치마크 성능 및 훈련 비용 비교가 생산 경제성에 직접적으로 반영되는 것은 아니다.

회사는 Cogito v2.1 671B로 시스템을 계속 다듬었으며, 이는 오픈 라이선스 DeepSeek 기반 모델을 Deep Cogito가 자체적으로 사후 학습한 것이다. v2.1 연구 릴리스에 따르면, 이 모델은 추론 중 프로세스 감독을 사용하며, 훈련은 모델이 단순히 더 오래 추론하도록 장려하기보다 생산적인 추론 경로를 식별하는 능력을 향상시키도록 설계되었다.

이러한 진행은 Deep Cogito의 더 넓은 주장에 중요하다. 회사는 가장 큰 AI 연구소보다 더 나은 기본 모델을 사전 학습할 수 있음을 증명할 필요는 없다. 대신 사후 학습 과정이 강력한 기존 모델을 지속적으로 더 능력 있게 전환할 수 있음을 보여줘야 한다.

Zscaler가 기업 기회를 제시하다

사업의 다른 측면은 이러한 사후 학습 기술을 공개된 Cogito 모델을 넘어 기업 AI에 적용하는 것이다.

일반 목적의 최첨단 모델에만 의존하는 대신, 기업은 자체 데이터, 워크플로, 평가 기준, 목표 결과에 맞춰 특화된 모델을 훈련할 수 있다.

이는 일반적으로 추론 시 외부 기업 정보를 활용하도록 하는 검색 보강 생성(RAG)보다 훨씬 깊게 들어간다. Deep Cogito의 접근법은 가중치에 도메인 특화 능력을 학습시켜 모델 자체를 변화시키는 것을 목표로 한다.

Zscaler는 초기 사례를 제공한다. 이 사이버 보안 기업은 시리즈 A에 참여하기 전 Deep Cogito의 고객으로 시작했다. 양사는 특화된 보안 인텔리전스를 중심으로 협력했으며, Deep Cogito는 보안 애플리케이션이 조직 자체의 보안 데이터와 결과에 대해 사후 학습된 모델에서 혜택을 받을 수 있다고 주장한다.

보다 넓은 기업 제안은 특화와 통제 두 측면을 모두 포함한다. Wall Street Journal의 자금 조달 보도에 따르면 Deep Cogito는 기업이 독점 데이터를 사용해 모델을 훈련하고 소유할 수 있도록 기술을 포지셔닝하고 있으며, 완전히 폐쇄된 최첨단 시스템에 의존하지 않도록 하고 있다.

$43M 시리즈 A가 지원할 내용

Deep Cogito는 시리즈 A 자금을 연구 및 엔지니어링 조직 확장, 대규모 훈련을 위한 컴퓨팅 인프라 확대, 향후 Cogito 모델 개발, 그리고 특화된 모델을 찾는 더 많은 기업과 협업하는 데 사용할 계획이다.

인프라가 이번 확장의 특히 중요한 부분이 될 가능성이 높다. Deep Cogito의 채용 자료에는 4000억 파라미터를 초과하는 모델을 훈련하면서 새로운 강화 학습 알고리즘, 데이터 파이프라인, 평가, 분산 인프라 전반에 걸쳐 작업하는 연구원들을 묘사하고 있다.

따라서 이번 자금은 회사가 더 많은 연산을 적용하고 사후 학습 과정을 더 많이 반복하면서 초기 모델에서 보여준 개선이 지속되는지를 시험할 수 있는 상당한 역량을 제공한다.

더 큰 함의: 자체 추론으로 학습하는 AI

Deep Cogito 작업의 더 큰 의미는 AI 개발이 인간이 만든 데이터에 주로 의존하는 시스템에서 점점 자체적으로 생성하고 평가하며 내재화하는 모델로 전환될 가능성이다.

Iterated Distillation and Amplification과 같은 접근법은 비싼 추론을 지속 가능한 능력으로 전환하려는 목표를 가진다. 모델은 추가 연산을 사용해 더 어려운 문제를 해결하고, 그 향상을 다시 가중치에 증류함으로써 다음 훈련 사이클을 위한 더 강력한 출발점을 만든다.

시간이 지나면 이는 추론·평가·학습·향상의 개발 루프를 만들어낼 수 있다.

반복적인 사후 학습과 진정한 재귀적 자기 개선 사이에는 여전히 큰 격차가 있다. 모델은 신뢰할 수 있는 평가, 신중히 설계된 목표, 오류를 강화하지 않도록 하는 방어 장치가 필요하다. 그러나 이 접근법의 제한된 형태라도 점점 커지는 사전 학습에 대한 의존도를 줄이고, 독점 기업 데이터를 기반으로 한 특화 AI를 보다 실용적으로 만들 수 있다.

그러한 추세가 지속된다면, AI 분야에서의 경쟁 우위는 가장 큰 컴퓨팅 클러스터를 보유한 기업에만 의존하지 않고, 자체 경험으로부터 학습하는 모델이 가장 뛰어난 기업에 달려 있을 것이다.