패스웨이, 5억 달러 평가로 새로운 자금을 확보하여 포스트-트랜스포머 AI를 확대합니다

AI 연구 기업 Pathway 가 기업가치 5억 달러로 추가 투자를 유치해 누적 시드 자금을 3,000만 달러로 늘렸습니다. 회사는 포스트 트랜스포머 아키텍처에 기반한 차세대 모델의 규모를 확대할 준비를 하고 있습니다.

이번 투자에는 Id4 Ventures, TQ Ventures, Red Bridge Ventures, Kadmos Capital, 윌슨 손시니의 투자 부문 WS Investment Co., 데이터브릭스 최고 AI 과학자 조너선 프랭클이 참여했습니다. Pathway는 신규 자금 상당 부분을 NVIDIA GB300 시스템을 포함한 연산 용량 확장에 사용할 것이라고 밝혔습니다.

투자 발표와 함께 Pathway의 BDH-CQ 추론 모델의 새 결과도 공개됐습니다. 더 큰 기반 모델을 만들겠다는 점점 흔해지는 약속보다 구체적인 기술적 근거가 생긴 것입니다. 회사에 따르면 1억5,000만 파라미터 모델은 공개 ARC-AGI-1 평가 세트에서 29.5%를 기록했으며, 계산상 추론 비용은 과제당 0.0007달러에 불과했습니다.

단순한 규모 확대의 대안에 투자하는 Pathway

현재 최첨단 모델 경쟁의 상당 부분은 더 큰 클러스터, 더 많은 학습 데이터와 파라미터, 더 많은 추론 시 연산에 집중돼 있습니다. Pathway는 일부 비용·메모리 한계가 연산을 계속 추가해 무한히 해결할 문제가 아니라 아키텍처의 문제라고 주장하며 다른 길을 택합니다.

이 가설이 BDH, 즉 Dragon Hatchling 아키텍처의 중심입니다. 회사는 이를 확장되는 컨텍스트 창이나 외부 메모리에 주로 의존하는 대신 추론, 기억, 적응을 모델 내부에서 결합하도록 설계한 포스트 트랜스포머 구조라고 설명합니다.

지속 상태, 희소한 활성화, 국소 상호작용, 지속적 조정 등의 아이디어를 활용합니다. 회사는 뇌의 작동을 직접 복제하려는 시도라기보다 생물학에서 영감을 받은 설계라고 설명합니다.

새 자금은 BDH 모델이 훨씬 커져도 이런 특성이 유지되는지 시험할 자원을 제공합니다.

Pathway는 또한 애덤 커즈록을 최고제품책임자로 영입합니다. 커즈록은 구글 딥마인드에서 Gemini 그룹 제품 관리자로 일했으며, BDH 기반 모델의 패키징, 평가, 배포를 위한 제품 방향을 이끌 예정입니다.

회사는 트랜스포머 공동 발명자 우카시 카이저, 프랭클, 뉴욕대 교수 마르틴 파라크콜턴, 경제학자 자크 아탈리를 포함한 자문단도 공식화하고 있습니다.

BDH-CQ의 차별점

BDH-CQ는 문맥 내 학습과 순환적 잠재 공간 추론을 중심으로 설계한 BDH 아키텍처의 확장입니다.

중간 추론 상당 부분을 생성 텍스트로 표현하도록 요구하는 대신 연속적인 잠재 작업 공간 안에서 반복 계산을 수행합니다. 추론 중 제공된 예제가 순환 메모리 상태를 갱신하면, 시스템은 새 문제를 내부적으로 풀어 답을 디코딩합니다. 이 과정에서 모델 파라미터는 고정돼 있습니다.

토큰 기반 추론은 추론 과정이 길어질수록 비용이 커질 수 있어 이 차이가 중요합니다. 기존 사고 사슬 방식은 중간 단계를 순차적으로 생성하고 후속 추론 단계에 다시 입력합니다.

BDH-CQ는 중간 추론을 계속 언어로 바꾸기보다 그런 계산을 내부 상태에 더 많이 유지하도록 설계됐습니다.

언어 기반 추론이 본질적으로 낡았다는 뜻은 아닙니다. 모든 중간 계산 단계를 텍스트로 직렬화하지 않고도 일부 추론 작업을 더 효율적으로 처리할 수 있는지를 시험하는 것입니다.

ARC-AGI 결과가 보여 주는 비용 효율성

투자 발표에 수반된 가장 눈에 띄는 결과는 ARC-AGI-1에서 나왔습니다. 소수의 예제에서 변환 규칙을 추론해 처음 보는 입력에 적용할 수 있는지 시험하는 벤치마크입니다.

Pathway의 1억5,000만 파라미터 BDH-CQ는 400개 과제로 구성된 공개 ARC-AGI-1 평가 세트에서 pass@2 29.5%를 달성했습니다.

기술 평가에서는 과제마다 NVIDIA H200 GPU 시간 약 0.85초가 필요했다고 추정합니다. H200 비용을 GPU 한 대의 시간당 3달러로 가정하면 계산상 비용은 과제당 약 0.00070달러 입니다.

Pathway는 이 결과가 이전에 보고된 ARC-AGI-1의 비용 대비 정확도 파레토 경계를 넘어선다고 주장합니다.

1억5,000만 파라미터 시스템이 절대적인 ARC 최고 점수를 얻었다는 의미는 아닙니다. 더 큰 추론 시스템 중에는 점수가 더 높은 것도 있습니다. 회사가 주목하는 것은 추론 비용 1달러당 얻을 수 있는 성능입니다.

기업이 간헐적인 챗봇 대화에서 대량의 추론을 계속 수행하는 에이전트 등으로 AI 활용을 옮기면 이런 효율성이 더 중요해질 수 있습니다.

기술 평가에서 드러난 BDH-CQ의 약점

더 폭넓은 평가는 대표 벤치마크 수치보다 복합적인 모습을 보여 줍니다.

추론 문제를 개념별로 나누는 ConceptARC에서 BDH-CQ의 성능은 상당히 달랐습니다. 경계 확장, 채워진 영역과 빈 영역 구분에 관한 여러 과제에서는 특히 잘했지만 복사와 순서 정하기는 더 어려웠습니다.

통제된 실험에서도 비슷한 양상이 나타났습니다.

시험한 범위 안에서는 경계 전파와 복사 연산을 확장해도 정확도가 유지됐습니다. 순서열이 길어지면 성능이 더 크게 떨어졌고, 관계가 중첩된 문제도 요구되는 중첩 깊이가 커질수록 어려워졌습니다.

연구진은 목표 문제와 복잡도가 더 비슷한 예시를 제공하면 일부 경우 성능이 크게 개선된다는 점도 발견했습니다. 한계의 일부는 받은 예제에서 얼마나 멀리 외삽할 수 있는지와 관련돼 있음을 시사합니다.

ARC-AGI는 특화된 시각적 추론 벤치마크이므로 이런 약점은 중요합니다. ARC에서 비용 효율성이 높다고 같은 구조가 실제 운영 작업 전반에서 범용 언어 모델을 능가한다는 것은 아닙니다.

결과가 뒷받침하는 것은 더 좁지만 잠재적으로 중요한 가능성입니다. 고도화된 추론 능력에 언제나 막대한 파라미터 수나 길게 생성된 추론 토큰이 필요한 것은 아닐 수 있습니다.

실시간 AI 인프라도 구축하는 Pathway

Pathway는 포스트 트랜스포머 모델에 진출하기 전부터 작업을 해 왔습니다. BDH와 함께 스트리밍 데이터, 실시간 분석, 대규모 언어 모델 애플리케이션, 검색 증강 생성을 위한 데이터 처리 프레임워크도 개발합니다.

이 플랫폼은 정적인 데이터셋이나 주기적으로 재구축하는 인덱스에 전적으로 의존하지 않고 계속 바뀌는 정보를 AI 시스템이 활용하도록 설계됐습니다.

이 인프라 배경은 회사의 전반적인 연구 방향과 맞닿아 있습니다. 기존 기술은 AI 애플리케이션을 변화하는 외부 데이터와 동기화하는 데 집중하고, BDH는 지속 기억과 적응이 점차 모델 아키텍처 자체의 속성이 될 수 있는지 탐구합니다.

오랜 시간 새 정보에 반응하면서 상태를 유지해야 하는 AI 에이전트와 장기 실행 시스템에 중요할 수 있습니다.

Pathway의 다음 단계

Pathway는 신규 자금으로 모델 용량을 늘리고 더 폭넓은 능력을 갖춘 BDH 기반 시스템을 학습할 계획입니다.

로드맵에는 수학적 추론, ARC-AGI-2와 ARC-AGI-3, 잠재 공간 추론을 통합한 대규모 언어 모델 개발이 포함됩니다.

회사에 따르면 10억~6,000억 파라미터 규모의 초기 사전학습 실험에서 BDH의 잠재 공간 추론 특성을 유지하면서 트랜스포머와 비슷한 규모 확장 양상이 나타났습니다.

이는 초기 징후이며 대형 범용 모델에서도 구조적 장점이 유지된다는 증명은 아닙니다.

회사는 궁극적으로 금융 서비스, 의료, 기술 분야를 겨냥합니다. AI가 더 오래 이어지는 업무 흐름으로 이동하면 지속 기억, 변화하는 정보, 추론 비용이 특히 중요해질 수 있는 분야입니다.

현재 5억 달러의 기업가치는 업계의 지배적인 규모 확장 전략에 대한 대안에 큰 투자가 이뤄졌음을 보여 줍니다. 더 중요한 검증은 Pathway 가 비교적 제한적인 추론 벤치마크를 넘어 언어, 수학, 에이전트, 실제 애플리케이션에서도 BDH의 구조적 장점이 유지되는지 보여 줄 때 이뤄질 것입니다.