주자나 스태미로프스카, Pathway의 공동 창립자 및 CEO – 인터뷰 시리즈

주자나 스태미로프스카, Pathway의 공동 창립자 및 CEO는 연구자 출신의 빌더로 이전에 출현 현상과 대규모 네트워크 진화에 대해 작업했습니다. 그녀의 프로젝트는 미국 국립 과학 아카데미에서 인정받았으며, 그녀는 복잡계에서 박사 학위를 가지고 있습니다. 주자나, CTO 얀 호로프스키와 CSO 아드리안 코스콥스키와 함께, 이미 62,000개의 별이 있는 GitHub에서 공개 AI 도구를 구축한 팀을 이끌고 있습니다.

Pathway는 AI 모델이 어떻게 생각하는지 재구상하고, 배치가 아닌 연속적이고 적응적으로 작동하는 시스템을 만들고자 합니다. 뒤에서, 도구와 아키텍처는 모델이 실시간으로 처리, 학습, 진화하도록 ermög합니다. 이 회사는 루카시 카이저(Lukasz Kaiser, Transformer의 공동 발명가)와 유명한 벤처 회사 등에서 지원을 받았습니다.

Pathway를 설립하게 된 동기는 무엇이며, 복잡계·게임 이론·창발 현상에 대한 배경은 회사의 비전과 기술적 방향에 어떤 영향을 주었습니까?

우리는 인간처럼 생각하고 적응하는 AI를 만들고자 했습니다. 이는 환경의 데이터를 바탕으로 지속적으로 학습하고, 경험을 통해 개선되며, 때로는 이전의 세계관을 스스로 바로잡는 딥러닝 모델 또는 여러 구성 요소로 이루어진 머신러닝 파이프라인을 뜻합니다. 실제로 우리는 ‘머신 언러닝’이라는 주제로도 상당한 주목을 받았습니다. 이러한 모델에는 원천에서 데이터를 포착해 동적 시스템으로 즉시 전달하는 완전한 엔지니어링 계층도 필요했습니다.

복잡한 네트워크에서 나타나는 현상에 대해 연구하면서, BDH에 직접 또는 거의 직접적으로 적용하게 된 몇 가지 가설을 세웠습니다. 재미있게도, 동료(CSO인 Adrian과 CTO인 Jan)와 내기를 했는데, 제가 아주 좋은 코냑 두 병을 땄습니다. 첫째, 우리는 자연 지능이 뇌 속 뉴런의 구조와 작용이 나타나는 과정에서 발생한다고 믿었습니다(이건 당연한 사실이라 내기가 필요 없었죠). 둘째, 이전 연구를 통해 일반적으로 기능이 네트워크 구조를 형성한다는 것을 알고 있었습니다(이 내기에서 이겼습니다). 과거 연구에서 이를 발견했고, 신경과학자들은 쥐의 신경과 감각 기관 등을 연구하면서 이미 이를 확인했었습니다. 셋째, 네트워크 구조의 형성은 각 네트워크 위치(이 경우 노드는 뉴런)의 소위 “이웃”과 직접적으로 연결된 매우 국소적인 규칙을 따라야 한다는 것이었습니다(이 내기에서 이겼습니다). 나머지 부분은 입자 상호작용 시스템, 예를 들어 자성을 생각해 보세요. 입자들이 외부 자기장에 따라 스핀을 조절하고 일종의 “자발적 질서”를 만들어내는 시스템 말입니다. 이는 제가 그래프 게임 이론을 연구할 때 사용했던 수학적 개념과 유사합니다. 이 모든 것을 종합해 볼 때, 회사 설립 첫날부터 우리는 희소성(그래프와 같은 구조)이 AI 발전의 핵심 발판이 될 것이라는 강한 확신을 가지고 있었습니다. 시간 개념을 고려하는 것은 매우 중요했으며, 제 배경과도 잘 어울리는 부분이었는데, 왜냐하면 새로운 현상은 대개 시간이 지남에 따라 나타나기 때문입니다.

당신이 Pathway를 시작했을 때, 미래의 AI 시스템이 어떻게 달라야 하는지에 대한 초기 가설은 무엇이었나요? 그리고 그 가설은 어떻게 진화했나요?

우리는 강한 신념을 가지고 시작했습니다. 즉, AI는 라이브, 적응적이고 대규모 프로세스에 통합되어야 한다고 생각했습니다. 그것은 원천 데이터에서 직접 학습해야 합니다.

당신의 “포스트-트랜스포머” 아키텍처를 소개해 주시고, 이것이 현재의 트랜스포머 기반 시스템과 어떻게 다른지 알려주세요.

Baby Dragon Hatchling(BDH)이라는 새로운 아키텍처는 Transformer가 정보를 처리하는 방식과 뇌에서 추론이 나타나는 방식을 공식적으로 연결합니다. BDH는 뉴런들이 협력해 다음으로 가장 관련 있는 사실을 찾아내는 뇌와 유사한 물리적 컴퓨팅 시스템처럼 작동합니다. 문맥적 추론은 Transformer의 고정된 컨텍스트 길이 같은 공학적 한계에 묶이지 않고 모델의 뉴런 수에 따라 확장됩니다.

기술적으로 말하면 BDH는 Transformer와 달리 선형 어텐션과 희소한 키-쿼리 벡터를 사용하며 컨텍스트 창 크기에 제한이 없습니다.

이 접근법은 작업을 수행하면서 학습하고, 긴 추론 사슬을 유지하며, 문맥 안에서 지속적으로 적응하는 시스템으로 가는 길을 엽니다.

이 시스템의 핵심 특징은 지역성입니다. 중요한 데이터가 처리되는 지점 바로 옆에 배치되므로 통신량이 줄고, 추론 모델의 추론 단계에서 가장 큰 병목인 메모리-코어 대역폭 문제를 완화합니다.

당신의 접근 방식이 인간의 추론에서 어떻게 영감을 얻었는지, 그리고 연속적이고 적응적인 학습을 가능하게 하는지 알려주세요.

BDH는 자연 지능과 인공 지능을 더 가깝게 연결합니다.

이 아키텍처는 뇌의 뉴런과 시냅스가 작동하는 방식에서 영감을 받았습니다. 생물학적 주의 메커니즘을 머신러닝의 계산적 어텐션 개념에 대응시켜 Transformer와 뇌 사이에 확장 가능한 다리를 만듭니다.

BDH는 어텐션을 모델 매개변수 가까이에 두고 두 요소를 동일한 뇌형 시스템 역학의 서로 다른 모습으로 봅니다. 추론 중 새로운 사실이 알려지면 어텐션은 빠르게 변하고, 시스템의 장기 습관이 바뀔 때 모델 매개변수는 더 느리게 변합니다. 이는 우리가 뇌의 추론 방식이라고 보는 것에 더 가깝습니다.

우리는 BDH를 작업 도중 추론하고 경험을 통해 개선되며 재학습 없이 적응하는 AI 시스템 설계를 향한 이정표로 봅니다. 이는 인간의 추론과 연관된 특성입니다.

시스템이 실시간으로 학습하지 않고 이전 지식을 잃지 않도록 어떻게 보장합니까?

BDH는 규모가 없는 구조와 지역화된 뉴런 상태를 통해 장기간 동안 추론을 지속할 수 있습니다. 이는 안정성과 새로운 지식 및 관찰을 통합하는 능력 사이의 자연스러운 균형을 제공합니다.

BDH를 통해 우리는 추론을 지능의 초석으로 삼고 있습니다. 이번 연구는 대규모 언어 모델에서 지식의 역할에 관한 가설을 진전시킵니다. 핵심은 무엇이 ‘참’인가보다 특정 맥락에서 주어진 추론 사슬을 전개하는 데 무엇이 ‘유용’한가입니다. 지식이 맥락화되면 자연 법칙을 따르는 세계와 요정과 마법이 존재하는 민담을 동시에 아는 것이 모순되지 않습니다. 마찬가지로 모델은 낙관적이거나 비관적인 여러 예측 가설을 하나의 사고 과정에서 함께 고려할 수 있습니다.

BDH 기반 모델은 수명 동안 새로운 사실을 맥락에 맞게 습득하므로 스스로 수정할 수 있습니다. 뉴런 활동에 대한 이해하기 쉬운 통계와 맥락의 지식을 모델 매개변수로 옮기는 세밀한 제어를 제공해 오래된 맥락이 부적절한 순간에 다시 나타날 위험을 줄입니다.

엔지니어링 트레이드오프는 이러한 기능을 대규모로 구축하는 데 무엇입니까?

Pathway의 엔터프라이즈 제품은 시장에서 가장 빠른 데이터 처리 엔진을 기반으로 합니다. 이 엔진은 실시간 입력을 처리하고 새로운 정보에 대해 낮은 지연 시간으로 반응하는 우리의 능력을 지원합니다. BDH의 현재 혁신으로, 우리는 이러한 실시간 적응성이 배포에서 사용되는 기초 AI 모델까지 확장할 수 있습니다.

이 다음 단계의 AI가 꼭 필요한 가장 설득력 있는 사용 사례는 무엇이며, 현재 Transformer 기반 시스템은 어디에서 한계를 보입니까?

많은 혁신이 빠르게 새로운 정보에 적응하고 ‘작업 시간’에 깊이 의존하는 생성 AI의 기능을 확장했습니다. 그러나 아직까지는 매우 재능 있는 사람을 고용하는 것을 대체할 수 없습니다.

간단히 말하면 인간 전문가가 2시간 17분 이상 일관되게 수행해야 하는 모든 작업을 뜻합니다. METER에 따르면 이것이 현재 GPT-5의 한계입니다.

우리는 깊은 개인화, 희소한 데이터로 현장에서 학습하는 모델, 안전한 배포를 필요로 하는 기업 설계 파트너들과 매우 유익한 논의를 해왔습니다.

BDH를 사용하면 기업이 다음과 같은 매우 복잡한 프로세스를 비교적 간단하게 다룰 수 있습니다.

• 상장 기업의 분기 결산
• 고위험 환경에서 다음 최적 행동을 동적으로 생성하는 업무로, 영업과 국방 모두에 매우 중요합니다.
• 투자 관리

NATO는 이미 Pathway 기술로 실시간 군사 및 사회 데이터를 처리해 상황 변화에 따라 계획 시스템이 적응하도록 하고 있습니다. La Poste는 Pathway의 Live AI로 운영을 실시간 동적으로 관리합니다. 데이터가 희소하거나 민감한 금융·의료 산업도 더 적은 데이터로 깊은 통찰과 신뢰성 높은 판단을 제공하는 모델의 혜택을 받을 수 있습니다.

NATO, La Poste, 또는 Formula 1과 같은 조직이 어떻게 귀사의 기술을 적용했으며, 어떤 영향을 미쳤는지 알려주세요.

NATO, La Poste, Formula 1 팀은 이미 Pathway 기술의 초기 채택자입니다.

Pathway는 NATO에 강력하고 혁신적인 데이터 처리 기술을 제공하여 중요한 사용 사례에서 새로운 기능을 잠금합니다. 우리는 기능 데모인 강화 가능성 시뮬레이션 툴(REST)을 개발하여 NATO의 AI 지원 솔루션 개발을 위한 코너스톤을 마련했습니다. 공개 데이터를 연결하기 위해 Pathway를 사용하면 상황 인식이 가속화되고 NATO가 2020년대에 성공적으로 운영하기 위해 필요한 수준으로 높아졌습니다.

La Poste는 Pathway를 사용해 운송 부문 프로세스를 개선합니다. Pathway Framework로 운영을 실시간 자동 예측하고 운송 운영에 대한 정성 분석을 즉시 생성합니다. 물류를 동적으로 최적화해 도착 예정 시간과 처리·리드 타임을 줄이고 신뢰성을 높였으며, 일부 사례에서는 총소유비용을 50% 절감했습니다.

Formula 1 레이싱 팀은 압박이 큰 실시간 상황에서 전략을 조정하기 위해 Pathway를 활용합니다. 최종 사용자가 사용자 정의 함수(UDF)를 독립적으로 만들고 e스포츠와 시뮬레이션 레이싱부터 자동차와 포뮬러 레이싱까지 다양한 비즈니스 요구를 지원할 플랫폼이 필요했습니다. Pathway의 Live Data Framework는 이전보다 90배 빠른 처리 속도로 고급 데이터 변환을 제공합니다.

의료나 방위와 같은 산업에서 적응형 시스템을 배포하는 가장 큰 장애물은 무엇이며, 어떻게 해결합니까?

현재의 LLM은 실제 판단 없이 “새로운” 콘텐츠를 생성합니다. 많은 규제 산업은 정의에 따라 거버넌스를 필요로 하며, 반복성, 신뢰성, 관찰 가능성 없이 AI 기반 비즈니스 프로세스를 배포하는 것을 주저합니다.

BDH는 설계 단계부터 기업이 모델 내부에서 일어나는 일을 관찰하고 이에 적응할 수 있게 합니다. 장기간의 ‘추론’을 관찰할 수 있어 더 길고 복잡한 비즈니스 프로세스를 맡길 신뢰를 제공합니다. BDH는 관찰 가능성과 시간축 비즈니스 프로세스 인식을 모두 갖추므로 완벽하고 방대한 학습 데이터, 극도로 긴 컨텍스트 창 또는 관찰성을 위한 접착 로직이 필요하지 않습니다.

실시간으로 학습하고 적응하는 AI 시스템이 등장함에 따라 어떤 윤리적 고려나 안전 조치가 필수적인가요?

경험으로 학습하는 시스템은 현재의 트랜스포머 기반 시스템보다 더 안전할 가능성이 있습니다. 하나의 요소는 연속적인 학습으로 인해 잘못된 가정에 대한 자기 수정과 업데이트의 기회가 있기 때문입니다.

이러한 시스템의 안전을 보장하려면 시간에 따른 피드백이 필요합니다. 계속해서 최신 데이터를 제공하고 시스템이 자체 작동의 영향을 이해하도록 피드백 루프를 마련해야 할 수 있습니다. 이는 강화학습과 가깝습니다.

둘째, BDH 기반 모델은 작동 방식을 이해하기 쉽게 하는 해석 가능성을 제공하므로 사람이 더 잘 통제할 수 있습니다.

AI 커뮤니티 전반에서 “포스트-트랜스포머” 패러다임이 주류가 되기 위해서는 무엇이 필요합니까?

시장에서 매우 유용하고 추론 비용이 낮으며 빠른 모델이 필요합니다. 우리는 특히 엔터프라이즈에서 시장 승리를 달성할 수 있다고 믿습니다.

이 인터뷰에 감사드립니다. 더 많은 정보를 원하는 독자는 Pathway를 방문하십시오.