Patronus AI의 공동 창립자 겸 CTO인 레베카 첸과의 인터뷰 시리즈

레베카 첸 Patronus AI의 공동 창립자 겸 CTO인 그녀는 자연어 처리(NLP), 체화된 AI 및 인프라가 교차하는 분야에서 10년 가까이 상용 머신러닝 시스템을 구축해 온 경험을 가지고 있습니다. Facebook AI에서는 연구 및 배포 전반에 걸쳐 FairBERTa(공정성 목표를 염두에 두고 설계된 대규모 언어 모델)를 학습시키고, 위키피디아 콘텐츠를 재구성하는 인구통계학적 교란 모델을 개발했으며, 로봇 비서를 위한 의미론적 구문 분석을 주도했습니다. 또한 체화된 에이전트를 위한 인간 참여형 파이프라인을 구축하고 Facebook 인프라 팀 전반에 채택되어 ICSE에서 발표된 연속 대비 집합 마이닝(Continuous Contrast Set Mining)과 같은 인프라 도구를 개발했습니다. FacebookResearch/fairo 및 Droidlet 의미론적 구문 분석 노트북을 포함한 오픈 소스 프로젝트에도 기여했습니다. 현재 창립자로서 확장 가능한 감독, 강화 학습 및 안전하고 환경을 인식하는 AI 에이전트 배포에 집중하고 있습니다.

패트로누스 AI 샌프란시스코에 본사를 둔 Patronus는 대규모 언어 모델(LLM) 및 AI 에이전트를 평가, 모니터링 및 최적화하는 연구 중심 플랫폼을 제공하여 개발자가 신뢰할 수 있는 생성형 AI 제품을 자신 있게 출시할 수 있도록 지원합니다. 이 플랫폼은 자동화된 평가 도구, 벤치마킹, 분석, 맞춤형 데이터 세트 및 에이전트별 환경을 제공하여 오류, 보안 위험 또는 논리 오류와 같은 성능 문제를 식별하고, 팀이 실제 사용 사례 전반에 걸쳐 AI 시스템을 지속적으로 개선하고 문제를 해결할 수 있도록 합니다. Patronus는 기업 고객과 기술 파트너에게 모델 동작을 평가하고, 대규모 오류를 감지하며, 프로덕션 AI 애플리케이션의 신뢰성과 성능을 향상시킬 수 있는 기능을 제공합니다.

당신은 페이스북 AI에서 FairBERTa 및 휴먼 인 더 루프 파이프라인을 포함한 머신러닝 시스템 구축 분야에서 풍부한 경험을 가지고 계십니다. 이러한 경험이 실제 AI 배포 및 안전에 대한 당신의 관점에 어떤 영향을 미쳤습니까?

Meta AI에서 일하면서 저는 특히 책임감 있는 자연어 처리(NLP) 분야에서 모델을 실제로 안정적으로 만드는 데 필요한 요소에 집중하게 되었습니다. 공정성 목표를 가진 언어 모델(LLM) 학습과 같은 공정성 중심 언어 모델링 작업을 하면서 모델 출력값을 평가하고 해석하는 것이 얼마나 어려운지 직접 경험했습니다. 이러한 경험이 안전성에 대한 제 생각을 형성하는 데 큰 영향을 미쳤습니다. 모델의 동작을 측정하고 이해할 수 없다면, AI를 실제 세계에 자신 있게 배포하기 어렵습니다.

연구 엔지니어링 분야에서 창업으로 전환하여 Patronus AI를 공동 창업하게 된 동기는 무엇이었으며, 당시 가장 시급하게 해결해야 할 문제는 무엇이라고 생각하셨나요?

당시 AI 분야에서 평가는 큰 걸림돌이었습니다. 저는 AI 결과물을 평가하고 해석하는 것이 얼마나 어려운지 직접 경험했기에, 4월에 Meta AI를 떠나 Anand와 함께 Patronus를 설립했습니다. 생성형 AI가 기업 워크플로우에 도입되기 시작하면서, 이는 더 이상 연구실만의 문제가 아니라는 것이 분명해졌습니다. 

기업들로부터 똑같은 이야기를 계속 들었습니다. LLM을 도입하고 싶어 했지만, 특히 오류 허용 범위가 매우 좁은 규제 산업에서는 LLM을 안정적으로 테스트하거나 모니터링하거나 오류 발생 원인(예: 오작동)을 파악하는 데 어려움을 겪었다는 것입니다. 

따라서 초기에 가장 시급했던 문제는 모델 평가를 자동화하고 확장하는 방법을 구축하는 것이었습니다. 즉, 실제 시나리오에서 모델 점수를 매기고, 적대적 테스트 케이스를 생성하고, 벤치마킹하여 팀이 추측이 아닌 확신을 가지고 배포할 수 있도록 하는 것이었습니다.

Patronus는 최근 AI 에이전트를 위한 적응형 환경으로 생성형 시뮬레이터를 도입했습니다. 기존 평가 또는 훈련 방식의 어떤 한계 때문에 이러한 방향으로 나아가게 되셨나요?

인공지능 에이전트를 평가하는 방식과 실제 환경에서 기대되는 성능 사이의 격차가 점점 커지는 것을 목격했습니다. 기존 벤치마크는 고정된 시점의 개별적인 기능만을 측정하지만, 실제 업무는 역동적입니다. 작업은 중단되고, 실행 도중에 요구사항이 변경되며, 의사 결정은 장기간에 걸쳐 누적됩니다. 에이전트는 정적 테스트에서는 강력해 보일 수 있지만, 실제 배포 후에는 심각한 오류를 범할 수 있습니다. 에이전트의 성능이 향상됨에 따라 고정된 벤치마크를 충족하는 수준에 도달하게 되어 학습이 정체되는 현상도 발생합니다. 이러한 문제를 해결하기 위해 생성형 시뮬레이터가 등장하여 정적 테스트를 에이전트의 학습에 따라 변화하는 살아있는 환경으로 대체했습니다.

생성형 시뮬레이터가 정적 벤치마크나 고정 데이터셋과 비교했을 때 AI 에이전트의 훈련 및 평가 방식을 어떻게 변화시킬 것이라고 생각하십니까?

핵심 변화는 벤치마크가 단순한 테스트가 아닌 실제 환경으로 변모한다는 점입니다. 시뮬레이터는 고정된 문제 세트를 제시하는 대신, 과제, 주변 환경, 평가 로직을 실시간으로 생성합니다. 에이전트의 행동과 성능이 향상됨에 따라 환경도 그에 맞춰 변화합니다. 이는 기존의 훈련과 평가의 경계를 허물어뜨립니다. 더 이상 에이전트가 벤치마크를 통과했는지 여부를 묻는 것이 아니라, 동적인 시스템에서 시간이 지남에 따라 안정적으로 작동할 수 있는지 여부를 묻는 것입니다.

기술적인 관점에서 볼 때, 특히 작업 생성, 환경 역학 및 보상 구조와 관련하여 생성형 시뮬레이터의 핵심 아키텍처 아이디어는 무엇입니까?

개략적으로 설명하자면, 생성형 시뮬레이터는 강화 학습과 적응형 환경 생성을 결합한 것입니다. 시뮬레이터는 새로운 과제를 생성하고, 세계 규칙을 동적으로 업데이트하며, 에이전트의 행동을 실시간으로 평가할 수 있습니다. 핵심 구성 요소는 '커리큘럼 조정기'라고 부르는 것으로, 에이전트의 행동을 분석하여 학습이 효율적으로 이루어지도록 시나리오의 난이도와 구조를 조정합니다. 보상 구조는 검증 가능하고 도메인 특화적으로 설계되어, 에이전트가 피상적인 지름길이 아닌 올바른 행동으로 유도되도록 합니다.

AI 평가 및 에이전트 툴 시장이 점점 경쟁이 치열해지는 가운데, 패트로너스의 접근 방식을 가장 명확하게 차별화하는 요소는 무엇일까요?

저희는 생태적 타당성에 중점을 둡니다. 실제 인간의 작업 흐름을 반영하는 환경을 설계하는데, 여기에는 중단, 컨텍스트 전환, 도구 사용, 다단계 추론 등이 포함됩니다. 미리 정의된 테스트에서 좋은 결과를 내도록 에이전트를 최적화하는 대신, 실제 운영 환경에서 중요한 오류를 드러내는 데 집중합니다. 시뮬레이터는 개별적인 출력뿐만 아니라 시간에 따른 행동을 평가합니다.

시뮬레이터 기반 평가가 기존 테스트에 비해 어떤 유형의 작업이나 고장 모드에 가장 큰 이점을 제공합니까?

장기간에 걸쳐 여러 단계를 거치는 작업에서 시뮬레이터 기반 평가가 가장 효과적입니다. 복잡한 작업에서는 단계별 오류율이 작더라도 누적되면 실패율이 크게 높아질 수 있는데, 정적인 벤치마크 방식으로는 이를 제대로 포착할 수 없습니다. 시뮬레이터 기반 평가를 통해 시간 경과에 따른 계획 유지, 중단 처리, 도구 사용 조정, 작업 중 조건 변화에 대한 적응 등과 관련된 실패 요인을 파악할 수 있습니다.

환경 기반 학습은 AI 안전에 대한 사고방식을 어떻게 변화시키며, 생성형 시뮬레이터는 보상 해킹이나 예상치 못한 오류 발생 가능성과 같은 새로운 위험을 초래할 수 있을까요?

환경 기반 학습은 실제로 많은 안전 문제를 더 쉽게 감지할 수 있도록 해줍니다. 보상 해킹은 에이전트가 고정된 취약점을 악용할 수 있는 정적인 환경에서 번성하는 경향이 있습니다. 생성형 시뮬레이터에서는 환경 자체가 움직이는 대상이기 때문에 그러한 편법을 지속적으로 사용하기가 더 어렵습니다. 그렇지만 보상과 관리 측면에서 신중한 설계는 여전히 필요합니다. 환경의 장점은 정적인 벤치마크로는 결코 불가능했던 에이전트 행동에 대한 훨씬 더 많은 제어 및 가시성을 제공한다는 것입니다.

향후 5년을 내다볼 때, 패트로너스 AI는 기술적 야망과 업계 영향력 측면에서 어떤 위치에 있을 것으로 예상하십니까?

우리는 환경이 인공지능의 핵심 기반 시설이 되고 있다고 믿습니다. 에이전트가 질문에 답하는 단계를 넘어 실제 작업을 수행하게 됨에 따라, 에이전트가 학습하는 환경이 에이전트의 역량과 신뢰성을 결정짓게 될 것입니다. 우리의 장기적인 목표는 실제 업무 흐름을 에이전트가 지속적으로 학습할 수 있는 구조화된 환경으로 전환하는 것입니다. 평가와 학습의 전통적인 분리가 무너지고 있으며, 이러한 변화가 차세대 인공지능 시스템을 정의할 것이라고 생각합니다.

훌륭한 인터뷰 감사합니다. 자세한 내용을 알고 싶은 독자는 방문하세요. 패트로누스 AI.