패트로너스 AI의 공동 창립자이자 CTO인 Rebecca Qian – 인터뷰 시리즈

Rebecca Qian은 패트로너스 AI의 공동 창립자이자 CTO로, NLP, embodided AI, 인프라스트럭처의 교차점에서 생산적인 머신 러닝 시스템을 구축하는 거의 10년의 경험을 가지고 있습니다. 페이스북 AI에서 그녀는 연구와 배포를 넘나들며, 공정성 목표가 있는 대규모 언어 모델인 FairBERTa를 훈련시키고, 위키백과 콘텐츠를 다시 작성하기 위한 dân tộc-변형 모델을 개발하며, 로봇 조종자를 위한 의미 분석을 주도했습니다. 그녀는 또한 embodided 에이전트를 위한 인간-루프-파이프라인을 구축하고, 지속적인 대조 집합 마이닝과 같은 인프라스트럭처 툴링을 만들었으며, 이는 페이스북의 인프라스트럭처 팀에서 채택되어 ICSE에서 발표되었습니다. 그녀는 FacebookResearch/fairo와 Droidlet 의미 분석 노트북과 같은 오픈 소스 프로젝트에 기여했습니다. 창립자로서 그녀는 현재 확장 가능한 감시, 강화 학습, 안전하고 환경 인식이 가능한 에이전트의 배포에 집중하고 있습니다.

패트로너스 AI는 샌프란시스코에 본사를 둔 회사로, 개발자가 신뢰할 수 있는 생성 AI 제품을 출시할 수 있도록 대규모 언어 모델(LLM)과 에이전트를 평가, 모니터링, 최적화하는 연구 기반 플랫폼을 제공합니다. 이 플랫폼은 자동 평가 도구, 벤치마크, 분석, 사용자 정의 데이터 세트, 에이전트 특정 환경을 제공하여 팀이 실세계 사용 사례에서 AI 시스템을 지속적으로 개선하고 문제를 해결할 수 있도록 합니다. 패트로너스 AI는 기업 고객과 기술 파트너에게 모델 동작을 평가하고, 오류를 대규모로 감지하며, 생산 AI 애플리케이션에서 신뢰성과 성능을 향상시키는 것을 가능하게 합니다.

페이스북 AI에서 ML 시스템을 구축하는 경험, 특히 FairBERTa와 인간-루프-파이프라인에 대한 작업이 실제 세계의 AI 배포와 안전성에 대한您的 관점을 어떻게 형성했나요?

페이스북 AI에서 일하면서 나는 모델이 실제로 신뢰할 수 있는지에 대한 관심을 가지게 되었습니다. 특히 책임 있는 NLP에 관한 언어 모델링에 관한 작업을 했으며, 모델 출력을 평가하고 해석하는 것이 얼마나 어려운지 보았습니다. 이것이 안전성에 대한 나의 관점을 형성했습니다. 모델 동작을 측정하고 이해할 수 없다면, 실제 세계에서 AI를 확신할 수 없습니다.

연구 엔지니어에서 기업가로 전환하여 패트로너스 AI를 공동 창립한 동기가 무엇이었나요? 당시 가장 긴급하게 해결해야 할 문제는 무엇이었나요?

평가가 AI에서 장애물이 되었습니다. 나는 4월에 Anand와 함께 패트로너스를 시작하기 위해 Meta AI를 떠났습니다. 나는 직접 평가하고 해석하는 것이 얼마나 어려운지 보았습니다. 그리고 생성 AI가 기업 워크플로우로 이동했을 때, 이것이 더 이상 연구실 문제가 아니라는 것을 알았습니다. 

우리는 기업으로부터 같은 말을 들었습니다. 그들은 LLM을 채택하고 싶었지만, 그것을 신뢰할 수 있게 테스트하거나 모니터링하거나 실패 모드를 이해할 수 없었습니다. 특히 규제 산업에서는 오류에 대한 관용이 거의 없었습니다. 

초기에는 모델 평가를 자동화하고 확장하는 방법을 구축하는 것이 긴급한 문제였습니다. 모델을 실제 시나리오에서 평가하고, 적대적 테스트 케이스를 생성하고, 벤치마크를 수행하여 팀이 추측이 아닌 확신으로 배포할 수 있도록 하는 것입니다.

패트로너스 AI는 최근 에이전트를 위한 생성 시뮬레이터를 도입했습니다. 기존의 평가 또는 훈련 접근 방식의 한계는 이 방향으로 무엇이었나요?

우리는 에이전트의 평가와 실제 수행에 대한 차이가 점점 더 커지는 것을 보았습니다. 전통적인 벤치마크는 정적 테스트로, 실제 작업은 동적입니다. 태스크는 중단될 수 있고, 요구 사항은 실행 중에 변경될 수 있으며, 결정은 장기적으로 누적됩니다. 에이전트는 정적 테스트에서 강력해 보이지만 실제 배포에서 실패할 수 있습니다. 생성 시뮬레이터는 이러한 정적 테스트를 대체하여 에이전트가 학습하는 동안 적응하는 환경을 제공합니다.

에이전트의 훈련과 평가에 대한 생성 시뮬레이터의 영향은 무엇인가요?

변화는 벤치마크가 테스트가 아닌 환경이 된다는 것입니다. 에이전트는 더 이상 정적 테스트를 수행하지 않고, 환경이 생성하고, 평가 논리가 동적으로 변경됩니다. 이는 훈련과 평가의 전통적인 경계를 무너뜨립니다. 에이전트가 벤치마크를 통과하는지 여부를 묻는 것이 아니라, 동적 시스템에서 시간이 지남에 따라 신뢰할 수 있게 작동할 수 있는지 여부를 묻는 것입니다.

생성 시뮬레이터의 핵심 아키텍처 아이디어는 무엇인가요?

생성 시뮬레이터는 강화 학습과 적응 환경 생성을 결합합니다. 시뮬레이터는 새로운 태스크를 생성하고, 세계의 규칙을 동적으로 업데이트하고, 에이전트의 행동을 실시간으로 평가할 수 있습니다. 핵심 구성 요소는 에이전트의 행동을 분석하고 시나리오의 난이도와 구조를 수정하여 학습을 생산적으로 유지하는 커리큘럼 조정기입니다. 보상 구조는 에이전트가 올바른 행동을 hướng하도록 설계되며, 도메인 특정적이며 검증 가능합니다.

AI 평가와 에이전트 툴링 공간이 점점 더拥挤해지는 가운데, 패트로너스 AI의 접근 방식은 무엇인가요?

우리의 초점은 생태학적 타당도에 있습니다. 우리는 실제 인간 워크플로우를 반영하는 환경을 설계합니다. 이는 단순히 정의된 테스트에서 에이전트를 최적화하는 것이 아니라, 실제-world에서 발생할 수 있는 실패를 노출하는 것입니다. 시뮬레이터는 분리된 출력이 아닌 시간이 지남에 따라 에이전트의 행동을 평가합니다.

생성 시뮬레이터를 사용한 평가에서 가장 좋은 작업이나 실패 모드는 무엇인가요?

장기 지속적인 멀티 스텝 태스크가 가장 좋은 작업입니다. 작은 오류율은 복잡한 태스크에서 주요 실패율로 누적될 수 있으며, 정적 벤치마크에서는 이를 포착할 수 없습니다. 생성 시뮬레이터를 사용한 평가에서는 장기적으로 작업을 유지하고, 중단을 처리하고, 도구 사용을 조정하며, 작업 중에 조건이 변경될 때 적응하는 실패를 나타낼 수 있습니다.

환경 기반 학습은 AI 안전성에 대한您的 생각을 어떻게 변경했나요? 생성 시뮬레이터는 새로운 위험을 초래할 수 있나요?

환경 기반 학습은 실제로 많은 안전성 문제를 더 쉽게 감지할 수 있도록 합니다. 정적 환경에서 보상 해킹이 번성할 수 있지만, 생성 시뮬레이터에서는 환경이 계속해서 변경되므로 이러한 단점을 지속하기가 더 어려워집니다. 그러나 보상과 감시에 대한 주의 깊은 설계가仍然 필요합니다. 환경의 장점은 정적 벤치마크보다 에이전트의 행동에 대한 더 많은 제어와 가시성을 제공한다는 것입니다.

5년 후, 패트로너스 AI의 기술적 야망과 산업적 영향은 무엇일까요?

우리는 환경이 AI의 기본 인프라가 될 것이라고 믿습니다. 에이전트가 질문에 대답하는 것에서 실제 작업을 수행하는 것으로 이동함에 따라, 에이전트가 학습하는 환경이 에이전트가 얼마나 능력 있고 신뢰할 수 있는지 결정할 것입니다. 우리의 장기적인 야망은 실제-world 워크플로우를 에이전트가 지속적으로 학습할 수 있는 구조화된 환경으로 만드는 것입니다. 평가와 훈련 사이의 전통적인 구분이消滅되고, 우리는 이것이 다음 세대의 AI 시스템을 정의할 것이라고 생각합니다.

멋진 인터뷰 감사합니다. 더 많은 정보를 원하는 독자는 패트로너스 AI를 방문할 수 있습니다.