인터뷰

Propensity Labs의 공동 창립자 겸 CEO Rahul Nambiar – 인터뷰 시리즈

Antoine Tardif
Unite.AI를 Google의 선호 소스에 추가
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
핵심 포인트프롬프트를 더 저렴한 모델에 맞게 조정함으로써 프리미엄 모델과 동일한 성능을 7%의 비용으로 달성할 수 있었다.
더 보기
  • 프롬프트를 더 저렴한 모델에 맞게 조정함으로써 프리미엄 모델과 동일한 성능을 7%의 비용으로 달성할 수 있었다.
  • 저렴한 모델은 종종 부족한 원시 능력 때문이 아니라 수정 가능한 행동 패턴 때문에 실패한다.
  • 팀은 토큰당 비용만이 아니라 성공적으로 완료된 작업당 비용을 측정해야 한다.

Rahul Nambiar는 Propensity Labs의 공동 창립자 겸 CEO다. 그는 AWS에서 대규모 인프라를 구축한 뒤 Meta로 옮겨, 머신러닝 분류를 활용한 엑사바이트 규모의 사용자 데이터 목록화 프로젝트를 이끌었다. 현재는 AI 모델의 작동 방식을 파악하고 모델 라우팅과 지시문 조정을 결합해 에이전트 기반 워크플로의 비용 효율성과 신뢰성을 높이는 데 주력하고 있다.

Propensity Labs는 팀이 각자의 작업 부하에 맞는 AI 모델을 선택하고 작업을 맡길 수 있도록 돕는 시스템을 개발한다. 모델의 작동 방식을 평가하고, 프롬프트를 자동으로 조정하며, 모델 간에 작업을 라우팅하는 방식을 결합해 사용자가 각 모델의 전문가가 되지 않고도 이용 가능한 모델을 더 효과적으로 활용하도록 돕는 것이 목표다.

Meta에서 엑사바이트 규모의 데이터 목록화 프로젝트와 관련한 개인정보 보호 기술을 이끌고, AWS를 거쳐 현재 Propensity Labs의 CEO로 일하기까지 다양한 경력을 쌓으셨습니다. 이러한 기술적 배경은 현재 AI 모델의 한계와 특화된 지시문 라우팅의 잠재력을 바라보는 관점에 어떤 영향을 미쳤나요?

저는 AWS에서 일을 시작한 뒤 Meta로 옮겼습니다. 대규모 시스템을 구축하면서 배운 점은, 시스템의 기본 구성 요소를 서로 바꿔 쓸 수 있는 블랙박스로 취급하기보다 그 작동 방식을 이해하고 최적화하면 성능을 크게 끌어올릴 수 있다는 것입니다. AI 모델도 마찬가지입니다. 성능이 매우 뛰어난 모델에도 작동상의 특이점이 있으며, 이를 이해하고 우회하면 성능과 비용 측면에서 놀라울 만큼 큰 개선을 얻을 수 있다는 사실을 확인했습니다.

최근 실험에서 라우팅을 적용한 소형 모델이 프리미엄 모델보다 훨씬 적은 비용으로 더 나은 성능을 보인다는 점을 입증하셨습니다. 벤치마크 테스트와 비교할 때, 실제 운영 환경에 이러한 모델 라우팅을 구현하는 데 따르는 주요 엔지니어링 과제는 무엇인가요?

Luna의 약점에 맞춰 프롬프트를 조정한 결과, Sierra의 복잡한 Tau3 에이전트 기반 벤치마크에서 Sol과 같은 성능을 비용의 7%만으로 낼 수 있었습니다. 조정을 거친 Luna와 Sol 사이에 라우팅을 적용하자 Astra 성능의 16%에 해당하는 비용으로 Astra와 같은 성능을 낼 수 있었습니다.

라우팅과 프롬프트 조정 모두 작업 부하에 맞춰 세밀하게 설계해야 한다는 점을 크게 배웠습니다. 벤치마크에는 잘 정돈된 환경과 채점 기준이 갖춰져 있어, 특정 작업에서 모델이 어떤 성능을 내는지 살펴보고 결과를 평가할 수 있습니다. 이를 바탕으로 모델에 맞춰 프롬프트를 어떻게 조정할지, 어떤 경우에 어느 모델로 작업을 라우팅할지 판단할 수 있습니다.

실제 운영 워크플로는 그렇게 잘 정돈된 형태로 주어지지 않습니다. 모델이 작업을 수행한 기록은 있지만, 실제로 성공했는지, 성공적인 결과가 무엇인지 신뢰성 있게 판단할 방법은 없습니다. 저희는 기존 사용 데이터를 활용하는 방법을 찾아냈습니다. 평가 데이터든 실제 운영 기록이든 이를 바탕으로 평가 환경을 재구성하면 같은 작업 부하에서 여러 모델과 조정 방식을 시험할 수 있습니다.

흥미로운 점은 라우팅과 조정을 함께 고려해야 한다는 것입니다. 저렴한 모델이 기존 프롬프트로는 작업에 실패하더라도, 해당 모델의 작동 방식에 맞춰 프롬프트를 조정하면 성공할 수 있습니다. 그러면 처음부터 어떤 모델로 작업을 라우팅해야 할지도 달라집니다.

특정 모델에 맞춰 지시문을 조정한다고 하셨습니다. 어떤 지시문이 보편적으로 적용되고, 어떤 지시문은 특정 모델 아키텍처의 강점과 약점에 맞게 개별적으로 조정해야 하는지 어떻게 구분하시나요?

보편적으로 통할 것 같은 지시문도 모델에 맞춰 조정해야 하는 경우가 많습니다. 간단한 예로 단일 턴 응답에서의 환각을 들 수 있습니다. 저희는 DeepSeek V4 Pro와 GPT-6 Luna라는 두 모델을 살펴봤습니다. 두 모델 모두 답을 모를 때 내용을 지어내는 경향이 강합니다. 학습 과정의 어떤 요소 때문에 두 모델은 답변을 거부하고 “모르겠습니다”라고 말하는 데 매우 주저합니다. 이런 행동 양상은 비슷하지만, 프롬프트를 통해 이를 완화하는 방법은 상당히 다릅니다.

DeepSeek V4 Pro에는 “모르겠다고 말해도 괜찮습니다”라는 문구를 여러 방식으로 덧붙이면 Claude 계열 모델과 비슷한 수준으로 답변을 거부하게 할 수 있습니다. 같은 방법은 Luna에는 거의 효과가 없습니다. Luna에는 오답에 비용을 부과하는 방식이 가장 효과적입니다. “오답에는 -90점, 정답에는 +10점만 부여한다”는 식으로 말하면, 더 큰 형제 모델인 Sol과 같은 정도로 답변을 거부합니다. 행동 양상은 같지만 두 모델이 그런 행동에서 벗어나게 하는 방법은 매우 다릅니다. 특정 모델에 맞게 지시문을 조정하려면 해당 모델과 모델이 배포되는 워크플로를 모두 깊이 이해해야 합니다.

기업들이 에이전트 기반 워크플로로 전환하는 가운데, 모든 일을 처리할 수 있도록 점점 더 강력해지는 단일 최첨단 모델을 기다리는 것보다 저렴하고 특화된 모델 간에 작업을 라우팅하는 전략이 더 지속 가능하다고 볼 만한 근거는 무엇인가요?

최첨단 모델은 대략 일주일에 한 번씩 새로 출시됩니다. 지금 가장 크고 성능이 뛰어난 모델 하나를 골라 전체 워크플로에 사용한다고 가정해 보겠습니다. 몇 달, 어쩌면 몇 주만 지나도 워크플로의 상당 부분은 물론 전부까지도 처리할 수 있는 더 작은 모델이 나올 가능성이 큽니다. 동시에 현재 워크플로에서 더 뛰어난 성능을 내는 더 큰 모델이나 더 특화된 모델도 등장할 가능성이 큽니다. 모델을 바꾸거나 모델 간 라우팅을 하지 않으면 성능과 비용 측면에서 모두 얻을 수 있는 이점을 놓치게 됩니다.

하지만 이 모든 변화를 따라가는 일은 번거롭고, 사람들이 각기 다른 모델을 모두 전문가 수준으로 알아야 할 이유도 없습니다. 바로 이 지점에서 저희가 도움을 드릴 수 있다고 생각합니다. 원하는 성능을 가장 낮은 비용으로 제공하는 최적의 모델을 언제나 사용할 수 있도록 하는 것입니다. 어떤 경우에는 작업의 일부에 가장 성능이 뛰어난 모델을 선택하는 것이 최선이고, 또 어떤 경우에는 작업의 대부분을 훨씬 저렴한 모델로 처리할 수 있도록 조정하는 것이 최선입니다.

여러 모델에 작업을 분배하는 시스템을 관리할 때, 특히 민감한 정보가 관련된 작업의 경우 데이터 일관성과 개인정보 보호를 어떻게 보장하시나요?

저희는 사용자와 모델 제공업체 사이에서 중간 계층 역할을 합니다. 사용자는 이용할 제공업체를 선택하고 자신의 API 키를 등록합니다. 저희는 해당 제공업체의 모델 가운데 전체 작업이나 작업의 일부에 가장 적합한 모델을 골라 작업을 조정한 뒤, 알맞은 모델로 전달합니다. 고객이 공유하기로 선택한 평가 데이터나 추적 기록만 사용하며, 고객의 데이터로 모델을 학습시키거나 데이터를 보관하지 않습니다.

Mana Azarm과 함께 Propensity Labs를 공동 창업하셨습니다. 모델 동작을 깊이 연구하는 일과 에이전트형 파이프라인을 구축하는 실무적인 시스템 엔지니어링 사이에서 업무의 초점을 어떻게 나누시나요?

이 분야에서 저희의 역량은 서로 잘 보완됩니다. 수석 과학자이자 교수인 Mana는 모델 동작과 관련된 부분에 더 집중하고, 저는 시스템 엔지니어링을 맡습니다. 아니, 적어도 저희는 그렇게 하려고 합니다. 현실은 더 복잡해서, 결국 그때그때 가장 큰 걸림돌이 되는 일을 각자 맡게 됩니다.

현재 고가의 프리미엄 모델 API 호출에 많은 비용을 지출하는 CTO라면, 기존 워크플로에서 모델 라우팅과 지시문 조정을 시험해 볼 때 가장 쉽게 시작할 수 있는 일은 무엇일까요?

저희와 이야기해 보세요! 하지만 진지하게 말씀드리자면, 최신 세대의 더 작은 모델을 여러분의 구체적인 작업에 적용해 보고 무엇을 처리할 수 있는지 확인해 보시면 됩니다. 많은 분이 이전 세대의 더 큰 모델에 머물러 있고, 모델이 빠르게 발전하는데도 최근 출시된 더 작고 저렴한 대안이 자신들의 작업을 처리할 수 있다는 사실을 아직 깨닫지 못한 것 같습니다.

개발자들이 더 저렴한 모델을 적절히 제약하거나 안내했을 때의 성능에 대해 가장 흔히 하는 오해는 무엇인가요?

가장 흔한 오해는 더 저렴한 모델이 실패하면 단지 성능이 부족하기 때문이라고 여기는 것입니다. 더 저렴한 모델이 워크플로에서 어떤 상황에 어떻게 실패하는지 깊이 분석하는 것이 도움이 된다고 생각합니다. 실패의 상당 부분은 모델이 빠지기 쉬운 특정 패턴에서 비롯됩니다. 이를 알아차리고 그런 패턴에서 벗어나도록 유도하면 워크플로에서 성공적으로 작업을 수행할 수도 있습니다. 반면 또 다른 실패는 더 저렴한 모델이 작업을 제대로 수행하는 데 필요한 기본 역량 자체가 부족해서 생깁니다. 그런 경우에는 더 큰 모델이 필요합니다.

개인정보 보호, 규모, 비용이 맞닿는 분야에서 일하고 계십니다. 앞으로 12~18개월 동안 AI 인프라가 발전하는 과정에서 기업이 원하는 것과 현재 도구 생태계가 제공하는 것 사이의 가장 큰 간극은 어디에 있다고 보시나요?

실제 운영 환경에 모델을 배포하는 실무자들과 이야기해 보면, 새로운 모델과 늘어나는 기능을 따라가야 한다는 압박감, 즉 FOMO와 어느 정도의 피로감을 공통으로 느끼는 것 같습니다. 대부분의 기술은 시간이 지나면서 사용하고 배포하기가 쉬워지는 경향이 있습니다. 하지만 LLM은 선택해야 할 모델과 설정이 너무 많아지면서 오히려 다루기 어려워졌습니다. 여기에는 온도, 추론 강도, 캐싱 등이 포함됩니다. 모델을 사용하는 팀이 이런 요소를 단순화하고 추상화하면 큰 도움이 될 것이라고 생각합니다. 그러면 팀은 모델로 무엇을 해내고 싶은지에만 집중하고, 그 방법은 고민하지 않아도 됩니다.

다중 모델 라우팅을 실험하기 시작하는 기술팀은 신뢰성을 희생하면서 비용 절감만 좇지 않도록 어떤 지표를 우선시해야 할까요?

먼저 작업 성공률과 실패율, 지연 시간, 성공적으로 완료한 작업당 비용을 살펴보겠습니다. 저렴한 모델이 더 자주 실패한다면 토큰당 비용만으로는 큰 의미가 없습니다. 따라서 재시도에 드는 비용과 라우팅에 사용하는 분류기나 의사결정 모델 호출 비용을 포함해 작업 전체에 드는 비용을 계산해야 합니다.

어려운 점은 신뢰성을 측정하는 것입니다. 한 모델에서 다른 모델로 에이전트를 옮기는 데 어려움을 겪던 팀들이 평가에 몇 달간 전념한 뒤에는 모델 전환이 훨씬 수월해지는 공통적인 양상을 확인했습니다. 가능한 한 이른 시점부터 워크플로에 맞는 탄탄한 평가 체계를 마련하고, 워크플로와 사용자의 활용 방식이 바뀔 때마다 최신 상태로 유지할 것을 강력히 권합니다.

좋은 인터뷰 감사합니다. 모델 라우팅, 지시문 조정, 그리고 더 안정적이고 비용 효율적인 AI 워크플로를 위한 평가 방법을 더 알아보고 싶은 독자는 Propensity Labs를 방문해 보시기 바랍니다.

앙투안은 Unite.AI의 비전 있는 리더이자 창립 파트너로, AI와 로봇공학의 미래를 만들어 가고 발전시키는 데 변함없는 열정을 쏟고 있습니다. 여러 기업을 창업한 그는 AI가 전기만큼 사회를 크게 변화시킬 것이라고 믿으며, 혁신적인 기술과 범용 인공지능(AGI)의 잠재력에 관해 자주 열정적으로 이야기합니다.

미래학자로서 이러한 혁신이 세상을 어떻게 바꿀지 탐구하는 데 전념하고 있습니다. 또한 미래를 새롭게 정의하고 산업 전반을 변화시키는 첨단 기술에 대한 투자에 초점을 맞춘 플랫폼인 Securities.io의 설립자입니다.