인터뷰

사디파 위제세카라, HPE 프라이빗 클라우드 AI 부문 부사장 – 인터뷰 시리즈

Antoine Tardif
Unite.AI를 Google의 선호 소스에 추가
Sadeepa Wijesekara, Vice President of Private Cloud AI at HPE
핵심 포인트AI 경제학은 파일럿이 프로덕션으로 확장되고 재무가 대화에 참여할 때에만 비즈니스 학문이 된다.
더 보기
  • AI 경제학은 파일럿이 프로덕션으로 확장되고 재무가 대화에 참여할 때에만 비즈니스 학문이 된다.
  • 토큰당 비용은 소비를 측정하는 반면 비즈니스 성과당 비용은 투자가 실제로 타당한지를 드러낸다.
  • 에이전트 워크플로는 추론 가격이 계속 하락하더라도 토큰 소비를 극적으로 배가시킬 수 있다.

Sadeepa Wijesekara는 Hewlett Packard Enterprise (HPE)에서 프라이빗 클라우드 AI 부문 부사장으로 일하며, 프라이빗 클라우드 환경을 위한 엔터프라이즈 AI 소프트웨어와 플랫폼 개발을 이끌고 있습니다. 조직이 AI를 안전하게 대규모로 도입하도록 지원하는 한편, 인프라 관련 결정이 비즈니스의 요구에 부합하도록 하는 데 중점을 두고 있습니다. 또한 워크로드 관리, 모델 선택, 점점 더 자율화되는 시스템의 안정성 유지 비용 등 실제 운영 단계의 AI 경제성을 엔지니어링 관점에서 살펴봅니다.

Hewlett Packard Enterprise (HPE)는 AI, 클라우드, 네트워킹, 컴퓨팅, 스토리지 전반에 걸친 엔터프라이즈 기술을 제공합니다. Private Cloud AI 포트폴리오는 조직이 직접 관리하는 인프라에서 AI 워크로드를 배포하고, 하이브리드 클라우드와 외부 서비스를 함께 활용하도록 지원합니다. 이번 인터뷰에서 Wijesekara는 AI 지출을 비즈니스 성과에 비추어 측정해야 하는 이유, 에이전트형 워크플로가 사용량을 어떻게 바꾸는지, 그리고 모델·오케스트레이션·인프라에 관한 결정에 영향을 미치는 재무 및 운영 요소를 설명합니다.

HPE는 직원 70,000명이 넘는 조직 전반에서 AI 도입을 확대해 왔습니다. 이러한 경험을 통해 AI 경제성이 언제 IT의 관심사를 넘어 더 폭넓은 비즈니스 과제가 되는지에 대해 무엇을 알게 되었습니까?

기업이 파일럿 단계에서 실제 운영 단계로 넘어가면 AI 경제성은 더 폭넓은 비즈니스 과제가 됩니다. 파일럿을 통해 AI가 특정 작업을 수행할 수 있는지 확인할 수 있지만, 사용자가 적기 때문에 비효율성이 드러나지 않을 수도 있습니다. 사용자가 10명에서 10,000명으로 늘어나면 AI가 창출하는 가치를 파악하는 동시에 비용, 지연 시간, 신뢰성을 고려해야 합니다. 이 단계에서는 재무 부서와 AI가 지원하는 업무 프로세스를 책임지는 리더들도 논의에 참여해야 합니다. IT 부서는 애플리케이션이 사용하는 리소스를 측정할 수 있지만, 그 투자에 걸맞은 성과가 나오는지는 비즈니스 리더가 판단해야 합니다.

많은 조직이 생성형 AI를 평가할 때 토큰당 비용과 같은 지표에 여전히 큰 비중을 둡니다. 비즈니스 성과당 비용이 더 의미 있는 지표라고 보는 이유는 무엇이며, 기업은 이를 실무에서 어떻게 계산해야 합니까?

토큰당 비용으로는 AI를 얼마나 사용했는지 알 수 있지만, 그 사용이 유용한 결과를 낳았는지는 알 수 없습니다. 기업은 먼저 비즈니스 성과를 정의한 다음, 이를 만들어내는 데 필요한 총비용을 계산해야 합니다. 모델은 그 비용의 일부일 뿐이며, 소프트웨어, 스토리지, 데이터 이동, 거버넌스, 인력 비용도 포함됩니다. 이러한 비용을 특정 업무 프로세스에서 창출된 가치와 비교하면 투자에 경제적 타당성이 있는지 더 정확하게 파악할 수 있습니다.

AI가 개별 코파일럿에서 긴 작업 절차를 수행할 수 있는 에이전트형 및 다중 에이전트 시스템으로 발전하면, 추론 비용 자체가 계속 낮아지더라도 사용량은 얼마나 크게 늘어날 수 있습니까?

사용자 한 명의 요청이 내부적으로 훨씬 더 많은 작업을 유발할 수 있기 때문에 사용량은 매우 빠르게 늘어날 수 있습니다. 에이전트는 결과를 내기까지 여러 단계를 거치는 동안 정보를 검색하고 도구를 호출할 수 있습니다. HPE의 한 대표적인 비교 사례에서 기본 챗봇 대화는 약 400토큰을 사용한 반면, 에이전트형 RAG 요청은 약 21,500토큰을 사용했습니다. 토큰 가격이 내려가더라도 AI가 더 복잡한 작업을 맡으면서 전체 사용량은 여전히 급격히 늘어날 수 있습니다.

기업은 AI 활용 사례가 생산성 지표를 높이거나 인상적인 시연을 보여주는 데 그치지 않고 실제로 경제적 가치를 창출하는지 어떻게 평가해야 합니까?

활용 사례를 확대하기 전에 명확한 KPI를 갖춘 비즈니스 사례와 연결해야 합니다. 기업은 해당 업무 프로세스에 드는 비용이 얼마인지, AI를 도입하면 그 비용이 어떻게 달라지는지 파악해야 합니다. 또한 특정 활동의 개선과 비즈니스 성과의 개선을 구분해야 합니다. 절약한 시간이 더 많은 고객 문제를 해결하고, 오류를 줄이거나, 이전에는 처리하지 못했던 업무를 완료하는 데 쓰일 때 비로소 더 큰 의미가 있습니다. 평가에는 결과의 품질과 추가 검토 또는 재작업에 필요한 비용도 반영해야 합니다. 성공적인 시연은 역량을 입증하지만, 활용 확대를 뒷받침하는 것은 업무 프로세스의 측정 가능한 개선입니다. 분석 결과에 따라 AI가 적절한 해결책이 아니라는 결론에 이를 수도 있습니다.

비용을 통제하는 방법으로 모델 라우팅과 AI 오케스트레이션에 대한 논의가 점점 늘고 있습니다. 작업에 따라 소형 모델, 최첨단 모델, 특화 모델, 기존 소프트웨어 중에서 동적으로 선택하면 기업은 어느 정도의 가치를 얻을 수 있습니까?

모델을 작업에 맞추면 큰 가치를 얻을 수 있습니다. 기업들이 AI 도입을 우선 추진하느라 성격이 크게 다른 여러 워크로드를 하나의 고비용 프런티어 모델에 맡기는 사례를 봐 왔습니다. 사용자가 많지 않을 때는 감당할 수 있지만, 도입이 확대되면 비용이 빠르게 증가합니다. 복잡한 추론에는 프런티어 모델이 적합할 수 있지만, 일상적인 작업에는 더 작은 모델로 충분할 수 있습니다. 특정 분야에는 전문화된 모델이 더 적합할 수 있으며, 예측 가능하고 규칙에 따라 처리되는 작업은 기존 소프트웨어로 더 효율적으로 처리할 수 있습니다. 오케스트레이션은 이러한 선택지를 워크플로 안에서 조합해 작업에 필요한 경우 더 뛰어난 모델을 활용하도록 돕습니다. 오픈 웨이트 모델의 성능이 향상되면서 기업은 특정 워크로드를 외부 모델에 비용을 지불하는 대신 자체 인프라에서 실행할 기회도 늘어나고 있습니다. 기업 규모에서는 이러한 라우팅 결정이 비즈니스에 필요한 품질을 유지하면서 비용을 크게 절감할 수 있습니다.

API나 퍼블릭 클라우드를 통해 컴퓨팅 자원을 임대하는 방식에서 벗어나, 기반 인프라를 더 많이 소유하거나 통제하는 방식으로 AI 워크로드 운영의 경제성이 전환되는 시점은 언제일까요? 기업은 이 결정을 내릴 때 어떤 변수를 고려해야 할까요?

저는 이를 임대와 구매의 차이로 봅니다. 기업이 실험을 진행하는 중이거나 수요 변동이 큰 경우에는 임대가 합리적일 수 있습니다. 사용량이 늘고 예측 가능해지면 인프라를 더 많이 소유하거나 통제하는 것이 경제적으로 타당해질 수 있습니다. 인프라를 소유하면 사용량이 적은 기간에 추가 AI 실험을 진행할 기회도 생겨, 이미 투자한 자원을 더 효율적으로 활용할 수 있습니다. 기업은 워크로드의 특성뿐 아니라 전력, 관리, 시스템 최신 상태 유지에 드는 비용도 고려해야 합니다. 많은 대기업에 적합한 접근 방식은 워크로드에 따라 프라이빗 인프라와 외부 서비스를 모두 활용하는 것이 될 가능성이 큽니다.

기업들이 더 많은 워크로드를 실제 운영 환경에 배포함에 따라 HPE는 프라이빗 AI 인프라를 확장해 왔습니다. AI를 전적으로 퍼블릭 클라우드 서비스로 이용하는 방식과 비교할 때, 프라이빗 AI가 가장 큰 경제적 이점을 제공하는 분야는 어디라고 보십니까?

기업이 보유한 용량을 효과적으로 활용할 수 있는 지속적인 워크로드에서는 프라이빗 AI가 상당한 경제적 이점을 제공할 수 있습니다. HPE가 특정 워크로드 가정을 바탕으로 수행한 한 분석에서는 HPE Private Cloud AI의 비용이 노드 시간당 약 45달러로 추산됐으며, 이에 상응하는 클라우드 임대 구성의 비용은 약 102달러였습니다. 이러한 결과는 워크로드에 따라 달라지므로 각 환경에 맞춰 다시 계산해야 합니다. 프라이빗 AI는 기업에 또 다른 재무 모델을 제공해 인프라가 조직에 가치를 창출하는 자산이 되도록 합니다.

AI 에이전트 운영에는 추론을 넘어 데이터 검색, 도구 호출, 모니터링, 보안, 거버넌스 비용까지 발생합니다. 에이전트형 AI를 대규모로 예산화할 때 조직이 과소평가하기 쉬운 비용은 무엇일까요?

기업들은 에이전트를 장기간 안정적이고 안전하며 유용하게 유지하는 데 필요한 작업을 과소평가하기 쉽다고 생각합니다. 추론 외에도 데이터를 검색하고 준비하는 일, 외부 도구에 접근하는 일, 시스템 간에 정보를 이동하는 일과 관련한 비용이 발생합니다. 도구를 반복해서 호출하거나 시도에 실패하면 작업을 완료하지 못한 채 비용만 늘어날 수 있습니다. 기업은 결과 평가, 에이전트 동작 모니터링, 접근 권한 관리, 보안 및 거버넌스 제어 유지에 드는 비용도 예산에 반영해야 합니다. 예외 상황을 검토하거나 오류를 바로잡는 데 사람들이 들이는 시간을 비롯해 인적 감독 비용도 계산에 포함해야 합니다. 작업을 성공적으로 완료하는 데 드는 비용을 파악하려면 전체 워크플로를 들여다볼 수 있어야 합니다.

AI 사용량을 개별 비즈니스 사례와 연계해 추적해야 한다고 강조하셨습니다. 효과적인 내부 측정 프레임워크는 어떤 모습이어야 하며, 조직은 AI 애플리케이션의 지속적인 컴퓨팅 및 운영 비용을 감당할 가치가 있는지 얼마나 자주 재평가해야 할까요?

이 프레임워크는 사용량을 비즈니스 사례와 직접 연결해야 합니다. 기업은 어떤 애플리케이션이 자원을 소비하고 있는지, 그리고 그 애플리케이션이 어떤 결과를 낼 것으로 기대되는지 파악해야 합니다. HPE에서는 각 사용 사례의 KPI와 그에 따른 단위 비용을 추적해 기대한 결과를 내고 있는지 측정합니다. 개별 부서와 비즈니스 프로세스 수준에서도 이를 파악할 수 있어야 합니다. 그래야 CFO가 AI를 적용하지 않았을 때와 적용했을 때 프로세스 비용이 어떻게 다른지 이해할 수 있습니다. 사용량과 애플리케이션의 경제성이 시간이 지나면서 달라질 수 있으므로 이는 지속적으로 진행해야 합니다. 모델, 가격 또는 워크플로에 중대한 변화가 생긴 경우에도 비용과 애플리케이션의 가치 모두에 영향을 줄 수 있으므로 재평가해야 합니다.

앞으로 3~5년을 내다볼 때, AI가 대부분의 비즈니스 프로세스에 내재화되면서 기업의 AI 경제성은 어떻게 변화할 것으로 예상하십니까? AI 사용량 관리가 결국 클라우드 FinOps와 같은 분야의 관행을 따르게 될까요, 아니면 조직에 완전히 새로운 운영 모델이 필요할까요?

AI 경제성은 비용 가시성, 비용 배분, 책임성 등 FinOps의 원칙을 기반으로 발전하는 한편, AI가 수행하는 업무의 품질과 가치를 측정하는 방향으로 확장될 것이라고 생각합니다. 에이전트가 비즈니스 프로세스에서 더 많은 단계를 맡게 되면, 기업은 재시도와 사람의 개입 여부, 결과가 요구되는 기준을 충족하는지 등을 포함해 해당 프로세스를 성공적으로 완료하는 데 드는 비용을 파악해야 합니다. 이는 IT, 재무, 비즈니스 운영 부문이 함께 책임져야 할 일이 될 것으로 봅니다. 조직과 산업 전반에서 이러한 비교를 일관된 방식으로 수행하기 위한 기준을 마련하는 일은 아직 초기 단계입니다. 시간이 지나면서 기업이 AI를 얼마나 효율적으로 활용하고 있는지 파악하고 그 내용을 손익계산서(P&L)에 반영할 수 있도록 표준화된 측정 기준이 마련되기를 바랍니다.

유익한 인터뷰 감사합니다. 프라이빗 클라우드 AI, 엔터프라이즈 인프라, AI 워크로드 확장에 대해 더 알고 싶은 독자라면 HPE를 방문해 보시기 바랍니다.

앙투안은 Unite.AI의 비전 있는 리더이자 창립 파트너로, AI와 로봇공학의 미래를 만들어 가고 발전시키는 데 변함없는 열정을 쏟고 있습니다. 여러 기업을 창업한 그는 AI가 전기만큼 사회를 크게 변화시킬 것이라고 믿으며, 혁신적인 기술과 범용 인공지능(AGI)의 잠재력에 관해 자주 열정적으로 이야기합니다.

미래학자로서 이러한 혁신이 세상을 어떻게 바꿀지 탐구하는 데 전념하고 있습니다. 또한 미래를 새롭게 정의하고 산업 전반을 변화시키는 첨단 기술에 대한 투자에 초점을 맞춘 플랫폼인 Securities.io의 설립자입니다.