Jayant Swamy, Genpact 수석 엔터프라이즈 아키텍트 – 인터뷰 시리즈

Jayant Swamy, Genpact의 수석 엔터프라이즈 아키텍트이며, 엔터프라이즈 아키텍처, 인공지능, 데이터 엔지니어링, 클라우드 기술 및 대규모 디지털 전환에 걸친 20년 이상의 경험을 가진 기술 및 데이터 리더입니다. 2024년 Genpact에 합류하기 전에는 Xtrac8.Tech에서 CTO 및 수석 아키텍트로, 그리고 생성 AI와 대형 언어 모델을 포함한 기술에 중점을 둔 AI 스타트업의 CTO 겸 공동 창업자로 재직했습니다. Swamy는 이전에 Accenture에서 10년 이상 근무했으며, 여기서 CTO, 글로벌 리드 및 Institute of Applied Intelligence의 글로벌 매니징 디렉터, Data on Cloud 사업부의 매니징 디렉터 및 글로벌 비즈니스 리드, 그리고 Chief Data Architect 및 Data Engineering과 Data Innovation의 글로벌 리드 등 다양한 리더십 역할을 맡았습니다. 경력 초기에 Fannie Mae에서 7년 이상 근무하며 서비스 및 신용 손실 관리와 관련된 기술 및 비즈니스 정보 이니셔티브를 감독했으며, 그 이전에는 Oracle (ORCL ) 에서 수석 프린시펄로 근무했습니다.

Genpact는 인공지능, 데이터, 프로세스 인텔리전스 및 도메인 전문성을 통해 기업이 복잡한 운영을 전환하도록 돕는 글로벌 기술 및 비즈니스 서비스 기업입니다. 이 회사는 1997년 GE Capital 내 이니셔티브에서 시작되어 2005년에 독립했으며, 2007년에 뉴욕증권거래소에 상장했습니다. 오늘날 Genpact는 은행, 보험, 금융, 공급망, 소비재, 의료 및 기술 등 다양한 산업 분야의 조직과 협력하며, 생성 AI, 에이전시 시스템, 자동화 및 AI 기반 기업 운영에 대한 강조가 점점 커지고 있습니다.

귀하의 경력은 Oracle, Fannie Mae, Accenture에서의 엔터프라이즈 아키텍처 및 데이터 리더십 역할에서 스타트업 환경을 거쳐 현재 Genpact의 수석 엔터프라이즈 아키텍트 직책에 이르렀습니다. 이러한 경험이 AI 자율성이 실제 기업 가치를 창출하는 영역과 인간 판단이 여전히 필수적인 영역에 대한 귀하의 관점을 어떻게 형성했습니까? 

제 경력 전반에 걸쳐 규모, 거버넌스, 통합 및 위험이 혁신만큼 중요하다는 것을 배웠습니다. 엔터프라이즈 경험은 인상적인 기술이라도 조직 내에서 작동하지 않으면 실패한다는 것을 보여주며, 스타트업은 빠르게 움직이고 실험하며 아키텍처를 단순하고 적응 가능하게 유지하는 가치를 강조합니다. AI 자율성은 두 사고방식을 결합할 때 가장 효과적이며—속도를 유지하면서도 견고한 기반을 유지합니다. 이렇게 하면 AI가 조직 내 업무 흐름을 진정으로 변화시킬 수 있습니다. 우리의 최근 연구 결과가 이 점을 명확히 뒷받침합니다.

모델 자체는 방정식의 한 부분에 불과합니다. 주변 아키텍처—데이터, 시스템, 워크플로우, 제어 및 통합—가 AI가 규모 있게 가치를 창출할 수 있는지를 결정합니다. 이것이 바로 “프로세스 인텔리전스 없이 인공지능은 없다”는 의미이며, Genpact Labs에서 진행하는 적용 AI 작업의 전제이기도 합니다. 우리는 신흥 AI 기능을 가져와 생산 등급의 고객용 솔루션으로 전환합니다. 모든 기능은 측정 가능한 비즈니스 결과와 연결되고, 운영에 필요한 워크플로우, 데이터 및 제어에 내장됩니다.

AI는 목표가 명확하고 데이터가 신뢰할 수 있으며 경계가 잘 정의된 상황에서 활동할 여지를 가져야 합니다. 인간 판단은 고위험, 모호함, 주관성, 규제 요구 또는 책임과 공감이 필요한 결정에 필수적입니다. 자율성은 인간을 시스템에서 제거하는 것이 아니라, AI가 독립적으로 작동할 수 있는 영역, 인간이 가시성을 필요로 하는 영역, 그리고 인간 판단이 개입해야 하는 영역을 모두가 명확히 알 수 있도록 시스템을 설계하는 것입니다.

많은 기업이 고객 대면 AI를 주로 속도, 해결률(컨테인먼트), 비용 절감으로 평가합니다. 이러한 지표가 기술이 실제로 고객 경험을 개선하고 있는지에 대해 왜 오해를 불러일으킬 수 있습니까?

문제는 이러한 지표가 주로 효율성을 측정한다는 점입니다. 시스템이 어떻게 수행했는지는 보여주지만, 고객이 실제로 어떻게 경험했는지는 반드시 반영하지 않습니다. 예를 들어 컨테인먼트를 보십시오: 높은 비율은 내부적으로는 성공적으로 보일 수 있지만, 고객이 포기하거나, 반복해서 말하거나, 불완전한 답변을 받거나, 필요할 때 사람에게 연결되지 못하면 부정적인 결과를 숨길 수 있습니다. 컨테인먼트는 AI가 고객을 시스템 안에 머물게 했다는 것을 의미할 뿐, 고객이 원하는 것을 얻었는지는 나타내지 않습니다. 비용 절감 역시 신뢰, 만족도 또는 해결 품질을 희생하면서 이루어질 수 있습니다.

AI 시스템은 제공된 신호에 맞춰 최적화됩니다. 따라서 기업은 초기 단계부터 시스템에 측정 신호를 설계해야 합니다—속도와 컨테인먼트와 같은 프론트엔드 지표를 문제 해결 및 결과가 다른 영역에 문제를 일으키는지와 같은 다운스트림 신호와 연결하는 것이죠. 궁극적으로 고객 대면 AI는 최종 사용자의 근본적인 문제를 정확하고 공정하게, 적절한 인간 지원 수준과 함께 해결하는지 여부로 평가되어야 합니다.

AI 에이전트가 불확실성, 좌절, 긴급성 또는 설정된 워크플로우를 벗어난 상황을 인식하기 위해 어떤 신호를 사용해야 합니까? 

단일한 마법 같은 신호는 없습니다—중요한 것은 시스템에 충분한 컨텍스트와 가시성을 제공해 자신감, 권한 또는 정보가 더 이상 충분하지 않을 때를 인식하게 하는 것입니다. 이는 상충되는 정보, 반복된 실패 시도, 혹은 에이전트가 계속해서 같은 루프에 빠지는 형태로 나타날 수 있습니다. 또한 고객의 언어 변화—좌절이나 긴급함을 명확히 나타내는 신호—또는 에이전트가 접근하거나 권한이 없는 정보, 접근 권한, 혹은 권한이 필요한 작업 자체에서도 나타날 수 있습니다.

시스템은 스스로의 경계도 알아야 합니다. 문제가 설계된 워크플로우를 벗어나거나 접근할 수 없는 데이터를 필요로 하거나 정의된 위험 임계값을 초과하면 다른 경로를 트리거해야 합니다. 목표는 에이전트가 모든 시나리오를 처리하도록 하는 것이 아니라, 언제 멈추고, 에스컬레이션하고, 도움을 요청해야 하는지를 아는 것입니다.

기업이 복잡한 상호작용과 실제로 인간 판단이나 공감이 필요한 상호작용을 구분하려면 어떻게 해야 합니까?

구분선은 작업의 난이도가 아니라, 그 결정이 얼마나 많은 판단, 결과 및 인간적 맥락을 수반하는가에 달려 있습니다. 기계가 처리하고 인간이 검증하는 에이전시 운영을 구축하려면 인간 가치가 절대 대체될 수 없는 영역을 이해해야 합니다.

목표가 명확하고 데이터가 신뢰할 수 있으며 프로세스가 정의되고 결과가 측정 가능할 때 AI는 매우 복잡한 작업도 처리할 수 있습니다. 복잡성 자체가 인간을 요구하는 것은 아니며, 시스템이 허용된 경계를 이해한다면 가능합니다. 고객 의도가 불분명하거나, 상황에 재량이 필요하거나, 여러 유효한 결과가 존재하거나, 재무, 법률, 의료, 평판 등 중요한 결과를 초래하는 경우 인간이 개입해야 합니다. 일부 상호작용은 답변 그 자체보다 안심, 설명, 협상, 공감이 필요합니다—이때 인간 참여는 기술적 정확성만큼 중요합니다. 아키텍처는 이러한 구분을 반영해야 하며, 개입 지점은 사전에 워크플로우에 설계되어야 합니다. 문제가 발생한 뒤에 결정해서는 안 됩니다.

효과적인 에스컬레이션 프로세스는 어떻게 설계되어야 고객이 인간 에이전트에게 인계될 때 자신을 반복하거나 처음부터 다시 시작해야 하는 상황을 방지할 수 있습니까?

좋은 에스컬레이션은 단순히 고객을 전달하는 것이 아니라 컨텍스트를 전달하는 것입니다. 따라서 다음 담당자는 바로 해결을 향해 나아갈 수 있어야 합니다. 인간이 인계받을 때는 대화 기록, 고객 신원 및 프로필, AI가 이미 시도한 내용 등을 이미 가지고 있어야 하며, 고객에게 다시 시작을 요구하지 않아야 합니다.

이는 주로 아키텍처 문제와 관련됩니다—AI가 프론트엔드 채팅 경험에만 존재하고 CRM, ERP, 지식 소스, 워크플로우 및 오케스트레이션 레이어와 연결되지 않으면 원활한 핸드오프는 불가능합니다.

에스컬레이션 임계값은 재무 위험, 고객 취약성, 규제 요구 사항 또는 잘못된 결정의 잠재적 결과와 같은 요인에 따라 달라져야 합니까?

에스컬레이션 규칙은 위험 수준에 따라 달라야 합니다. 오류가 초래할 결과가 클수록 인간 개입이 빨라야 합니다.

비밀번호 재설정은 완전 자동화될 수 있지만, 분쟁이 발생한 금융 거래는 더 엄격한 통제가 필요합니다. 청구나 컬렉션에서는 일상적인 상태 업데이트는 완전 자율화하되, 금액 임계값을 초과하거나 어려움 플래그가 발생하면 반드시 인간 검증을 거쳐야 합니다. 규제가 강하거나 결과가 중대한 경우 감독이 더욱 강화되어야 합니다. 취약한 고객은 더 일찍 인간 개입이 필요할 수 있으며, 되돌릴 수 없는 결과를 초래하는 결정은 낮은 자율성 임계값을 가져야 합니다.

이러한 임계값은 개별 에이전트가 즉석에서 해석하도록 두어서는 안 됩니다. 아키텍처와 오케스트레이션 레이어에 명확히 내장되어야 하며, 에이전트가 수행할 수 있는 작업, 추가 검증이 필요한 작업, 에스컬레이션이 반드시 필요한 작업에 대한 규칙이 명시되어야 합니다.

기회는 위험에 따라 자율성을 스케일링하는 것입니다—낮은 위험 작업은 전속도로 진행하고, 중요한 경우는 더 강력히 통제합니다. Genpact에서는 이러한 계층화를 에이전시 워크플로우 설계에 직접 반영하여, 일상적인 케이스는 자율적으로 처리하고 정의된 위험 또는 금액 임계값을 초과하는 경우 자동으로 인간에게 라우팅하도록 했습니다. 모든 상호작용에 동일한 수준의 자율성을 부여하면 편리함이 비용이 많이 드는 오류로 전락합니다.

작업 완료 외에, 조직이 자율적인 고객 서비스 시스템이 고객에게 긍정적인 결과를 제공하고 있는지 평가하기 위해 어떤 지표를 사용해야 합니까?

작업 완료는 유용하지만 충분하지 않습니다. 질문은 “에이전트가 작업을 마쳤는가?”가 아니라 “고객이 더 나은 상황에 놓였는가?”가 되어야 합니다. 이는 결과를 약속하는 것과 그 결과에 대해 책임을 지는 것의 차이입니다.

따라서 처리 시간 외에도 응답 정확도, 최초 연락 해결률, 재접촉 횟수, 에스컬레이션 품질, 고객 만족도, 결과의 공정성과 일관성 같은 지표를 살펴야 합니다. 또한 개별 상호작용을 넘어서는 측정이 필요합니다. 한 부분에서 성공적으로 보이더라도 하위 단계에서 문제를 일으킬 수 있습니다. 예를 들어, 케이스가 빠르게 종료되더라도 몇 주 뒤에 다시 전화가 걸려와 고객 감정에 영향을 주고 결국 인간이 재조정해야 할 수도 있습니다. 따라서 30일 후에도 여전히 해결되었는지 추적하는 것이 가치 있습니다.

시스템이 고객의 근본적인 필요를 실제로 해결했는지, 단순히 상호작용을 종료하고 승리로 간주했는지도 파악해야 합니다. 이를 위해서는 워크플로우 전반에 걸친 엔드‑투‑엔드 가시성이 필요하며, AI 인터페이스의 지표만으로는 충분하지 않습니다. 활동이 아닌 고객 및 비즈니스 결과를 측정하는 것이 AI의 실제 ROI를 드러냅니다.

기업이 AI 에이전트가 운영 목표(예: 콜 볼륨 감소, 처리 시간 단축)를 최적화하면서도 공정성, 신뢰 또는 고객의 근본적 요구를 희생하지 않도록 어떻게 방지할 수 있습니까?

AI 시스템은 부여된 목표를 달성하는 데 놀라운 능력을 보입니다. 이것이 장점이자 함정입니다—속도만을 목표로 하면 모든 다른 요소를 희생하게 됩니다.

기업은 효율성뿐 아니라 고객 결과, 위험, 공정성, 정확성, 신뢰를 함께 고려한 균형 잡힌 목표 세트를 AI에 제공해야 합니다. 이는 허용 가능한 행동에 대한 명확한 가드레일을 설정하고, 편향 및 의도치 않은 결과를 테스트하며, 인간 개입 메커니즘을 유지하고, 의사결정을 지속적으로 모니터링하며, 결과를 추적 가능하고 감사 가능하게 만드는 것으로 실현됩니다. 거버넌스는 시스템이 이미 가동된 뒤에 부착하는 것이 아니라, 처음부터 아키텍처에 내재되어야 합니다.

고객 컨텍스트가 이전 대화, 거래, 채널 및 엔터프라이즈 시스템에 흩어져 있을 때, 기업은 새로운 프라이버시, 보안 또는 거버넌스 위험을 만들지 않으면서 AI 에이전트에게 충분한 컨텍스트를 제공하려면 어떻게 해야 합니까?

답은 모든 컨텍스트에 접근 권한을 부여하는 것이 아니라, 적절한 순간에 적절한 정보에 대한 통제된 접근을 제공하는 것입니다. 기업은 권한이 있는 기록 시스템에 에이전트를 연결하면서도 각 에이전트가 볼 수 있고 수행할 수 있는 범위를 제어하는 강력한 데이터 및 통합 레이어가 필요합니다. 여기에는 역할 및 목적 기반 접근, 최소 필요 데이터, 데이터 라인리지 추적, 감사 로그, 민감 정보 보호가 포함됩니다.

더 많은 컨텍스트는 AI 의사결정을 개선하지만, 반드시 거버넌스가 수반되어야 합니다. 그렇지 않으면 하나의 문제를 해결하면서 훨씬 큰 프라이버시 또는 보안 문제가 발생할 수 있습니다. 잘 관리된다면, 컨텍스트는 시스템이 이전 예외 사례에서 학습하도록 하여 향후 상호작용을 더 똑똑하게 만들면서 새로운 위험을 만들지 않습니다.

고객 대면 AI가 점점 더 자율화됨에 따라, AI 에이전트와 인간 직원 간의 관계는 어떻게 진화할 것이며, 조직이 지금 구축해야 할 역량은 무엇입니까?

인간의 역할은 모든 프로세스 단계를 직접 수행하는 것에서 에이전트 시스템을 지시하고 감독하며 개선하는 방향으로 점점 이동할 것입니다. 사람들은 목표 설정, 예외 처리, 판단 행사, 고위험 의사결정 검증, 워크플로우 정제, 에이전트 행동 모니터링, 그리고 에이전시 시스템 뒤의 아키텍처와 거버넌스 개선에 더 많은 시간을 할애하게 됩니다. 이는 기업이 필요로 하는 역량에도 변화를 줍니다. AI 활용 능력은 물론, 비판적 사고, 도메인 전문성, 에이전트 오케스트레이션, 가시성, 그리고 AI 시스템이 잘못된 것으로 보일 때 이를 도전할 수 있는 능력이 중요해집니다.

이는 단순히 인력 문제만이 아니라, 협업을 지원할 아키텍처가 필요함을 의미합니다. 에이전트를 적절한 데이터와 시스템에 연결하고, 서로 어떻게 협업할지 조정하며, 사람들에게 그 동작을 볼 수 있게 해야 합니다. 거버넌스, 인간 개입, 에스컬레이션 모두 처음부터 설계되어야 합니다.

수석 엔터프라이즈 아키텍트로서 저는 조직 전체가 AI를 어떻게 사용하는지뿐만 아니라 언제 신뢰하고, 언제 질문하고, 언제 통제해야 하는지를 알도록 하는 것이 제 의무라고 생각합니다. 이렇게 함으로써 아키텍처는 신뢰와 실질적인 영향을 이끄는 책임 있는 AI로 가는 문이 됩니다.

훌륭한 인터뷰에 감사드리며, 더 알고 싶으신 독자분들은 Genpact를 방문하시기 바랍니다.