귀하의 AI 에이전트는 비즈니스에 대해 알지 못하기 때문에 실패합니다

작년, Absa는 아프리카에서 가장 큰 은행 중 하나로, 새로운 금융 범죄 탐지 모델을 구축에서 생산까지 120일이 걸렸습니다. 당시 산업 평균에 가까웠지만, 같은 은행은 오늘날 동일한 규제 환경, 거래량, 및 규정 준수 요구 사항으로 새로운 모델을 15일만에 배포할 수 있습니다.

그리고 아직, PwC 설문조사 발견 기업 최고경영자의 56%가 AI 투자에서 유의미한 재무적 이익을 얻지 못했다고 밝혔습니다. 제가 만나는 기업 리더들은 모두 같은 제안을 들어 봤습니다. AI 에이전트를 도입하고 업무 흐름을 자동화하면 빠르게 투자 수익을 얻을 수 있다는 것입니다. 하지만 18개월과 수백만 달러를 쓴 뒤에도 사업 효과는 보이지 않습니다. 빠진 요소는 도메인 맥락입니다. 에이전트가 내부 사업 결정을 내리고 오류가 생겼을 때 대응하려면 실제 운영에 근거한 이해가 필요합니다.

에이전트가 조언을 멈추고 행동을 시작할 때

Gartner 추정 2027년까지 50%의 비즈니스 결정을 AI 에이전트가 증강하거나 자동화할 것입니다. 매우 최근까지, AI의 역할은 기업에서 조언하는 것이었습니다. 직원이 결정을 내리는 것을 남겨두었습니다. 최악의 시나리오는 놓친 통찰, 지연된 결정, 또는 경고에 대한 반응의 부족이었습니다. 에이전트의 경우, 결과는 훨씬 더 크습니다.

전 세계 제약 회사에서 생물학적 제조 공장에서, 검사관이 실험실 문을 스캔할 때, 올바른 검사 워크플로우가 자동으로 시작됩니다. 에이전트는 검사를 시퀀싱하고, 참조 자료를 표면화하고, 검사관이 확인하도록 합니다. GxP 규제 공장에서, 모든 검사는 감사 준비가 되어야 하므로, 에이전트가 실제 결과가 발생할 경우 잘못된 시퀀스를 취할 때 운영 부담을 일부분을 맡고 있습니다.

대부분의 오늘날 시행되고 있는 거버넌스 프레임워크는 이전의 조언 세계를 위해 구축되었습니다: 주기적인 모델 검토와 인간이 단일 시스템의 출력을 확인하는 것입니다. 이제 우리는 에이전트가 다른 에이전트에게 작업을 할당하고, 워크플로우를 조정하며, 누구도 알지 못하는 전체 프로세스 체인에 걸쳐 나쁨 초기 호출을 복합하는 에이전트가 있습니다.

일반 에이전트가 벽에 부딪히는 이유

범용 에이전트는 통제된 조건에서 매우 인상적으로 보일 수 있습니다. 그러나 기업 운영에서는 어려움을 겪기 시작합니다. 현장에서 일해 본 사람에게는 당연한 제약, 상호 의존성, 판단이 존재하지만, 이를 보도록 학습하지 않은 모델에는 보이지 않기 때문입니다.

전 세계 5대 식품 및 음료 회사 중 하나의 카테고리 관리자는 다른 규모에서 동일한 문제를 직면했습니다: 96%의 시장 점유율, 전통적인 레버를 당길 수 없는 상황입니다. 카테고리 관리자는 100개 이상의 데이터 소스를 통일하고, 1,000개 이상의 속성을 저장하여, AI 모델이 소매점을 쇼핑자 행동 프로필로 구축할 수 있도록 했습니다. 결과는? 세 가지 쇼핑자 클러스터, 소매 파트너와의 주간 스프린트, 8%의 증분 판매 증가, 35% 더 빠른 셀프 리셋.

이것은 에이전트가 이미 플라노그램이 무엇인지, 쇼핑자 클러스터가 무엇인지, 그리고 프로모션 변경이 인접 카테고리에 어떻게 영향을 미치는지 알고 있었기 때문입니다. 일반 모델은 산업별 용어를 가르쳐야 하며, 이는 대부분의 기업이 가지지 못한 12~18개월의 비용입니다.

거버넌스가 아키텍처되어야 하는 이유

오늘날 대부분의 기업이 갖춘 책임 체계는 모델 출력을 사후에 설명하고 주기적으로 검토하도록 만들어졌습니다. 에이전트가 업무 흐름 안에서 되돌릴 수 없는 행동을 실행하는 상황을 위해 설계된 것은 아닙니다.

중앙 및 동유럽 시장에서 운영되는 보험회사가 규제 요구 사항을 고려하여 컴플라이언스 결정을 내리는 경우를 작업했습니다. 모든 고객의 듀딜리전스 결정을 생생한 기록으로 남길 수 있습니다. 입력, 모델, 출력, 및 서명한 사람을 포함합니다. 회사의 AI 시스템은 수동으로 컴플라이언스 분석가의 판단 없이, 한 시장에서는 규제 준수하지만 다른 시장에서는 규제 준수하지 않는 거래를 라우팅할 수 있습니다.

이것은 Absa가 15일만에 생산 AML 시스템을 배포할 수 있도록 하는 동일한 아키텍처입니다. 속도는 내장되어 있으므로, 은행은 즉시 규정 버전을 규제 기관에 넘길 수 있습니다.

저희가 지켜본 기업 가운데 이런 거버넌스 계층에 일찍 투자한 곳은 18개월 뒤에도 에이전트를 대규모로 운영하고 있습니다. 반면 배포가 끝난 뒤 덧붙이는 규정 준수 절차로 여긴 곳은 계속 아키텍처를 다시 설계해야 합니다.

도메인 지능은 미세 조정과 다르다

성능이 좋은 기반 모델도 그 자체만으로 기업이 원하는 성과를 안정적으로 내지는 못합니다. 폭넓게 유용하도록 만들어졌기 때문입니다. 기업 운영에는 좁은 분야의 깊은 전문성이 필요합니다. 둘을 혼동해 업계는 이미 시간과 자원을 낭비했지만, 여전히 제가 가장 흔히 보는 실수입니다.

도메인 지능은 검색 증강 생성(RAG)을 적용하거나 범용 모델을 미세 조정하는 것과 다릅니다. 식료품점에 관한 정보를 처리할 수 있는 에이전트와, 중앙팀이 모든 지점을 일일이 다루지 않고도 750개 넘는 매장에 개별 맞춤 상품 진열도 5,000개를 구축하고 배포한 사업 방식을 이해하는 에이전트 사이의 차이입니다.

이런 운영 이해력은 수년에 걸쳐 쌓은 분야별 학습 데이터, 실제 운영 제약에 맞춘 의사결정 논리, 그리고 지식 계층에서 나옵니다. 여기에는 가격 변경이 이익률에 미치는 영향, 상품 구성 변화가 진열대의 상품 가용성에 미치는 영향, 그 결과가 고객 충성도로 이어지는 방식이 포함됩니다. 한 미국 대형 식료품 체인에서는 이런 연결된 추론을 통해 추가 이익 2억 달러를 얻었습니다.

이러한 기반을 구축하거나, 이미 작업을 완료한 파트너로부터 얻는 것은 실제로 데이터, 도메인 전문 지식, 및 기관의 판단을 인코딩하는 것을 건너뛰지 않도록 하는 실제 초기 비용입니다. 이러한 기반을 서두르면, 에이전트는 시제에서 도메인에 대한 인식이 있는 것으로 보일 수 있지만, 첫 번째 생산 에지 케이스에서 여전히 부서질 수 있습니다.

엔터프라이즈 에이전트를 올바르게 사용하는 것이 실제로 무엇을 의미하는지

엔터프라이즈가 계속해서 유능한 모델을 기존 워크플로우에 배포한다면, ROI가 나타나지 않는다는 것을 이사회에 계속해서 인정해야 합니다. MIT 결론 지난해, 기업이 생성된 AI에 투자했음에도 불구하고, 95%의 조직이 0의 ROI를 얻고 있다고 밝혔습니다. 귀하가 그 캠프에 속하지 않으려면, 도메인 지능을 일일이 구축하고, 거버넌스를 아키텍처에 포함시키고, 에이전트가 특정 결과에 책임을 지도록 해야 합니다.

에이전트 뒤에 있는 모델은, 아이로니컬하게도, 그 방정식의 가장 덜 지속 가능한 부분입니다. 더 나은 모델이 다음 분기에서 배포될 것입니다. 오늘 사용 중인 모델을 구축한 회사나 그 경쟁사에서 배포될 것입니다. 다음 모델 릴리즈와 함께 변경되지 않는 것은 귀하의 에이전트가 귀하의 비즈니스에 대해 알고 있는지 여부입니다. 귀하는 의도적으로 이를 구축해야 합니다. 귀하의 환경에서 성공하는 에이전트는 시장에서 가장 유능한, 일반적인 에이전트가 아닐 수 있지만, 귀하는 귀하의 비즈니스에서 더 많은 것을 수행할 수 있도록 신뢰를 얻을 것입니다.

원문 기사의 출처: aws.amazon.com [1] · mlq.ai [2]