귀하의 AI 에이전트는 비즈니스에 대해 알지 못하기 때문에 실패합니다

작년, Absa는 아프리카에서 가장 큰 은행 중 하나로, 새로운 금융 범죄 탐지 모델을 구축에서 생산까지 120일이 걸렸습니다. 당시 산업 평균에 가까웠지만, 같은 은행은 오늘날 동일한 규제 환경, 거래량, 및 규정 준수 요구 사항으로 새로운 모델을 15일만에 배포할 수 있습니다.

그리고 아직, PwC 설문조사 발견 56%의 기업 CEO가 그들의 AI 투자에서 유의미한 금전적 이익을 보지 못했다는 것을 발견했습니다. 모든 기업 리더가 들은 피치는这样입니다: 만약 귀하가 AI 에이전트를 배포하고 워크플로우를 자동화한다면, 귀하는 빠르게 ROI를 볼 것입니다. 대신, 18개월 후 및 수백만 달러 후, 비즈니스 영향은 사라졌습니다. 결측 요인은 도메인 컨텍스트입니다. 즉, 에이전트가 내부 비즈니스 결정을 내리기 위해 필요한 운영 기반의 이해와, 에이전트가 오류가 발생했을 때 수행해야 할 작업입니다.

에이전트가 조언을 멈추고 행동을 시작할 때

Gartner 추정 2027년까지 50%의 비즈니스 결정을 AI 에이전트가 증강하거나 자동화할 것입니다. 매우 최근까지, AI의 역할은 기업에서 조언하는 것이었습니다. 직원이 결정을 내리는 것을 남겨두었습니다. 최악의 시나리오는 놓친 통찰, 지연된 결정, 또는 경고에 대한 반응의 부족이었습니다. 에이전트의 경우, 결과는 훨씬 더 크습니다.

전 세계 제약 회사에서 생물학적 제조 공장에서, 검사관이 실험실 문을 스캔할 때, 올바른 검사 워크플로우가 자동으로 시작됩니다. 에이전트는 검사를 시퀀싱하고, 참조 자료를 표면화하고, 검사관이 확인하도록 합니다. GxP 규제 공장에서, 모든 검사는 감사 준비가 되어야 하므로, 에이전트가 실제 결과가 발생할 경우 잘못된 시퀀스를 취할 때 운영 부담을 일부분을 맡고 있습니다.

대부분의 오늘날 시행되고 있는 거버넌스 프레임워크는 이전의 조언 세계를 위해 구축되었습니다: 주기적인 모델 검토와 인간이 단일 시스템의 출력을 확인하는 것입니다. 이제 우리는 에이전트가 다른 에이전트에게 작업을 할당하고, 워크플로우를 조정하며, 누구도 알지 못하는 전체 프로세스 체인에 걸쳐 나쁨 초기 호출을 복합하는 에이전트가 있습니다.

일반 에이전트가 벽에 부딪히는 이유

일반적인 에이전트는 통제된 조건에서真正로 인상적인 것으로 보일 수 있습니다. 그러나 기업 운영에서, 제약, 상호 의존성, 그리고 판단이 명백한 결정들이 있습니다. 이러한 결정들은 작업장에서 일한 사람에게는 명백하지만, 모델이 이를 보지 못하도록 가르치지 않은 경우에는 보이지 않습니다.

전 세계 5대 식품 및 음료 회사 중 하나의 카테고리 관리자는 다른 규모에서 동일한 문제를 직면했습니다: 96%의 시장 점유율, 전통적인 레버를 당길 수 없는 상황입니다. 카테고리 관리자는 100개 이상의 데이터 소스를 통일하고, 1,000개 이상의 속성을 저장하여, AI 모델이 소매점을 쇼핑자 행동 프로필로 구축할 수 있도록 했습니다. 결과는? 세 가지 쇼핑자 클러스터, 소매 파트너와의 주간 스프린트, 8%의 증분 판매 증가, 35% 더 빠른 셀프 리셋.

이것은 에이전트가 이미 플라노그램이 무엇인지, 쇼핑자 클러스터가 무엇인지, 그리고 프로모션 변경이 인접 카테고리에 어떻게 영향을 미치는지 알고 있었기 때문입니다. 일반 모델은 산업별 용어를 가르쳐야 하며, 이는 대부분의 기업이 가지지 못한 12~18개월의 비용입니다.

거버넌스가 아키텍처되어야 하는 이유

대부분의 기업이 오늘날 가지고 있는 책임 프레임워크는 모델의 출력을事後에 설명하고, 주기적으로 검토하기 위해 구축되었습니다. 에이전트가 워크플로우 내에서 취소할 수 없는 동작을 트리거할 때 발생하는 상황을 위해 구축되지 않았습니다.

중앙 및 동유럽 시장에서 운영되는 보험회사가 규제 요구 사항을 고려하여 컴플라이언스 결정을 내리는 경우를 작업했습니다. 모든 고객의 듀딜리전스 결정을 생생한 기록으로 남길 수 있습니다. 입력, 모델, 출력, 및 서명한 사람을 포함합니다. 회사의 AI 시스템은 수동으로 컴플라이언스 분석가의 판단 없이, 한 시장에서는 규제 준수하지만 다른 시장에서는 규제 준수하지 않는 거래를 라우팅할 수 있습니다.

이것은 Absa가 15일만에 생산 AML 시스템을 배포할 수 있도록 하는 동일한 아키텍처입니다. 속도는 내장되어 있으므로, 은행은 즉시 규정 버전을 규제 기관에 넘길 수 있습니다.

우리가 거버넌스 레이어에早期에 투자하는 기업은 18개월 후에도 여전히 대규모 에이전트를 운영하고 있습니다. 배포 후에 이를 컴플라이언스 연습으로 간주하는 기업은 계속해서 재구성해야 합니다.

도메인 지능은 ファイン 튜닝이 아님

기본 모델은 기업 결과를 신뢰할 수 있게 제공하지 못합니다. 그것은 광범위하게 유용하도록 구축되었습니다. 기업 운영에는 깊은, 狭い 전문화가 필요합니다. 두 가지를 혼동하는 것은 이미 산업에 시간과 리소스를 소비했습니다. 그러나 이것은 내가 가장 일반적으로 보는 실수입니다.

도메인 지능은 리트리벌 오ーグ먼테이션 제네레이션(RAG)을 적용하거나, 일반 모델을 ファイン 튜닝하는 것이 아닙니다. 이것은 에이전트가 정보를 처리할 수 있는 능력과, 비즈니스에 5,000개의 개별 플라노그램을 구축하여 750개 이상의 매장에 배포할 수 있는 능력의 차이입니다. 중앙 팀이 매장마다 작업하지 않았습니다.

이러한 운영적 유연성은 도메인별 훈련 데이터, 실제 운영 제약을 중심으로 구축된 의사 결정 논리, 및 지식 레이어에서 비롯됩니다. 지식 레이어에는 가격 변경이 마진에 어떻게 영향을 미치는지, 제품 混合 변경이 셀프 가용성에 어떻게 영향을 미치는지, 및 그것이 쇼핑자 충성도에 어떻게 영향을 미치는지에 대한 내용이 포함됩니다. 한 대형 미국 식품 체인에서, 이러한 연결된 推論은 2억 달러의 증분 이익을 생성했습니다.

이러한 기반을 구축하거나, 이미 작업을 완료한 파트너로부터 얻는 것은 실제로 데이터, 도메인 전문 지식, 및 기관의 판단을 인코딩하는 것을 건너뛰지 않도록 하는 실제 초기 비용입니다. 이러한 기반을 서두르면, 에이전트는 시제에서 도메인에 대한 인식이 있는 것으로 보일 수 있지만, 첫 번째 생산 에지 케이스에서 여전히 부서질 수 있습니다.

엔터프라이즈 에이전트를 올바르게 사용하는 것이 실제로 무엇을 의미하는지

엔터프라이즈가 계속해서 유능한 모델을 기존 워크플로우에 배포한다면, ROI가 나타나지 않는다는 것을 이사회에 계속해서 인정해야 합니다. MIT 결론 지난해, 기업이 생성된 AI에 투자했음에도 불구하고, 95%의 조직이 0의 ROI를 얻고 있다고 밝혔습니다. 귀하가 그 캠프에 속하지 않으려면, 도메인 지능을 일일이 구축하고, 거버넌스를 아키텍처에 포함시키고, 에이전트가 특정 결과에 책임을 지도록 해야 합니다.

에이전트 뒤에 있는 모델은, 아이로니컬하게도, 그 방정식의 가장 덜 지속 가능한 부분입니다. 더 나은 모델이 다음 분기에서 배포될 것입니다. 오늘 사용 중인 모델을 구축한 회사나 그 경쟁사에서 배포될 것입니다. 다음 모델 릴리즈와 함께 변경되지 않는 것은 귀하의 에이전트가 귀하의 비즈니스에 대해 알고 있는지 여부입니다. 귀하는 의도적으로 이를 구축해야 합니다. 귀하의 환경에서 성공하는 에이전트는 시장에서 가장 유능한, 일반적인 에이전트가 아닐 수 있지만, 귀하는 귀하의 비즈니스에서 더 많은 것을 수행할 수 있도록 신뢰를 얻을 것입니다.