기업에서 AI 에이전트가 지식 문제를 직면하는 이유, 기술 문제가 아님

작년, S&P Global (SPGI ) 은 보고서에서 기업의 AI 프로젝트 중 17%에서 42%로弃도된 비율이 급격히 증가했다고 보고했다. 그 이전에, Gartner는 예측에서 2027년 말까지 40%의 에이전트 AI 프로젝트가 취소될 것이라고 밝혔다.

McKinsey & Company에 따르면, 거의 모든 기업이 AI 에이전트를 실험하고 있다. 그러나 실제로 운영 중인 기업은 얼마나 될까? 약 10% 정도이다.

산업계에서는 모델의 환상, 거버넌스 부족, 높은 GPU 비용, 전문가 부족 등 다양한 이유를 설명한다. 그러나 3년간 지식 관리 시스템과 AI 에이전트를 작업한 결과, 기업이 에이전트에게 불완전한 데이터를 전달하는 패턴을 발견했다.

교육학 박사로서, 나는 이것을 지식 전달 문제로 본다.一个人이 quyết định을 내리는 논리를 설명할 수 없다면, 그 논리는 새로운 직원에게 전달될 수 없다. 더욱이 AI 에이전트에게도 전달될 수 없다. 왜 이런 일이 발생하는지와 어떻게 해결할 수 있는지 살펴보자.

기업이 실제로 운영하는 지식이 어디에 존재하는가

대기업에 직원 지식이 저장된 곳을 물어보면, 다음과 같은 목록을 들을 수 있다: Confluence, SharePoint, LMS 플랫폼, FAQ 봇, Slack 아카이브. 이것이 RAG 시스템이 필요한 모든 것을 검색할 수 있는 스택인 것처럼 보인다. 그러나 하나 중요한 요소가 빠져 있다: 사람들의 머릿속에 있는 지식. 아직 누구도 기록하지 않은 지식.

왜 이것이 문제인가?

AI 에이전트가 워크플로우의 일부를 인수하려면, 단순히 지식 베이스에 접근할 수 있을 뿐만 아니라, 경험豊富한 전문가의 의사결정 논리도 필요하다.

새로운 지원 에이전트가 요청을 받았다고 가정해 보자: 고객이 서비스를 지불했지만 활성화되지 않았다고 주장한다. 스크립트에는 표준 단계가 포함되어 있으며, 고객에게 기다리라고 요청하는 것으로 끝난다. 그러나 에이전트는 상황이 비정상적임을 알 수 있다: 고객이 이미 두 번 지원에 연락했으며, 시스템에는 지난 1시간 동안 여러 개의 유사한 사례가 있다. 그들은 더 경험豊富한 동료에게 연락하여, 이 문제가 결제 게이트웨이, 은행, 내부 활성화 시스템의 교차점에서 발생하는 오류일 가능성이 높다고 설명한다. 따라서 이 사례는 다른 부서로 승격되어야 한다.

AI 에이전트에게 이 논리는 보이지 않는다. 스크립트, 티켓 기록, 결제 상태에 접근할 수 있을지라도, 경험豊富한 전문가가 결정적인 신호로 간주하는 요소를 알 수 없다. 전문가가 의도적으로 지식을 숨기고 있는 것이 아니다. 단순히 그들을 공식화하거나 단계로 분해할 수 없다: 어떤 옵션이 제외되었는지, 왜 특정 행동을 선택했는지, 표준 시나리오가 적용되지 않는다는 것이 언제 명확해졌는지. 인지 과학자들은 이것을 암묵적 지식이라고 부른다: 지식 소유자เอง도 완전히 인식하지 못하는 암묵적 지식.

이것이为什么 문서에 접근하는 단계에서 병목 현상이 발생하지 않고, 전문가의 경험을 AI 에이전트에 적합한 형식으로 변환하는 단계에서 발생하는 이유이다.

어떻게 해결할 수 있는가

AI 에이전트를 효과적으로 작동시키려면, 단순히 LLM을 기업 지식 베이스에 연결하는 것만으로는 충분하지 않다. 성공적인 결정은 souvent 암묵적 지식에 의존하기 때문이다. 먼저 구조화된 의사결정 기준을 포함하는 지식 계층을 생성해야 한다.

지식 관리에서, 이 과정은 외부화라고 부른다: 암묵적 지식을 명시적 지식으로 변환하는 것이다. 즉, 기업은 전문가가 무엇을 하는지 뿐만 아니라, 어떻게 생각하는지 이해해야 한다. 이는 일반적으로 최고 전문가와의 심층 인터뷰를 통해 이루어진다. 함께 있는 사람은 올바른 질문을 하는 사람이어야 한다: 방법론가, 지식 엔지니어, 또는 교육 설계 전문가. 그들의任务는 전문가가 말하는 것을 기반으로 하는 지침을 작성하는 것이 아니다. 오히려 옵션 간의 선택 기준을 재구성하고, 에지 케이스를 분해하고, 전문가가 이미 자동으로 처리하는 일반적인 오류를 표면화하는 것이다.

여기서 AI는 큰 도움을 줄 수 있다: 인터뷰를 녹음하고, 유사한 사례를 그룹화하고, 전문가의 설명을 초안 시나리오로 변환하고, 검증을 위한 상황을 생성하는 데 도움이 될 수 있다. 그러나 최종 구조는 여전히 전문가에 의해 검토되고 승인되어야 한다.

결과는 작동하는 지식 코퍼스를 생성하는 것이다. 이것은 두 가지 방향으로同時에 사용될 수 있다: 새로운 직원을 교육하고 AI 에이전트를 구성하는 데 사용될 수 있다. 두 시나리오 모두 동일한 기반을 사용한다: 최고 전문가의 구조화된 경험.

대안은 Confluence上的 RAG가 논리를 재구성할 것이라는 가정에 의존하는 것이다. 그러나 실제로는 거의 작동하지 않는다: 시스템은 관련 문서를 검색할 수 있지만, 상황과 경험에 따라 올바른 행동을 선택하는 방법을 배우지 못한다.

에이전트가 작동할 준비가 되었는지 확인하는 방법

전문가의 지식을 시나리오로 변환하고 에이전트를 구성했다. 그러나 에이전트의 합리적인 답변과 실제 작동 성능 사이에는 간격이 있으며, 이는 검증 단계에서만 나타난다. 이 단계에서 실제로 필요한 모든 지식을 캡처했는지 확인하는 것이 중요하다.

실제적인 접근 방법은 시나리오 기반 테스트이다. 에이전트에게 실제 사례를 제공한다: 고객이 요금을 지불했지만 활성화되지 않았다고 주장한다거나, 비정상적인 이메일이 도착했다거나, 기본 스크립트에 맞지 않는 요청이 나타난다. 결과는 다른 LLM에 의해 평가되어서는 안 되며, 지식 코퍼스를 구축하는 데 도움을 준 동일한 전문가에 의해 평가되어야 한다. 에이전트가 경험豊富한 전문가와 다른 경로를 따를 경우, 항상 모델이 약하다는 것을 의미하지 않는다. 더 자주, 이는 임계 규칙, 예외 또는 예가 누락되었음을 나타낸다. 이 경우, 과정은 처음부터 다시 시작된다: 방법론가는 전문가와 논리를澄ます, 지식 코퍼스를 업데이트하고, 지침을 tinh chỉnh하고, 테스트를 반복한다.

이 사이클은 선택적 단계가 아니다. 에이전트가 “잠재력을 보여주는” 것과 실제로 작업을 수행하는 것 사이의 차이를 정의하는 단계이다. 이것은 느리고 인상적인 단계가 아니다: 화려한 데모를 생성하지 않으며, 전문가의 참여가 필요하다. 그러나 이 과정을 체계적으로 수행하는 사람들은 실제로 전문가의 루틴 작업을 줄이는 에이전트를 얻는다. 이를 생략하는 사람들은 6개월 내에 자주 Gartner의 통계에 포함된다: 40%의 프로젝트가 취소될 것이라고 예측한다.

에이전트 AI는 기술 때문에 실패하지 않는다: 현대 모델은 이미 복잡한 작업을 수행할 수 있다. 그러나 기업이 불완전한 지식을 “급여”하기 때문에 실패한다. 2024-2025년까지, 이는まだ 실험 단계로 설명될 수 있었다. 그러나 2026년, 이 실수는 이미 높은 비용을 초래한다.