์ฌ์ ๋ฆฌ๋
๊ธฐ์ ์์ AI ์์ด์ ํธ๊ฐ ์ง์ ๋ฌธ์ ๋ฅผ ๋ง๋๊ฒ ๋๋ ์ด์ , ๊ธฐ์ ์ด ์๋๊ธฐ ๋๋ฌธ์ด๋ค
작년, S&P Global은 보고서에서 AI 프로젝트를 중단하는 기업의 비율이 17%에서 42%로 급증했다고 발표했다. 그 이전에, Gartner는 예측에서 2027년 말까지 40%의 에이전트 AI 프로젝트가 중단될 것이라고 발표했다.
McKinsey & Company에 따르면, 거의 모든 기업이 AI 에이전트를 실험하고 있다. 그러나 실제로 운영 중인 기업은 얼마나 될까? 약 10% 정도이다.
산업계에서는 모델의 환상, 거버넌스 부족, 높은 GPU 비용, 전문가 부족 등 다양한 이유를 제시하고 있다. 이러한 이유들은 모두 실제적인 도전이다. 그러나 지식 관리 시스템과 AI 에이전트를 3년간 작업한 결과, 나는 다른 패턴을 발견했다. 기업들이 에이전트에게 불완전한 데이터를 전달하는 경우가 많다.
지식 이론 박사로서, 나는 이것을 지식 전달 문제로 본다.一个人이 quyết策을 내리는 논리를 설명할 수 없다면, 그 논리는 새로운 직원에게 전달될 수 없다. 더욱이, AI 에이전트에게도 전달될 수 없다. 왜 이런 일이 발생하는지, 그리고 어떻게 해결할 수 있는지 살펴보자.
기업이 실제로 운영되는 지식이 어디에 있는가
대기업에問하면, 직원들의 지식은 어디에 저장되어 있는지 물어보면, 다음과 같은 목록을 들어볼 수 있다: Confluence, SharePoint, LMS 플랫폼, FAQ 봇, Slack 아카이브. 이것이 RAG 시스템이 필요한 모든 것을 검색할 수 있는 스택인 것처럼 보일 수 있다. 그러나 하나의 중요한 요소가 빠져 있다. 그것은 사람들의 머릿속에 있는 지식이다. 아직 누구도 적어놓지 않은 지식이다.
왜 이것이 문제가 되는가?
AI 에이전트가 워크플로우의 일부를 인수하기 위해서는, 컨텍스트를 이해하고, 행동을 선택하고, 작업을 완료하기 위해 지식 베이스에 접근할 수 있어야 한다. 그러나 이것만으로는 충분하지 않다. 또한, 경험豊富한 전문가가 사용하는 의사 결정 논리도 필요하다.
새로운 지원 에이전트가 요청을 받았다고 가정해 보자. 고객이 서비스를 지불했지만, 아직 활성화되지 않았다고 주장한다. 스크립트에는 표준적인 단계가 포함되어 있다. 그러나 에이전트는 상황이 비정상적임을 알 수 있다. 고객이 이미 두 번 지원을 요청했으며, 시스템에는 지난 1시간 동안 비슷한 경우가 여러 개 있다. 에이전트는 더 경험豊富한 동료에게 문의한다. 동료는 이전에 비슷한 상황을 겪었으며, 문제는 결제 게이트웨이, 은행, 및 내부 활성화 시스템의 교차점에서 발생하는 오류일 가능성이 높다고 설명한다. 따라서, 이 경우는 다른 부서로 이송되어야 한다.
AI 에이전트에게는 이 논리가 보이지 않는다. 스크립트, 티켓 기록, 및 결제 상태에 접근할 수 있을지는 모르지만, 경험豊富한 전문가가 어떤 신호를 결정적인 것으로 간주하는지 모른다. 전문가가 의도적으로 이 지식을 숨기고 있는 것이 아니다. 단지, 이 지식을 공식화하거나 단계로 나누는 것이 어렵기 때문이다. 인지 과학자들은 이것을 묵시적 지식이라고 부른다. 즉, 지식을 소유한 사람조차도 완전히 인식하지 못하는 암시적 지식이다.
이것이 왜 문서에 접근하는 단계에서 병목 현상이 발생하는 것이 아니라, 전문가의 경험을 AI 에이전트를 훈련하기 위한 형식으로 변환하는 단계에서 발생하는지 이해할 수 있다.
어떻게 해결할 수 있는가
AI 에이전트를 효과적으로 작동시키기 위해서는, 단순히 LLM을 기업의 지식 베이스에 연결하는 것만으로는 충분하지 않다. 성공적인 결정은 souvent 묵시적 지식에 의존하기 때문이다. 먼저, 구조화된 의사 결정 기준을 포함하는 지식 계층을 생성해야 한다.
지식 관리에서, 이 과정은 외부화라고 불린다. 즉, 묵시적 지식을 명시적 지식으로 변환하는 것이다. 즉, 기업이 전문가가 무엇을 하는지뿐만 아니라, 어떻게 생각하는지 이해해야 한다. 이는 일반적으로 최고 전문가와의 심층 인터뷰를 통해 이루어진다. 인터뷰를 진행하는 사람은 올바른 질문을 하는 방법을 아는 사람이어야 한다. 즉, 방법론가, 지식 엔지니어, 또는 교육 설계 전문가와 같은 사람이다. 그들의 임무는 전문가가 말하는 것을 기반으로 하는 지침을 작성하는 것이 아니다. 오히려, 옵션을 선택하는 기준을 재구성하고, 에지 케이스를 분해하고, 전문가가 이미 자동으로 처리하는 일반적인 오류를 표면화하는 것이다.
여기서 AI는 큰 도움을 줄 수 있다. 인터뷰를 기록하고, 유사한 경우를 그룹화하고, 전문가의 설명을 초안 시나리오로 변환하고, 검증을 위한 상황을 생성하는 데 도움이 될 수 있다. 그러나 최종 구조는 여전히 전문가의 검토와 승인을 받아야 한다.
결과는 작동하는 지식 코퍼스를 생성하는 것이다. 이것은 두 가지 방향에서同時에 사용될 수 있다. 새로운 직원을 훈련시키는 데 사용할 수 있고, AI 에이전트를 구성하는 데 사용할 수 있다. 두 시나리오는 동일한 기초를 기반으로 한다. 즉, 최고 전문가의 구조화된 경험이다.
대안은 Confluence上的 RAG가 논리를 재구성할 것이라는 가정에 의존하는 것이다. 그러나 실제로는 거의 작동하지 않는다. 시스템은 관련 문서를 검색할 수 있지만, 컨텍스트와 경험에 따라 올바른 행동을 선택하는 방법을 배우지 못한다.
에이전트가 작동할 준비가 되었는지 확인하는 방법
전문가의 지식을 시나리오로 변환하고, 에이전트를 구성했다. 그러나 에이전트의 합리적인 답변과 실제 작동 성능 사이에는 간격이 있다. 이 간격은 검증 단계에서만 나타난다. 이 단계에서, 필요한 모든 지식을 실제로 포착했는지 확인하는 것이 중요하다.
실제적인 접근 방법은 시나리오 기반 테스트이다. 에이전트에게 실제 경우를 제공한다. 고객이 요금을 지불했지만, 서비스에 접근할 수 없다고 주장한다. 또는, 기본 스크립트에 맞지 않는 요청이 나타난다. 결과는 다른 LLM에 의해 평가되어서는 안 된다. 동일한 전문가가 지식 코퍼스를 구축하는 데 도움을 준 사람에 의해 평가되어야 한다. 에이전트가 경험豊富한 전문가와 다른 경로를 따를 경우, 항상 모델이 약하다는 것을 의미하지 않는다. 더 자주, 이는 중요한 규칙, 예외 또는 예시가 누락되었음을 나타낸다. 이 경우, 과정은 처음부터 다시 시작된다. 방법론가는 전문가와 논리를澄明하고, 지식 코퍼스를 업데이트하고, 지침을 정련하고, 테스트를 반복한다.
이 사이클은 선택적 단계가 아니다. 에이전트가 단순히 “잠재력을 보여주는” 것과 실제로 작업을 수행하는 것 사이의 차이를 정의하는 단계이다. 이것은 느리고, 인상적인 단계가 아니다. 전문가의 참여가 필요하고, 화려한 데모를 생성하지 않는다. 그러나 이 과정을 체계적으로 수행하는 사람들은 실제로 전문가의 루틴 작업을 줄이는 에이전트를 얻는다. 이 과정을 생략하는 사람들은 6개월 내에 자주 Gartner의 통계에 포함된다. 즉, 40%의 프로젝트가 취소될 것이라고 예측한다.
에이전트 AI는 기술 때문에 실패하지 않는다. 현대적인 모델은 이미 복잡한 작업을 수행할 수 있다. 그러나 기업이 에이전트에게 불완전한 지식을 “급여”하기 때문에 실패한다. 2024-2025년까지는まだ 실험적인 단계로 설명할 수 있었다. 그러나 2026년에는 이 실수가 높은 비용을 초래한다.
