95%의 AI 프로젝트가 ROI를 전혀 가져다주지 않는 이유

MIT의 최근 연구에 따르면 95%의 조직은 생성적 AI 프로젝트에서 ROI를 전혀 가져다주지 못하고 있다. 이는 상당한 투자에도 불구하고 측정 가능한 수익을 얻지 못하는 것을 의미한다. 헤드라인은 실패율에 초점을 맞추고 있지만 실제 질문은 기술이 작동하는지 여부가 아니다. 대규모 언어 모델은 강력하고 접근성이 좋으며 빠르게 개선되고 있다. 문제는 기업들이 이러한 기술을 사용하려고 하는 방식에 있다.

대부분의 기업은 AI 에이전트를 다른 기술 론칭과 같은 방식으로 접근한다. 기존 프로세스에 AI를 추가하고 마법이 일어날 것이라고 기대한다. 그러나 작동하지 않으면 모델을 비난한다. 그러나 실패는 AI가 관여하기 훨씬 전에 발생한다.

나는 여러 기업에서 AI 워크플로우를 구축하는 과정에서 이러한 패턴을 반복적으로 목격했다. 팀은 가능성에 대해 흥奮하지만 개발에 돌입한 후 예측 가능한 장애물에 직면한다. 5%의 성공과 95%의 실패 사이의 차이는 운이나 예산이 아니다. 그것은 AI 에이전트의 가치를 죽이는 6가지 臨界적인 실수를 피하는 것이다.

당신의 데이터는 생각보다 더 지저분하다

대부분의 팀은 데이터를 가지고 있으면 AI에 준비가 되었다고 생각한다. 데이터 레이크, CRM, 조심스럽게 유지 관리되는 데이터베이스를 가리키고 성공이 보장된다고 가정한다. 그런 다음 모든 것을 LLM에 덤프하고 에이전트가 쓰레기 출력을 생성하거나 예산을 몇 일 안에 소진하는 이유를 궁금해한다.

지저분한 데이터는 지저분한 에이전트를 생성한다. 원시 데이터베이스 덤프, HTML로 채워진 내보내기, 중복 필드 또는 절대적으로 결정적인 정보가 아닌 모든 민감한 정보를 AI 에이전트에 보낸다면 그것을 실패로 설정하는 것이다. 모델은 관련이 없는 필드에 의해混乱하고, 서식 지정 아티팩트에 의해 방해받고, 순수한 볼륨에 의해 압도된다.

팀은 3개의 필드만 결정적으로 중요한 경우에도 고객 레코드에 47개의 필드를 보낸다. 그들은 아무런 의미 있는 가치가 없는 UUID를 추가하지만 귀중한 토큰을 소비한다. 그들은 에이전트에게 내부 도구에서 스크래핑한 HTML을 보내지 말고 깨끗하고 구조화된 정보를 제공한다.

당신은 예상보다 더 빠르게 제한에 도달할 것이다

모든 팀은 컨텍스트 제한에 도달하지 않을 것이라고 믿는다. “우리는 몇 개의 고객 레코드만 처리하고 있다”고 말한다. “어떻게 어려울 수 있겠는가?” 그런 다음 에이전트가 전체 대화 기록이 포함된 500개의 지원 티켓을 분석해야 하고 갑자기 백만 토큰 제한에 부딪힌다.

대규모 컨텍스트는 누구도 예상하지 못한 속도로 누적된다. 에스컬레이션을 처리하는 고객 지원 에이전트는 티켓 기록, 지식 베이스 문서, 이전 상호 작용 및 제품 문서에 접근해야 할 수 있다. 이는 요청당 수백 개의 토큰을 쉽게 초과한다. 동시 사용자를 곱하면 인프라 비용이 제어할 수 없을 정도로 증가한다.

천진난만한 접근 방식은 모델에 모든 것을 보내고 최선을 기대하는 것이다. 지능적인 팀은 요청을 조각으로 나누고, 각 조각을 요약한 다음 요약된 요약을 운영한다. 이러한 계층적 요약은 요청을 관리 가능하게 유지하면서 에이전트가 좋은 quyết định을 내리기 위해 필요한 중요한 정보를 보존한다.

보안은 빠르게 복잡해진다

팀은 에이전트의 성격과 능력에 대해 흥奮하고 기본 지침을 작성한 후 보호된 것으로 생각한다. 그러나 실제로는 AI 에이전트가 전통적인 애플리케이션과 근본적으로 다른 보안思考을 필요로 한다.

AI 에이전트는 속일 수 있다, 조작할 수 있으며 전통적인 보안 모델을 깨는 방식으로 강제할 수 있다. 사용자 입력에는 지침을 무시하도록 에이전트를 지시하는 숨겨진 명령어가 포함될 수 있다. 에이전트는 지침을 무시하고, 볼 수 없어야 하는 데이터에 접근하거나, 의도된 범위를 벗어나는 행동을 할 수 있다.

지능적인 구현은 에이전트가 무엇을 할 수 있고 할 수 없는지에 대한 엄격한 경계가 필요하다. 상태를 변경하는 모든 것; 데이터를 쓰기, 이메일을 보내기, API 호출하기; 에이전트는 제안-정당화-승인 워크플로우가 필요하다. 에이전트는 무엇을 하려는지 그리고 왜 하려는지 설명한 다음 행동하기 전에 인간의 승인을 기다린다. 이것은 자동화가 제어를 벗어나는 것을 방지하면서 AI 보조의 이점을 유지한다.

무엇이 실제로 작동하는가

수백 개의 AI 에이전트 구현을 관찰한 결과, 6가지 관행이 성공적인 배포와 비싼 실패를 구분한다.

첫 번째는 데이터 위생이다. 컴팩트한, 타이핑된 JSON을 고정된 스키마와 함께 보낸다. UUID, HTML, 중복 필드 및 절대적으로 결정적인 정보가 아닌 모든 민감한 정보를 제거한다. 가능하다면 민감한 데이터를 메타데이터로 대체한다. 이것은 모델을 유지하면서 페이로드 크기, 비용 및 대기 시간을 절감한다.

두 번째는 컨텍스트 관리이다. 예상보다 더 빠르게 토큰 제한에 도달할 것이다. 요청을 더 작은 조각으로 나누고, 각 조각을 요약한 다음 요약된 요약을 운영한다. 이러한 계층적 접근 방식은 요청을 제어 가능하게 유지하면서 필요한 컨텍스트를 보존한다.

세 번째는 프롬프트 안전이다. 에이전트가 무엇을 할 수 있고 할 수 없는지에 대한 엄격한 경계를 정의한다. 상태를 변경하는 모든 것에 대해 제안-정당화-승인 워크플로우를 구현한다. 모든 사용자 콘텐츠를 신뢰할 수 없는 것으로 취급한다; 코드와 링크를 제거하고, 모델이 사용자 텍스트에 숨겨진 명령을 따라야 한다고 절대적으로 지시하지 않는다. 경계가 시간이 지남에 따라 효과적으로 유지되도록 프롬프트와 출력을 이상하거나 정책 위반 hành위를 위해 지속적으로 모니터링한다.

네 번째는 비용 제어이다. 요청 및 워크플로우당 토큰 및 비용 예산을 설정한다. 도구 및 프롬프트당 토큰 사용량을 로깅하여 초기에 회귀를 잡는다. 규율이 없으면 채택이 증가함에 따라 비용이 제어할 수 없을 정도로 증가하거나 대기 시간이 증가할 수 있다.

다섯 번째는 품질 보증이다. 실제 사건과 에지 케이스의 사적 평가 세트를 유지한다. 정밀도, 재현율 및 회귀를 추적한다. 새로운 모델은 일반적으로 나쁜 방식으로 당신을 놀라게 할 것이다. 중요한 워크플로우의 경우 출력을 일관되게 유지하기 위해温度를 0에 가깝게 유지하고 시드된 백엔드를 사용한다.

여섯 번째는 거버넌스이다. 정보가 흐르기 전에 데이터 공유 계약을 잠금으로 설정한다. 공유하는 내용, 보호하는 방법 및誰가 책임이 있는지 명확히 한다. 이것은 법적 보장이 아니다; 데이터를 진지하게 생각한다는 신호이다.

대부분의 팀이 왜 잘못된 경로를 선택하는가

AI 에이전트 프로젝트는 ROI를 가져다주지 못한다. 팀은 잘못된 것에 집중한다. 모델을 사용하는 것보다 데이터 품질을 무시한다. 기본적인 보안 제어를 건너뛰고 복잡한 워크플로우를 구축한다. 비용 제어가 없는 에이전트를 배포한 다음 비용이 급증할 때 패닉에 빠진다.

성공적인 5%는 AI 에이전트가 단순한 소프트웨어가 아니라 새로운 유형의 디지털 워커라는 것을 이해한다. 그들은 깨끗한 데이터, 명확한 경계, 끊임없는 감시를 필요로 한다. 이러한 기본적인 사항을 올바르게 설정하면 AI 에이전트는 강력한 생산성乘数가 된다. 잘못 설정하면 95%의 비싼 AI 투자가 측정 가능한 ROI를 생성하지 못하는 이유를 궁금해하는 사람과 같은 사람이 된다.