기업 AI가 정체되는 이유와 파일럿을 넘어 규모를 확장하기 위해 필요한 것

3년 전, 대부분의 기업 리더들은 AI를 부정하고 있었습니다. 당시의 일반적인 견해는 이것이 시장 잡음이거나 단지 영리한 장난감일 뿐이며, 기업 수준의 기술이 아니라는 것이었습니다. “환각”이라는 단어가 모두의 머릿속에 있었습니다. 지난 1년 사이에 그 회의론은 거의 완전히 뒤바뀌었습니다. 이제 기대치는 정점에 이르렀고, 이사회는 AI가 모든 역할과 모든 프로세스를 변화시킬 것이라고 확신하고 있습니다.

하지만 양쪽 극단 모두 핵심을 놓치고 있습니다. AI는 일시적인 유행도, 마법의 막대도 아닙니다. 이는 업계가 경험한 가장 포괄적인 변혁이며, 효율성과 유연성을 근본으로 한 클라우드보다 더 큰 변화입니다. AI는 비즈니스 변혁입니다. 바로 이 때문에 많은 조직이 눈부신 파일럿을 수행한 뒤에도 정체됩니다. The State of AI McKinsey & Company의 조사에 따르면 문제의 규모는 다음과 같습니다: 응답자의 거의 3분의 2가 아직 기업 전체에 AI를 확장하기 시작하지 않았다고 답했습니다.

진정한 병목 현상은 역량이 아니다

기술을 탓하고 싶겠지만, 그것은 잘못된 판단입니다. 현재 단계에서 최첨단 모델은 막대한 역량을 보유하고 있습니다. 어려움은 AI를 실제 비즈니스 프로세스에 통합하여 측정 가능한 결과를 도출하는 데 있습니다.

IDC 연구에 따르면 AI 개념 증명의 88%가 프로덕션 배포에 이르지 못한다는 것이 밝혀졌으며, 이는 33건이 시작될 때마다 겨우 4건만이 성공한다는 의미입니다. 이유는 기술 자체가 아니라는 경우가 거의 없습니다. 파일럿은 가능한 것을 보여주지만, 규모 확대는 조직이 실제 업무 방식을 바꾸어야 함을 요구합니다. 이는 대부분의 리더가 예상하는 것보다 훨씬 복잡한 과제입니다. 여기에는 변화 관리, 부서 간 마찰, 이와 같은 투자를 위해 설계되지 않은 예산 주기, 그리고 워크플로를 처음부터 끝까지 재설계하는 어려운 작업이 포함됩니다. 이것이 개념 증명에서 프로덕션으로 전환이 과대광고보다 오래 걸리는 이유입니다: 기업은 복잡하고, 복잡성은 지름길을 거부합니다.

리더들은 산재하고 단절된 실험을 초래하는 “지금 AI를 도입하라”는 반사를 억제해야 합니다. 대신 구체적인 문제와 기대되는 결과를 정의하는 것부터 시작하십시오. 예를 들어 서비스 해결 시간을 단축하고, 지식을 더 빠르게 검색하며, 개발 주기를 압축하는 것이 있습니다. AI가 정의된 워크플로를 중심으로 설계될 때, 효과는 측정 가능해지고, 측정 가능한 효과가 규모 확대의 권리를 얻습니다.

보이는 것과 보이지 않는 것

에이전트는 AI가 기업 내부에서 살아나는 방식이며, 두 가지 유형으로 나뉩니다. 첫 번째는 이메일을 요약하거나 개발자가 코드를 작성하도록 돕는 가시적인 도우미 에이전트입니다. 두 번째는 워크플로에 눈에 보이지 않게 얽혀 회계 정산, 승인 체인 실행, 사기 탐지를 수행하는 에이전트입니다. 이러한 에이전트는 진정한 엔터프라이즈 수준이어야 합니다: 대량에 맞게 확장되고, 정확성을 제공하며, 완전한 추적성을 제공하고, 책임 있는 AI 가드레일 내에서 운영되어야 합니다.

“에이전트 수”를 알리는 헤드라인은 의미가 적습니다. 에이전트를 셈하는 표준 방법이 없기 때문입니다. 중요한 것은 인간과 에이전트가 결합해 수행하는 작업입니다. 에이전트 주도 생산성은 백만 달러를 절감할 수 있지만, 사람과 에이전트 팀으로 비즈니스 프로세스를 재구상하면 동일한 노력으로 억 달러를 창출할 수 있습니다. 이것이 리더들이 주목해야 할 지점입니다.

거버넌스, 신뢰 및 비상 상황 테스트

결과에 대한 소유권은 성공을 보장하는 데 필수적입니다. 실수가 10번까지 허용될 때는 AI를 쉽게 배포할 수 있지만, 프로세스가 대규모에서 완벽히 작동해야 할 때는 상황이 다릅니다. guiding principle은 비상 상황 테스트입니다: AI가 협조를 거부해도 비즈니스가 계속 운영되는 경우. 따라서 거버넌스는 속도의 적이 아니라 촉진제입니다. 반면 거버넌스 없는 유연성은 혼란을 초래하고, 유연성 없는 거버넌스는 혁신을 억누릅니다. 궁극적으로 AI를 제약하는 것은 두려움, 신뢰, 보안, 그리고 자신의 데이터에 대한 통제입니다. 이러한 불안감이 기업이 확장할지 혹은 정체할지를 결정합니다.

아키텍처 적정 규모 맞추기

특히 기업 사용 사례의 80~90%에 대해서는 최첨단 모델이 필요하지 않습니다. 조직 자체 데이터로 구축된 소형 언어 모델이, 종종 최첨단 모델과 함께 작동하며, 더 현명한 선택입니다. 토큰당 비용은 기하급수적으로 감소하고 있지만, 추론 모델과 확장된 컨텍스트 윈도우는 소비를 급격히 증가시키고 있어, 토큰 최적화 자체가 중요한 기회가 되고 있습니다.

다음 물결을 위한 구축

모든 기술 물결에서 가치는 기업이 실제로 기술을 활용할 때 가장자리에서 실현됩니다. 오늘날의 지출은 기술 주기의 초기 단계처럼 인프라 계층에 집중되어 있습니다. 다음, 더 큰 물결은 대규모 채택입니다.

비즈니스 리더들은 기업 AI가 기술이 약해서 정체되는 것이 아니라는 점을 주목해야 합니다. 조직이 비즈니스 변혁을 기술 프로젝트로 취급하기 때문에 정체됩니다. 승자들은 AI를 신뢰할 수 있고, 반복 가능하며, 책임 있는 비즈니스 프로세스로 만들고, 이를 규모 확대할 인내심을 갖추어 앞선 더 큰 물결을 타게 될 것입니다.