성공적인 AI 도입 뒤에 찾아오는 두 번째 도입, 기업들이 좀처럼 계획하지 않는 이유

약 3년 전, 처음으로 유료 AI 구독을 신청하고 AI가 실제로 어떤 일을 할 수 있는지 시험하기 시작했다. 개인적인 실험으로 시작한 일이 점차 작은 사내 프로젝트로 발전했고, 이어 회사 전체를 대상으로 한 비즈니스 구독으로 확대된 뒤, 마침내 개발, 재무, 법무, 마케팅, 지원 등 거의 모든 부서에 걸친 AI 도입으로 이어졌다.

첫 단계는 대체로 성공적이었다. 약 6개월 만에 사내 개발 속도가 대략 5배 빨라졌다. 동시에 또 다른 수치도 상승했다. AI 지출이 약 15배 늘어난 것이다.

그때 성공적인 AI 도입이 그 자체로 새로운 문제를 낳을 수 있다는 사실을 깨달았다. 기술이 널리 사용되기 시작하자 처음에 세운 규칙은 더 이상 통하지 않았다. AI가 더 많은 회사 데이터에 접근하고 더 많은 업무를 맡으면서 비용이 감당하기 어려운 수준으로 불어날 수 있었다. 게다가 도구 자체는 여전히 상당수가 외부 제공업체의 통제 아래 있었다.

그렇다면 AI 도입이 성과를 내고 있지만, 회사가 AI 사용 방식을 더 이상 완전히 통제하지 못할 때 CEO는 어떻게 해야 할까? 그 질문에 답해 보자.

AI 사용량을 비즈니스 성과와 동일시하지 말 것

처음 도입을 진행할 때는 활성 사용자 수나 사용 빈도 같은 도입 지표가 유용하다는 점을 바로 알 수 있었다. 리더라면 직원들이 도구를 사용하고 있는지, 특히 어떤 도구를 쓰는지, AI가 실제로 업무 시간을 줄여 주는지 알고 싶을 것이다. 하지만 사용이 회사 전체로 확산되면 이런 수치는 훨씬 덜 유용해진다.

우리도 직접 이런 상황을 겪었다. 사람들이 강력한 모델을 사용할 수 있게 되자 거의 모든 일에 모델을 활용하기 시작했다. 한때 직원들이 AI에게 뉴욕의 현재 시각을 묻기도 했다. 물론 황당한 사례지만, 회사에 실질적인 가치를 더하지 않으면서도 사용량이 얼마나 빠르게 늘어날 수 있는지를 보여 준다.

Shopify도 AI를 깊숙이 통합한 뒤 비슷한 문제를 겪었다. 이제 Shopify의 사내 에이전트 River는 프로덕션 코드 풀 리퀘스트의 최대 절반을 작성한다. 그러나 CEO인 Tobi Lütke는 최근 자신이 ‘슬롭 수류탄’이라고 부르는 문제에 대해 경고했다. 직원들이 AI가 생성한 결과물을 제대로 확인하지 않고 다른 사람에게 넘기면, 그 결과물을 검토하고 수정하거나 심지어 요약하는 일을 누군가가 떠맡게 된다는 것이다.

다시 말해, AI 사용이 늘면 가치가 커지는 대신 일이 더 많아질 수도 있다. 회사의 사용량 지표가 인상적이고 결과물의 양이 엄청나더라도, 그중 일부는 다른 사람에게 새로운 업무를 안겨줄 뿐일 수 있다.

CEO가 바꿔야 할 점이 바로 이것이다. 프롬프트, 로그인, 토큰 사용량은 모두 업무 과정에서 활동이 활발하다는 사실을 보여 준다. 하지만 AI가 실제로 비용을 상쇄하고 있는지는 알려 주지 않는다.

속도가 빨라지면 새로운 병목이 생긴다

‘급히 먹는 밥이 체한다’는 말이 있다. AI에도 이 말이 적용된다고 생각한다. AI로 사람들의 업무 속도를 ‘높인다’고 해서 해야 할 일이 갑자기 줄어드는 것은 아니라는 사실을 알게 됐기 때문이다.

개발 분야에서는 AI 덕분에 같은 시간 동안 팀이 훨씬 더 많은 코드를 작성할 수 있게 됐다. 하지만 중요한 점은 그 코드가 실제 서비스에 반영되기 전에 모두 검토해야 한다는 것이다. 의심할 여지 없이 자동화된 검토는 도움이 된다.

그러나 아직은 무조건 신뢰할 수 있는 수준과는 거리가 멀다. 따라서 개발자들은 모든 코드를 직접 작성하는 데 쓰는 시간은 줄었지만, 이제는 훨씬 더 많은 결과물을 검토하고 테스트하며 판단해야 한다.

다시 말해, 일이 사라지는 것은 아니다. 그저 다른 모습으로 나타날 뿐이다.

사람의 검토가 필요한 코드의 양도 함께 늘어난다는 점을 고려하면, 개발 속도가 5배 빨라졌다는 말이 그리 압도적으로 들리지는 않는다. AI를 활용하는 업무 방식의 실질적인 비용에는 AI가 만든 결과물을 확인하는 데 드는 시간과, 무엇보다 그 결과물을 처음부터 신뢰할 수 있는지 판단하는 시간도 포함된다.

두 번째 도입은 필수다

내가 보기에는 기업에 이른바 ‘두 번째’ AI 도입이 필요하다.

첫 번째 도입의 핵심은 사용 확산이다. 사람들에게 접근 권한을 제공하고, 활용 사례를 찾고, 기술이 실제로 도움이 되는 곳과 그렇지 않은 곳을 확인하는 단계다. 하지만 실제 사용이 몇 달간 이어지고 나면 막연한 추정보다 훨씬 가치 있는 것을 이미 확보하게 된다. 비용이 어디에서 늘어나는지, 어떤 팀이 더 나은 결과를 내는지, 사람들이 AI 결과물을 확인하는 데 어디에서 지나치게 많은 시간을 쓰는지 보여 주는 자체 근거가 생기는 것이다.

따라서 AI 사용을 더 넓히는 데만 힘쓰기보다, 이 시점에 AI 관련 규칙을 다시 설계하는 것이 타당하다고 생각한다. 실제로는 다음 세 가지에 집중하고자 한다.

• 작업에 맞는 모델을 선택한다. 일상적인 요청은 더 작고 저렴한 모델로 보내고, 더 복잡한 작업은 추가 비용을 정당화할 수 있는 모델에 맡길 수 있다. 궁극적인 목표는 가치가 낮은 작업에 최첨단 모델의 요금을 지불하지 않는 것이다.
• 사람의 통제가 반드시 필요한 지점을 파악한다. 프로덕션 코드, 법률 문서 또는 그 밖의 영향력이 큰 결과물에 대해서는 업무 흐름의 다음 단계로 넘어가기 전에 사람이 결과를 승인해야 하는 지점을 정한다. 이와 별도로 민감한 데이터에 대한 접근 규칙을 마련해 직원들이 어떤 모델에는 데이터를 제공할 수 있고 어떤 모델에는 제공할 수 없는지 알도록 한다.
• 필요 없다고 생각하더라도 대체 계획을 세워 두세요. 중요한 업무 흐름이 외부 제공업체에 의존한다면, 비상시 해당 업무를 다른 제공업체로 이전할 수 있도록 프롬프트, 연동 항목, 데이터 흐름, 모델별 의존성을 충분히 문서화하세요.

이것이 첫 번째 AI 도입과 두 번째 AI 도입의 차이입니다. 첫 번째는 ‘AI를 어디에 활용할 수 있을까?’라고 묻습니다. 두 번째는 ‘AI를 어디에 활용해야 할까? 어떤 규칙을 적용하고 비용은 얼마나 들까?’라고 묻습니다.

AI 도입을 다시 확대하기 전에 점검하세요

AI 도입이 효과를 내고 첫 번째 도입이 성공적인 듯 보이더라도, 같은 방식으로 1년 더 확대해 나가지는 않겠습니다. 실제 사용이 약 90~180일 이어진 뒤에는 진행을 멈추고 회사가 실제로 무엇을 구축했는지 점검하겠습니다.

이를 위해 수용된 비즈니스 성과를 측정하고, 모델과 비용을 해당 작업의 실제 가치에 맞추며, 사람의 검토가 여전히 필수인 지점과 업무 흐름을 어떤 방식으로든 완전 자동화에 더 가깝게 만들 수 있는 지점을 파악해야 합니다.

첫 번째 도입은 AI가 회사의 업무 속도를 높일 수 있음을 입증합니다. 두 번째 도입은 그 속도가 불필요한 지출, 통제되지 않는 접근, 또는 회사가 의식적으로 동의한 적 없는 공급업체 의존성으로 이어지지 않도록 합니다.