AI 도입은 늘고 있다. 하지만 사업 성과도 개선되고 있을까?

기업들은 AI 투자를 의미 있는 수익으로 연결하는 데 어려움을 겪고 있다. AI 사용은 늘고 있지만, AI가 중대한 변화를 가져왔다고 답한 조직은 13%에 불과하다. 이 격차를 보면 리더들은 한발 물러서서 자신들이 활동량을 측정하는지, 아니면 의미 있는 변화를 측정하는지 되짚어 봐야 한다.

AI 투자 수익률을 명확히 입증해야 한다는 압박을 받는 조직은 도구 사용량, 활성 사용자 수, 도입률처럼 쉽게 보고할 수 있는 지표를 흔히 활용한다. 이런 지표는 직원들이 AI를 사용하고 있는지를 보여 준다. 하지만 업무가 개선되고 있는지, 투자가 가치를 창출하고 있는지에 대해서는 거의 알려 주지 않는다.

예를 들어 PwC 조사에 따르면, 조사 대상 근로자 중 64%가 지난 12개월 동안 업무에 AI를 사용했으며, 이는 전년 대비 10%포인트 상승한 수치다. 얼핏 보면 성장의 긍정적인 신호지만, 이것만으로 수익성에 미친 영향이 입증되는 것은 아니다. 리더들이 AI 도입을 혁신의 증거로 여길 때, AI 도입률은 보여주기식 지표가 된다. 더 유의미한 지표는 AI가 이전 프로젝트에서 얻은 인사이트를 프레임워크와 도구, 업무 촉진 요소로 발전시켜 팀의 성과 창출 방식을 개선하는 데 어떻게 기여하는지다.

숨겨진 문제: AI는 바꿔야 할 업무를 더 빠르게 만들 수 있다

AI를 도입하기 전에 조직은 업무 흐름의 목적을 이해하고, 불필요한 단계를 찾아내며, 업무 수행 방식을 재검토해야 한다. 이는 AI를 도입하면 비효율적인 프로세스가 더 빨라지는 동시에 병목이 후속 단계로 옮겨 가고 검토나 재작업이 늘어날 수 있기 때문에 중요하다.

이러한 이해를 바탕으로 조직은 무엇을 측정할지도 정해야 한다. 전체 업무 흐름을 살펴보면 팀은 한 업무의 변화가 후속 단계에 어떤 영향을 미치는지, 겉으로 드러난 개선이 실제로 노력을 줄이는지 아니면 다른 사람에게 부담을 넘기는지 파악할 수 있다.

AI는 콘텐츠 초안 작성, 정보 요약, 데이터 분석 등의 개별 업무를 더 빠르게 처리하도록 도울 수 있지만, 그렇다고 프로세스 자체가 개선되는 것은 아니다. 예를 들어 콘텐츠를 더 빠르게 만들면 그 후속 단계에서 검토자와 승인자의 업무가 늘어날 수 있다. 개별 직원이 시간을 절약했다고 보고하더라도 병목은 다른 곳으로 옮겨 간다.

이런 상황에서 생산성 지표는 보여주기식 지표가 될 수 있다. 한 업무를 더 빨리 처리하면 단기적인 성과처럼 보일 수 있지만, 그 결과물을 후속 단계에서 유용한 결과로 만들기까지 필요한 노력을 간과할 수 있다. 업무 흐름을 재설계할 때는 먼저 달성하려는 결과를 정한 뒤, AI가 어디에서 가치를 더하는지, 어떤 단계를 바꿔야 하는지 판단해야 한다.

개별 업무의 생산성과 업무 흐름 전체의 생산성은 모두 중요하다. 두 가지를 함께 측정하려면 개별 업무에서 절약한 시간만 볼 것이 아니라, 결과를 얻는 데 필요한 품질 관리와 재작업, 총 인력 투입량도 평가해야 한다.

우리 자신이 AI 고객이 되어 얻은 교훈

Arionkoder는 AI를 기반으로 하는 조직으로 거듭나기 위해 사내 혁신 프로그램인 Socrates를 만들었다. ‘사례 0호’로서 직접 AI를 시험한 결과, 개별 업무의 생산성 향상이 전체 업무 흐름의 문제를 가릴 수 있다는 점을 확인했다. 예를 들어 프로젝트 관리 업무에서는 AI로 회의 요약, 실행 항목, 프로젝트 업데이트를 생성하면 해당 업무의 효율성이 높아질 것으로 처음에는 예상했다. 그러나 늘어난 정보량을 처리하려면 여전히 수작업으로 검토하고 우선순위를 정하며 팀 간 조율을 해야 했다. 그 결과 업무량은 줄어들지 않고 후속 단계로 밀려났다. 개별 업무를 더 빠르게 처리한다고 해서 전체 업무 흐름이 반드시 더 효율적이 되는 것은 아니라는 사실을 깨달았다. Socrates의 목표는 여전히 유효했지만, 이 프로그램은 팀이 개별 업무만 가속하는 데서 벗어나 처음부터 끝까지 업무 흐름을 재설계하도록 도와야 했다.

무슨 일이 있었는지 살펴보고 그 결과를 다음 시도에 적용하자, 이 좌절은 유용한 교훈이 되었다. AI 혁신에는 기술을 도입하는 것만으로는 부족하다는 점을 다시 확인했다. 사람들이 실험을 통해 배우고, 의사결정을 내리고, 함께 일하는 방식도 바꿔야 한다. Socrates는 직원들이 개별적으로 만든 것을 실제 업무가 이루어지는 방식과 연결하도록 도와야 했다.

수정된 접근 방식은 이러한 실험을 명확한 단계에 따라 진행하도록 한다. 직원은 작지만 실제적인 문제 하나를 해결하는 데 AI를 활용하는 것부터 시작할 수 있다. 다음 단계에서는 다른 사람도 자신이 만든 것을 사용할 수 있는지 시험한다. 그런 다음 회사는 더 넓은 업무 흐름을 살펴보고, 마찰이 생기는 지점을 찾으며, 다른 팀이 개발한 역량과 업무를 연결할 수 있다. 직원 간에 배움을 공유하면 개선 사항이 처음에 지원하도록 설계된 업무를 넘어 계속 유용한지 평가할 수 있다.

이 차이는 중요하다. 한 사람에게 효과가 있는 것을 만드는 일은 출발점이다. 조직 차원의 가치를 창출하려면 다른 사람들이 그것을 어떻게 사용하는지, 더 큰 프로세스의 일부가 되면 무엇이 달라지는지 이해해야 한다.

따라서 우리는 달성하려는 결과를 먼저 정하는 것부터 재정비를 시작했다. 팀이 이뤄야 할 것은 무엇인가? 어떤 단계가 그 결과에 기여하며, 어떤 단계는 더 이상 목적에 부합하지 않는 기존 프로세스 때문에 남아 있는가? 이러한 질문을 통해 개별 업무에 AI를 추가하는 데서 벗어나, 더 명확한 목표를 중심으로 업무 흐름을 재설계하는 방향으로 초점을 옮길 수 있었다.

그런 다음 각 업무 흐름에 적합한 기준선과 평가 기준을 마련했다. 완료 시간과 함께 품질, 재작업, 직원의 업무 부담을 살펴봤다. 이러한 지표를 통해 전체 프로세스에 걸친 개선 여부를 평가할 수 있었다.

Socrates 전반에서 20개가 넘는 업무 흐름을 재설계하고, 실제 비즈니스 문제를 해결하기 위한 실험을 다른 사람들도 활용할 수 있는 역량으로 발전시켰습니다. 재무 보고에 걸리는 시간은 4시간에서 20분으로 줄었고, IT 부문은 반복 업무가 40% 감소하고 응답 시간이 60% 단축됐다고 보고했습니다. 이러한 결과는 운영 측면의 진전을 보여 줬습니다. 이러한 지표가 비즈니스 가치로 어떻게 이어지는지 파악하려면 업무 흐름 전반에서 투입되는 노력이 줄었는지, 그리고 팀이 확보한 여력을 어떻게 활용했는지 살펴봐야 합니다.

우리가 얻은 교훈은 개선 효과를 끝까지 추적해야 한다는 것이었습니다. 개인의 시간 절약도 중요하지만, 다음 사람이 더 나은 업무를 수행하도록 돕고 팀이 의도한 목표에 더 가까이 다가가게 할 때 조직 차원의 가치로 이어집니다.

CIO가 대신 측정해야 할 것

개선이 비즈니스에 미치는 영향까지 추적하려면 AI 사용량이나 절약한 시간만 측정해서는 부족합니다. 리더는 AI 도입을 업무 수행 방식의 개선 및 그 결과와 연결해야 합니다. 진전은 서로 구분되는 다음 세 가지 수준에서 측정해야 합니다.

1. 도입: 직원들이 AI를 사용하고 있는가?

   도입은 여전히 진단 지표로 유용합니다. 사용량, 실험 참여도, 직원 피드백을 살펴보면 사람들이 어느 부분에서 자신감을 키우고 있는지, 또 어떤 부분에서 지원이 필요한지 파악할 수 있습니다.

   이러한 신호는 리더가 조직의 준비 수준을 파악하는 데 도움이 되지만, ROI를 입증하지는 않습니다. 사용량이 많다는 것은 조사에 착수할 계기이지, 혁신이 이루어졌다는 증거가 아닙니다.

2. 업무 흐름 성과: 실제로 업무가 개선되고 있는가?

   성공 기준은 해당 업무 흐름이 달성하려는 목적을 반영해야 합니다. 사용 사례에 따라 개선은 정보의 정확도 향상, 오류 감소 또는 해결 시간 단축을 의미할 수 있습니다.

   전체 과정에서 기준선과 비교해 성과를 평가하세요. 불필요한 단계의 제거, 재작업, 품질, 직원이 투입한 총 노력을 추적하세요. AI가 생성한 결과물을 받아 활용하는 사람도 평가에 포함하세요. 다른 곳에서 추가 검토나 수정이 필요해진다면 해당 업무의 효율성이 반드시 높아진 것은 아닙니다.

3. 비즈니스 영향: AI를 활용한 업무 흐름이 비즈니스 성과를 개선하고 있는가?

   업무 흐름의 개선을 고객 유지율, 매출, 서비스 품질, 해결된 문제당 비용처럼 경영진이 이미 중요하게 여기는 성과와 연결하세요. 예를 들어 콘텐츠를 더 많이 생산하는 것은 산출량이 늘었음을 보여 줍니다. 그 비즈니스 가치는 해당 콘텐츠가 달성하는 성과에 달려 있습니다.

   시간 절약이 어떻게 활용되는지 끝까지 추적하세요. 확보한 여력이 서비스를 개선하거나 성장을 뒷받침하거나 운영 비용을 줄이는 데 쓰였나요? 인력 투입, AI 사용량, 통합, 감독, 교육, 유지보수를 포함해 이를 실현하는 데 드는 전체 비용과 비교하여 가치를 평가하세요.

이러한 지표를 함께 활용하면 리더는 AI 도입이 더 나은 업무 흐름과 비즈니스 성과로 이어지는 과정을 추적할 수 있습니다. AI 사용량은 늘었지만 인력 투입이 줄지 않고 품질이 개선되지 않거나 비즈니스 가치가 창출되지 않는다면, 규모를 확대하기 전에 접근 방식을 재검토해야 합니다.

리더는 AI의 진전을 새롭게 정의해야 한다

도입 데이터는 기업이 누가 AI를 사용하고 있는지, 어디에 추가 지원이 필요한지 파악하는 데 도움이 됩니다. AI의 가치를 이해하려면 실제로 업무를 수행하는 사람들의 의견을 듣고, 개선 효과가 더 넓은 업무 흐름에도 도움이 되는지 살펴봐야 합니다. 리더는 더 나은 결과 없이 업무 부담만 늘리는 접근 방식을 직원들이 자신 있게 알릴 수 있도록 해야 하며, 그 의견에 따라 조치해야 합니다. 효과가 없는 접근 방식을 바꾸거나 중단하는 것도 그 과정에서 얻은 교훈이 다음 의사결정을 개선한다면 진전입니다.

의미 있는 혁신은 불필요한 업무를 없애고 더 나은 결과를 실현하며 중요한 업무에 투입할 여력을 늘리는 것으로 나타납니다. 리더는 이러한 성과를 기준으로 AI의 진전을 판단하고 추가 투자를 이끌어야 합니다.