사상 리더

AI 골드러시 속 기업 프로젝트의 기술 부채와 숨겨진 비용

Tony Lee
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트AI 모델 드리프트는 오래된 학습 데이터가 시스템 정확도를 저하시키면서 비용이 많이 드는 새로운 기술 부채를 생성합니다.
더 보기
  • AI 모델 드리프트는 오래된 학습 데이터가 시스템 정확도를 저하시키면서 비용이 많이 드는 새로운 기술 부채를 생성합니다.
  • 기술 부채는 판매 주기를 늦추고 개발자의 시간을 혁신에서 벗어나게 하여 수익을 위축시킵니다.
  • 부채 관리를 위해 위험한 전체 플랫폼 재구축보다 점진적인 코드 수정이 더 안전한 장기 전략입니다.

지난 1년 동안 인공지능은 기업 리더들의 주목을 받았습니다. 이들은 뒤처지지 않기 위해 AI 기업에 대한 투자를 서두르거나 자체 제품의 출시를 앞당겼습니다. 그러나 기술 발전의 새 시대에 합류하려 서두르는 과정에서, AI를 처음 도입하는 조직은 AI에 투자하거나 새로운 AI 제품을 만들 때 반드시 고려해야 할 요소인 기술 부채를 놓칠 수 있습니다.

기술 부채라는 개념 자체는 새롭지 않습니다. 하지만 AI 기술은 일반적인 소프트웨어 서비스와는 다른 종류의 기술 부채를 발생시킵니다. AI가 빠르게 발전하면서 이 중요한 문제도 함께 커지고 있습니다.

기술 부채란 무엇인가?

기술 부채를 가장 간단히 정의하면 소프트웨어를 만드는 과정에서 품질이 낮은 코드가 누적되는 것입니다. 보통 비즈니스 요구에 맞추기 위해 출시 일정을 앞당기거나 고객 피드백을 더 빨리 받으려고 제품을 서둘러 내놓을 때 발생합니다. 기술 부채를 살펴볼 때는 의도적인 선택이라는 측면에 주목해야 합니다. 의사 결정자는 대개 소프트웨어의 위험과 속도를 위해 지름길을 택할 때의 영향을 알고 있기 때문입니다. AI의 등장은 기술 부채에 새롭고 독특한 과제를 더했으며, 그에 따라 상당한 위험과 파급 효과도 발생할 수 있습니다.

AI 시스템이 노후화하고 훈련 데이터가 부정확해지거나 오래되면, AI에 투자하는 비용은 고품질 훈련 데이터를 유지하는 데 필요한 시간과 투자를 넘어섭니다. 이러한 데이터 관리 관행을 데이터 위생이라고도 합니다.

기술 부채가 어떻게 쌓이고 기업의 수익성에 어떤 영향을 미치는지, 그리고 조직이 어떻게 해결할 수 있는지 살펴보겠습니다.

조직은 어떻게 기술 부채를 떠안는가?

소프트웨어에 기술 부채가 쌓이는 경로는 두 가지입니다. 하나는 단순히 품질이 낮은 코드입니다. 조직이 제품을 구매하거나 인수·합병을 통해 넘겨받은 뒤, 변화와 혁신의 속도가 느릴 뿐 아니라 품질에도 문제가 있다는 사실을 뒤늦게 발견할 수 있습니다. 다른 하나는 리더가 의도적으로 기술 부채를 감수하는 경우입니다.

AI의 경우 리더의 72%가 조금 넘는 비율이 직원 생산성을 높이기 위해 AI를 도입하고 싶어 합니다. 그러나 AI 도입의 가장 큰 우려는 데이터 품질과 통제입니다. 생산성 향상을 내세운 제품을 사용하면서도, 생산성을 위협할 수 있는 기술 부채의 품질 문제를 계속 해결하느라 핵심 업무에 쓸 시간을 빼앗긴다면 모순적입니다. 그럼에도 장기적인 생산성 향상에 대한 기대가 당장의 장애물보다 크게 여겨집니다. 이렇게 외면한 문제는 결국 장기적으로 소프트웨어에 부담으로 돌아옵니다.

모델 드리프트: 새로운 유형의 기술 부채

AI 투자가 증가하면서 조직들은 생성형 AI라는 금광에서 수익을 얻기 위해 시장 출시 전략을 서둘렀습니다. 단기적으로는 매출을 늘릴 수 있지만, 장래에 모델 드리프트라는 상당한 기술 부채로 이어질 가능성을 간과하고 있습니다.

모델 드리프트는 훈련 데이터가 오래되면서 AI 시스템의 성능이 저하되고 출력의 정확도가 떨어지는 현상입니다. AI의 수명 주기를 살펴보면, 시스템이 가능한 한 정확한 답변을 내놓도록 훈련 데이터를 계속 관리하고 갱신해야 한다는 점은 분명합니다. 문제는 바로 여기서 시작됩니다. 솔루션 출시를 서두르는 의사 결정자는 추가 훈련 데이터 확보, 시스템의 데이터 위생 유지, 이러한 작업을 지원할 충분한 인력 확보를 종종 뒷전으로 미룹니다.

훈련 데이터가 계속 낡아 현실과 출력의 격차가 벌어지면, 조직은 그 차이를 해결하는 데 더 많은 비용과 시간을 들이게 됩니다. 적절한 계획 절차와 규약이 있었다면 피할 수 있었던 문제입니다. 시장 출시 전략을 수립할 때 필요한 다음 단계를 건너뛰면 납품은 빨라질 수 있지만, 장기적으로 여러 방식의 비용을 초래하는 불가피한 후속 문제를 감수할 가치는 없습니다.

기술 부채가 수익성에 미치는 영향

기술 부채는 조직의 효율성에도 큰 영향을 미칩니다. 영업팀을 예로 들면, 기술 부채가 쌓이고 변화 속도가 느려질수록 영업 담당자가 고객을 설득하기 어려워집니다. 이에 따라 계약 체결률이 떨어지고 결국 매출 흐름도 둔화합니다.

영업뿐 아니라 개발팀도 큰 영향을 받습니다. 코드 갱신에 더 많은 시간을 쏟아야 할 뿐 아니라, 그쪽으로 관심이 옮겨가면서 혁신은 뒷전이 됩니다. 유지보수에 시간과 관심을 집중하면 제품 로드맵이 지연되거나 폐기됩니다. 이러한 연쇄 효과는 기술 부문과 영업 부문 사이의 불신으로 이어질 수 있습니다. 따를 제품 로드맵이 없는 영업팀은 고객에게 약속을 지키지 못하거나 잠재 고객에게 보여줄 것이 없어져, 매출이 다시 큰 타격을 받게 됩니다.

기술 부채를 해결하는 방법

납품 일정의 예측 가능성이 떨어지면 조직은 효율성 저하를 체감하고 당면 과제를 어떻게 해결할지 논의하기 시작합니다. 의사 결정자가 기술 부채에 대응하는 방법은 두 가지입니다. 하나는 플랫폼과 코드를 완전히 버리고 새 플랫폼으로 전환하는 것입니다. 다른 하나는 방을 한 번에 한 물건씩 정리하듯 작은 변경을 점진적으로 도입해 시스템을 제 궤도에 올려놓는 것입니다.

첫 번째 방법인 플랫폼 전환은 시스템 전체를 개편해야 하므로 위험과 비용이 큽니다. 대규모 건설 사업과 마찬가지로 일정이 조금만 지연돼도 제품 출시 계획이 흔들리고 전체 시도가 실패할 수 있습니다. 다만 효과가 있는 경우도 있습니다. LinkedIn은 2011년 기업공개 이후 사이트의 플랫폼을 전환했고 시장의 주요 기업으로 성장했습니다.

더 안전한 선택은 작은 변경을 쌓아 큰 개선을 이루는 방식입니다. 이미 매일 데이터를 다루는 개발자가 곳곳을 조금씩 수정하면 시스템의 기술 부채를 해소할 수 있습니다. 최신 코드와 기술 표준을 계속 익혀야 하므로 개발자의 역량에도 도움이 됩니다. 이는 조직의 기술 격차를 줄여 기술적 성공의 기반을 마련합니다. 개발자에게 업무 시간의 20%를 제품 업데이트 계획에 배정하는 엔지니어 주도 활동으로 시작할 수 있습니다. 플랫폼 전환보다 훨씬 느린 과정이지만 위험이 작고 비즈니스 모델에 가치를 제공합니다.

AI 시대에 기술 부채를 뒤로하는 방법

AI 분야가 빠르게 발전하면서 생산성 향상과 조직 효율성을 내세우는 솔루션은 계속 등장할 것입니다. 그렇더라도 의사 결정자는 지속적인 데이터 관리 같은 기법을 우선적으로 도입하고 솔루션의 전체 수명 주기를 고려해야 합니다. AI 투자가 반드시 비용이 많이 들고 부담스러울 필요는 없습니다. 계획과 시장 출시 전략을 조금만 바꾸면 다음번 기술 부채의 산을 피할 수 있습니다.

Tony Lee, Hyperscience의 CTO로서 제품, 디자인 및 엔지니어링 팀을 이끌고 있습니다. 그는 Yahoo, Box, Zendesk, Dropbox에서 고위 경영진 역할을 수행했습니다. Tony는 25년간의 엔지니어링 경력을 NASA에서 시작하여 항공 교통 관제를 위한 자동화 소프트웨어에 종사했으며, 이후 컴퓨터 네트워크 최적화에 대한 연구를 계속했습니다. 그는 브라운 대학에서 공학 및 정치학을 복수 전공으로 학위를 취득했으며, 공학 박사 학위를 보유하고 있습니다.