AI를 확장한다고 해서 매번 데이터 기반을 다시 구축해야 하는 것은 아니다

기업의 2027년 계획 수립 시기가 코앞으로 다가오면서, AI 투자가 다시 한번 최고경영진의 주요 논의 주제로 떠오르고 있다. Akeneo가 최근 IT 의사결정권자를 대상으로 실시한 설문조사에 따르면 응답자의 93%가 AI 도입으로 생산성이 향상됐다고 답했지만, 43%는 AI로 인해 자신의 업무에 새로운 책임도 추가됐다고 밝혔다.

이러한 조사 결과는 AI 프로젝트를 실현하는 데 상당한 사전 작업이 필요하다는 점을 보여준다. 특히 데이터 준비가 전체 작업에서 큰 비중을 차지한다. Akeneo가 조사한 IT 리더 중 36%는 자사에서 AI 프로젝트에 투입하는 전체 노력의 절반 이상을 데이터 준비에 쓴다고 답했다. 또 다른 53%는 AI 프로젝트에 투입하는 노력의 26~50%를 데이터 준비에 쓴다고 밝혔다. 이러한 준비 작업은 필요하지만, 한 번의 AI 배포를 위해 수행한 작업을 다음 배포에도 재사용할 수 있도록 하는 데 기회가 있다.

AI는 기업의 한 부문에서 업무를 줄일 수 있지만, IT 팀에는 새로운 배포 때마다 데이터를 준비하고 맥락을 다시 구축하는 등 또 다른 작업을 안겨줄 수 있다. 이제는 이러한 작업을 더 많이 재사용할 수 있도록 해, 각 배포가 처음부터 다시 시작하는 대신 이전 배포의 성과를 바탕으로 구축되게 하는 것이 중요하다.

AI의 중심에는 사람이 있다

모든 AI 파일럿과 배포에서 사람은 여전히 핵심적인 역할을 한다. IT 팀은 비즈니스 요구 사항 파악과 솔루션 평가부터 구현, 교육, 프로세스 개발, 지속적인 보안 관리에 이르기까지 신기술의 전체 수명 주기에 관여한다. 시간이 지나면서 팀은 업무 중 마주치는 예외 사항과 문서화되지 않은 규칙을 기록하지 못할 수 있다. 여기에는 같은 용어가 시스템마다 다르게 정의되는 경우도 포함된다. 이러한 맥락은 조직 전체가 안정적으로 이용할 수 있는 정보가 아니라, 개별 팀원이 보유한 조직 내 지식으로 남는 경우가 많다.

답을 아는 사람이 더 이상 도움을 줄 수 없게 될 때까지 이런 작업이 계속될 수 있다. 직원이 담당 업무를 바꾸거나 조직을 떠나거나, 문제가 발생했을 때 단순히 자리에 없는 경우에는 그 맥락이 사라진다. 이러한 지식을 구조화해 디지털 방식으로 접근할 수 있는 형태로 기록하면 특정 개인에게 의존하지 않고도 활용할 수 있다. 또한 각 팀이 전문 지식에 대한 소유권을 유지하면서도 조직 전체에서 그 지식을 이용하고 재사용할 수 있으므로, 새로 배포할 때마다 같은 지식을 다시 찾아내지 않아도 된다.

좋은 데이터라고 해서 항상 AI에 바로 사용할 수 있는 것은 아니다

이 모든 문제를 또 다른 데이터 품질 문제로 설명하고 싶을 수 있지만, Akeneo의 조사 결과는 이보다 복잡한 상황을 시사한다. IT 리더의 92%는 AI 시스템에서 사용하는 제품 및 운영 데이터를 양호하거나 우수하다고 평가했다. 그런데도 대다수는 AI 프로젝트 전체 노력의 4분의 1이 넘는 시간을 데이터 준비에 쓴다.

데이터가 양호하다고 해서 AI에 바로 사용할 수 있는 것은 아니다. 특히 무엇이 ‘양호한지’는 해당 데이터를 사용하는 주체나 시스템에 따라 달라질 수 있다. 모델과 에이전트에는 정확한 정보만으로는 충분하지 않다. 데이터가 어디에서 왔는지, 다른 정보와 어떤 관계가 있는지, 어떤 출처를 우선해야 하는지, 어떤 조건에서 사용할 수 있는지도 파악해야 한다. 이러한 규칙은 숙련된 팀이 이미 업무를 수행하는 방식에 암묵적으로 내재하는 경우가 많아 쉽게 간과될 수 있다.

AI 데이터 준비도에 관한 McKinsey의 최근 연구도 맥락의 중요성을 비슷하게 강조한다. 모든 정보가 모델이나 에이전트에 유용한 것은 아니다. 하지만 유용한 정보라면 그 맥락도 함께 전달될 수 있어야 한다. 정보가 원래 출처에서 다른 곳으로 옮겨가더라도 의미가 사라지지 않도록 출처와 주변 데이터와의 관계를 명확하게 유지해야 한다.

이 때문에 AI를 뒷받침하는 아키텍처도 모델 자체만큼이나 중요해진다. 기존 소프트웨어와 달리 LLM은 정보가 출처별로 서로 다르게 구조화되거나 분류되어 있더라도, 파편화된 데이터와 연결되지 않은 시스템 전반에서 작동할 수 있는 경우가 많다. 이전에 명시적으로 정의되지 않았던 관계도 찾아낼 수 있다. 더 큰 문제는 데이터 자체가 없다는 점이다. 모델과 에이전트가 여러 시스템을 넘나들며 작동하려면 필요한 정보와 맥락이 애초에 존재하고 접근 가능해야 한다.

AI 실행 격차에 관한 PwC의 2026년 연구에 따르면 기술 투자가 기대에 미치지 못하는 가장 큰 원인은 여전히 통합 문제다. 방대한 비정형 데이터망을 연결하는 데는 시간이 걸리며, 이 때문에 프로젝트가 완전히 배포되기 전에 지연되는 경우가 많다.

이러한 문제를 한 번의 구현 과정에서 해결하는 데 들인 작업은 다음 구현을 더 수월하게 할 수 있다.

재사용 가능한 AI 인프라 구축

단일 AI 프로젝트에서는 이러한 준비 작업의 상당 부분이 보이지 않는 곳에서 이루어질 수 있다. IT 팀은 데이터의 불일치를 해결하고, 애플리케이션에 필요한 정보를 준비하며, 프로젝트를 운영 환경에 배포할 수 있도록 애플리케이션을 다른 시스템과 통합한다.

문제는 이 작업이 당장의 사용 사례만 해결하는 데 그칠 때 발생한다. 데이터 준비는 AI 배포 과정에서 언제나 필요하지만, 그 노력의 상당 부분은 후속 배포에도 이어져야 한다. 팀이 두 시스템에서 같은 필드나 용어가 서로 다른 의미로 쓰인다는 사실을 발견했다면, 모호성을 해결하는 과정에서 향후 애플리케이션이 재사용할 수 있는 정의를 마련해야 한다. 시스템 간 의견이 일치하지 않을 때 어느 출처를 신뢰해야 하는지 판단했다면, 그 결정도 이후 배포에 이어져야 한다.

같은 원칙은 연동에도 적용됩니다. 조직은 모델이나 에이전트마다 제품과 정보에 접근하는 새로운 경로를 만드는 대신, AI 시스템이 신뢰할 수 있는 정보를 찾고 활용하는 일관된 방식을 마련해야 합니다.

팀이 이전에는 사람들의 경험에 의존하던 정의와 관계, 예외를 찾아내야 하므로 첫 번째 구현에는 여전히 상당한 작업이 필요할 수 있습니다. 조직의 인프라에 조직의 지식이 점점 더 많이 축적되면서 그 노력은 이후에도 이어질 수 있습니다. 후속 배포는 이러한 작업의 혜택을 얻을 수 있으며, 그 혜택의 정도는 데이터와 사용 사례 전반에 얼마나 공통점이 있는지에 따라 달라집니다.

AI가 답변을 생성하는 데 그치지 않고 기업 시스템 전반에서 실제로 작업을 수행하기 시작하면서 이는 갈수록 중요해지고 있습니다. NIST의 AI 에이전트 표준 이니셔티브는 에이전트가 내부 데이터 및 외부 시스템과 안전하게 상호작용할 수 있어야 한다는 점을 강조합니다. 에이전트가 더 많은 책임을 맡고 더 많은 시스템 및 모델과 상호작용하게 됨에 따라, 조직은 매번 처음부터 다시 시작하지 않고도 각 사용 사례에 적합한 맥락과 통제 장치가 마련되도록 해야 합니다.

거버넌스는 운영 환경의 일부가 되어야 합니다

재사용 가능한 인프라에는 재사용 가능한 거버넌스도 필요합니다. EY의 2026년 9월 AI 위험 및 거버넌스 설문조사에 따르면, 고위 AI 임원의 91%는 자사 조직이 에이전트형 AI를 시범 운영하거나 배포 중이라고 답했습니다. 그러나 에이전트를 사용하는 조직의 응답자 가운데 49%는 기존 거버넌스 체계가 에이전트형 AI의 요구사항과 위험에 맞춰 별도로 업데이트되지 않았다고 답했습니다.

AI가 비즈니스 프로세스에서 더 큰 책임을 맡게 되면, 해당 프로세스를 규율하는 규칙은 AI가 작동하는 환경의 일부가 되어야 합니다. 에이전트가 특정 정보에는 독립적으로 접근할 수 있지만, 프로세스의 다른 단계에서는 진행에 앞서 사람의 검토나 승인이 필요할 수 있습니다. 이러한 결정은 정책 문서에만 남아 있거나 프로세스가 어떻게 작동해야 하는지에 대한 누군가의 이해에만 의존해서는 안 됩니다.

거버넌스 관련 결정은 내부 검토를 넘어 AI가 작동하는 시스템에까지 적용되어야 합니다. 시스템을 이끄는 정책과 권한, 승인 단계는 배포 과정의 일부로 정의해야 합니다. 이러한 통제 장치가 시스템에 내장되지 않으면, 새로운 AI 사용 사례를 배포할 때마다 팀은 정책과 권한을 다시 해석해야 합니다.

다가올 AI의 물결에 대비하기

기업이 늘어나는 AI 예산을 2027년에 활용함에 따라, IT 팀은 점점 더 다양한 모델과 연동, 시스템을 담당하게 될 것입니다. 더 큰 시험대는 조직이 앞으로 등장할 기술을 지원할 수 있는 인프라를 구축하느냐가 될 것입니다.

팀이 여전히 같은 정의를 정리하고, 같은 연결을 다시 구축하며, 같은 규칙을 번역하고 있다면 AI가 이를 뒷받침하는 데 필요한 인프라보다 더 빠르게 확장되고 있을 수 있습니다.

이는 AI 준비 상태를 다른 관점에서 바라보게 합니다. 진척도를 실제 운영 환경에 투입된 모델이나 에이전트의 수만으로 평가할 것이 아니라, 각각의 구현이 기업을 다음 단계에 더 잘 대비시켰는지도 살펴야 합니다.

AI는 이미 개별 작업의 속도를 높이고 있습니다. 다음 생산성 향상은 이러한 시스템을 뒷받침하는 작업을 더 쉽게 재사용할 수 있게 하는 데서 나올 것입니다. AI가 비즈니스 프로세스에 점점 더 깊이 내재되면서 더 많은 시스템이 동일한 데이터 기반에 의존하게 됩니다. 지금 그 기반을 구축하는 일이 조직이 차세대 AI를 얼마나 손쉽게 활용할 수 있을지를 좌우할 것입니다.