기업 AI는 신뢰할 수 있는 데이터에 달려 있다

2025년에 기업들은 생성 AI에 약 300억에서 400억 달러를 투자했지만, MIT의 Project NANDA는 300개가 넘는 기업 배포 중 단 5%만이 측정 가능한 재무적 수익을 창출하고 있다고 발견했습니다 검토한 결과.

저는 기업 데이터 프로그램에서 25년 이상 일해 왔습니다. 생성 AI가 논의에 등장하기 훨씬 전에, 사람들은 그 뒤의 데이터를 신뢰할 수 없을 때 기술의 신뢰성이 얼마나 빠르게 무너지는지를 보았습니다. 생성 AI는 의심스러운 데이터를 확신에 찬 답변으로 바꿀 수 있기 때문에 위험이 더욱 커집니다.

우리는 예전에는 ‘쓰레기를 넣으면 쓰레기가 나온다’라고 말했습니다. 이제는 ‘쓰레기를 넣으면 재앙이 나온다’가 되었습니다. 데이터가 의심스러워 보일 때, 사람은 판단을 내리고 데이터 전문가에게 연락할 수 있었습니다. 전문가는 근본 원인 분석을 수행하고 문제를 파악한 뒤 해결책을 적용했습니다. 오늘날 에이전트는 마주치는 모든 데이터에 대해 행동할 수 있습니다. 지식이 풍부한 인간 감독이 없으면 그 결과가 운영의 일부가 되고, 의사결정에 사용되며 조직 전체에 확산될 수 있습니다.

같은 문제가 챗봇에서도 나타날 수 있습니다. 거버넌스를 건너뛰면 부정확하거나 충분히 이해되지 않은 데이터가 권위 있게 들리는 답변으로 즉시, 대규모로 전환될 수 있습니다.

신뢰가 실제 채택의 병목 현상이다

내부 챗봇이 자신감 있게도 틀린 답변을 제공하면, 사용자는 다시는 신뢰하지 않을 수 있습니다. 대규모 조직에서는 AI가 원하지 않는 데이터까지 찾아냅니다. 이를 침대 밑의 더러운 양말에 비유하자면, 그 데이터는 눈에 보이지 않을지라도 AI는 그 어두운 데이터를 찾아 활용하게 됩니다.

컨텍스트는 데이터와 함께 이동해야 하며, LLM이 기반으로 삼는 토대가 됩니다. AI 모델이 데이터를 사용하기 전에, 사람들은 그 의미, 출처, 소유자, 그리고 관련 비즈니스 규칙 및 정책을 알아야 합니다.

리더십은 시스템이 거의 다운되지 않기 때문에 이를 간과할 수 있습니다. AI는 자신감 있게 틀릴 수 있으며, 피자에 접착제를 넣으라고 제안하기도 합니다(오래된 예시). 자신감 있게도 틀린 답변을 제공하는 챗봇을 생각해 보세요. 직원들은 그 챗봇을 신뢰하지 않게 됩니다. 이러한 신뢰를 회복하는 데는 초기 단계에서 올바른 통제를 구축하는 것보다 훨씬 오랜 시간이 걸립니다.

그러한 신뢰 감소는 데이터에도 나타납니다. 90% 이상의 기업 직원들은 MIT가 조사한 바에 따르면 공식 파일럿이 신뢰를 얻지 못했음에도 불구하고 개인 AI 도구를 계속 사용합니다. 승인된 도구가 신뢰를 얻지 못하면 직원들은 일을 처리하기 위해 다른 방법을 찾게 됩니다.

올해 AI 연구 대부분이 동일한 문제를 지적합니다: 조직이 데이터를 신뢰할 수 있게 만들기 위한 작업을 수행하기 전에 AI를 앞당겨 도입하고 있습니다. Gartner는 거의 3분의 2에 달하는 조직이 AI를 위한 적절한 데이터 관리 관행이 없거나, 가지고 있는지 확신하지 못하고 있다고 추정했습니다. IDC의 별도 연구에 따르면 신뢰 측면에서도 유사한 격차가 발견되었습니다. 78%의 조직이 AI를 완전히 신뢰한다고 말하지만, 실제로 그 신뢰를 정당화할 거버넌스와 설명 가능성 작업에 투자한 조직은 40%에 불과합니다.

신뢰와 투자 사이의 불일치가 많은 AI 프로젝트가 실제 운영에 도달하기 전에 중단되거나 기대된 가치와 맞지 않는 이유를 설명합니다.

AI 거버넌스가 이제 경쟁 우위가 되다

제 경력 대부분 동안 데이터 거버넌스는 기업 IT에서 가장 매력적이지 않은 영역 중 하나였습니다. 메타데이터를 카탈로그화하고, 소유권을 정의하며, 데이터 프로파일링 및 워크플로우 관리 등은 청소 작업처럼 느껴졌습니다. 사람들은 그 노력이 얻는 가치보다 더 크다고 생각해 종종 이를 건너뛰었습니다.

AI가 이를 변화시켰습니다. 데이터 청사진 설계, 산업 맞춤 용어집 생성, 데이터 정책 추천 및 활성화와 같은 영역에서 거버넌스 역량이 되고 있습니다. 데이터 라인리지도 이제 이전보다 더 빠르게 추론되고 간소화되어, 관리된 데이터 파이프라인과 가시성의 가치를 실현하기가 쉬워졌습니다.

규제도 데이터 투명성을 더욱 시급하게 만들고 있습니다. EU AI 법은 2026년 8월 2일부터 광범위하게 적용되었으며, 특정 시스템 및 AI 생성 콘텐츠에 대한 투명성 규칙을 포함합니다. 이 법은 또한 고위험 시스템에 대한 별도 요구사항을 제시하는데, 여기에는 배포자가 결과물을 해석하는 데 도움이 되는 문서와 정보가 포함되며, 일부 고위험 조항은 추후 일정에 따라 적용됩니다.

기업에게 실질적인 교훈은 명확합니다: 명확한 라인리지와 거버넌스는 어떤 데이터가 사용됐는지, 그 출처와 시스템이 어떻게 작동하도록 설계됐는지를 문서화하기 쉽게 합니다.

미국의 규제 상황은 아직 확정되지 않았습니다. 포괄적인 연방 AI 법이 없기 때문에 기업은 다양한 주별 요구사항을 탐색해야 하며, 백악관은 주가 자체 AI 규칙을 만들고 시행하는 능력을 제한하려 하고 있습니다. 현재까지 가장 포괄적인 주 프레임워크인 콜로라도 AI 법은 이미 한 차례 연기 및 재작성되었으며, 핵심 의무가 2027년까지 미뤄졌습니다. 많은 미국 기업에게는 불확실성을 견디며 기다리는 것이 유혹이 됩니다.

저는 이것이 잘못된 직관이라고 주장합니다. 미국에서 최종적으로 어떤 규제 모델이 성공하든, 근본적인 요구사항은 사라지지 않을 것입니다. 데이터가 어디서 왔는지 파악하고, AI가 사용하기 전에 누가 실제로 검증했는지 확인하십시오. 이러한 규율을 지금 개발하면 기업이 새로운 규제에 대비하고, 유망한 AI 파일럿을 비즈니스가 자신 있게 활용할 수 있는 도구로 전환하는 데 도움이 됩니다.

5%를 구분 짓는 요소

한 고객 사례를 말씀드리겠습니다. 그들의 총계정원장 팀은 장부에 불일치가 발생할 때마다 300개의 개별 스프레드시트를 일일이 검토해야 했습니다. 300개요. 결국 누군가가 그 복잡한 데이터를 하나의 관리된 데이터 자산으로 재구성했으며, 계산식, 보고서, 그리고 기본 데이터를 함께 패키징하고 사전에 검증했습니다. 이후 문제가 발생하면 해결에 필요한 노력은 이전의 일부분에 불과했습니다. 이 하나의 프로세스만으로도 약 750일의 노동을 절감했으며, 이는 정리만으로도 수백만 달러의 비용 절감 효과를 가져왔습니다.

이 개선은 올바른 데이터를 쉽게 찾을 수 있고, 재검증 없이도 신뢰할 수 있게 만든 데서 비롯되었습니다. 협업과 재사용이 이를 가능하게 했습니다. 신뢰할 수 있는 데이터 제품은 기업 표준에 맞추어 조정되고, 시간이 지남에 따라 확장·업그레이드되며, 신뢰 점수를 부여받고 가치 관리가 이루어집니다. 이러한 접근 방식은 개별 물리적 데이터베이스 테이블에 연결된 수백·수천 개의 제품을 만들 필요성을 줄여줍니다.

강력한 프로그램은 이러한 신뢰를 가시화합니다. 제가 협업하는 데이터 마켓플레이스에서는 자산을 품질, 큐레이션, 사용량, 소유권 등 요소에 따라 골드, 실버, 브론즈로 분류합니다. 비즈니스 사용자는 자산을 사용하기 전에 그 신뢰성을 확인할 수 있습니다. 이러한 가시성은 사람들이 추측을 멈추게 하고, 이미 존재하는 데이터를 재사용하려는 의지를 높여줍니다.

95%라는 수치는 많은 기업이 생성 AI 뒤의 데이터를 얼마나 대수롭게 다뤘는지에 대한 경고입니다. 진전을 이루는 조직들은 데이터가 어디서 왔는지, 어떻게 검증됐는지, 그리고 작업에 적합한지에 대한 명확한 시각을 제공하고 있습니다. 수년간 데이터 관리가 배경 작업으로 취급되던 상황에서, AI가 드디어 그 가치를 가시화하고 있습니다.