기업 AI는 신뢰할 수 있는 데이터에 달려 있다

2025년에 기업들은 생성 AI에 약 300억에서 400억 달러를 투자했지만, MIT의 Project NANDA는 300개가 넘는 기업 배포 중 단 5%만이 조사한 바에 따르면측정 가능한 재무적 수익을 창출하고 있었습니다.

저는 기업 데이터 프로그램에서 25년 이상 근무했습니다. 생성 AI가 논의에 등장하기 훨씬 전부터, 사람들이 데이터에 의존할 수 없을 때 기술의 신뢰성이 얼마나 빠르게 무너지는지를 보았습니다. 생성 AI는 의심스러운 데이터를 자신감 있는 답변으로 바꿀 수 있기 때문에 위험도가 높아집니다.

우리는 예전엔 ‘쓰레기를 넣으면 쓰레기가 나온다’라고 말했습니다. 이제는 ‘쓰레기를 넣으면 재앙이 나온다’가 되었습니다. 데이터가 의심스러워 보일 때, 사람은 판단을 내리고 데이터 전문가에게 연락할 수 있었습니다. 전문가는 근본 원인 분석을 수행하고 문제를 식별한 뒤 해결책을 적용했습니다. 오늘날 에이전트는 마주치는 모든 데이터에 대해 행동할 수 있습니다. 지식이 풍부한 인간 감독이 없으면 그 결과가 운영의 일부가 되고, 의사결정에 사용되며, 조직 전체에 확산될 수 있습니다.

같은 문제는 챗봇에서도 나타날 수 있습니다. 거버넌스를 생략하면 부정확하거나 충분히 이해되지 않은 데이터가 권위 있게 들리는 답변으로 즉시 그리고 대규모로 변환될 수 있습니다.

신뢰가 실제 채택의 병목 현상이다

내부 챗봇이 자신감 있는 잘못된 답변을 제공하면, 사용자는 다시는 신뢰하지 않을 수 있습니다. 대규모 조직에서는 AI가 원하지 않는 데이터까지 찾아냅니다. 이를 침대 밑에 있는 더러운 양말에 비유하자면, 데이터는 눈에 보이지 않을지라도 AI는 그 어두운 데이터를 찾아 활용하게 됩니다.

컨텍스트는 데이터와 함께 이동해야 하며, LLM이 의존하는 기반이 되어야 합니다. AI 모델이 데이터를 사용하기 전에, 사람들은 그 의미, 출처, 소유자, 그리고 관련 비즈니스 규칙과 정책을 알아야 합니다.

시스템이 거의 다운되지 않기 때문에 경영진은 이를 놓치기 쉽습니다. AI는 자신감 있게 틀릴 수 있으며, 피자에 접착제를 넣으라고 제안할 수도 있습니다(오래된 예시). 자신감 있는 잘못된 답변을 제공하는 챗봇을 생각해 보세요. 직원들은 이를 신뢰하지 않게 되고, 그 신뢰를 회복하는 데는 초기 단계에서 올바른 통제를 구축하는 것보다 훨씬 오래 걸립니다.

그러한 신뢰 손실은 데이터에도 나타납니다. 기업 중 90% 이상에서 MIT가 조사한 바에 따르면직원들은 공식 파일럿이 신뢰를 얻지 못했음에도 불구하고 개인 AI 도구를 계속 사용합니다. 승인된 도구가 신뢰를 얻지 못하면 직원들은 일을 처리할 다른 방법을 찾게 됩니다.

올해 AI 연구 대부분이 동일한 문제를 지적합니다: 조직은 데이터의 신뢰성을 확보하기 전에 AI를 도입하고 있습니다. Gartner가 추정한 바에 따르면전체 조직의 거의 2/3이 AI를 위한 적절한 데이터 관리 관행이 없거나 존재 여부를 확신하지 못하고 있습니다. 별도로 IDC의 연구에 따르면신뢰 측면에서도 유사한 격차가 발견되었습니다: 78%의 조직이 AI를 완전히 신뢰한다고 답했지만, 실제로 그 신뢰를 정당화할 거버넌스와 설명 가능성 작업에 투자한 조직은 40%에 불과합니다.

신뢰와 투자 사이의 불일치가 많은 AI 프로젝트가 생산 단계에 도달하기 전에 중단되거나 기대한 가치와 맞지 못하는 이유를 설명합니다.

AI 거버넌스가 이제 경쟁 우위가 된다

제 경력 대부분 동안 데이터 거버넌스는 기업 IT에서 가장 매력적이지 않은 분야 중 하나였습니다. 메타데이터 카탈로그화, 소유권 정의, 데이터 프로파일링 및 워크플로 관리가 청소 작업처럼 느껴지기도 했습니다. 사람들은 그 노력에 비해 얻는 가치가 적다고 판단해 종종 이를 생략했습니다.

AI가 이를 바꾸었습니다. 데이터 청사진 설계, 산업별 용어집 생성, 데이터 정책 추천 및 활성화와 같은 영역에서 거버넌스 역량이 되고 있습니다. 데이터 라인리지도 이제 이전보다 더 빠르게 추론되고 간소화되어, 관리된 데이터 파이프라인과 가시성의 가치를 실현하기가 쉬워졌습니다.

규제도 데이터 투명성을 더욱 시급하게 만들고 있습니다. EU AI 법안은 2026년 8월 2일부터 광범위하게 적용되었으며, 특정 시스템 및 AI 생성 콘텐츠에 대한 투명성 규칙을 포함합니다. 이 법안은 또한 고위험 시스템에 대한 별도 요구사항을 설정합니다. 여기에는 배포자가 결과를 해석하는 데 도움이 되는 문서와 정보가 포함되며, 일부 고위험 조항은 이후 일정에 따라 적용됩니다.

기업에게 실용적인 교훈은 명확합니다: 명확한 라인리지와 거버넌스는 사용된 데이터, 출처, 시스템 작동 방식을 문서화하기 쉽게 합니다.

미국의 규제 상황은 아직 불확실합니다. 포괄적인 연방 AI 법이 없기 때문에 기업은 다양한 주별 요구사항을 헤쳐 나가야 하며, 백악관은 주가 자체 AI 규칙을 만들고 시행하는 능력을 제한하려 하고 있습니다. 현재까지 가장 포괄적인 주 프레임워크인 콜로라도 AI 법안은 이미 한 차례 연기 및 재작성되었으며, 핵심 의무가 2027년까지 미뤄졌습니다. 많은 미국 기업에게는 불확실성을 견디며 기다리는 것이 유혹이 됩니다.

저는 이것이 잘못된 직관이라고 주장합니다. 미국에서 어떤 규제 모델이 최종적으로 성공하든, 근본적인 요구사항은 사라지지 않을 것입니다. 데이터가 어디서 왔는지 알아야 합니다. AI가 사용하기 전에 누군가 실제로 검증했는지도 확인해야 합니다. 이러한 규율을 지금 구축하면 기업이 새로운 규제에 대비하고 유망한 AI 파일럿을 비즈니스가 자신 있게 활용할 수 있는 도구로 전환하는 데 도움이 됩니다.

5%를 구분 짓는 요소

한 고객 사례를 말씀드리겠습니다. 그들의 총계정원장 팀은 장부에 불일치가 발생할 때마다 300개의 개별 스프레드시트를 모두 검토해야 했습니다. 무려 300개였습니다. 결국 누군가가 그 복잡한 데이터를 하나의 거버넌스된 데이터 자산으로 재구성했으며, 계산식, 보고서, 기본 데이터를 함께 패키징하고 사전에 검증했습니다. 다음에 문제가 발생했을 때, 해결에 필요한 노력은 이전의 일부에 불과했습니다. 이 단일 프로세스만으로도 약 750일의 노동을 절감했으며, 이는 정리만으로도 수백만 달러의 비용 절감 효과를 가져왔습니다.

이 개선은 올바른 데이터를 쉽게 찾을 수 있게 하고, 재검증 없이도 신뢰할 수 있게 만든 데서 비롯되었습니다. 협업과 재사용이 이를 가능하게 했습니다. 신뢰받는 데이터 제품은 기업 표준에 맞추어 조정되고, 시간이 지나면서 확장·업그레이드되며, 신뢰 점수를 부여받고 가치 관리가 이루어집니다. 이러한 접근 방식은 개별 물리적 데이터베이스 테이블에 연결된 수백·수천 개의 제품을 만들 필요성을 줄여줍니다.

강력한 프로그램은 그 신뢰성을 가시화합니다. 제가 협업하는 데이터 마켓플레이스에서는 자산을 품질, 큐레이션, 사용량, 소유권 등 요소에 따라 골드, 실버, 브론즈로 분류합니다. 비즈니스 사용자는 자산을 사용하기 전에 그 신뢰성을 확인할 수 있습니다. 이러한 가시성은 사람들의 추측을 멈추게 하고, 이미 존재하는 데이터를 재사용하려는 의지를 높입니다.

95%라는 수치는 많은 기업이 생성 AI 뒤의 데이터를 얼마나 무심코 다뤘는지를 경고합니다. 진전을 이루고 있는 조직은 데이터의 출처, 검증 방식, 업무 적합성을 명확히 보여주고 있습니다. 수년간 데이터 관리가 배경 작업으로 여겨졌지만, 이제 AI가 그 가치를 드러내고 있습니다.