AI의 가장 큰 장벽은 역량이 아니라 신뢰입니다.

AI가 핵심 비즈니스 워크플로와 고객 참여에서 더 큰 역할을 맡게 되면서, 과제는 이제 도입이 아니라 신뢰가 되었습니다. 조직이 효율성을 높이기 위해 AI를 확장하더라도 고객이 자동으로 신뢰를 부여하는 것은 아닙니다.

에 따르면 KPMG의 2025년 전 세계 신뢰, 태도 및 인공지능 활용에 관한 연구, 미국인 중 AI를 신뢰하려는 비율은 41%에 불과하지만, 70%는 AI가 자신에게 도움이 될 것이라고 기대합니다. 문제는 사람들이 AI의 가치를 보지 못하는 것이 아니라, 조직이 완전히 이해하지 못하거나 일관된 결과를 보지 못하는 기술을 신뢰하도록 요구한다는 점입니다. 이는 이러한 도구들이 종종 분할된 데이터, 연결되지 않은 워크플로, 일관성 없는 커뮤니케이션 위에 놓여 있기 때문입니다. 이러한 시스템이 잘 연동되지 않으면 AI는 신뢰를 구축하지 못하고 오히려 신뢰를 약화시킬 수 있습니다.

AI는 이미 존재하는 것을 확장합니다

AI는 그 뒤에 있는 시스템을 자동으로 개선하지 않습니다. 경우에 따라 조직 내부 프레임워크 내 기존 약점을 드러낼 수 있습니다. 이메일로 하나의 답변을 받고, SMS로 또 다른 답변을 받으며, 담당자와 대화할 때는 다른 답변을 받는 고객을 생각해 보세요. 이 과정에 AI를 도입한다고 해서 근본적인 문제가 해결되는 것이 아니라 단순히 가속화할 뿐입니다. 이러한 오류는 고객을 좌절시키고, 삶을 더 쉽게 만들겠다는 AI 프로세스에 대한 신뢰와 확신을 손상시킵니다.

AI는 입력되는 데이터와 운영 시스템만큼만 신뢰할 수 있기 때문에, 조직은 기존 운영에 AI만 얹어 놓고 더 나은 결과를 기대할 수 없습니다. 단편화된 워크플로는 모델이 불충분하거나 오래되었거나 상충되는 정보를 기반으로 작동하도록 만듭니다. 이러한 시스템을 연결하면 AI가 일관된 데이터 흐름을 확보하게 되어 내부 팀과 소비자에게 보다 정확한 정보를 제공할 수 있습니다.

고객은 AI 애플리케이션 뒤의 프로세스를 직접 보지는 못하지만, 결과물은 확인합니다. AI가 생성한 응답이 틀리거나 생활을 더 어렵게 만든다면, 고객은 조직과 기술에 대한 신뢰를 잃게 됩니다.

책임 있는 AI에는 명확한 경계가 필요합니다

조직은 AI가 가장 큰 가치를 제공할 수 있는 영역을 정의해야 합니다. 최근 연구에 따르면 소비자들은 데이터 보안과 인간 감독 부족에 대해 우려하고 있으며, 개인 데이터를 처리하는 AI를 신뢰한다고 답한 비율은 40%에 불과하고, 47%는 후자에 대해 우려를 표명했습니다. 이러한 우려는 조직이 AI를 설계하고 배포하는 방식에 영향을 미쳐야 하며, 단순히 AI에 대해 이야기하는 방식만 바뀌면 안 됩니다. 

소비자가 AI가 자신들의 최선의 이익을 위해서만 사용될 것이라고 확신하려면, 조직은 AI가 접근할 수 있는 정보, 수행할 수 있는 행동, 인간이 개입할 시점을 정확히 명시하는 명확한 AI 거버넌스 프레임워크를 구축해야 합니다. 이는 AI가 사용될 때마다 인간을 개입시키는 것을 의미하는 것이 아니라, 인간 판단이 중요한 지점을 식별하고 그 지점을 AI 워크플로에 통합하는 데 초점을 맞춰야 함을 뜻합니다.

AI가 정의된 경계 내에서 작동하고 고객 정보를 적절히 활용하며 행동에 대한 명확한 규칙을 갖추면, 조직은 신뢰를 얻기 위한 보다 탄탄한 기반을 마련할 수 있습니다. 

투명성은 사후 고려 사항이 될 수 없습니다

조직이 AI 활용을 확대함에 따라, 고객에게 기술이 어디서 어떻게 사용되는지 명확히 알려야 합니다. Deloitte의 2025 Connect Consumer Survey에 따르면 소비자들은 기술이 충분한 투명성 없이 진보하고 있다고 느끼는 경우가 많습니다. 그들은 모델이 어떻게 작동하는지를 설명해 달라는 것이 아니라, 기술이 자신의 정보를 어떻게 활용하는지, 경험에 어떤 영향을 미치는지, 문제가 발생했을 때 누가 책임을 질 것인지를 알고 싶어합니다.

실제로 이는 AI가 어떻게 사용되는지를 사전에 적극적으로 알리는 것을 의미하며, 사람들에게 AI가 무엇을 할 수 있고 할 수 없는지에 대한 충분한 명확성을 제공해야 함을 뜻합니다. 조직이 AI 시스템 설계 단계에 이러한 투명성을 내재화하면, 소비자는 AI가 어떻게 작동하는지를 이해함으로써 더 많이 신뢰하고 활용하게 됩니다.

신뢰가 AI의 ROI를 결정합니다

고객은 AI 시스템 내부에서 무슨 일이 일어나고 있는지는 직접 보지 못하지만, 결과를 체감합니다. AI가 만든 응답이 틀리거나, 같은 말을 반복해야 하거나, 질문하는 채널에 따라 다른 답변을 받는 경우를 경험하게 됩니다. 이러한 경험은 신뢰를 손상시키지만, 근본적인 문제는 바로 그 이면에 있는 분할된 데이터, 연결되지 않은 프로세스, 약한 거버넌스, 혹은 불명확한 커뮤니케이션에 있습니다.

따라서 조직은 AI 모델 자체만을 평가 기준으로 삼지 말고, 이를 둘러싼 전체 환경을 살펴야 합니다. ROI는 이를 활용하는 사람들이 신뢰할 수 있느냐, 그리고 고객 참여를 촉진할 수 있느냐에 달려 있습니다. 사람들의 신뢰를 얻지 못하는 고도화된 시스템은 기업이 기대하는 결과를 제공하지 못합니다. AI는 계속해서 더 강력해지겠지만, 그 능력이 조직이 얼마나 멀리 나아갈 수 있는지를 결정하지는 않을 것입니다 — 결국 그것을 의존하는 사람들의 신뢰가 결정 요인이 됩니다.