데이터 생태계가 AI 준비가 되었는지 확인하는 방법: 기업이 시스템을 AI로 전환하기 위해 준비하는 방법

미래의 통화로 데이터를 수집하는 것은 기업들에게 익숙한 과정입니다. 그러나 이전의 기술과 도구는 기업들을 단순하고 구조화된 데이터, 즉 거래 정보와 고객 및 콜 센터 대화 등에 국한시켰습니다. 그로부터 기업들은 감정 분석을 통해 제품이나 서비스에 대한 고객의 감정을 확인했습니다.

새로운 AI 도구와 기능은 기업들이 구조화된 데이터를 넘어 복잡하고 비구조화된 데이터 세트를 활용할 수 있는 기회를 제공합니다. 예를 들어, 대규모 언어 모델(Large Language Model, LLM)은 인간 상호작용을 분석하고 고객 경험(CX)을 풍부하게 하는 중요한 통찰력을 추출할 수 있습니다.

그러나 기업들이 AI의 힘을 활용하기 전에, AI 통합을 준비하기 위한 많은 단계가 있으며, 그 중 하나는 데이터 생태계를 현대화하는 것입니다. 아래는 기업들이 데이터 생태계를 AI 준비가 되도록 하는데 사용할 수 있는 몇 가지 모범 사례와 전략입니다.

데이터 에스테이트 마스터링

기업들은 데이터를 중앙 집중식 저장소 또는 데이터 에스테이트에 수집하고 조직화하여 AI 준비가 되도록 해야 합니다. 기업의 데이터 에스테이트는 모든 데이터를 저장하고 관리하는 인프라스트럭처로, 주요 목표는 데이터를 필요로 하는 사람에게 데이터를 제공하여 데이터 기반 의사 결정을 내리거나 데이터 자산에 대한 전체적인 시각을 얻는 것입니다. 그러나 대부분의 기업들은 기존의 데이터 에스테이트를 이해하지 못하고 있습니다. 이는 레거시 제약, 데이터 시洛, 접근 제어의 부족 또는 이러한 이유의 조합으로 인해 발생합니다.

기업들이 데이터 에스테이트에 대한 더 깊은 이해를 얻으려면, AI 솔루션을 제공할 수 있는 파트너와 협력해야 합니다. 이러한 플랫폼은 기업들이 LLM, AI 네이티브 애플리케이션, 사용자 정의 추가 기능 및 데이터 저장소에서 실험과 혁신을 가속화할 수 있도록 도와줍니다. 또한 이 플랫폼은 보안, 확장 가능하고 사용자 정의 가능한 AI 작업 벤치로 작동하여 기업들이 데이터 생태계에 대한 더 깊은 이해를 얻고, AI 기반 비즈니스 솔루션을 개선하는 데 도움을 줄 수 있습니다.

데이터 에스테이트에 대한 더 깊은 이해는 단순히 AI 솔루션의 효과성을 향상시키는 것뿐만 아니라, 기업들이 AI 도구를 더 책임감 있게 사용하고 데이터 보안을 우선시하는 데에도 도움이 됩니다. 데이터는 계속해서 자세해지고 있으며, 이는 기술적 규정 준수와 책임감 있는 AI 모범 사례를 준수하는 필요성을 강조합니다.

데이터 거버넌스 및 보안 강화

기업들의 데이터 거버넌스 프레임워크는 AI 준비를 위해 상당한 변화를 겪어야 합니다. 데이터 거버넌스 프레임워크는 상대적으로 최근에 발명되었으며, 전통적인 데이터 자산에 더 중점을 두었습니다. 그러나 오늘날, 구조화된 데이터 외에도, 기업들은 개인 식별 정보(PII), 이메일, 고객 피드백 등과 같은 비구조화된 데이터를 사용해야 하며, 현재의 데이터 거버넌스 프레임워크는 이를 처리할 수 없습니다.

또한, 생성적 AI(Generative AI, Gen AI)는 규칙 기반에서 가드레일로 데이터 거버넌스 패러다임을 변경하고 있습니다. 기업들은 경계를 정의해야 하며, 단순한 규칙에 의존해서는 안 됩니다. 경계를 정의하고 특정 데이터 세트에 대한 성공 확률을 계산한 다음 출력이 해당 매개변수 내에 유지되는지 측정하여, 기업들은 AI 솔루션이 기술적으로 준수하는지 또는 미세 조정이 필요한지 확인할 수 있습니다.

기업들은 새로운 데이터 거버넌스 도구, 접근 방식 및 방법론을 구현하고 채택해야 합니다. 주요 브랜드는 기계 학습 기술을 사용하여 데이터 거버넌스와 품질 보증을 자동화합니다. 특히,事前に 정책과 임계값을 설정함으로써, 이러한 기업들은 데이터 표준의 시행을 더 쉽게 자동화할 수 있습니다. 다른 데이터 거버넌스 모범 사례로는, 엄격한 데이터 처리 및 저장 프로토콜을 배포하고, 가능하다면 데이터를 익명화하며, 불필요한 데이터 수집을 제한하는 것이 포함됩니다.

AI 기반 데이터 수집을 둘러싼 현재 규제 환경이 계속해서 발전함에 따라, 규정 준수를 하지 않는 경우 심각한 벌금과 평판 손실을 초래할 수 있습니다. 이러한 새로운 규칙을 탐색하려면, 기업의 운영 지역에 특정한 데이터 보호 법률을 기록하는 포괄적인 데이터 거버넌스 프레임워크가 필요합니다. 예를 들어, EU의 AI 법이 있습니다.

마찬가지로, 기업들은 조직 전체에서 데이터 리터러시를 향상시켜야 합니다. 기업들은 기술 인력만이 아닌 모든 수준에서 변경을 만들어야 합니다. 데이터 성숙도 평가를 시작하여 다양한 역할에 대한 데이터 보안 역량을 평가할 수 있습니다. 이러한 평가를 통해, 예를 들어, 팀이 동일한 비즈니스 언어를 사용하고 있지 않은 경우를 식별할 수 있습니다. 기준을 설정한 후, 기업들은 데이터 리터러시와 보안 인식을 높이기 위한 계획을 구현할 수 있습니다.

데이터 처리 능력 향상

비구조화된 데이터가 기업들의 성공 또는 실패를 결정하는 요소라는 것은 이미 분명합니다. 이전에 언급했듯이, 비구조화된 데이터에는 PII, 이메일, 고객 피드백 및 정상적인 텍스트 파일, PDF, Microsoft Excel 스프레드시트 등에 저장할 수 없는 모든 데이터가 포함됩니다. 비구조화된 데이터의 이러한 특성은 분석 또는 검색을 더 어려워지게 만듭니다. 대부분의 데이터 기술 도구와 플랫폼은 비구조화된 데이터를 통합하고 처리할 수 없습니다. 특히, 일상적인 고객 상호작용의 맥락에서 그렇습니다.

비구조화된 데이터의 도전을 극복하기 위해, 기업들은 이 비문서화된 지식을 캡처하고 추출하여 기업 지식 베이스에 매핑하여 데이터 생태계에 대한 전체적인 그림을 생성해야 합니다. 과거에는 이 지식 관리 프로세스가 노동 집약적이었습니다. 그러나 AI는 데이터를 여러 소스에서 수집하고, 불일치를 수정하고, 중복을 제거하고, 중요한 데이터와 중요하지 않은 데이터를 구분하는 등 더 쉽고 경제적으로 만들고 있습니다.

AI가 데이터 생태계와 통합되면, 복잡한 자산을 자동화된 처리를 도와줄 수 있습니다. 예를 들어, 법적 문서, 계약, 콜 센터 상호작용 등이 포함됩니다. AI는 또한 지식 그래프를 구축하여 비구조화된 데이터를 조직화하고, 생성적 AI 기능을 더 효과적으로 만듭니다. 또한, 생성적 AI는 기업들이 공유된 유사성에 따라 데이터를 수집하고 분류하고, 누락된 의존성을 발견하는 데 도움을 줄 수 있습니다.

이러한 새로운 AI 기반 데이터 분석 도구는 비정리된 데이터에서 통찰력을 얻고 의미를 추출할 수 있습니다. 그러나 기업들은 이러한 복잡한 데이터 세트를 지원하기 위해 기술 스택을 현대화해야 합니다. 기술 스택을 재구성하기 시작하는 것은 특정 시스템이 현대적인 혁신과 함께 작동할 수 있는 수준에서 수행되는지 여부를 평가하는 것입니다. 또한, 기업들은 기존 시스템 중 어떤 시스템이 새로운 도구와 통합될 수 있는지 결정해야 합니다.

AI 준비를 위한 도움

데이터 생태계를 AI 준비가 되도록 하는 것은 복잡하고 다단계적인 과정입니다. 이는 높은 수준의 전문 지식을 필요로 합니다. 몇몇 기업들은 이러한 지식이나 기술을 내부에 가지고 있지 않습니다. 기업이 파트너의 전문 지식을 활용하여 데이터 생태계를 AI 통합을 준비하기로 결정한다면, 특정 자질을 우선시해야 합니다.

첫째, 이상적인 파트너는 클라우드, 보안, 데이터, CX 등과 같은 여러 상호 연결된 분야에서 기술 전문 지식을 갖추어야 합니다. 또 다른 이상적인 파트너의 특징은 민첩성의 중요성을 인식하는 것입니다. 기술적 변화가 가속화됨에 따라, 미래를 예측하는 것이 더 어려워지고 있습니다. 따라서, 이상적인 파트너는 미래의 특정 상태를 예측하려고 시도해서는 안 됩니다. 대신, 비즈니스 데이터 생태계와 인적 자본을 시장 동향과 고객需求에 따라 적응할 수 있도록 도와야 합니다.

또한, 이전에 논의한 바와 같이, AI 기술은 데이터 과학 팀만이 아닌 모든 사람에게 적용됩니다. AI 활성화는 조직 전체의 노력입니다. 모든 직원이 자신의 수준에 관계없이 AI에 대한 지식을 갖추어야 합니다. 파트너는 이 격차를 메우는 데 도움을 주어야 하며, 비즈니스와 사람에 대한 전문 지식을 결합하여 기업들이 내부에서 필요한 능력을 개발하도록 도와야 합니다.