기업을 위한 안전하고 신뢰할 수 있는 AI 에이전트에 대한 3가지 고려 사항

根据 Gartner의 보고서에 따르면, 30%의 GenAI 프로젝트는 2025년 말까지 개념 증명 이후 폐기될 가능성이 있습니다. GenAI의 초기 채택은 대부분의 기업의 데이터 인프라와 거버넌스 관행이 효과적인 AI 배포에 준비되지 않았음을 보여주었습니다. GenAI 제품화의 첫 번째 물결은 상당한 장애물에 직면했으며, 많은 조직이 의미 있는 비즈니스 가치를 달성하기 위해 개념 증명 단계를 넘어가는 데 어려움을 겪었습니다.

GenAI 제품화의 두 번째 물결에 돌입하면서, 기업들은 이러한 기술을 성공적으로 구현하기 위해 단순히 LLM을 데이터에 연결하는 것보다 더 많은 것이 필요하다는 것을 깨닫고 있습니다. AI의 잠재력을 해방하는 열쇠는 세 가지 핵심 기둥에 있습니다. 데이터를 정리하고 AI와 통합할 준비가 되었는지 확인하는 것, GenAI가 도입하는 고유한 도전을 해결하기 위해 데이터 거버넌스 관행을 개선하는 것, 그리고 사용자들이 전문적인 기술이나 정확한 사용 패턴을 배우지 않아도 안전하고 신뢰할 수 있는 사용이 자연스럽고 직관적이도록 AI 에이전트를 배포하는 것입니다. 이러한 기둥들은 기업 환경에서 안전하고 효과적인 AI 에이전트를 위한 강력한 기초를 마련합니다.

AI를 위한 데이터 적절히 준비하기

구조화된 데이터는 눈에 보이는대로 정리되어 있을 수 있지만, 표와 열에 정리되어 있지만, LLM은 종종 이러한 구조화된 데이터를 효과적으로 이해하고 작업하는 데 어려움을 겪습니다. 이는 대부분의 기업에서 데이터가 의미 있는 방식으로 레이블이 지정되지 않았기 때문입니다. 데이터는 종종 암호화된 레이블을 가지고 있으며, 예를 들어 “ID”는 고객, 제품, 또는 트랜잭션을 식별하는지에 대한 명확한 표시가 없습니다. 구조화된 데이터의 경우에도 서로 연결된 다양한 데이터 포인트 간의 적절한 컨텍스트와 관계를 캡처하는 것이 어려울 수 있습니다. 컴퓨터 비전 애플리케이션에서 의미 있는 상호 작용을 가능하게 하기 위해 이미지에 레이블을 지정하는 것과 마찬가지로, 조직은 데이터를 의미 있는 방식으로 레이블을 지정하고 모든 시스템에서 관계를 문서화하는 복잡한 작업을 수행해야 합니다.

또한, 데이터는 다양한 장소에 산재되어 있습니다. 전통적인 서버에서 다양한 클라우드 서비스와 다른 소프트웨어 애플리케이션까지, 이러한 시스템의 패치워크는 중요한 상호 운용성과 통합 문제를 초래합니다. 이러한 문제는 AI 솔루션을 구현할 때 더욱 심각해집니다.

또 다른 근본적인 도전은 다양한 시스템과 부서에서 비즈니스 정의의 일관성이 부족합니다. 예를 들어, 고객 성공 팀은 “업셀”을 하나의 방식으로 정의할 수 있지만, 판매 팀은 다른 방식으로 정의할 수 있습니다. AI 에이전트 또는 챗봇을 이러한 시스템에 연결하고 질문을 시작하면, 데이터 정의가 일치하지 않기 때문에 다른 답변을 받게 됩니다. 이러한 불일치는 사소한 불편함이 아니라, 신뢰할 수 있는 AI 솔루션을 구현하는 데 중요한 장벽입니다.

데이터 품질이 낮으면 “쓰레기가 들어가면 쓰레기가 나온다”라는 클래식한 시나리오가 발생하며, AI 도구를 배포할 때 이는更加 심각해집니다. 잘못된 또는 어수선한 데이터는 하나의 분석에만 영향을 미치지 않고, 시스템을 사용하는 모든 사람에게 잘못된 정보를 전파합니다. 비즈니스 의사 결정에 대한 신뢰를 구축하기 위해, 기업은 AI 애플리케이션이 깨끗하고 정확하며適절한 비즈니스 컨텍스트에서 이해되는 데이터를 보유하고 있어야 합니다. 이는 AI 시대에 데이터 자산에 대한 조직의 생각을 근본적으로 바꾸는 것입니다. 여기서 품질, 일관성, 의미론적 명확성이 데이터 자체와同じ 중요성을 갖습니다.

거버넌스 접근 방식 강화

데이터 거버넌스는 최근 몇 년 동안 조직의 주요 초점이었습니다. 주로 분석에 사용되는 데이터를 관리하고 보호하는 데 중점을 두었습니다. 기업은 민감한 정보를 매핑하고, 접근 표준을 준수하며, GDPR 및 CCPA와 같은 법규를 준수하며, 개인 데이터를 탐지하는 노력을 기울였습니다. 이러한 이니셔티브는 AI 준비 데이터를 생성하는 데 필수적입니다. 그러나 조직이 워크플로에 생성된 AI 에이전트를 도입할 때, 거버넌스 도전은 데이터 자체를 넘어 AI 에이전트와의 사용자 상호 작용 경험을 포함합니다.

우리는 이제 데이터뿐만 아니라 AI 에이전트를 통해 데이터와 상호 작용하는 프로세스를 거버넌스해야 합니다. 기존의 법률과 더 많은 규제는 AI 에이전트가 투명하고 설명 가능하며 추적 가능한 답변을 제공하는 것을 강조합니다. 사용자가 블랙박스 답변을 받으면, 예를 들어 “어제 입원한 독감 환자는 몇 명입니까?”라고 물었을 때 단순히 “50”이라는 답변만 받으면, 중요한 결정에 대한 정보를 신뢰하기 어렵습니다. 데이터가 어디에서 왔는지, 어떻게 계산되었는지, “입원”이나 “어제”와 같은 용어의 정의를 알지 못하면, AI의 출력은 신뢰할 수 없습니다.

문서와의 상호 작용과 달리 사용자가 답변을 특정 PDF 또는 정책으로 추적하여 정확성을 확인할 수 있는 경우, AI 에이전트를 통해 구조화된 데이터와의 상호 작용은 종종 이러한 수준의 추적 가능성과 설명 가능성이 부족합니다. 이러한 문제를 해결하기 위해, 조직은 민감한 데이터를 보호하는 것뿐만 아니라 AI 상호 작용 경험을 거버넌스하고 신뢰할 수 있도록 하는 거버넌스 조치를 구현해야 합니다. 이는 강력한 접근 제어를 설정하여 승인된 인력이만 특정 정보에 접근할 수 있도록 하고, 데이터 소유권과 관리 책임을 명확히 정의하며, AI 에이전트가 출력에 대한 설명과 참조를 제공하는 것을 포함합니다. 이러한 고려 사항을 포함하여 데이터 거버넌스 관행을 개선함으로써, 기업은 발전하는 규제를 준수하며 사용자 신뢰를 유지하는 동시에 AI 에이전트의 힘을 안전하게 활용할 수 있습니다.

프롬프트 엔지니어링을 넘어서

조직이 데이터 접근성을 개선하기 위해 생성된 AI 에이전트를 도입하면서, 프롬프트 엔지니어링은 비즈니스 사용자를 위한 새로운 기술적 장벽으로 등장했습니다. 프롬프트 엔지니어링은 데이터 분석에서 우리가 어려움을 겪은 것과 마찬가지로, 동일한 기술적 전문성을 다른 형식으로 재창조하는 것입니다. 완벽한 프롬프트를 생성하는 것은 전문적인 SQL 쿼리 또는 대시보드 필터를 작성하는 것과 다를 바 없습니다. 이는 기술적 전문성을 하나의 형식에서 다른 형식으로 이동시키는 것입니다. 대부분의 비즈니스 사용자는 이러한 기술을 갖추고 있지 않으며, 갖출 필요도 없습니다.

기업은 오랫동안 사용자를 데이터 시스템을 더 잘 이해하도록 훈련하고, 문서를 작성하며, 전문적인 역할을 개발하여 데이터 접근성을 해결하려고 노력했습니다. 그러나 이 접근 방식은 반대입니다. 우리는 사용자가 데이터에 적응하도록 요청하는 대신, 데이터가 사용자에게 적응하도록 해야 합니다. 프롬프트 엔지니어링은 또 다른 기술적 중간자 계층을 생성하여 이러한 패턴을 계속할 위험이 있습니다.

진정한 데이터 민주화는 비즈니스 언어를 이해하는 시스템을 필요로 합니다. 사용자가 고객 유지에 대해 물어볼 때, 완벽한 용어 또는 프롬프트를 사용할 필요가 없습니다. 시스템은 의도를 이해하고, 다양한 레이블에서 관련 데이터를 인식하며, 컨텍스트에 맞는 답변을 제공해야 합니다. 이렇게 하면 비즈니스 사용자가 기술적으로 완벽한 질문을 묻는 방법을 배우는 대신, 의사 결정을 중점으로 할 수 있습니다.

결론

AI 에이전트는 기업이 운영하고 의사 결정을 내리는 방식에 중요한 변화를 가져올 것입니다. 그러나 이러한 에이전트를 배포하기 전에 해결해야 할 고유한 도전이 있습니다. AI의 경우, 비기술적인 사용자가 자체 서비스에 접근할 때, 오류는 증폭되므로, 기초를 올바르게 설정하는 것이 중요합니다.

데이터 품질, 의미론적 정렬 및 거버넌스와 같은 근본적인 도전에 성공적으로 대처하고, 프롬프트 엔지니어링의 제한을 넘어서는 기업은 데이터 접근성과 의사 결정을 안전하게 민주화할 수 있는 위치에 있습니다. 최선의 접근 방식은 협업 환경을 생성하여 인간과 기계 간의 상호 작용과 기계 간의 상호 작용을 조율하는 것입니다. 이는 AI驱動 인사이트가 정확하고 안전하며 신뢰할 수 있도록 보장하며, 데이터를 전체 잠재력을 최대한 활용하여 관리하고 보호하고 관리하는 조직 전체 문화를 장려합니다.