사상 리더
엔티티 식별·통합은 데이터 정리를 넘어 AI 인프라가 되고 있다

핵심 포인트에이전트가 해석된 식별자에 즉시 작용하기 때문에 엔티티 해석은 주기적 정리 작업에서 런타임 인프라로 전환된다.
더 보기
- 에이전트가 해석된 식별자에 즉시 작용하기 때문에 엔티티 해석은 주기적 정리 작업에서 런타임 인프라로 전환된다.
- 검색 증강 에이전트는 분절되거나 잘못 병합된 레코드를 물려받고 그 모호성을 확정된 사실로 취급한다.
- 대부분의 조직은 자율 에이전트를 배포하지만, 자신들의 인프라가 이를 통제할 준비가 진정으로 갖춰졌다고 고려하는 곳은 거의 없다.
얼마 전, 나는 한 AI 에이전트가 지극히 평범한 이유로 자신 있게 틀린 답을 하는 모습을 보았다. 어느 기업에는 같은 법인 고객에 관한 레코드가 두 개 있었다. 하나에는 예전 상호와 재무 담당 연락처가 있었고, 다른 하나에는 인수 후 채택한 새 법적 명칭과 다른 청구지 주소가 있었다. 에이전트는 “이 고객 계정의 거래 상태에 문제가 없는가?”라는 간단한 질문을 받았다. 레코드 하나를 찾아 연체 청구서가 없다는 것을 보고 그렇다고 답했다. 연체 청구서는 다른 이름 아래에 기록되어 있었다.
환각으로 지어낸 내용은 없었다. 모델은 주어진 데이터를 바탕으로 논리적으로 추론했다. 다만 데이터가 현실에서는 하나인 고객을 둘로 묘사하고 있었을 뿐이다. 오류는 언어 모델이 아니라 레코드를 연결하는 조인에 있었다.
나는 이것이 기업 AI에서 가장 과소평가되고 가장 적게 논의되는 위험 중 하나라고 생각하게 되었다. 모델 정확도, 프롬프트 설계, 거버넌스에 관해서는 끝없이 이야기한다. 하지만 시스템이 현실의 어떤 고객, 공급업체, 계정을 대상으로 행동하는지 실제로 아는가에 대해서는 훨씬 적게 이야기한다. 이 질문에는 이름이 있다. 엔티티 식별·통합, 즉 entity resolution이다. 60년 동안 뒤에서 작동하던 이 기술이 조용히 실시간 인프라의 일부로 바뀌고 있다.
문제의 시제가 바뀌었다
이 기술의 역사 대부분에서 “이 두 레코드는 같은 엔티티인가?”는 데이터 정리의 문제였다. 마스터 데이터 관리 프로그램, 데이터 웨어하우스, 분석 파이프라인 어딘가에서 일정에 따라 배치 작업으로 실행했다. 완벽하지는 않았지만 결과물이 누군가 다음 주에 읽을 보고서였기에 오류를 감당할 수 있었다. 같은 공급업체의 레코드 둘을 합치지 못하면 지출 수치가 약간 틀렸고, 분석가가 이를 발견해 다음 실행에서 수정했다. 시스템에는 여유가 있었고 시간이 오류를 흡수했다.
AI 에이전트는 그 여유를 없앤다. 질문의 시제를 “언젠가”에서 “지금”으로 바꾼다. 에이전트가 환불을 승인하고, 사건을 배정하고, 프로필을 갱신하거나 규정 준수 질문에 답하려는 순간, 식별·통합된 엔티티는 더 이상 대시보드의 입력이 아니다. 행동의 입력이다. 잘못된 조인의 대가는 조금 어긋난 숫자에서 즉시 현실 세계에 일어나는 일로 바뀐다. 게다가 오류를 잡아낼 사람이 과정에 참여하지 않는 경우도 많다.
이 변화는 곰곰이 생각해 볼 가치가 있다. 근본적인 문제는 오래되었고 잘 이해되어 있다. 새로운 점은 그것을 스스로 행동하는 시스템에 직접 연결했다는 것이다.
1960년대의 통계 문제
엔티티 식별·통합은 대규모 언어 모델과 함께 등장한 것이 아니라 천공 카드 시대에 등장했다. 1959년 H. B. Newcombe와 동료들은 Science에 출생·혼인 등 인구동태 기록의 자동 연결에 관한 짧은 논문을 발표해, 출생 기록과 혼인 기록이 같은 사람을 가리키는지 컴퓨터가 판단하는 방법을 설명했다. 10년 뒤 Ivan Fellegi와 Alan Sunter는 이 아이디어에 형식적 수학 이론을 부여했다. 오늘날 모든 매칭 시스템이 여전히 내놓는 세 가지 결과, 즉 연결, 비연결, 사람이 검토해야 할 연결 가능성을 정의한 것이다.
이 발전 과정에는 짚고 넘어갈 세부 사항이 있다. 사람들이 가장 자주 잘못 이해하는 부분이기 때문이다. 레코드 연결은 이메일 주소나 공유 ID의 완전 일치만을 뜻한 적이 없다. 처음부터 확률적이었다. 두 레코드에서 성, 날짜, 장소가 일치한다는 증거에 가중치를 매겨 점수를 산출했다. 사람이 입력한 데이터는 뒤섞여 있고 정확한 키만으로는 계속 실패하기 때문이다. 현대의 엔티티 식별·통합도 같은 방식으로 작동한다. 공유하는 안정적인 식별자가 결정적 역할을 하는 결정론적 규칙과, 확률적·퍼지 기계학습 매칭을 결합한다. 이를 통해 오타, 별명, 뒤바뀐 필드, 약어, 같은 사람이나 회사가 시스템마다 다르게 나타나는 열두 가지쯤의 작은 차이에 대응한다. 훌륭한 이 분야의 개관은 1950년대 인구동태 기록에서 현재의 클러스터링과 기계학습 방법까지 이어지는 끊김 없는 계보를 보여준다.
정말 달라진 것은 답이 필요한 시점이다. 연구자들은 현재의 AI 열풍보다 훨씬 전부터 사전 처리만 하는 대신 질의 시점에 엔티티를 식별·통합하는 방법을 논의했다. 당시에는 흥미로운 최적화였지만 지금은 필수 요건에 더 가깝다.
에이전트가 이를 인프라로 바꾸는 이유
대부분의 기업 AI 시스템은 모델의 기억에서 답을 꺼내지 않고 정보를 검색한다. 검색 증강 생성으로 널리 알려진 방식에서는 에이전트가 질문받는 순간 관련 맥락을 가져와 그것을 토대로 추론한다. 전반적으로 좋은 일이다. 답변이 모델의 학습 내용보다 조직의 데이터에 근거하게 해주기 때문이다.
그러나 놓치기 쉬운 결과가 따른다. 에이전트는 검색 단계가 건네는 내용을 그대로 물려받는다. 검색이 서로 연결되지 않은 부분 레코드 세 개로 쪼개진 고객을 반환하면 에이전트는 고객 셋에 관해 추론한다. 서로 다른 회사 둘을 하나의 프로필로 잘못 합친 고객을 반환하면 하나에 관해 추론한다. 소스 시스템에 이미 있던 모호함이 그대로 전달되어 확정된 사실처럼 모델에 제시된다. 모델은 조인이 잘못되었는지 알 길이 없다. 당신도 한 번도 보지 못한 레코드의 말끔한 요약을 읽으면서는 이를 알 수 없는 것과 같다.
따라서 식별·통합은 분기에 한 번 실행해 별도 테이블에 저장하는 뒤늦은 부가 작업일 수 없다. 데이터를 받아들이는 시점에 엔티티를 구성하고, 에이전트가 요구하는 순간 최신 식별·통합 뷰를 가져올 수 있어야 한다. 이것은 런타임 의존성이다. 주기적인 데이터 정리 프로젝트보다는 데이터베이스나 인증 서비스와 훨씬 비슷하게 작동한다. 애플리케이션이 실시간 호출하는 다른 시스템과 마찬가지로 설계하고, 모니터링하고, 신뢰성을 확보해야 한다.
아무도 정확히 이름 붙이지 않는 준비도 격차
업계는 이미 무언가 부족하다고 느낀다. Cisco의 AI Readiness Index 2025에 따르면 조직의 83%가 자율 에이전트 배포를 계획하지만, 인프라가 정말 준비되었다고 느끼는 곳은 약 3분의 1이고 에이전트가 실제로 하는 일을 통제하고 관리할 역량이 있다고 느끼는 곳은 약 4분의 1에 불과하다. McKinsey의 최신 State of AI 조사는 다른 방향에서 비슷한 격차를 보여준다. 약 88%의 조직이 적어도 한 가지 기능에서 AI를 사용하지만 대부분은 전사적으로 확장하지 못했다.
이 격차를 설명할 때 사람들은 데이터 품질과 거버넌스라는 두 단어를 흔히 사용한다. 둘 다 중요하며 어느 것도 선택 사항이 아니다. 하지만 그 아래에는 깨끗하고 잘 관리된 데이터만으로 답할 수 없는 더 좁은 질문이 있다. 지금 당장 어떤 레코드가 존재하는 모든 위치를 가로질러, 그것이 현실의 어느 엔티티를 가리키는지 시스템이 알아낼 수 있는가? 개별 시스템마다 고품질 데이터를 보유하고도 이 시험에 실패할 수 있다. 실패는 어느 한 시스템 내부가 아니라, 같은 고객이 조금씩 다른 세 얼굴로 나타나는 시스템 사이의 틈에 있기 때문이다.
에이전트에게 행동을 맡기기 전에 확인할 사항
엔티티 식별·통합을 실시간 인프라로 다루면 인프라처럼 점검할 수 있다. 운영 실패 유형은 구체적이며 시험 가능하다. 하나여야 할 신원의 분리, 따로 두어야 할 레코드의 잘못된 병합, 이미 대체된 주소를 계속 우선하는 낡은 대표값 선택 규칙, 영속적 식별자의 누락, 소스 시스템의 모호함을 해결된 사실처럼 물려받는 에이전트가 그 예다.
실용적인 준비도 시험에는 새로운 모델이나 새로운 공급업체 범주가 필요 없다. 실제 관계와 상태를 확실히 이해하는 엔티티의 정답 데이터셋을 모아라. 데모용으로 별도 정리한 복사본이 아니라 에이전트가 실제로 사용하는 것과 같은 검색 경로에 통과시켜라. 그런 다음 결과를 정말 좌우하는 항목을 측정하라. 잘못된 병합과 분리의 수, 진짜 모호함의 처리 방식, 확신도 임계값, 추측 대신 사람에게 넘기는 시점, 기존 마스터 데이터와 거버넌스 통제에 얼마나 원활하게 인계하는지다. 팀이 이 질문에 답하지 못한다면 에이전트는 검증할 수 없는 신원에 근거해 행동하며 그 출력에 대한 신뢰는 잘못된 것이다.
이 중 어떤 것도 마스터 데이터 관리, 거버넌스, 고객 데이터 플랫폼, 웨어하우스를 대체하지 않는다. 이들은 서로 다른 질문에 답하며 여전히 필요하다. 거버넌스는 에이전트가 무엇을 해도 되는지 결정한다. 엔티티 식별·통합은 누구에게, 무엇에 대해 그 행동을 하는지 결정한다. 전자는 대부분의 대규모 조직에서 성숙했다. 후자는 많은 조직이 에이전트에게 조언이 아닌 행동을 맡기는 순간, 전자 옆에 실시간으로 필요하다는 사실을 곧 깨닫게 될 계층이다.
내가 본 에이전트는 더 똑똑한 모델이 필요했던 것이 아니다. 자신 있게 말하도록 허용되기 전에 두 이름이 한 고객이라는 사실을 알아야 했다. 우리가 이 시스템들에 실제 행동 권한을 넘길수록, 이 조용한 60년 전통의 기술은 단순한 정리를 넘어 하중을 지탱하는 기반이 된다.












