Lãnh đạo tư tưởng
Phân giải thực thể đang trở thành hạ tầng AI, không chỉ là làm sạch dữ liệu

Điểm chínhViệc phân giải thực thể chuyển từ dọn dẹp định kỳ sang hạ tầng thời gian chạy vì các…
Xem thêm
- Việc phân giải thực thể chuyển từ dọn dẹp định kỳ sang hạ tầng thời gian chạy vì các tác nhân hành động ngay lập tức dựa trên các danh tính đã được phân giải.
- Các tác nhân tăng cường truy xuất kế thừa những bản ghi bị phân mảnh hoặc hợp nhất sai và coi sự mơ hồ đó là sự thật đã được xác lập.
- Hầu hết các tổ chức triển khai tác nhân tự chủ trong khi ít tổ chức cho rằng hạ tầng của họ thực sự sẵn sàng để quản trị chúng.
Một thời gian trước, tôi đã xem một tác nhân trí tuệ nhân tạo đưa ra một câu trả lời tự tin nhưng hoàn toàn sai lầm vì một lý do rất đơn giản. Một doanh nghiệp có hai bản ghi cho cùng một khách hàng doanh nghiệp. Một bản ghi chứa tên thương mại cũ và thông tin liên hệ tài chính. Bản ghi khác chứa tên pháp lý mới mà công ty đã áp dụng sau một thương vụ mua lại, cùng với địa chỉ hóa đơn khác. Tác nhân được hỏi một câu hỏi đơn giản: tài khoản này có trong tình trạng tốt không? Nó tìm thấy một bản ghi, thấy không có hóa đơn quá hạn và nói có. Tuy nhiên, hóa đơn quá hạn được lưu dưới tên khác.
Không có gì bị “huyễn tưởng”. Mô hình suy luận đúng đắn trên dữ liệu nó được cung cấp. Dữ liệu chỉ tình cờ mô tả hai khách hàng nơi trong thế giới thực chỉ có một. Lỗi không nằm trong mô hình ngôn ngữ. Nó nằm trong việc kết hợp.
Tôi đã bắt đầu nghĩ rằng đây là một trong những rủi ro bị đánh giá thấp nhất trong trí tuệ nhân tạo doanh nghiệp và cũng là một trong những điều được thảo luận ít nhất. Chúng ta nói rất nhiều về độ chính xác của mô hình, thiết kế lời nhắc và quản trị. Chúng ta nói ít hơn về việc liệu hệ thống thực sự biết khách hàng, nhà cung cấp hoặc tài khoản nào trong thế giới thực là đối tượng hành động của nó. Câu hỏi đó có một tên. Đó là phân giải thực thể, và sau sáu mươi năm ở hậu trường, nó đang im lặng biến thành một phần của cơ sở hạ tầng trực tiếp.
Vấn đề đã thay đổi thì
Trong hầu hết cuộc đời hoạt động của nó, “liệu hai bản ghi này là cùng một thực thể?” là một câu hỏi làm sạch. Bạn chạy nó trong một lô, theo lịch trình, ở một nơi nào đó trong chương trình quản lý dữ liệu chính, kho hoặc đường ống phân tích. Nó không bao giờ hoàn hảo, nhưng nó có thể chấp nhận được, vì đầu ra là một báo cáo mà ai đó sẽ đọc vào tuần tới. Nếu hai bản ghi của cùng một nhà cung cấp không được hợp nhất, một số chi tiêu sẽ hơi sai, một nhà phân tích sẽ nhận thấy và nó sẽ được sửa trong lần chạy tiếp theo. Hệ thống có khoảng thời gian dự phòng trong đó. Thời gian hấp thụ lỗi.
Một tác nhân trí tuệ nhân tạo loại bỏ khoảng thời gian dự phòng đó. Nó thay đổi thì của câu hỏi từ “rồi sẽ” thành “ngay bây giờ”. Khi một tác nhân sắp phê duyệt một khoản hoàn trả, định tuyến một trường hợp, cập nhật một hồ sơ hoặc trả lời một câu hỏi tuân thủ, thực thể đã giải quyết không còn cung cấp đầu vào cho bảng điều khiển mà cung cấp đầu vào cho một hành động. Chi phí của một liên kết sai chuyển từ một số hơi sai sang một điều gì đó xảy ra trong thế giới, ngay lập tức, và thường không có con người trong vòng lặp để bắt nó.
Đó là sự thay đổi đáng để suy ngẫm. Vấn đề cơ bản là cũ và được hiểu rõ. Điều mới là chúng ta đã kết nối nó trực tiếp vào các hệ thống hành động tự chủ.
Một vấn đề thống kê từ những năm 1960
Phân giải thực thể không đến với các mô hình ngôn ngữ lớn. Nó đến với thẻ đục lỗ. Vào năm 1959, H. B. Newcombe và các đồng nghiệp của ông đã xuất bản một bài báo ngắn trên tạp chí Science về liên kết tự động của hồ sơ hộ tịch, mô tả cách một máy tính có thể quyết định liệu một hồ sơ sinh và một hồ sơ kết hôn có đề cập đến cùng một người hay không. Một thập kỷ sau, Ivan Fellegi và Alan Sunter đã đưa ra một lý thuyết toán học chính thức cho ý tưởng này, định nghĩa ba kết quả mà bất kỳ hệ thống khớp nào vẫn sản xuất ngày nay: một liên kết, một liên kết không và một liên kết có thể mà một người cần xem xét.
Có một chi tiết trong lịch sử phát triển đó đáng để suy ngẫm, vì đó là phần mà mọi người thường hiểu lầm nhất. Liên kết hồ sơ không bao giờ chỉ là khớp chính xác trên một địa chỉ email hoặc một ID được chia sẻ. Ngay từ đầu, nó đã là xác suất. Nó đánh giá bằng chứng rằng hai hồ sơ đồng ý về một họ, một ngày, một địa điểm và tạo ra một điểm số, vì dữ liệu được nhập bởi con người là lộn xộn và các khóa chính xác thất bại liên tục. Phân giải thực thể hiện đại vẫn hoạt động theo cách này. Nó kết hợp các quy tắc tất định, nơi một định danh ổn định được chia sẻ là quyết định, với khớp máy học mờ và xác suất để đối phó với lỗi đánh máy, biệt danh, trường bị hoán đổi, viết tắt và khoảng một tá khác biệt nhỏ trong cách mà cùng một người hoặc công ty xuất hiện khác nhau trên các hệ thống. Một tổng quan về lĩnh vực tốt sẽ vạch ra một dòng không gián đoạn từ những hồ sơ hộ tịch những năm 1950 đến các phương pháp phân cụm và máy học được sử dụng hiện nay.
Điều thực sự đã thay đổi là khi chúng ta cần câu trả lời. Các nhà nghiên cứu đã viết về phân giải thực thể tại thời điểm truy vấn, chứ không chỉ thuần túy trước, từ lâu trước làn sóng trí tuệ nhân tạo hiện tại. Lúc đó nó là một tối ưu hóa thú vị. Bây giờ nó gần như là một yêu cầu.
Tại sao các tác nhân biến nó thành cơ sở hạ tầng
Hầu hết các hệ thống trí tuệ nhân tạo doanh nghiệp không trả lời từ bộ nhớ của mô hình. Chúng truy xuất. Phương pháp được biết đến rộng rãi với tên tạo sinh tăng cường truy xuất có một tác nhân kéo nội dung liên quan vào thời điểm câu hỏi và suy luận trên nó. Về tổng thể, đây là một điều tốt. Nó đặt nền tảng cho câu trả lời ở dữ liệu của bạn thay vì quá trình huấn luyện mô hình.
Nhưng nó mang theo một hệ quả dễ bị bỏ qua. Tác nhân kế thừa bất cứ điều gì bước truy xuất đưa cho nó. Nếu bước truy xuất trả về một khách hàng bị phân mảnh, ba bản ghi không đầy đủ chưa bao giờ được kết nối, tác nhân sẽ suy luận về ba khách hàng. Nếu bước truy xuất trả về một bản ghi bị hợp nhất sai, hai công ty khác nhau bị gộp vào một hồ sơ duy nhất, tác nhân sẽ suy luận về một. Sự mơ hồ vốn tồn tại trong các hệ thống nguồn của bạn được truyền trực tiếp và trình bày cho mô hình như một sự thật đã được giải quyết. Mô hình không có cách nào biết rằng liên kết là sai, cũng như bạn không thể biết điều đó khi đọc bản tóm tắt gọn gàng của những bản ghi mà bạn chưa từng thấy.
Vì vậy, phân giải không thể là một phần bổ sung được nghĩ đến sau, chạy mỗi quý và lưu kết quả vào một bảng riêng. Thực thể phải được lắp ráp khi dữ liệu được nạp vào, và chế độ xem đã phân giải và cập nhật của thực thể phải có thể truy xuất tại thời điểm tác nhân hỏi. Đó là một sự phụ thuộc thời gian chạy. Nó giống một cơ sở dữ liệu hoặc dịch vụ xác thực hơn nhiều so với một dự án làm sạch dữ liệu định kỳ, và nó phải được thiết kế, theo dõi và tin cậy giống như bạn sẽ đối xử với bất kỳ hệ thống nào mà ứng dụng của bạn gọi trong thời gian thực.
Khoảng cách sẵn sàng mà không ai đặt tên chính xác
Ngành công nghiệp đã cảm nhận được điều gì đó đang thiếu ở đây. Chỉ số sẵn sàng trí tuệ nhân tạo 2025 của Cisco cho thấy 83% tổ chức dự định triển khai các tác nhân tự chủ, trong khi chỉ khoảng một phần ba cảm thấy cơ sở hạ tầng của họ thực sự sẵn sàng cho chúng, và chỉ khoảng một phần tư cảm thấy được trang bị để kiểm soát và quản lý những gì các tác nhân thực sự làm. Khảo sát tình trạng trí tuệ nhân tạo mới nhất của McKinsey mô tả một khoảng cách tương tự từ hướng khác: khoảng 88% tổ chức hiện sử dụng trí tuệ nhân tạo trong ít nhất một chức năng, nhưng hầu hết chưa mở rộng nó trên toàn doanh nghiệp.
Khi mọi người giải thích khoảng cách đó, họ có xu hướng đưa ra hai từ: chất lượng dữ liệu và quản trị. Cả hai đều quan trọng, và không cái nào là tùy chọn. Nhưng có một câu hỏi hẹp hơn nằm dưới chúng mà dữ liệu sạch và được quản trị tốt không trả lời một mình. Hệ thống có thể xác định thực thể thế giới thực mà một bản ghi nhất định đề cập đến, trên tất cả các nơi mà bản ghi đó tồn tại, ngay bây giờ không? Bạn có thể giữ dữ liệu chất lượng cao trong từng hệ thống riêng lẻ và vẫn thất bại trong bài kiểm tra đó, vì sự thất bại không sống trong bất kỳ hệ thống nào. Nó sống trong không gian giữa chúng, nơi cùng một khách hàng mặc ba khuôn mặt hơi khác nhau.
Điều gì cần kiểm tra trước khi bạn để một tác nhân hành động
Nếu bạn đối xử với phân giải thực thể như cơ sở hạ tầng trực tiếp, bạn có thể kiểm tra nó như cơ sở hạ tầng. Các chế độ thất bại hoạt động cụ thể và có thể kiểm tra: các bản sắc bị chia tách nên là một, các hợp nhất sai của các bản ghi nên giữ riêng biệt, các quy tắc lựa chọn giá trị chuẩn đã lỗi thời, tiếp tục ưu tiên một địa chỉ đã được thay thế, các định danh bền vững bị thiếu, và các tác nhân kế thừa sự mơ hồ của hệ thống nguồn như thể nó là sự thật đã được giải quyết.
Một bài kiểm tra sẵn sàng thực tế không yêu cầu một mô hình mới hoặc một danh mục nhà cung cấp mới. Hãy tập hợp một bộ tham chiếu gồm các thực thể mà bạn biết rõ trạng thái thực tế. Chạy nó qua cùng một đường truy xuất mà tác nhân của bạn sử dụng, không phải một bản sao sạch được xây dựng cho bản demo. Sau đó đo lường những thứ thực sự quyết định kết quả: số lượng hợp nhất sai và chia tách sai, cách hệ thống xử lý sự mơ hồ thực sự, ngưỡng độ tin cậy của nó, khi nào nó chuyển lên người thay vì đoán, và mức độ chuyển giao suôn sẻ cho các kiểm soát dữ liệu chủ và quản trị hiện có của bạn. Nếu một nhóm không thể trả lời những câu hỏi đó, tác nhân đang hành động trên một danh tính mà nó không thể xác minh, và niềm tin vào đầu ra của nó là đặt nhầm chỗ.
Không điều nào trong số này thay thế quản lý dữ liệu chủ, quản trị, nền tảng dữ liệu khách hàng hoặc kho dữ liệu. Những thứ đó trả lời các câu hỏi khác, và chúng vẫn cần thiết. Quản trị quyết định những gì một tác nhân được phép làm. Phân giải thực thể quyết định hành động đó được thực hiện đối với ai hoặc điều gì. Lĩnh vực thứ nhất đã trưởng thành trong hầu hết các tổ chức lớn. Thứ hai là lớp mà nhiều người sắp phát hiện ra họ cần bên cạnh nó, trong thời gian thực, vào thời điểm họ để một tác nhân hành động thay vì tư vấn.
Tác nhân tôi xem không cần một mô hình thông minh hơn. Nó cần biết rằng hai tên là một khách hàng trước khi nó được phép trả lời đầy tự tin. Khi chúng ta trao cho những hệ thống này quyền lực thực sự để hành động, lĩnh vực âm thầm phát triển suốt sáu mươi năm này không còn chỉ làm sạch dữ liệu mà trở thành kết cấu chịu lực. [1] [2]












