Entity Resolution กำลังเป็น Infrastructure ของ AI ไม่ใช่การทำความสะอาดข้อมูล

เมื่อไม่นานมานี้ ผมได้ดู AI ที่ให้คำตอบที่มั่นใจผิดโดยสิ้นเชิง เนื่องจากเหตุผลที่น่าเบื่อหน่ายมาก บริษัทหนึ่งมีระเบียนสองชุดสำหรับลูกค้าองค์กรเดียวกัน ระเบียนหนึ่งมีชื่อการค้าเก่าและผู้ติดต่อฝ่ายการเงิน ในขณะที่อีกชุดมีชื่อทางกฎหมายใหม่ที่บริษัทได้รับหลังการเข้าซื้อกิจการพร้อมที่อยู่การเรียกเก็บเงินใหม่ ระบบถูกถามคำถามง่ายๆ ว่าบัญชีนี้มีสถานะที่ดีหรือไม่ ระบบพบระเบียนหนึ่งและไม่พบใบเรียกเก็บเงินที่ล่าช้า จึงตอบว่าใช่ แต่ใบเรียกเก็บเงินที่ล่าช้าอยู่ในอีกชุดหนึ่ง

ไม่มีสิ่งใดที่ถูกสร้างขึ้น ระบบให้เหตุผลอย่างชัดเจนเกี่ยวกับข้อมูลที่ได้รับ แต่ข้อมูลนั้นกลับอธิบายถึงลูกค้าสองรายที่มีอยู่จริงเพียงหนึ่งรายเท่านั้น ความผิดพลาดไม่อยู่ในโมเดลภาษา แต่อยู่ที่การเชื่อมต่อ

ผมได้เริ่มคิดว่านี่เป็นหนึ่งในความเสี่ยงที่ถูกมองข้ามมากที่สุดในด้าน AI ขององค์กร และเป็นเรื่องที่ถูกพูดถึงน้อยที่สุด เราได้พูดถึงความแม่นยำของโมเดล การออกแบบคำสั่ง และการกำกับดูแลอย่างไม่หยุดยั้ง แต่เราพูดถึงเรื่องนี้น้อยมากว่าระบบจริงๆ แล้วรู้หรือไม่ว่าลูกค้า ซัพพลายเออร์ หรือบัญชีใดที่กำลังดำเนินการอยู่ คำถามนี้มีชื่อเรียก มันเรียกว่าการแก้ไขเอนทิตี้ และหลังจากผ่านไปหกทศวรรษที่อยู่เบื้องหลัง มันกำลังเปลี่ยนเป็นโครงสร้างพื้นฐานที่มีชีวิตชีวา

ปัญหาเปลี่ยนกาล

ในช่วงชีวิตการทำงานส่วนใหญ่ “ระเบียนสองชุดนี้เป็นเอนทิตี้เดียวกันหรือไม่” เป็นคำถามในการทำความสะอาด คุณรันในแบตช์ ตามกำหนดเวลา ในที่ใดที่หนึ่งภายในโปรแกรมการจัดการข้อมูลหลัก โครงสร้างคลัง หรือในพายพันการวิเคราะห์ มันไม่สมบูรณ์แบบ แต่ก็สามารถอยู่รอดได้ เพราะเอาต์พุตเป็นรายงานที่ใครบางคนอ่านในสัปดาห์หน้า หากระเบียนสองชุดสำหรับซัพพลายเออร์เดียวกันไม่ได้รวมกัน ตัวเลขการใช้จ่ายจะออกมาไม่ถูกต้อง นักวิเคราะห์จะสังเกตเห็นและแก้ไขในรอบถัดไป ระบบมีความยืดหยุ่นในตัว เวลาได้รับการดูดซับข้อผิดพลาด

AI ตัวแทนเอาความยืดหยุ่นนั้นออกไป มันเปลี่ยนกาลของคำถามจาก “ในที่สุด” เป็น “ตอนนี้” เมื่อตัวแทนกำลังจะอนุมัติการคืนเงิน ส่งกรณี อัปเดตโปรไฟล์ หรือตอบคำถามการปฏิบัติตามกฎระเบียบ เอนทิตี้ที่แก้ไขแล้วไม่ได้ให้อาหารเข้าไปในแดชบอร์ดอีกต่อไป มันให้อาหารการกระทำต่างๆ ค่าใช้จ่ายของการเชื่อมต่อที่ผิดพลาดเปลี่ยนจากตัวเลขที่ไม่ถูกต้องเล็กน้อยไปเป็นสิ่งที่เกิดขึ้นในโลกจริงทันที และมักจะไม่มีมนุษย์ในวงจรที่จะจับได้

นี่คือการเปลี่ยนแปลงที่ควรพิจารณาอย่างรอบคอบ ปัญหาเบื้องหลังเป็นเรื่องเก่าและเข้าใจได้ดี สิ่งที่ใหม่คือเราวางมันไว้ตรงกลางระบบที่กระทำการโดยอัตโนมัติ

ปัญหาสถิติจากทศวรรษ 1960

การแก้ไขเอนทิตี้ไม่ได้มาถึงพร้อมกับโมเดลภาษาขนาดใหญ่ มันมาถึงพร้อมกับบัตรเจาะรู ในปี 1959 H. B. Newcombe และเพื่อนร่วมงานตีพิมพ์เอกสารสั้นใน Science เกี่ยวกับการเชื่อมโยงอัตโนมัติของบันทึกสำคัญ โดยอธิบายว่าคอมพิวเตอร์สามารถตัดสินได้ว่าบันทึกการเกิดและบันทึกการแต่งงานอ้างถึงบุคคลเดียวกันหรือไม่ ทศวรรษต่อมา Ivan Fellegi และ Alan Sunter ให้ทฤษฎีทางคณิตศาสตร์อย่างเป็นทางการแก่แนวคิดนี้ โดยกำหนดผลลัพธ์ที่ระบบจับคู่ใดๆ ยังคงสร้างได้ในปัจจุบัน: ลิงก์ ไม่ใช่ลิงก์ และลิงก์ที่เป็นไปได้ที่ต้องมีการทบทวนโดยมนุษย์

มีรายละเอียดในลักษณะการถ่ายทอดที่ควรพิจารณาอย่างรอบคอบ เพราะมันเป็นส่วนที่ผู้คนมักจะเข้าใจผิด การเชื่อมโยงบันทึกไม่เคยเป็นการแมตชิ่งแบบแม่นยำบนอีเมลหรือ ID ที่ใช้ร่วมกัน มันถูกออกแบบมาให้เป็นแบบสุ่มจากต้น โดยชั่งน้ำหนักหลักฐานที่ระเบียนสองชุดตกลงกันในนามสกุล วันที่ ที่ตั้ง และสร้างคะแนนเพราะข้อมูลที่มนุษย์ป้อนเข้ามาเป็นเรื่องยุ่งยาก และคีย์ที่แม่นยำล้มเหลวอย่างต่อเนื่อง การแก้ไขเอนทิตี้สมัยใหม่ยังคงทำงานในลักษณะนี้ โดยรวมกฏที่แน่นอน โดยที่ตัวระบุที่มั่นคงร่วมกันเป็นตัวตัดสิน กับการจับคู่แบบสุ่มและแมชชีนเลิร์นนิงที่รองรับข้อผิดพลาด การสะกดผิด ชื่อเล่น ฟิลด์ที่ถูกสลับกัน การย่อหน้า และวิธีการเล็กๆ น้อยๆ ที่บุคคลหรือบริษัทเดียวกันปรากฏตัวต่างกันไปในระบบต่างๆ

สิ่งที่เปลี่ยนแปลงไปจริงๆ คือเมื่อไหร่ที่เราต้องการคำตอบ นักวิจัยเขียนเกี่ยวกับการแก้ไขเอนทิตี้ ณ เวลาที่มีการค้นหา ไม่ใช่แค่ล่วงหน้าเท่านั้น ซึ่งเป็นการเพิ่มประสิทธิภาพที่น่าสนใจในขณะนั้น แต่ตอนนี้มันใกล้เคียงกับการต้องการแล้ว

ทำไมตัวแทนจึงเปลี่ยนเป็นโครงสร้างพื้นฐาน

ระบบ AI ขององค์กรมักจะไม่ตอบจากความจำของโมเดลโดยตรง แต่จะดึงข้อมูลมา รูปแบบที่ได้รับความนิยมคือ การสร้างแบบจำลองที่เพิ่มการดึงข้อมูล โดยให้ตัวแทนจับบริบทที่เกี่ยวข้อง ณ เวลาที่ถามคำถามและให้เหตุผลเกี่ยวกับข้อมูลนั้น โดยรวมแล้วเป็นสิ่งที่ดี เพราะมันให้คำตอบที่ยึดเหนี่ยวจากข้อมูลของคุณ ไม่ใช่จากข้อมูลการฝึกอบรมของโมเดล

แต่มันส่งผลตามมาอย่างหนึ่งที่ง่ายที่จะพลาดไป ตัวแทนจะถือเอาสิ่งที่ขั้นตอนการดึงข้อมูลส่งมอบให้ หากการดึงข้อมูลส่งกลับลูกค้าที่แตกออกเป็นสามชุดบันทึกที่ไม่เคยเชื่อมต่อ ตัวแทนจะให้เหตุผลเกี่ยวกับลูกค้าสามราย หากการดึงข้อมูลส่งกลับลูกค้าที่รวมกันไม่ถูกต้อง โดยสองบริษัทที่ต่างกันถูกบีบอัดเข้าไปในโปรไฟล์เดียว ตัวแทนจะให้เหตุผลเกี่ยวกับลูกค้าเพียงรายเดียว ความไม่แน่นอนในระบบต้นกำเนิดถูกส่งผ่านและนำเสนอให้กับโมเดลว่าเป็นข้อเท็จจริงที่ตัดสินแล้ว โมเดลไม่มีทางรู้ว่าการเชื่อมต่อนั้นผิดพลาด ไม่เหมือนกับที่คุณจะอ่านสรุปของบันทึกที่คุณไม่เคยเห็นมาก่อน

ดังนั้น การแก้ไขเอนทิตี้จึงไม่สามารถเป็นเรื่องรองจากที่รันเพียงครั้งเดียวและลงในตารางแยกต่างหากได้ เอนทิตี้ต้องถูกสร้างขึ้นเมื่อข้อมูลถูกดึงเข้ามา และมุมมองของเอนทิตี้ที่แก้ไขแล้วต้องสามารถดึงมาได้ทันทีที่ตัวแทนถาม ซึ่งเป็นความสัมพันธ์ที่ต้องใช้เวลาในการทำงาน มันทำงานเหมือนฐานข้อมูลหรือบริการการยืนยันตัวตนมากกว่าการทำความสะอาดข้อมูลแบบง่ายๆ และต้องถูกออกแบบ ตรวจสอบ และเชื่อถือได้ในลักษณะเดียวกับที่คุณจะรักษาระบบอื่นๆ ที่แอปพลิเคชันของคุณเรียกใช้แบบเรียลไทม์

ช่องว่างความพร้อมที่ไม่มีใครตั้งชื่ออย่างแม่นยำ

อุตสาหกรรมได้รับรู้แล้วว่ามีบางสิ่งที่ขาดไป Cisco’s AI Readiness Index 2025 พบว่า 83% ขององค์กรวางแผนจะใช้ตัวแทนอัตโนมัติ ในขณะที่เพียงหนึ่งในสามรู้สึกว่าโครงสร้างพื้นฐานของตนพร้อมสำหรับสิ่งนี้ และเพียงหนึ่งในสี่รู้สึกว่ามีอุปกรณ์ควบคุมและกำกับดูแลสิ่งที่ตัวแทนเหล่านั้นทำได้ การสำรวจ State of AI ล่าสุดของ McKinsey อธิบายถึงช่องว่างที่คล้ายกันจากมุมมองที่แตกต่าง: ประมาณ 88% ขององค์กรใช้ AI ในฟังก์ชันอย่างน้อยหนึ่งฟังก์ชัน แต่ส่วนใหญ่ยังไม่ได้ขยายสิ่งนี้ไปทั่วทั้งองค์กร

เมื่อคนอธิบายช่องว่างนั้น พวกเขามักจะหันไปใช้สองคำ: คุณภาพข้อมูลและการกำกับดูแล ทั้งสองสิ่งสำคัญและไม่จำเป็นต้องเลือก แต่มีคำถามที่แคบลงซึ่งวางอยู่ใต้สิ่งเหล่านั้น ซึ่งข้อมูลที่สะอาดและมีการกำกับดูแลไม่ได้ตอบสนองด้วยตัวเอง ระบบสามารถระบุเอนทิตี้ในโลกแห่งความเป็นจริงที่บันทึกใดๆ อ้างอิงถึงได้หรือไม่ ทั่วทุกที่ที่บันทึกนั้นอาศัยอยู่ ณ เวลานี้ คุณสามารถถือข้อมูลคุณภาพสูงในระบบแต่ละระบบและยังคงล้มเหลวในการทดสอบนี้ได้ เพราะความล้มเหลวไม่ได้อยู่ในระบบใดระบบหนึ่ง แต่อยู่ในพื้นที่ระหว่างระบบที่ลูกค้าเดียวกันสวมหน้ากากที่แตกต่างกันเล็กน้อย

สิ่งที่ควรตรวจสอบก่อนให้ตัวแทนกระทำการ

หากคุณรักษาการแก้ไขเอนทิตี้เป็นโครงสร้างพื้นฐาน คุณสามารถตรวจสอบมันเหมือนโครงสร้างพื้นฐานได้ รูปแบบการล้มเหลวในการทำงานมีรายละเอียดและสามารถทดสอบได้: อัตลักษณ์ที่แบ่งออกเป็นสองส่วนซึ่งควรเป็นหนึ่งเดียว การรวมบันทึกที่ควรแยกออกเป็นรายบุคคล กฎการรอดชีวิตที่ล้าสมัยที่ยังคงเลื่อนตำแหน่งที่อยู่ที่ถูกแทนที่ อิเดนติฟายเออร์ที่ขาดหายไป และตัวแทนที่รับมอบความไม่แน่นอนของระบบต้นกำเนิดมาเป็นความจริงที่ตัดสินแล้ว

การทดสอบความพร้อมในทางปฏิบัติไม่ต้องการโมเดลใหม่หรือหมวดหมู่ผู้ขายใหม่ รวบรวมชุดเอนทิตี้ที่คุณเข้าใจอย่างแท้จริง แล้วรันผ่านเส้นทางการดึงข้อมูลเดียวกับที่ตัวแทนของคุณใช้ ไม่ใช่สำเนาที่สะอาดซึ่งสร้างขึ้นสำหรับการแสดงตัวอย่าง จากนั้นจึงวัดสิ่งที่ตัดสินผลลัพธ์จริงๆ: จำนวนการรวมบันทึกที่ผิดพลาดและการแบ่งแยกที่ผิดพลาด วิธีการจัดการความไม่แน่นอนอย่างแท้จริง ระดับขีดความสามารถด้านความมั่นใจ และเมื่อใดที่จะยกเลิกไปยังมนุษย์แทนการเดา และวิธีการส่งมอบไปยังการควบคุมข้อมูลหลักและระบบกำกับดูแลที่มีอยู่ หากทีมไม่สามารถตอบคำถามเหล่านี้ ตัวแทนจะกระทำการโดยอาศัยอัตลักษณ์ที่ไม่สามารถยืนยันได้ และความมั่นใจในเอาต์พุตนั้นไม่เหมาะสม

ไม่มีสิ่งเหล่านี้ที่จะแทนที่การบริหารจัดการข้อมูลหลัก การกำกับดูแล แพลตฟอร์มข้อมูลลูกค้า หรือคลังข้อมูล สิ่งเหล่านั้นตอบคำถามที่แตกต่างออกไป และยังคงจำเป็น การกำกับดูแลตัดสินว่าตัวแทนได้รับอนุญาตให้ทำอะไรได้บ้าง การแก้ไขเอนทิตี้ตัดสินว่ากระทำการกับใครหรืออะไร สิ่งแรกเป็นเรื่องที่มีความเป็นมาตรฐานในองค์กรขนาดใหญ่ส่วนใหญ่ สิ่งที่สองเป็นชั้นที่หลายคนกำลังจะค้นพบว่าต้องการอยู่ข้างๆ มันในเวลาจริง ณ เวลาที่พวกเขาทำให้ตัวแทนกระทำการแทนที่จะให้คำแนะนำ

ตัวแทนไม่ต้องการโมเดลที่ฉลาดขึ้น มันแค่ต้องรู้ว่าชื่อสองชื่อนั้นเป็นลูกค้าเดียวกันก่อนที่จะให้คำตอบที่มั่นใจได้ เมื่อเรามอบอำนาจที่แท้จริงให้กับระบบเหล่านี้เพื่อกระทำการ การแก้ไขเอนทิตี้ที่เงียบๆ วัย 60 ปีจะหยุดเป็นการทำความสะอาดและเริ่มเป็นโครงสร้างพื้นฐานที่มีชีวิตชีวา