ผู้นำทางความคิด
การระบุและเชื่อมโยงเอนทิตีกำลังกลายเป็นโครงสร้างพื้นฐาน AI ไม่ใช่แค่ทำความสะอาดข้อมูล

ประเด็นสำคัญการแก้ไขความกำกวมของเอนทิตี (entity resolution)…
ดูเพิ่มเติม
- การแก้ไขความกำกวมของเอนทิตี (entity resolution) เปลี่ยนจากงานทำความสะอาดเป็นระยะมาเป็นโครงสร้างพื้นฐานที่ทำงานขณะรันไทม์ เพราะเอเจนต์ลงมือกระทำต่อตัวตนที่แก้ไขความกำกวมแล้วได้ในทันที
- เอเจนต์ที่เสริมด้วยการดึงข้อมูล (retrieval-augmented agents) สืบทอดระเบียนที่กระจัดกระจายหรือถูกรวมเข้าด้วยกันอย่างผิดพลาด และถือว่าความกำกวมนั้นเป็นข้อเท็จจริงที่ยุติแล้ว
- องค์กรส่วนใหญ่ติดตั้งใช้งานเอเจนต์อัตโนมัติ ในขณะที่มีเพียงส่วนน้อยที่พิจารณาว่าโครงสร้างพื้นฐานของตนพร้อมอย่างแท้จริงที่จะกำกับดูแลเอเจนต์เหล่านั้น
เมื่อไม่นานมานี้ ผมเห็นเอเจนต์ AI ให้คำตอบที่ผิดอย่างมั่นใจด้วยเหตุผลธรรมดามาก บริษัทแห่งหนึ่งมีระเบียนสองชุดสำหรับลูกค้าองค์กรรายเดียวกัน ชุดหนึ่งมีชื่อการค้าเดิมและผู้ติดต่อฝ่ายการเงิน อีกชุดมีชื่อทางกฎหมายใหม่ที่บริษัทใช้หลังการเข้าซื้อกิจการ พร้อมที่อยู่เรียกเก็บเงินอีกแห่ง เอเจนต์ถูกถามคำถามง่ายๆ ว่าบัญชีลูกค้านี้อยู่ในสถานะปกติหรือไม่ มันพบระเบียนหนึ่ง ไม่เห็นใบแจ้งหนี้เกินกำหนดชำระ และตอบว่าใช่ แต่ใบแจ้งหนี้เกินกำหนดอยู่ภายใต้ชื่ออีกชื่อหนึ่ง
ไม่มีการหลอนสร้างข้อมูลขึ้นมา โมเดลให้เหตุผลอย่างถูกต้องจากข้อมูลที่ได้รับ เพียงแต่ข้อมูลอธิบายถึงลูกค้าสองราย ทั้งที่ในโลกจริงมีเพียงรายเดียว ความผิดพลาดไม่ได้อยู่ที่โมเดลภาษา แต่อยู่ที่การเชื่อมระเบียน
ผมเริ่มคิดว่านี่เป็นหนึ่งในความเสี่ยงของ AI องค์กรที่ถูกประเมินต่ำและพูดถึงน้อยที่สุด เราพูดไม่หยุดเรื่องความแม่นยำของโมเดล การออกแบบพรอมป์ต์ และการกำกับดูแล แต่พูดน้อยกว่ามากว่าระบบรู้จริงหรือไม่ว่ากำลังกระทำการกับลูกค้า ซัพพลายเออร์ หรือบัญชีใดในโลกจริง คำถามนี้มีชื่อว่า การระบุและเชื่อมโยงเอนทิตี หรือ entity resolution หลังอยู่เบื้องหลังมาหกสิบปี มันกำลังกลายเป็นส่วนหนึ่งของโครงสร้างพื้นฐานที่ทำงานแบบทันทีอย่างเงียบๆ
ปัญหาเปลี่ยนกาลเวลา
ตลอดประวัติส่วนใหญ่ของแนวทางนี้ คำถามว่า “ระเบียนสองชุดนี้คือเอนทิตีเดียวกันหรือไม่” เป็นเรื่องของการทำความสะอาดข้อมูล เราประมวลผลเป็นแบตช์ตามตารางเวลา ภายในโครงการจัดการข้อมูลหลัก คลังข้อมูล หรือสายงานวิเคราะห์ข้อมูล แม้ไม่สมบูรณ์แบบ แต่ก็รับมือได้ เพราะผลลัพธ์เป็นรายงานที่ใครสักคนจะอ่านในสัปดาห์ถัดไป หากไม่ได้รวมระเบียนสองชุดของซัพพลายเออร์เดียวกัน ยอดใช้จ่ายจะผิดเล็กน้อย นักวิเคราะห์สังเกตเห็นและแก้ไขในการประมวลผลครั้งหน้า ระบบมีเวลาผ่อนผัน เวลาช่วยดูดซับข้อผิดพลาด
เอเจนต์ AI ตัดเวลาผ่อนผันนี้ออก มันเปลี่ยนกาลของคำถามจาก “ในที่สุด” เป็น “ตอนนี้” เมื่อเอเจนต์กำลังจะอนุมัติคืนเงิน ส่งต่อกรณี อัปเดตโปรไฟล์ หรือตอบคำถามด้านการปฏิบัติตามกฎระเบียบ เอนทิตีที่ระบุได้ไม่ได้ป้อนข้อมูลให้แดชบอร์ดอีกแล้ว แต่ป้อนให้การกระทำ ต้นทุนของการเชื่อมผิดเปลี่ยนจากตัวเลขคลาดเคลื่อนเล็กน้อยเป็นเหตุการณ์ในโลกจริงที่เกิดทันที และบ่อยครั้งไม่มีมนุษย์อยู่ในกระบวนการเพื่อจับข้อผิดพลาด
นี่คือการเปลี่ยนแปลงที่ควรหยุดพิจารณา ปัญหาพื้นฐานเก่าแก่และเป็นที่เข้าใจดี สิ่งใหม่คือเราเชื่อมมันโดยตรงเข้ากับระบบที่ลงมือทำได้ด้วยตนเอง
ปัญหาทางสถิติจากทศวรรษ 1960
การระบุและเชื่อมโยงเอนทิตีไม่ได้เกิดพร้อมโมเดลภาษาขนาดใหญ่ แต่เกิดในยุคบัตรเจาะรู ปี 1959 H. B. Newcombe และคณะเผยแพร่บทความสั้นใน Science เรื่องการเชื่อมโยงบันทึกทะเบียนราษฎรโดยอัตโนมัติ อธิบายว่าคอมพิวเตอร์จะตัดสินได้อย่างไรว่าบันทึกการเกิดและการสมรสกล่าวถึงคนเดียวกัน สิบปีต่อมา Ivan Fellegi และ Alan Sunter สร้างทฤษฎีทางคณิตศาสตร์อย่างเป็นทางการให้แนวคิดนี้ โดยกำหนดผลลัพธ์สามแบบที่ระบบจับคู่ยังให้มาจนปัจจุบัน ได้แก่ เชื่อมโยง ไม่เชื่อมโยง และอาจเชื่อมโยงซึ่งต้องให้คนตรวจสอบ
มีรายละเอียดในประวัตินี้ที่ควรพิจารณา เพราะเป็นส่วนที่คนเข้าใจผิดบ่อยที่สุด การเชื่อมระเบียนไม่เคยเป็นเพียงการจับคู่อีเมลหรือ ID ร่วมกันแบบตรงตัว ตั้งแต่ต้นมันอาศัยความน่าจะเป็น โดยให้น้ำหนักหลักฐานว่าระเบียนสองชุดมีนามสกุล วันที่ และสถานที่ตรงกัน แล้วให้คะแนน เพราะข้อมูลที่คนป้อนมักไม่เป็นระเบียบ และคีย์ที่ต้องตรงกันทุกตัวล้มเหลวอยู่เสมอ วิธีสมัยใหม่ก็ยังทำเช่นนี้ โดยผสมกฎแบบกำหนดแน่นอนซึ่งตัวระบุร่วมที่คงที่เป็นตัวตัดสิน เข้ากับการจับคู่เชิงความน่าจะเป็นและแบบคลุมเครือด้วยแมชชีนเลิร์นนิง เพื่อรับมือการพิมพ์ผิด ชื่อเล่น ฟิลด์ที่สลับกัน คำย่อ และความต่างเล็กน้อยราวสิบสองแบบที่ทำให้บุคคลหรือบริษัทเดียวกันปรากฏต่างกันในแต่ละระบบ บทสำรวจสาขานี้ที่ดีแสดงเส้นทางต่อเนื่องจากบันทึกทะเบียนราษฎรในทศวรรษ 1950 สู่การจัดกลุ่มและแมชชีนเลิร์นนิงที่ใช้ในปัจจุบัน
สิ่งที่เปลี่ยนจริงๆ คือเวลาที่เราต้องการคำตอบ นักวิจัยเขียนถึงการระบุเอนทิตีขณะประมวลผลคำค้นแทนการทำล่วงหน้าเพียงอย่างเดียวมาตั้งแต่ก่อนกระแส AI รอบนี้นานแล้ว ตอนนั้นเป็นการเพิ่มประสิทธิภาพที่น่าสนใจ แต่ตอนนี้ใกล้เคียงกับข้อจำเป็น [1] [2] [3] [4]
เหตุใดเอเจนต์จึงทำให้มันกลายเป็นโครงสร้างพื้นฐาน
ระบบ AI องค์กรส่วนใหญ่ไม่ได้ตอบจากความจำของโมเดล แต่ค้นคืนข้อมูล แนวทางที่แพร่หลายในชื่อ การสร้างคำตอบเสริมด้วยการค้นคืนข้อมูล ให้เอเจนต์ดึงบริบทเกี่ยวข้องในขณะที่ถาม แล้วให้เหตุผลจากบริบทนั้น โดยรวมถือเป็นเรื่องดี เพราะคำตอบยึดข้อมูลของคุณแทนสิ่งที่โมเดลเรียนรู้จากการฝึก
แต่มีผลตามมาที่มองข้ามได้ง่าย เอเจนต์รับทุกอย่างที่ขั้นตอนค้นคืนส่งให้ หากส่งกลับลูกค้าที่แตกออกเป็นระเบียนบางส่วนสามชุดซึ่งไม่เคยเชื่อมกัน เอเจนต์จะให้เหตุผลถึงลูกค้าสามราย หากส่งกลับลูกค้าที่รวมผิด โดยบริษัทต่างกันสองแห่งถูกรวมในโปรไฟล์เดียว เอเจนต์จะให้เหตุผลถึงลูกค้ารายเดียว ความกำกวมในระบบต้นทางถูกส่งผ่านโดยตรงและแสดงแก่โมเดลว่าเป็นข้อเท็จจริงที่ยุติแล้ว โมเดลไม่มีทางรู้ว่าการเชื่อมผิด เช่นเดียวกับที่คุณไม่อาจรู้จากการอ่านสรุประเบียนอย่างเป็นระเบียบ ทั้งที่ไม่เคยเห็นระเบียนเหล่านั้น [1]
ดังนั้นการระบุและเชื่อมโยงเอนทิตีจึงไม่ใช่ส่วนเสริมที่คิดทีหลัง ประมวลผลไตรมาสละครั้งแล้วเก็บผลในตารางแยก เอนทิตีต้องประกอบขึ้นเมื่อรับข้อมูลเข้ามา และมุมมองปัจจุบันที่เชื่อมโยงแล้วต้องค้นคืนได้ทันทีที่เอเจนต์ถาม นี่คือส่วนพึ่งพาขณะทำงาน มันคล้ายฐานข้อมูลหรือบริการยืนยันตัวตนมากกว่าโครงการทำความสะอาดข้อมูลเป็นรอบๆ อย่างมาก จึงต้องออกแบบ เฝ้าติดตาม และรับประกันความน่าเชื่อถือเหมือนระบบอื่นที่แอปพลิเคชันเรียกใช้แบบเรียลไทม์
ช่องว่างความพร้อมที่ไม่มีใครระบุชื่ออย่างแม่นยำ
วงการเริ่มรู้สึกว่ามีบางอย่างขาดไป รายงาน AI Readiness Index 2025 ของ Cisco พบว่าองค์กร 83% วางแผนใช้เอเจนต์อิสระ แต่เพียงประมาณหนึ่งในสามรู้สึกว่าโครงสร้างพื้นฐานพร้อมจริง และเพียงประมาณหนึ่งในสี่รู้สึกว่ามีความพร้อมควบคุมและกำกับสิ่งที่เอเจนต์ทำจริง การสำรวจ State of AI ล่าสุดของ McKinsey อธิบายช่องว่างคล้ายกันจากอีกด้าน ประมาณ 88% ขององค์กรใช้ AI อย่างน้อยหนึ่งหน้าที่งาน แต่ส่วนใหญ่ยังไม่ขยายไปทั่วทั้งองค์กร
เมื่ออธิบายช่องว่างนี้ ผู้คนมักใช้คำสองคำ คือคุณภาพข้อมูลและการกำกับดูแล ทั้งคู่สำคัญและขาดอย่างใดอย่างหนึ่งไม่ได้ แต่มีคำถามเฉพาะกว่านั้นที่ข้อมูลสะอาดและกำกับดีเพียงอย่างเดียวตอบไม่ได้ ระบบรู้ได้หรือไม่ ณ ตอนนี้ว่าระเบียนหนึ่งหมายถึงเอนทิตีใดในโลกจริง โดยเชื่อมโยงข้ามทุกที่ที่ระเบียนนั้นอยู่ คุณอาจมีข้อมูลคุณภาพสูงในแต่ละระบบแต่ยังไม่ผ่านการทดสอบนี้ เพราะปัญหาไม่ได้อยู่ภายในระบบใดระบบหนึ่ง แต่อยู่ในช่องว่างระหว่างระบบ ซึ่งลูกค้าเดียวกันปรากฏในสามรูปแบบที่ต่างกันเล็กน้อย
สิ่งที่ต้องตรวจสอบก่อนให้เอเจนต์ลงมือทำ
หากมองการระบุและเชื่อมโยงเอนทิตีเป็นโครงสร้างพื้นฐานที่ทำงานทันที ก็ตรวจสอบแบบโครงสร้างพื้นฐานได้ ความผิดพลาดในการดำเนินงานเฉพาะเจาะจงและทดสอบได้ ได้แก่ อัตลักษณ์ที่แตกเป็นหลายส่วนทั้งที่ควรเป็นหนึ่ง การรวมผิดของระเบียนที่ควรแยกกัน กฎเลือกค่าหลักที่ล้าสมัยซึ่งยังให้ความสำคัญกับที่อยู่ที่ถูกแทนที่แล้ว การขาดตัวระบุถาวร และเอเจนต์ที่รับความกำกวมของระบบต้นทางมาเป็นข้อเท็จจริงที่ยุติแล้ว
การทดสอบความพร้อมไม่ต้องมีโมเดลใหม่หรือผู้ขายประเภทใหม่ รวบรวมชุดอ้างอิงเอนทิตีที่คุณทราบข้อเท็จจริงอย่างชัดเจน ส่งผ่านเส้นทางค้นคืนเดียวกับที่เอเจนต์ใช้ ไม่ใช่สำเนาที่ทำความสะอาดแยกไว้สำหรับสาธิต แล้ววัดสิ่งที่ตัดสินผลจริง ได้แก่ จำนวนการรวมผิดและแยกผิด การจัดการความกำกวมจริง เกณฑ์ระดับความมั่นใจ จุดที่ส่งให้มนุษย์แทนการเดา และความราบรื่นในการส่งต่อให้กลไกควบคุมข้อมูลหลักและการกำกับดูแลที่มีอยู่ หากทีมตอบไม่ได้ เอเจนต์กำลังทำงานบนอัตลักษณ์ที่ยืนยันไม่ได้ และความเชื่อมั่นในผลลัพธ์ย่อมผิดที่
ทั้งหมดนี้ไม่แทนที่การจัดการข้อมูลหลัก การกำกับดูแล แพลตฟอร์มข้อมูลลูกค้า หรือคลังข้อมูล สิ่งเหล่านั้นตอบคำถามต่างกันและยังจำเป็น การกำกับดูแลกำหนดว่าเอเจนต์ทำอะไรได้ การระบุเอนทิตีกำหนดว่าทำกับใครหรืออะไร อย่างแรกมีความพร้อมเป็นที่ยอมรับแล้วในองค์กรใหญ่ส่วนมาก อย่างที่สองคือชั้นที่หลายองค์กรจะพบในไม่ช้าว่าต้องอยู่ข้างอย่างแรกแบบเรียลไทม์ ทันทีที่ให้เอเจนต์ลงมือแทนการให้คำแนะนำ
เอเจนต์ที่ผมเห็นไม่ได้ต้องการโมเดลฉลาดกว่า แต่ต้องรู้ก่อนว่าชื่อสองชื่อคือลูกค้ารายเดียวกัน จึงจะได้รับอนุญาตให้ตอบอย่างมั่นใจ เมื่อมอบอำนาจลงมือจริงให้ระบบเหล่านี้ ศาสตร์เงียบๆ ที่มีอายุหกสิบปีก็เลิกเป็นเพียงการทำความสะอาด และกลายเป็นโครงสร้างรับน้ำหนัก












