ที่สำคัญ เอเจนต์ระดับองค์กรไม่เข้าใจการเน้นข้อความ

ทั่วโลกยังมีเอกสารกระดาษสำคัญที่ไม่ได้ผ่านการสแกนอยู่อีกมาก โดยเฉพาะในแวดวงธุรกิจ มีการประเมินว่าเอกสารกระดาษเพียง 1% จากทั้งหมด 4 พันล้านฉบับที่หมุนเวียนอยู่ในการค้าทั่วโลกในแต่ละปีได้รับการแปลงเป็นดิจิทัล ส่วนที่เหลือจึงอยู่นอกเหนือขีดความสามารถในการวิเคราะห์ของการเรียนรู้ของเครื่อง

นั่นเป็นเพียงการประเมินคร่าว ๆ ของปัญหาในภาคธุรกิจเท่านั้น รัฐบาลก็ผลิตเอกสารสิ่งพิมพ์หรือเอกสารเข้าเล่มกระดาษจำนวนมหาศาลเช่นกัน และ US National Archive รายงานในปีนี้ว่า เอกสารแอนะล็อกที่หน่วยงานดูแลอยู่มีเพียง 4.04% เท่านั้นที่แปลงเป็นดิจิทัลแล้ว โดยยังเหลืออีก 11.97 พันล้านฉบับที่ต้องดำเนินการ

ดังนั้น นี่จึงเป็นปัญหาที่ยังคงเกิดขึ้น ไม่ใช่แค่ปัญหาตกค้างจากอดีต และผมต้องยอมรับว่าตัวเองก็มีส่วนทำให้เกิดปัญหานี้ด้วย:

สิ่งที่ผมนั่งอยู่ตรงหน้าส่วนใหญ่ในแต่ละวัน

เวลาอ่านทบทวนบทความ ฉันจะพิมพ์ออกมา เพราะบทความเหล่านี้ต้องอาศัยการอ่านทำความเข้าใจจาก มนุษย์ อย่างมาก ควบคู่ไปกับการสรุปโดยเครื่อง เนื่องจากมีเวลาไม่มาก ฉันจึงขีดเน้นส่วนสำคัญและข้อความที่อาจนำไปอ้างอิงด้วยเส้นหนา ๆ เพื่อให้เห็นโครงสร้างของข้อมูลเด่นชัดขึ้นเมื่อถึงเวลาเขียน ฉันไม่ได้เป็นคนเนี้ยบจู้จี้ถึงขั้นต้องใช้ปากกาเน้นข้อความ จึงใช้สัญลักษณ์หลากหลาย ตัวอักษรขนาดใหญ่ขึ้น และวิธีส่วนตัวอื่น ๆ อีกมากมายเพื่อบ่งบอกความสำคัญของข้อความที่ต้องการเน้นเพิ่มเติม

แต่ผู้คนจำนวนมาก รวมถึงบุคคลสำคัญจำนวนมากที่เขียนเรื่องสำคัญก็ใช้ปากกาเน้นข้อความสีต่าง ๆ และใช้สีตัวอักษรที่แตกต่างกันเพื่อเน้นข้อความ

Winston Churchill ใช้ปากกาสีต่างกันเพื่อเน้นข้อความคนละประเภท ในภาพนี้ ขณะเตรียมสุนทรพจน์ “ชั่วโมงที่ดีที่สุด” ของเขา ดูเหมือนว่าเขาจะใช้สีแดงเป็นรหัสสำหรับแก้ไข แหล่งที่มา

จากเอกสารฉบับเดียวกับที่ปรากฏในภาพก่อนหน้า (ฉบับที่วางอยู่บนแท่นบรรยายสีดำ) อาจมีเอกสารหลายร้อยล้านฉบับที่มีการเน้นข้อความในลักษณะนี้ ซึ่งระบบนำเข้าเอกสารอย่าง Doclingยังไม่สามารถตรวจจับได้

การเน้นข้อความด้วยมือเหล่านี้มีความสำคัญ เพราะช่วยเพิ่มน้ำหนักให้ข้อความในแบบที่ไม่ได้สะท้อนผ่านโครงสร้างทางภาษาของข้อความนั้นเสมอไป ดังนั้น การลดเนื้อหาของหน้าที่มีการเน้นข้อความให้เหลือเพียงตัวอักษรด้วยการรู้จำอักขระด้วยแสง (OCR) (หรือวิธีการที่ล้ำหน้ายิ่งขึ้น เช่น โมเดลภาษาที่มองเห็นภาพ (VLMs)) จึงไม่สามารถถ่ายทอดเจตนาของผู้เขียนได้ครบถ้วน และอาจถึงขั้นบิดเบือนจุดประสงค์และเจตนาของเอกสาร

มีเพียงการเน้นข้อความ

งานวิจัยฉบับใหม่* พบว่าโปรแกรมแปลงเอกสารที่ใช้กันอย่างแพร่หลายมักตัดการเน้นข้อความและสีตัวอักษรทิ้งอยู่เป็นประจำ ทำให้เอเจนต์ AI ยังแยกแยะคำสั่งสำคัญไม่ได้ ในบรรดาเอกสารนโยบาย 6,462 ฉบับที่นำมาทดสอบในการศึกษานี้ เกือบหนึ่งในสามมีข้อความสีแดงหรือมีการเน้นข้อความ และประมาณหนึ่งในสิบใช้เครื่องหมายเหล่านี้เพื่อชี้ให้เห็นข้อกำหนดสำคัญ

เกี่ยวกับเอเจนต์สำหรับนำเข้าเอกสารในองค์กร ผู้เขียน^†ระบุ^††ว่า:

‘โปรแกรมแปลงเอกสารที่พัฒนาเต็มที่แล้วสามารถดึงข้อความ ตาราง และโครงสร้างออกมาได้อย่างถูกต้องครบถ้วน ทำให้ดูเหมือนว่ากระบวนการทำงานไม่มีปัญหา

‘เราแสดงให้เห็นว่าโปรแกรมเหล่านี้ทุกตัวทำข้อมูลชั้นหนึ่งสูญหายไป นั่นคือความหมายที่ผู้เขียนสื่อผ่าน รูปลักษณ์ของข้อความ—และการสูญเสียดังกล่าวทำให้เอเจนต์ มั่นใจอย่างยิ่งว่าคำตอบผิด แทนที่จะเห็นได้ชัดว่าข้อมูลไม่ครบ ซึ่งเป็นความล้มเหลวที่ตรวจจับได้ยากกว่าเมื่อนำไปใช้งานจริง’

ในการทดสอบของผู้เขียน เมื่อนำโมเดล AI มาใช้ระบุข้อกำหนดสำคัญในเอกสารนโยบายจริง โมเดลทำได้ดีกว่ามากเมื่อยังคงเก็บการเน้นข้อความและสีตัวอักษรต้นฉบับไว้ ผลการค้นพบนี้ได้รับการยืนยันจากโมเดลทั้งหกตัว ซึ่งรวมถึง GPT-5.6 Terra, Claude Opus 5 และ Claude Sonnet 5

กล่าวได้ว่า เราสามารถดึงสัญญาณจากการเน้นข้อความได้สองอย่าง คือ ก) มีการเน้นข้อความหรือไม่ และ ข) ข้อความนั้นถูกเน้นด้วยสีใด หากมีการใช้หลายสีในการเน้นข้อความด้วยมือ แนวทางการจัดหมวดหมู่ที่สมเหตุสมผลคือกำหนดให้สีแดงสื่อถึงความหมายเชิงลบในบางแง่มุม (ดังที่เห็นก่อนหน้านี้จากการแก้ไขสุนทรพจน์ของ Winston Churchill เอง):

ที่ด้านล่างของผลลัพธ์ JSON จากตัวแยกวิเคราะห์ขั้นแรกของผู้เขียน เราเห็นว่ากระบวนการทำงานตรวจพบและจัดหมวดหมู่การเน้นข้อความสีแดงไว้แล้ว และเมื่อพิจารณาตามเหตุผล เราก็เห็นได้ว่าถ้อยคำสอดคล้องกับระดับความเข้มข้นที่จัดหมวดหมู่ไว้ อย่างไรก็ตาม วิธีนี้มีประโยชน์มากกว่าเมื่อใช้เน้นคำที่ไม่ได้ทำให้น้ำเสียงรุนแรงขึ้นมากนัก และเมื่อการเน้นข้อความช่วยเพิ่มน้ำหนักที่ขาดหายไป แหล่งที่มา

ผู้วิจัยเสนอว่าสามารถแก้ปัญหานี้ได้อย่างง่ายดายด้วยกระบวนการที่มีอยู่ โดยคงสีไฮไลต์และสีข้อความต้นฉบับไว้ระหว่างการแปลงเอกสาร และเพิ่มป้ายกำกับที่อธิบายความสำคัญของสีเหล่านั้นให้โมเดล AI ทราบ วิธีนี้ไม่ต้องใช้การประมวลผล AI เพิ่มเติม แต่ทำให้จำนวนโทเค็นที่ใช้แทนเอกสารแต่ละฉบับเพิ่มขึ้นประมาณสองเท่า:

‘การกู้คืนสัญญาณเหล่านี้เป็นกระบวนการที่ให้ผลแน่นอน ใช้เพียงโค้ด และไม่ต้องเรียกใช้ LLM; ผลทั้งหมดที่รายงานในที่นี้เกิดจากการแยกวิเคราะห์เพียงอย่างเดียว แต่วิธีนี้ใช้โทเค็นมากขึ้น—ประมาณสองเท่าของข้อความธรรมดา—จึงเป็นการแลกงบประมาณบริบทกับความถูกต้องของข้อเท็จจริงอย่างจงใจ ไม่ใช่ประโยชน์ที่ได้มาโดยไม่มีต้นทุน’

ความเฉยเมยต่อการเน้นตัวหนา

แง่มุมหนึ่งที่น่าสนใจของงานศึกษานี้คือ วิธีเน้นข้อความที่มีอยู่ในเอกสารดิจิทัลที่พิมพ์ ดูเหมือนจะไม่ได้ผลเพราะใช้กันมากเกินไป^††:

‘ผลทั้งหมด[i.e., of the new pipeline]เกิดจากการไฮไลต์[and][colour]การใช้ตัวหนา ตัวเอียง อักษรแบบความกว้างคงที่ และขีดฆ่าไม่มีส่วนช่วยเลย[measurable] โดยช่วงความเชื่อมั่นคร่อมค่าศูนย์

‘ไม่ใช่เพราะไม่มีการใช้สัญญาณเหล่านั้น: เอกสารฉบับเดียวมีเครื่องหมายตัวหนามากกว่าหนึ่งพันจุด แต่เป็นเพราะเครื่องหมายเหล่านี้พบได้บ่อยเกินกว่าจะให้ข้อมูลที่เป็นประโยชน์

‘ผู้เขียนที่ทำหัวข้อและคำจำกัดความทุกคำเป็นตัวหนาไม่ได้ทำให้สิ่งใดโดดเด่นขึ้นมา ในทางกลับกัน การเปลี่ยนสีหรือไฮไลต์ข้อกำหนดเป็นการกระทำโดยเจตนาและใช้เท่าที่จำเป็น การจำแนกประเภทของสัญญาณจะให้ผลก็ต่อเมื่อสัญญาณนั้นพบได้ยากพอที่จะสื่อถึงเจตนา’

งานและการทดสอบ

เพื่อพัฒนาระบบ ผู้วิจัยสแกนเอกสารนโยบายจริง 6,462 ฉบับจากคลังข้อมูลสาธารณะที่ไม่ระบุแหล่งที่มาในรูปแบบ .docx แล้วตรวจหาอักษรสีแดงและการไฮไลต์ โดยไม่คาดเดาจากถ้อยคำ จากนั้นจึงให้โมเดลค้นหาข้อกำหนดที่ถูกทำเครื่องหมายว่ามีความสำคัญเป็นพิเศษ และละเว้นข้อกำหนดที่ไม่ได้ทำเครื่องหมาย โดยใช้คำสั่งหลักดังนี้:

‘ระบุข้อกำหนดทุกข้อในเอกสารนี้ที่ผู้เขียนเน้นเป็นพิเศษหรือจัดให้มีลำดับความสำคัญสูง’

สำหรับการทดสอบหลัก ผู้วิจัยเลือกเอกสาร 84 ฉบับ ซึ่งมีข้อกำหนดที่ทำเครื่องหมายไว้ 332 ข้อ และข้อกำหนดที่ไม่ได้ทำเครื่องหมาย 4,192 ข้อ (กล่าวคือ ข้อกำหนดที่ไม่มีอักษรสีแดงหรือการไฮไลต์สี) เอกสารแต่ละฉบับต้องมีข้อกำหนดที่ทำเครื่องหมายไว้อย่างน้อยหนึ่งข้อ และข้อกำหนดที่ไม่ได้ทำเครื่องหมายอย่างน้อยสามข้อ เพื่อไม่ให้ AI สามารถระบุข้อกำหนดทั้งหมดได้โดยไม่แยกแยะ

ผู้วิจัยกำหนดข้อมูลอ้างอิงจริงจากรูปแบบการจัดเอกสารโดยตรง ไม่ได้อาศัยการตัดสินของมนุษย์หรือโมเดล AI อื่น วัดประสิทธิภาพด้วยคะแนนความแม่นยำ อัตราการเรียกคืน และ F1 โดยพิจารณาทั้งข้อกำหนดที่ระบุได้ถูกต้องและผลบวกลวง ซึ่งเกิดเมื่อมีการรวมข้อกำหนดที่ไม่ได้ทำเครื่องหมายไว้โดยผิดพลาด

ให้คะแนนด้วยระบบอัตโนมัติ โดยไม่มีผู้ประเมินที่เป็น LLM เข้ามาเกี่ยวข้อง คำตอบจะนับว่าตรงกันได้ก็ต่อเมื่อมีคำเนื้อหาติดต่อกันอย่างน้อยสี่คำจากข้อกำหนดต้นฉบับ ซึ่งช่วยป้องกันไม่ให้ระบบนับข้อกำหนดที่คล้ายกันแต่แตกต่างกันว่าเป็นคำตอบที่ถูกต้อง

ทดสอบโดยตัดการไฮไลต์ออก

มีการทดสอบเพิ่มเติมเพื่อดูว่าสามารถระบุข้อกำหนดสำคัญจากถ้อยคำเพียงอย่างเดียว โดยไม่ใช้การไฮไลต์หรือสีได้หรือไม่ ตัวจำแนกประเภทที่ใช้เฉพาะข้อความและฝึกด้วยตัวอย่างทำคะแนนพื้นที่ใต้โค้ง ROCได้ 0.664 (โดย 0.5 หมายถึงการเดาสุ่ม)

วิธีที่ง่ายกว่านี้ทำได้ไม่ดีกว่าการเดาสุ่ม โดยได้คะแนน 0.508 เมื่อใช้คำที่สื่อถึงความเร่งด่วนเป็นเบาะแส ขณะที่ความยาวของประโยคได้คะแนน 0.492 ผลลัพธ์เหล่านี้ชี้ให้เห็นว่าแทบไม่มีข้อมูลใดที่บอกได้ว่าผู้เขียนซึ่งใช้ปากกาเน้นข้อความตั้งใจอะไร หากพิจารณาจากถ้อยคำเพียงอย่างเดียว

เรื่องนี้สมเหตุสมผล เพราะหากถ้อยคำมีน้ำหนักมากพออยู่แล้ว ผู้เขียนก็คงไม่รู้สึกว่าจำเป็นต้องเน้นย้ำภายหลัง

วิธีที่นำมาเปรียบเทียบ

แนวทางที่นำมาเปรียบเทียบประกอบด้วยตัวแยกวิเคราะห์ของผู้วิจัยเอง OURS; OURS ที่ใช้บทบาทบ่งบอกความสำคัญ; OURS ที่ใช้มาร์กอัปแบบไม่ระบุประเภท; docx2python; Docling; และการแปลงเป็นข้อความธรรมดา

ใช้เอกสารและคำถามชุดเดียวกันกับทุกแนวทาง โดยเปลี่ยนเพียงวิธีแปลงเอกสาร การเปรียบเทียบหลักครอบคลุมเอกสาร 76 ฉบับ โดยทดสอบแต่ละวิธีซ้ำสามครั้ง:

ผลการทดสอบเปรียบเทียบวิธี 6 วิธีในการระบุข้อกำหนดที่ทำเครื่องหมายว่า ‘สำคัญ’ ในเอกสาร Word ส่วนบนแสดงผลจากเอกสาร 76 ฉบับ ซึ่งทดสอบฉบับละสามครั้ง ส่วนล่างแสดงผลการทดสอบยืนยันแยกต่างหาก โดยใช้เอกสาร 79 ฉบับและทดสอบซ้ำหกครั้ง คะแนน F1 ที่สูงกว่าหมายถึงประสิทธิภาพที่ดีกว่า ส่วนอัตราผลบวกลวงที่ต่ำกว่าหมายถึงมีการเลือกข้อกำหนดที่ไม่ได้ทำเครื่องหมายอย่างผิดพลาดน้อยกว่า ความแตกต่างที่มีนัยสำคัญทางสถิติแสดงด้วยตัวหนา

ดังที่แสดงไว้ข้างต้น ระบบของผู้เขียนทำคะแนน F1 โดยรวมได้ดีที่สุดที่ 0.690 เทียบกับ 0.586 ของ docx2python, 0.150 ของ Docling และเพียง 0.075 สำหรับข้อความธรรมดา (F1 รวมค่าความแม่นยำและค่าการเรียกคืนไว้เป็นตัวชี้วัดความถูกต้องค่าเดียว โดย 1.0 หมายถึงคะแนนสมบูรณ์แบบ)

ผลการทดสอบการเลือกข้อมูลผิดพลาดยังแสดงให้เห็นถึงความสำคัญของการรักษารูปแบบเอกสารไว้ด้วย โดยเมื่อใช้ Docling ระบบเลือกข้อกำหนดที่ไม่ได้ทำเครื่องหมายไว้อย่างผิดพลาดในอัตราเกือบสี่เท่าของระบบผู้เขียน (4.3% เทียบกับ 1.1%)

มีการทดสอบแยกต่างหากเพื่อดูว่าโมเดล AI ได้ประโยชน์จากการระบุความหมายของรูปแบบให้ทราบหรือไม่ แทนที่จะแสดงเพียงสีและการเน้นข้อความต้นฉบับ ผลพบว่าการให้ป้ายกำกับเพิ่มเติมเหล่านี้ช่วยเพิ่มประสิทธิภาพได้เล็กน้อย แต่มีนัยสำคัญทางสถิติ อย่างไรก็ตาม ประโยชน์ส่วนใหญ่เกิดขึ้นแล้วจากการรักษารูปแบบเอกสารไว้

แรงกดดันจากภายนอก

นักวิจัยประเมินเพิ่มเติมโดยใช้ ชุดทดสอบความเข้าใจเอกสาร Office (OCB) ของ Microsoft ซึ่งวัดความแม่นยำในการดึงข้อมูลจากเอกสาร Office

นักวิจัยดึงคำถาม 326 ข้อจากเอกสาร Word 59 ฉบับ ครอบคลุมการจัดรูปแบบ ตาราง ไฮเปอร์ลิงก์ ความคิดเห็น และเชิงอรรถ โดย Microsoft เป็นผู้จัดทำทั้งคำถามและเกณฑ์การให้คะแนน โดยไม่เกี่ยวข้องกับการศึกษานี้:

ผลการเปรียบเทียบวิธีแปลงเอกสาร 5 วิธี โดยใช้ชุดทดสอบความเข้าใจเอกสาร Office ของ Microsoft ซึ่งครอบคลุมคำถาม 326 ข้อจากเอกสาร Word 59 ฉบับ คะแนนอยู่ในช่วง 0 ถึง 1 โดยคะแนนที่สูงกว่าหมายถึงประสิทธิภาพที่ดีกว่า และคะแนนสูงสุดในแต่ละหมวดแสดงเป็นตัวหนา แถวล่างสุดสรุปประสิทธิภาพโดยรวมและนัยสำคัญทางสถิติ ในการทดสอบนี้ ระบบของผู้เขียนได้คะแนนรวมสูงสุด แม้ว่า docx2python จะทำได้ดีกว่าในด้านการตรวจจับข้อความที่เน้นไว้

ดังที่แสดงไว้ข้างต้น ระบบของผู้เขียนทำคะแนนโดยรวมได้ยอดเยี่ยมที่ 0.959 เทียบกับคะแนนที่ดี 0.810 ของ docx2python คะแนนปานกลาง 0.720 ของ Docling และคะแนนที่ค่อนข้างต่ำ 0.634 สำหรับข้อความธรรมดา

ระบบใหม่ได้คะแนนเต็มในด้านข้อมูลเมตา ความคิดเห็น และเชิงอรรถ ขณะที่วิธีอื่นที่นำมาเปรียบเทียบได้คะแนนศูนย์ อย่างไรก็ตาม การพัฒนาเหล่านี้ไม่ได้เกิดจากการรักษาการเน้นข้อความและสีตัวอักษรไว้เพียงอย่างเดียว ระบบของผู้เขียนยังทำได้ดีกว่าในการกู้คืนข้อมูลจากตาราง เค้าโครงเอกสาร แบบอักษร และไฮเปอร์ลิงก์ด้วย

บทสรุป

เมื่อไม่นานมานี้ ผมลองหาวิธีใช้ LLM และ/หรือ Python ทำเครื่องหมายเน้นตารางและภาพประกอบในบทความวิทยาศาสตร์ PDF ที่ผมเลือกเองโดยอัตโนมัติ แต่แทบไม่สำเร็จ ผลลัพธ์ที่ได้ก็…เรียกว่าชวนขำทีเดียว ปัจจุบัน การแบ่งประเภท การหาปริมาณ และการวิเคราะห์บทความวิทยาศาสตร์เป็นหัวข้อหนึ่งในแวดวงวิชาการที่มีผู้ศึกษากันอย่างกว้างขวาง และแทบไม่มีพื้นที่ให้—หรือความหวังสำหรับ—มือสมัครเล่นทั่วไป

สำหรับบทความนี้ สิ่งที่ผู้เขียนทำได้สำเร็จคือการระบุตัวบ่งชี้การเน้นข้อความที่สำคัญ ซึ่งสูญหายไประหว่างการแปลง อย่างไรก็ตาม การที่โซลูชันของพวกเขาต้องใช้โทเค็นเพิ่มขึ้นเป็นสองเท่าไม่ใช่เรื่องเล็ก โดยเฉพาะเมื่อต้องทำงานในระดับที่ระบบ OCR และชั้นประมวลผลเอกสารขาเข้าจำเป็นต้องรองรับ ดังนั้น ผมคิดว่าคุณค่าของงานนี้อยู่ที่การระบุปัญหาได้

* ชื่อเรื่องคือ ‘สิ่งที่ผู้เขียนเขียน สิ่งที่เอเจนต์อ่าน: การสูญเสียสัญญาณบ่งชี้โดยไม่รู้ตัวในการนำเข้าเอกสารองค์กร’

^† ทั้งหมดมาจาก Amazon

^†† การเน้นข้อความเป็นของผู้เขียน ไม่ใช่ของผม แม้ว่าผมจะแปลงการอ้างอิงในเนื้อหาของผู้เขียนให้เป็นไฮเปอร์ลิงก์อยู่เป็นประจำก็ตาม

เผยแพร่ครั้งแรกเมื่อวันศุกร์ที่ 30 ตุลาคม 2026