AI สามารถบอกเราเกี่ยวกับวาระซ่อนเร้นในข่าวได้อย่างไร

โมเดลสไตล์ ChatGPT กำลังได้รับการฝึกฝนเพื่อตรวจจับว่าบทความข่าวคืออะไร จริงๆ พิจารณาประเด็น – แม้ว่าจุดยืนนั้นจะถูกฝังอยู่ภายใต้คำพูด การวางกรอบ หรือ (บางครั้งไม่จริงใจ) 'ความเป็นกลาง' ก็ตาม การแบ่งบทความออกเป็นส่วนๆ เช่น พาดหัวข่าว บทนำ และคำพูดอ้างอิง ช่วยให้ระบบใหม่สามารถเรียนรู้ที่จะแยกแยะอคติได้ แม้แต่ในงานข่าวอาชีพที่มีความยาว

ความสามารถในการเข้าใจมุมมองที่แท้จริงของนักเขียนหรือผู้พูด ซึ่งเป็นสิ่งที่เรียกกันในวรรณกรรมว่า การตรวจจับท่าทาง – กล่าวถึงปัญหาการตีความภาษาที่ยากที่สุดประการหนึ่ง นั่นคือ การดึงเอาเจตนาจากเนื้อหาที่ออกแบบมาเพื่อซ่อนหรือบดบังเจตนา

จากโจนาธาน สวิฟต์ ข้อเสนอเล็กน้อย, ไปจนถึงการแสดงล่าสุดของนักแสดงการเมือง การยืมคำโต้แย้ง ของฝ่ายตรงข้ามทางอุดมการณ์ของพวกเขา พื้นผิวของคำกล่าวไม่ได้เป็นตัวบ่งชี้เจตนาที่เชื่อถือได้อีกต่อไป การเพิ่มขึ้นของการประชดประชัน การล้อเลียน ข้อมูลบิดเบือน และ ความคลุมเครือเชิงกลยุทธ์ ทำให้การระบุให้ชัดเจนว่าข้อความอยู่ด้านไหนนั้นยากขึ้นกว่าเดิมหรือ ว่าจะลงจอดได้หรือเปล่า.

บ่อยครั้ง สิ่งที่ไม่ได้กล่าวถึงจะมีความสำคัญเท่ากับสิ่งที่กล่าวไว้ และการเลือกเพียงกล่าวถึงหัวข้อใดหัวข้อหนึ่งก็สามารถบ่งบอกถึงตำแหน่งของผู้เขียนได้

นั่นทำให้การตรวจจับท่าทางอัตโนมัติมีความท้าทายเป็นพิเศษ เนื่องจากระบบการตรวจจับที่มีประสิทธิภาพต้องทำมากกว่าการแท็กประโยคแยกๆ ว่า 'สนับสนุน' หรือ 'คัดค้าน' แต่ต้องดำเนินการวนซ้ำผ่านชั้นความหมายต่างๆ โดยชั่งน้ำหนักสัญญาณเล็กๆ น้อยๆ กับรูปร่างและทิศทางของบทความทั้งหมด และสิ่งนี้ยากกว่าในงานสื่อสารมวลชนรูปแบบยาว เนื่องจากน้ำเสียงอาจเปลี่ยนแปลงไป และความคิดเห็นอาจไม่สามารถแสดงออกมาตรงๆ ได้

ตัวแทนเพื่อการเปลี่ยนแปลง

เพื่อแก้ไขปัญหาบางประการเหล่านี้ นักวิจัยในเกาหลีใต้ได้พัฒนาระบบใหม่ที่เรียกว่า JOA-ICL (การเรียนรู้เชิงตัวแทนในบริบทที่นำโดยนักข่าว) เพื่อตรวจจับจุดยืนของบทความข่าวรูปแบบยาว

แนวคิดหลักเบื้องหลัง JoA-ICL ก็คือ การอนุมานจุดยืนในระดับบทความนั้นทำได้โดยการรวบรวมการทำนายในระดับเซกเมนต์ที่สร้างขึ้นโดยตัวแทนโมเดลภาษาที่แยกจากกัน แหล่งที่มา: https://arxiv.org/pdf/2507.11049

แทนที่จะตัดสินบทความโดยรวม JOA-ICL จะแบ่งบทความออกเป็นส่วนโครงสร้าง (พาดหัวข่าว บทนำ การอ้างอิง และบทสรุป) และกำหนดแบบจำลองขนาดเล็กเพื่อระบุแต่ละส่วน จากนั้นจึงส่งต่อการคาดการณ์เฉพาะส่วนเหล่านี้ไปยังแบบจำลองขนาดใหญ่ ซึ่งใช้ข้อมูลเหล่านี้เพื่อกำหนดจุดยืนโดยรวมของบทความ

วิธีการนี้ได้รับการทดสอบบนชุดข้อมูลภาษาเกาหลีที่รวบรวมใหม่ ซึ่งประกอบด้วยบทความข่าว 2,000 บทความ พร้อมคำอธิบายประกอบทั้งในระดับบทความและระดับกลุ่มข่าว แต่ละบทความมีป้ายกำกับข้อมูลที่ได้รับจากผู้เชี่ยวชาญด้านวารสารศาสตร์ ซึ่งสะท้อนถึงการกระจายตัวของจุดยืนในโครงสร้างของงานเขียนข่าวระดับมืออาชีพ

จากงานวิจัยพบว่า JOA-ICL มีประสิทธิภาพเหนือกว่าทั้งเกณฑ์พื้นฐานแบบกระตุ้นและแบบปรับแต่งละเอียด โดยแสดงให้เห็นถึงประสิทธิภาพที่โดดเด่นในการตรวจจับท่าทางสนับสนุน (ซึ่งแบบจำลองที่มีขอบเขตใกล้เคียงกันมักจะพลาด) วิธีการนี้ยังได้รับการพิสูจน์แล้วว่ามีประสิทธิภาพเมื่อนำไปใช้กับชุดข้อมูลภาษาเยอรมันภายใต้เงื่อนไขที่ตรงกัน ซึ่งบ่งชี้ว่าหลักการของ JOA-ICL มีศักยภาพที่จะทนทานต่อรูปแบบภาษา

ผู้เขียนระบุ:

'การทดลองแสดงให้เห็นว่า JOA-ICL มีประสิทธิภาพเหนือกว่าวิธีการตรวจจับจุดยืนที่มีอยู่เดิม ซึ่งเน้นย้ำถึงประโยชน์ของเอเจนซี่ระดับกลุ่มในการบันทึกตำแหน่งโดยรวมของบทความข่าวรูปแบบยาว'

เค้ก กระดาษใหม่ มีบรรดาศักดิ์ การเรียนรู้เชิงตัวแทนในบริบทที่นำโดยนักข่าวเพื่อการตรวจจับจุดยืนของข่าวและมาจากคณะต่างๆ ของมหาวิทยาลัย Soongsil กรุงโซล รวมถึงบัณฑิตวิทยาลัยกลยุทธ์แห่งอนาคตของ KAIST

วิธี

ส่วนหนึ่งของความท้าทายในการตรวจจับท่าทางที่เสริมด้วย AI อยู่ที่ด้านลอจิสติกส์ และเกี่ยวข้องกับว่าระบบการเรียนรู้ของเครื่องจักรสามารถเก็บรักษาและรวบรวมสัญญาณได้มากเพียงใดในแต่ละครั้งในสถานะที่ทันสมัยในปัจจุบัน

บทความข่าวมีแนวโน้มที่จะหลีกเลี่ยงการแสดงความคิดเห็นโดยตรง โดยจะอาศัยความคิดเห็นแทน โดยปริยาย or สันนิษฐาน ท่าทีที่ส่งสัญญาณผ่านการเลือกที่จะอ้างอิงแหล่งที่มา วิธีการจัดกรอบเรื่องราว และรายละเอียดใดที่ถูกละไว้ รวมถึงข้อพิจารณาอื่นๆ อีกมากมาย

แม้ว่าบทความจะมีจุดยืนที่ชัดเจน แต่สัญญาณมักจะกระจัดกระจายไปทั่วเนื้อหา โดยแต่ละส่วนชี้ไปในทิศทางที่ต่างกัน เนื่องจากโมเดลภาษา (LM) ยังคงมีปัญหาใน หน้าต่างบริบทที่จำกัดสิ่งนี้อาจทำให้โมเดลต่างๆ ประเมินท่าทางในลักษณะเดียวกับที่ทำกับเนื้อหาที่สั้นกว่าได้ยาก (เช่นทวีต และโซเชียลมีเดียรูปแบบสั้นอื่นๆ ที่มีความสัมพันธ์ระหว่างข้อความและเป้าหมายชัดเจนยิ่งขึ้น

ดังนั้น แนวทางมาตรฐานจึงมักจะใช้ไม่ได้ผลเมื่อนำไปใช้กับการสื่อสารมวลชนเต็มรูปแบบ ซึ่งเป็นกรณีที่ความคลุมเครือเป็นคุณลักษณะมากกว่าข้อบกพร่อง

กระดาษระบุ:

'เพื่อรับมือกับความท้าทายเหล่านี้ เราเสนอแนวทางการสร้างแบบจำลองลำดับชั้นที่อนุมานจุดยืนในระดับหน่วยการสนทนาที่เล็กกว่าก่อน (เช่น ย่อหน้าหรือส่วน) จากนั้นจึงรวมการคาดการณ์ในท้องถิ่นเหล่านี้เพื่อกำหนดจุดยืนโดยรวมของบทความ'

กรอบงานนี้ได้รับการออกแบบมาเพื่อรักษาบริบทในท้องถิ่นและจับสัญญาณจุดยืนที่กระจัดกระจายในการประเมินว่าส่วนต่างๆ ของข่าวมีส่วนสนับสนุนต่อตำแหน่งโดยรวมในประเด็นใดประเด็นหนึ่งอย่างไร

เพื่อจุดประสงค์นี้ ผู้เขียนได้รวบรวมชุดข้อมูลใหม่ชื่อว่า K-NEWS-STANCEดึงมาจากข่าวเกาหลีระหว่างเดือนมิถุนายน 2022 ถึงมิถุนายน 2024 บทความได้รับการระบุครั้งแรกผ่าน บิ๊กคินส์ซึ่งเป็นบริการเมตาดาต้าที่ได้รับการสนับสนุนจากรัฐบาล ดำเนินการโดยมูลนิธิสื่อมวลชนเกาหลี และดึงข้อมูลฉบับเต็มโดยใช้ Naver News aggregator API ชุดข้อมูลสุดท้ายประกอบด้วยบทความ 2,000 บทความจาก 31 สำนักข่าว ครอบคลุม 47 ประเด็นสำคัญระดับประเทศ

บทความแต่ละบทความได้รับการใส่คำอธิบายสองครั้ง: ครั้งแรกสำหรับจุดยืนโดยรวมต่อปัญหาที่กำหนด และอีกครั้งสำหรับส่วนต่างๆ โดยเฉพาะ พาดหัว, นำ, ข้อสรุปและ ใบเสนอราคาโดยตรง.

คำอธิบายประกอบนี้ได้รับการนำโดยผู้เชี่ยวชาญด้านการสื่อสารมวลชน Jiyoung Han ซึ่งเป็นผู้เขียนคนที่สามของเอกสารด้วย โดยเขาได้แนะนำกระบวนการนี้โดยใช้คำแนะนำที่ได้รับการยอมรับจากการศึกษาด้านสื่อ เช่น การเลือกแหล่งที่มา การกำหนดกรอบคำศัพท์และรูปแบบการอ้างอิง โดยวิธีการเหล่านี้ เราได้รับป้ายท่าทางระดับส่วนรวมทั้งหมด 19,650 ป้าย

เพื่อให้แน่ใจว่าบทความมีสัญญาณมุมมองที่มีความหมาย แต่ละบทความจะได้รับการจำแนกประเภทตามประเภทก่อน และจะใช้เฉพาะบทความที่ระบุว่าวิเคราะห์หรือแสดงความคิดเห็น (โดยที่มักจะพบการกำหนดกรอบเชิงอัตนัย) เท่านั้นสำหรับการใส่คำอธิบายจุดยืน

วิทยากรที่ได้รับการฝึกอบรมสองคนได้ติดป้ายกำกับบทความทั้งหมด และได้รับคำสั่งให้ดูบทความที่เกี่ยวข้องในกรณีที่จุดยืนไม่ชัดเจน โดยความขัดแย้งจะได้รับการแก้ไขผ่านการอภิปรายและการตรวจสอบเพิ่มเติม

ตัวอย่างรายการจากชุดข้อมูล K-NEWS-STANCE ที่แปลเป็นภาษาอังกฤษ แสดงเฉพาะพาดหัวข่าว บทนำ และข้อความอ้างอิงเท่านั้น ไม่รวมเนื้อหาทั้งหมด การเน้นข้อความหมายถึงข้อความอ้างอิง โดยสีน้ำเงินหมายถึงข้อความสนับสนุนและสีแดงหมายถึงข้อความคัดค้าน โปรดดูไฟล์ PDF แหล่งที่มาที่อ้างอิงเพื่อการแสดงผลที่ชัดเจนยิ่งขึ้น

โจเอ-ไอซีแอล

แทนที่จะปฏิบัติต่อบทความเป็นบล็อกข้อความเดียว ระบบที่ผู้เขียนเสนอจะแบ่งบทความออกเป็นส่วนโครงสร้างหลัก ได้แก่ หัวเรื่อง คำนำ คำพูดอ้างอิง และบทสรุป จากนั้นจึงมอบหมายแต่ละส่วนเหล่านี้ให้กับตัวแทนโมเดลภาษา ซึ่งจะติดป้ายกำกับส่วนต่างๆ ดังนี้ สนับสนุน, ฝ่ายตรงข้ามหรือ เป็นกลาง.

คำทำนายในพื้นที่เหล่านี้จะถูกส่งต่อไปยังตัวแทนคนที่สองซึ่งจะตัดสินใจเกี่ยวกับจุดยืนโดยรวมของบทความ โดยที่ตัวแทนทั้งสองจะได้รับการประสานงานโดยตัวควบคุมที่เตรียมคำกระตุ้นและรวบรวมผลลัพธ์

ดังนั้น JoA-ICL จึงปรับการเรียนรู้ในบริบท (โดยที่โมเดลจะเรียนรู้จากตัวอย่างในคำเตือน) ให้ตรงกับวิธีการเขียนข่าวในระดับมืออาชีพ โดยใช้คำเตือนที่คำนึงถึงกลุ่มเป้าหมายแทนอินพุตทั่วไปเพียงรายการเดียว

(โปรดทราบว่าตัวอย่างและภาพประกอบส่วนใหญ่ในเอกสารนี้ค่อนข้างยาวและยากต่อการอธิบายให้อ่านได้ชัดเจนในบทความออนไลน์ ดังนั้น เราจึงขอวิงวอนให้ผู้อ่านตรวจสอบต้นฉบับ PDF)

ข้อมูลและการทดสอบ

ในการทดสอบ นักวิจัยใช้ มาโคร F1 และความแม่นยำในการประเมินประสิทธิภาพ โดยเฉลี่ยผลลัพธ์จากการรัน 42 ครั้งด้วยค่าสุ่มตั้งแต่ 51 ถึง XNUMX และรายงานข้อผิดพลาดมาตรฐาน ใช้ข้อมูลการฝึกอบรมเพื่อ แก้ไขปรับปรุง โมเดลพื้นฐานและตัวแทนระดับเซ็กเมนต์พร้อมด้วย ไม่กี่นัด ตัวอย่างที่เลือกผ่านการค้นหาความคล้ายคลึงโดยใช้ KLUE-RoBERTa-ขนาดใหญ่.

การทดสอบดำเนินการผ่าน GPU RTX A6000 จำนวนสามตัว (แต่ละตัวมี VRAM 48GB) โดยใช้ Python 3.9.19, PyTorch 2.5.1, Transformers 4.52.0 และ วีแอลแอลเอ็ม 0.8.5.

จีพีที-4โอ-มินิ, คลอดด์ 3 ไฮกุและ เจมินี่ 2 แฟลช ถูกนำมาใช้งานผ่าน API อุณหภูมิ ของ 1.0 และกำหนดโทเค็นสูงสุดเป็น 1000 สำหรับ การกระตุ้นความคิดแบบห่วงโซ่และ 100 สำหรับคนอื่นๆ

เพื่อการปรับแต่งอย่างสมบูรณ์ของ เอ็กซาโอเน-3.5-2.4บีที่ อดัมดับเบิลยู ตัวเพิ่มประสิทธิภาพถูกใช้ที่ 5e-5 อัตราการเรียนรู้, ด้วยน้ำหนักที่ลดลง 0.01 100 ขั้นตอนการวอร์มอัพและด้วยข้อมูลที่ผ่านการฝึกอบรมมา 10 ยุค ที่ ขนาดแบทช์ จาก 6

สำหรับข้อมูลพื้นฐาน ผู้เขียนใช้ โรเบอร์ต้าปรับแต่งเพื่อการตรวจจับท่าทางในระดับบทความ การฝังตัวแบบห่วงโซ่แห่งความคิด (CoT)การปรับแต่ง RoBERTa แบบอื่นให้เหมาะกับงานที่ได้รับมอบหมาย แอลเคไอ-บาร์ตโมเดลตัวเข้ารหัส-ตัวถอดรหัสที่เพิ่มความรู้เชิงบริบทจากโมเดลภาษาขนาดใหญ่โดยแจ้งเตือนด้วยทั้งข้อความอินพุตและป้ายท่าทางที่ตั้งใจไว้ พีที-เอชซีแอล, วิธีการที่ใช้ การเรียนรู้ที่ตรงกันข้าม เพื่อแยกคุณลักษณะทั่วไปออกจากคุณลักษณะเฉพาะของปัญหาเป้าหมาย:

ประสิทธิภาพของแบบจำลองแต่ละแบบในชุดทดสอบ K-NEWS-STANCE สำหรับการทำนายท่าทางโดยรวม ผลลัพธ์แสดงเป็นค่ามาโคร F1 และความแม่นยำ โดยคะแนนสูงสุดในแต่ละกลุ่มจะแสดงเป็นตัวหนา

JOA-ICL บรรลุประสิทธิภาพโดยรวมที่ดีที่สุดในด้านความแม่นยำและมาโคร F1 ซึ่งเป็นข้อได้เปรียบที่เห็นได้ชัดในโครงหลักทั้งสามโมเดลที่ทดสอบ ได้แก่ GPT-4o-mini, Claude 3 Haiku และ Gemini 2 Flash

วิธีการแบบแบ่งตามกลุ่มนั้นให้ผลดีกว่าวิธีการอื่นๆ ทั้งหมดอย่างสม่ำเสมอ โดยผู้เขียนสังเกตเห็นว่ามีข้อได้เปรียบที่เห็นได้ชัดในการตรวจจับจุดยืนที่สนับสนุน ซึ่งเป็นจุดอ่อนทั่วไปในโมเดลที่คล้ายคลึงกัน

แบบจำลองพื้นฐานมีประสิทธิภาพโดยรวมที่แย่ลง ตัวแปร RoBERTa และ Chain-of-Thought มีปัญหากับกรณีที่มีความละเอียดอ่อน ขณะที่ PT-HCL และ LKI-BART มีประสิทธิภาพดีกว่า แต่ยังคงตามหลัง JOA-ICL ในเกือบทุกหมวดหมู่ ผลลัพธ์เดี่ยวที่แม่นยำที่สุดมาจาก JOA-ICL (Claude) โดยมีมาโคร F64.8 1% และความแม่นยำ 66.1%

รูปภาพด้านล่างแสดงให้เห็นว่าโมเดลแต่ละรุ่นติดป้ายถูกหรือผิดบ่อยเพียงใด:

เมทริกซ์ความสับสนที่เปรียบเทียบค่าพื้นฐานและ JoA-ICL แสดงให้เห็นว่าทั้งสองวิธีประสบปัญหาในการตรวจจับจุดยืนที่ 'สนับสนุน' มากที่สุด

JoA-ICL โดยรวมมีประสิทธิภาพดีกว่าเกณฑ์มาตรฐาน โดยสามารถระบุป้ายกำกับได้ถูกต้องมากขึ้นในทุกหมวดหมู่ อย่างไรก็ตาม โมเดลทั้งสองมีปัญหามากที่สุดกับบทความสนับสนุน และเกณฑ์มาตรฐานยังจัดประเภทผิดพลาดเกือบครึ่งหนึ่ง โดยมักเข้าใจผิดว่าบทความเหล่านี้เป็นบทความกลาง

JoA-ICL ทำผิดพลาดน้อยกว่าแต่แสดงรูปแบบเดียวกัน ซึ่งตอกย้ำว่าท่าที "เชิงบวก" นั้นยากกว่าที่โมเดลจะสังเกตเห็น

เพื่อทดสอบว่า JoA-ICL ทำงานได้เกินขอบเขตของภาษาเกาหลีหรือไม่ ผู้เขียนจึงได้ทดสอบกับ ชีสชุดข้อมูลภาษาเยอรมันสำหรับการตรวจจับจุดยืนในระดับบทความ เนื่องจาก CheeSE ไม่มีป้ายกำกับระดับกลุ่ม นักวิจัยจึงใช้ การกำกับดูแลที่ห่างไกลโดยที่แต่ละส่วนได้รับการกำหนดป้ายจุดยืนแบบเดียวกันกับบทความฉบับเต็ม

ผลการตรวจจับท่าทางบนชุดข้อมูล CheeSE ภาษาเยอรมัน JoA-ICL ปรับปรุงการแจ้งแบบ zero-shot อย่างสม่ำเสมอใน LLM ทั้งสามแบบ และมีประสิทธิภาพเหนือกว่าค่าพื้นฐานที่ปรับแต่งอย่างละเอียด โดยแฟลช Gemini-2.0 ให้ประสิทธิภาพโดยรวมที่แข็งแกร่งที่สุด

แม้ในสภาวะที่มีสัญญาณรบกวนสูง JoA-ICL ก็ยังให้ประสิทธิภาพเหนือกว่าทั้งรุ่นที่ปรับแต่งอย่างละเอียดและแบบ zero-shot prompting จากการทดสอบแกนหลักทั้งสามแบบ แฟลช Gemini-2.0 ให้ผลลัพธ์ที่ดีที่สุด

สรุป

งานเพียงไม่กี่งานในการเรียนรู้ของเครื่องจักรนั้นมีประเด็นทางการเมืองมากกว่าการคาดการณ์จุดยืน แต่บ่อยครั้งที่งานเหล่านี้ได้รับการจัดการในแง่เชิงกลไกที่เย็นชา ในขณะที่มีการให้ความสนใจกับปัญหาที่ซับซ้อนน้อยกว่าใน AI เชิงสร้างสรรค์ เช่น การสร้างวิดีโอและรูปภาพมากกว่า ซึ่งกระตุ้นให้เกิดพาดหัวข่าวที่ดังกว่ามาก

การพัฒนาที่น่ายินดีที่สุดในผลงานภาษาเกาหลีใหม่คือการมีส่วนสนับสนุนที่สำคัญต่อการวิเคราะห์ เต็มความยาว เนื้อหามากกว่าทวีตและโซเชียลมีเดียรูปแบบสั้น ซึ่งผลกระทบอันรุนแรงจะถูกลืมได้เร็วกว่าบทความ บทความ หรือผลงานสำคัญอื่นๆ

การละเว้นที่น่าสังเกตอย่างหนึ่งในงานใหม่และ (เท่าที่ฉันบอกได้) ในคลังข้อมูลการทำนายจุดยืนโดยทั่วไปคือการขาดการพิจารณาถึง เชื่อมโยงหลายมิติซึ่งมักจะใช้แทนคำพูดในฐานะแหล่งข้อมูลเสริมสำหรับผู้อ่านเพื่อเรียนรู้เพิ่มเติมเกี่ยวกับหัวข้อใดหัวข้อหนึ่ง อย่างไรก็ตาม ต้องชัดเจนว่าการเลือก URL ดังกล่าวอาจมีความเป็นอัตวิสัยและอาจเกี่ยวข้องกับการเมืองด้วยซ้ำ

กล่าวคือ ยิ่งสิ่งพิมพ์มีชื่อเสียงมากเท่าไหร่ มีโอกาสน้อยกว่า ว่าจะรวม ลิงค์ใดๆ เลย ที่นำผู้ดูออกไปจากโดเมนโฮสต์ สิ่งนี้ ร่วมกับการใช้และการละเมิด SEO อื่นๆ ของไฮเปอร์ลิงก์ ทำให้ยากต่อการระบุปริมาณมากกว่าคำพูดที่ชัดเจน ชื่อเรื่อง หรือส่วนอื่นๆ ของบทความที่อาจพยายามโน้มน้าวความคิดเห็นของผู้อ่านโดยรู้ตัวหรือไม่ก็ตาม

เผยแพร่ครั้งแรกวันพุธที่ 16 กรกฎาคม 2025