แนวทาง NLP เพื่อการตรวจจับการพูดเกินจริงในวารสารศาสตร์วิทยาศาสตร์

นักวิจัยจากเดนมาร์กได้พัฒนาระบบ 'ตรวจจับการกล่าวเกินจริง' ซึ่งออกแบบมาเพื่อลดผลกระทบของนักข่าวที่กล่าวเกินจริงเกี่ยวกับผลงานวิจัยทางวิทยาศาสตร์ฉบับใหม่เมื่อทำการสรุปและรายงาน งานนี้ได้รับแจ้งจากขอบเขตที่งานวิจัยที่เผยแพร่ใหม่เกี่ยวกับ COVID-19 ถูกบิดเบือนในช่องทางการรายงาน แม้ว่าผู้เขียนจะยอมรับว่ามีผลกับภาคการรายงานวิทยาศาสตร์ทั่วไปในวงกว้าง

พื้นที่ กระดาษมีสิทธิ์ การตรวจจับเกินจริงแบบกึ่งควบคุมของข่าวประชาสัมพันธ์ด้านวิทยาศาสตร์สุขภาพจากมหาวิทยาลัยโคเปนเฮเกน และตั้งข้อสังเกตว่าปัญหาดังกล่าวทวีความรุนแรงขึ้นเนื่องจากแนวโน้มของสิ่งพิมพ์ที่จะไม่รวมลิงก์แหล่งที่มาไปยังงานวิจัยต้นฉบับ ซึ่งเป็นแนวปฏิบัติทั่วไปของนักข่าวที่พยายามเข้ามาแทนที่บทความต้นฉบับและแทนที่บทสรุปที่รายงานใหม่เป็น 'แหล่งความรู้' - แม้ว่าบทความจะเผยแพร่ต่อสาธารณะก็ตาม

จากกระดาษ การสำแดงทั่วไปของเอกสารทางวิทยาศาสตร์ที่พูดเกินจริง ที่มา: https://arxiv.org/pdf/2108.13493.pdf

ปัญหาไม่ได้จำกัดอยู่ที่ปฏิกิริยาของนักข่าวภายนอกต่อเอกสารใหม่เท่านั้น แต่สามารถขยายไปสู่การสรุปประเภทอื่นๆ รวมถึงความพยายามประชาสัมพันธ์ภายในของมหาวิทยาลัยและสถาบันวิจัย สื่อส่งเสริมการขายที่มุ่งเรียกร้องความสนใจจากสำนักข่าว และลิงค์อ้างอิงที่มีประโยชน์ (และกระสุนที่เป็นไปได้สำหรับรอบการระดมทุน) ที่นำมาซึ่งนักข่าว 'กัด'

งานนี้ใช้ประโยชน์จากการประมวลผลภาษาธรรมชาติ (NLP) เทียบกับชุดข้อมูลใหม่ของข่าวประชาสัมพันธ์และบทคัดย่อที่จับคู่กัน โดยนักวิจัยอ้างว่าได้พัฒนา '(a) การกำหนดงานใหม่ที่สมจริงยิ่งขึ้น' เพื่อการตรวจจับการพูดเกินจริงทางวิทยาศาสตร์ ผู้เขียนสัญญาว่าจะเผยแพร่โค้ดและข้อมูลของงานนี้ ที่ GitHub ทันที

การแก้ปัญหาความรู้สึก

งานวิจัยจำนวนหนึ่งได้กล่าวถึงปัญหาของความรู้สึกตื่นเต้นทางวิทยาศาสตร์ในช่วงสามสิบปีที่ผ่านมา และดึงความสนใจไปที่ข้อมูลที่ผิดซึ่งอาจนำไปสู่ โดโรธี เนลคิน นักสังคมวิทยาวิทยาศาสตร์ชาวอเมริกันผู้ล่วงลับได้กล่าวถึงประเด็นนี้โดยเฉพาะในปี 1987 หนังสือ วิทยาศาสตร์การขาย: สื่อครอบคลุมวิทยาศาสตร์และเทคโนโลยีอย่างไร; รายงาน Embo ปี 2006 วิทยาศาสตร์ที่ไม่ดีในหัวข้อข่าว เน้นย้ำถึงความจำเป็นของนักข่าวที่ได้รับการฝึกฝนทางวิทยาศาสตร์มากขึ้น เช่นเดียวกับที่อินเทอร์เน็ตกำลังนำแรงกดดันด้านงบประมาณที่สำคัญมาสู่สื่อดั้งเดิม

นอกจากนี้ ในปี 2014 British Medical Journal ได้ให้ความสำคัญกับปัญหาใน a รายงาน; และการศึกษาในปี 2019 จาก Wellcome Open Research ระบุว่าเอกสารทางวิทยาศาสตร์เกินจริง ไม่ได้รับประโยชน์ (ในแง่ของการเข้าถึงหรือการเข้าชม) ไปยังสำนักข่าวและระบบการรายงานอื่น ๆ ที่กระทำการนี้

อย่างไรก็ตาม การเกิดขึ้นของการระบาดใหญ่ได้นำผลกระทบด้านลบของอติพจน์นี้ไปสู่จุดสนใจที่สำคัญ ด้วยแพลตฟอร์มข้อมูลที่หลากหลาย รวมถึงหน้าผลการค้นหาของ Google Search Engine และ Cornell University's arXiv ดัชนีของเอกสารทางวิทยาศาสตร์จะเพิ่มการปฏิเสธความรับผิดให้กับเนื้อหาใด ๆ ที่ดูเหมือนจะเกี่ยวข้องกับ COVID โดยอัตโนมัติ

อินเทอร์เฟซที่แก้ไขสำหรับการค้นหาและเนื้อหาที่เกี่ยวข้องกับ COVID จากหน้าผลการค้นหาของ Google และจากคลังเอกสารทางวิทยาศาสตร์ Arxiv ที่ทรงอิทธิพลของมหาวิทยาลัย Cornell

โครงการก่อนหน้านี้ได้พยายามสร้างระบบตรวจจับการพูดเกินจริงสำหรับเอกสารทางวิทยาศาสตร์โดยใช้ประโยชน์จาก NLP รวมถึง 2019 การทำงานร่วมกัน ระหว่างนักวิจัยจากฮ่องกงและจีน และเอกสารอีกฉบับ (ที่ไม่เกี่ยวข้องกัน) ของเดนมาร์ก ใน 2017.

นักวิจัยในรายงานฉบับใหม่ตั้งข้อสังเกตว่าความพยายามก่อนหน้านี้ได้พัฒนาชุดข้อมูลการอ้างสิทธิ์จากบทคัดย่อและบทสรุปจาก PubMed และ EurekAlert ซึ่งมีป้ายกำกับว่า 'ความแข็งแกร่ง' และใช้ข้อมูลเหล่านี้เพื่อฝึกโมเดลการเรียนรู้ของเครื่องเพื่อทำนาย เรียกร้องความแข็งแรง ในข้อมูลที่มองไม่เห็น

MT-สัตว์เลี้ยง

การวิจัยใหม่จะรวมข่าวประชาสัมพันธ์และบทคัดย่อเป็นเอนทิตีข้อมูลแบบรวม และใช้ประโยชน์จากชุดข้อมูลที่เป็นผลลัพธ์ใน MT-PET ซึ่งเป็นเวอร์ชันที่มีความสามารถหลายงานของการวิจัย Pattern Exploiting Training ก่อน นำเสนอ ใน 2020 เป็น การใช้ประโยชน์จากคำถามปิดบังสำหรับการจำแนกข้อความเพียงไม่กี่ช็อตและการอนุมานด้วยภาษาธรรมชาติความพยายามในการวิจัยร่วมกันจากสถาบันวิจัยเยอรมันสองแห่ง

ไม่พบชุดข้อมูลใดที่เหมาะกับงาน ดังนั้นทีมงานจึงได้รวบรวมชุดข้อมูลใหม่ของประโยคที่จับคู่จากบทคัดย่อและข่าวประชาสัมพันธ์ที่เกี่ยวข้อง ซึ่งประเมินโดย 'ผู้เชี่ยวชาญ' ในแง่ของแนวโน้มที่จะพูดเกินจริง

นักวิจัยใช้กรอบการจัดประเภทข้อความแบบไม่กี่ช็อต กลีบดอก เป็นส่วนหนึ่งของไปป์ไลน์เพื่อสร้างคู่ของ pattern-verbalizer โดยอัตโนมัติ แล้วจึงทำซ้ำผ่านข้อมูลจนกระทั่งพบ tuplets ที่เทียบเท่าโดยประมาณสำหรับสองคุณสมบัติ: การตรวจจับที่เกินจริงและความแข็งแรงของการอ้างสิทธิ์

ข้อมูล 'ทองคำ' สำหรับการทดสอบถูกนำมาใช้ซ้ำจากโครงการวิจัยก่อนหน้านี้ ซึ่งประกอบด้วยบทคัดย่อและข่าวประชาสัมพันธ์ 823 คู่ นักวิจัยปฏิเสธความเป็นไปได้ที่จะใช้ข้อมูล BMJ ปี 2014 เนื่องจากมีการถอดความ

กระบวนการนี้ได้รับชุดข้อมูลที่เป็นนามธรรม/การเผยแพร่ 663 คู่ซึ่งมีข้อความว่าเกินจริงและความแข็งแรงของการอ้างสิทธิ์ นักวิจัยสุ่มตัวอย่าง 100 คนเป็น การเรียนรู้แบบไม่กี่ช็อต ข้อมูลการฝึกอบรมพร้อมตัวอย่าง 553 ตัวอย่างที่เตรียมไว้สำหรับการทดสอบ นอกจากนี้ ยังมีการจัดทำชุดฝึกอบรมขนาดเล็กซึ่งประกอบด้วยประโยค 1,138 ประโยค โดยจำแนกว่าประโยคเหล่านี้แสดงถึงข้อสรุปหลักของบทสรุปหรือข่าวประชาสัมพันธ์หรือไม่ สิ่งเหล่านี้ถูกใช้เพื่อระบุ 'ประโยคสรุป' ในคู่ที่ไม่มีป้ายกำกับ

การทดสอบ

นักวิจัยได้ทดสอบวิธีการในการกำหนดค่า XNUMX รูปแบบ ได้แก่ การตั้งค่าที่มีการควบคุมดูแลอย่างเต็มที่พร้อมข้อมูลที่มีป้ายกำกับเท่านั้น สถานการณ์ PET แบบงานเดียว และใน MT-PET ใหม่ ซึ่งเพิ่มเธรดการกำหนดสูตรรองเป็นงานเสริม (เนื่องจากจุดประสงค์ของโครงการคือการตรวจสอบสองคุณสมบัติที่แยกจากกันจากชุดข้อมูลที่มีโครงสร้างข้อมูลที่จับคู่กัน)

นักวิจัยพบว่า MT-PET ปรับปรุงจากผลการทดสอบ PET พื้นฐานในสภาพแวดล้อมการทดสอบ และพบว่าการระบุจุดแข็งของการอ้างสิทธิ์ช่วยสร้างข้อมูลการฝึกอบรมแบบ soft-label สำหรับการตรวจจับการเกินจริง อย่างไรก็ตาม กระดาษตั้งข้อสังเกตว่าในการกำหนดค่าบางอย่างท่ามกลางชุดการทดสอบที่ซับซ้อน โดยเฉพาะอย่างยิ่งที่เกี่ยวข้องกับความแข็งแรงของการอ้างสิทธิ์ การมีอยู่ของข้อมูลที่มีป้ายกำกับอย่างมืออาชีพอาจเป็นปัจจัยในการปรับปรุงผลลัพธ์ (เมื่อเทียบกับโครงการวิจัยก่อนหน้านี้ที่แก้ไขปัญหานี้) สิ่งนี้อาจมีนัยสำหรับขอบเขตที่ท่อสามารถทำให้เป็นอัตโนมัติได้ ขึ้นอยู่กับการเน้นข้อมูลของงาน

อย่างไรก็ตาม ผู้วิจัยสรุปว่า MT-PET 'ช่วยในกรณีที่ยากขึ้นในการระบุและแยกแยะการอ้างสิทธิ์ที่เป็นสาเหตุโดยตรงจากการอ้างสิทธิ์ที่อ่อนแอกว่า และแนวทางที่มีประสิทธิภาพมากที่สุดนั้นเกี่ยวข้องกับการจำแนกและเปรียบเทียบความแข็งแกร่งของการอ้างสิทธิ์แต่ละรายการจากเอกสารต้นทางและเป้าหมาย'.

ในการปิดท้าย งานคาดการณ์ว่า MT-PET ไม่เพียงแต่สามารถนำไปใช้กับเอกสารทางวิทยาศาสตร์ในวงกว้าง (นอกภาคส่วนด้านสุขภาพ) แต่ยังสามารถสร้างพื้นฐานของเครื่องมือใหม่ ๆ เพื่อช่วยให้นักข่าวสร้างภาพรวมที่ดีขึ้นของเอกสารทางวิทยาศาสตร์ (แม้ว่า สิ่งนี้อาจไร้เดียงสาสันนิษฐานว่านักข่าวกำลังพูดเกินจริงโดยใช้ความไม่รู้) รวมถึงช่วยเหลือชุมชนการวิจัยในการกำหนดรูปแบบการใช้ภาษาที่ชัดเจนยิ่งขึ้นเพื่ออธิบายแนวคิดที่ซับซ้อน นอกจากนี้ บทความยังตั้งข้อสังเกตว่า:

'[มัน] ควรสังเกตว่าผลการทำนายที่รายงานในบทความนี้มีไว้สำหรับข่าวประชาสัมพันธ์ที่เขียนโดยนักข่าววิทยาศาสตร์ - หนึ่งอาจคาดหวังผลลัพธ์ที่แย่กว่าสำหรับข่าวประชาสัมพันธ์ซึ่งทำให้บทความทางวิทยาศาสตร์ง่ายขึ้นอย่างมาก'