บทความวิทยาศาสตร์ที่เขียนอย่างมั่นใจชักจูงผู้ประเมิน AI ได้ ไม่ว่าจะมีคุณภาพเพียงใด

ความมั่นใจเป็นข้อได้เปรียบที่แตกต่างในการวิวัฒนาการ และจากงานวิจัยฉบับใหม่ของเยอรมนี ยังเป็นข้อได้เปรียบเมื่อบทความวิทยาศาสตร์ได้รับการประเมินโดยโมเดลภาษาขนาดใหญ่ (แอลแอลเอ็ม) แทนที่จะเป็นเพื่อนนักวิจัยของผู้เขียนด้วย (ซึ่งเป็นสิ่งจำเป็นที่เกิดขึ้นบ่อยขึ้นเรื่อย ๆ เมื่อจำนวนบทความวิทยาศาสตร์เพิ่มขึ้นอย่างรวดเร็วจากการเพิ่มผลิตภาพด้วย AI)

งานวิจัยฉบับใหม่นี้พบว่า ผู้ประเมินที่เป็น AI (กล่าวคือ ไม่ใช่มนุษย์) ให้คะแนนบทความวิทยาศาสตร์ที่เขียนด้วยภาษามั่นใจและหนักแน่นสูงกว่าอย่างสม่ำเสมอ แม้ว่างานวิจัยที่อยู่เบื้องหลังจะเหมือนกับบทความที่ใช้ถ้อยคำไม่มั่นใจเท่ากันก็ตาม ในบางกรณี การเปลี่ยนเพียงถ้อยคำก็เพียงพอที่จะพลิกผลจากการปฏิเสธเป็นการตอบรับ

ผู้เขียนระบุว่า:

‘การทดลองของเราเผยให้เห็นว่า ผู้ประเมินที่เป็น LLM มีความชื่นชอบอย่างมากต่อ[papers]การใช้ภาษาที่แสดงความมั่นใจสูง ที่สำคัญ ความชื่นชอบเหล่านี้มักทำให้ผลการตัดสินพลิกข้ามเส้นแบ่งระหว่างการตอบรับ<>กับการปฏิเสธ ซึ่งส่งผลโดยตรงต่อผลการประเมิน

‘นอกเหนือจากคะแนนแล้ว เรายังพบว่าประเด็นที่ยกขึ้นกล่าวในการประเมินมีความถี่และน้ำเสียงแตกต่างกันไปตามลักษณะทางภาษาของบทความ ซึ่งอาจส่งผลต่อการตัดสินขั้นสุดท้าย’

เรื่องนี้ชวนให้ขบขัน เพราะกลุ่มอาการที่ผู้เขียนระบุมีความคล้ายคลึงอย่างมากกับรูปแบบที่ AI มักจะ‘ตอบผิดอย่างมั่นใจ’เมื่อรับมือกับคำสั่งและข้อซักถามของเราเอง ต่างกันเพียงว่าในกรณีนี้ การตัดสินใจเป็นของมนุษย์ และความรับผิดชอบทั้งในระดับบุคคลและส่วนรวมก็เป็นเรื่องจริง ไม่ว่านักวิทยาศาสตร์ที่มีส่วนร่วมอยู่เบื้องหลังบทความเหล่านี้จะเชื่อข้อกล่าวอ้างของตนจริงหรือไม่ก็ตาม

หาก AI มีบทบาทตัดสินมากขึ้นว่าบทความวิทยาศาสตร์ใดจะได้รับการตีพิมพ์ นักวิทยาศาสตร์อาจเรียนรู้ที่จะ ‘เขียนให้ฟังดูมั่นใจขึ้น’ เพื่อใช้เป็นกลยุทธ์ในการแข่งขัน ซึ่งอาจเกิดขึ้นเป็นพิเศษเมื่อบทความที่ส่งมีข้อบกพร่อง และอาจเปิดทางให้งานวิทยาศาสตร์ที่ด้อยกว่ามีที่ยืนโดยไม่สมควร ในพื้นที่ความสนใจที่มีอยู่อย่างจำกัดและลดน้อยลงเรื่อย ๆ

พูดจาโอ้อวดสู่ชัยชนะ

จากงานวิจัย* ผู้ประเมิน AI มีแนวโน้มชื่นชมวิธีการ ทฤษฎี และคุณูปการทางวิทยาศาสตร์ของบทความที่เขียนอย่างมั่นใจมากกว่า แม้สิ่งเหล่านี้จะเหมือนกับในฉบับที่ใช้ภาษาหนักแน่นน้อยกว่าก็ตาม ในการทดสอบของผู้เขียน มีการเขียนบทความวิทยาศาสตร์ 504 ฉบับขึ้นใหม่ด้วยรูปแบบที่แตกต่างกัน แล้วนำไปประเมินด้วยโมเดล AI หกโมเดล ซึ่งรวมถึง GPT-5.5, Claude Sonnet 4.6 และ Gemini 3.5 Flash จำเป็นต้องสร้างบทความฉบับดัดแปลงหรือฉบับจำลองขึ้น เพื่อไม่ให้ลักษณะเฉพาะและข้อแปลกของบทความที่ส่งเข้าพิจารณาจริงบิดเบือนผลลัพธ์:

ตัวอย่างข้อความจากบทความวิทยาศาสตร์เดียวกันที่เขียนขึ้นใหม่ในสี่รูปแบบที่แตกต่างกัน ส่วนที่เน้นสีแสดงการเปลี่ยนแปลงที่ตั้งใจให้ภาษาแสดงความมั่นใจมากขึ้นหรือน้อยลง หรือให้คล้ายภาษาอังกฤษเชิงวิชาการที่เขียนโดยเจ้าของภาษาหรือผู้ที่ไม่ใช่เจ้าของภาษามากขึ้น อย่างไรก็ตาม ข้อค้นพบและตัวเลขพื้นฐานยังคงเดิม แหล่งที่มา

บทความเหล่านี้มาจากบทความที่ส่งเข้าร่วมการประชุม ICLR ปี 2026 โดยมีจำนวนบทความที่ได้รับการตอบรับและถูกปฏิเสธเท่ากัน จากนั้น Claude Opus 5 ได้เขียนบทความที่ส่งเข้าพิจารณาแต่ละฉบับขึ้นใหม่ให้ฟังดูมั่นใจมากขึ้นหรือน้อยลง^† โดยคงเนื้อหาทางวิทยาศาสตร์ไว้เหมือนเดิม จึงสามารถระบุได้ว่าความแตกต่างในการประเมินของ AI เกิดจากรูปแบบการเขียน หรือระดับความมั่นใจที่แสดงออกซึ่งแตกต่างกัน

ผลการศึกษาพบว่า ผู้ประเมิน AI ให้คะแนนบทความวิทยาศาสตร์ที่เขียนด้วยภาษามั่นใจสูงกว่า แม้หลักฐานจะเหมือนกันก็ตาม Claude Sonnet 4.6 แสดงอคติมากที่สุด โดยเลือกฉบับที่เขียนอย่างมั่นใจบ่อยกว่าถึงเจ็ดเท่าเมื่อเทียบกับฉบับที่ใช้ถ้อยคำระมัดระวัง ใน 21% ของกรณี โมเดลแนะนำให้ตอบรับบทความที่เขียนอย่างมั่นใจ แต่กลับแนะนำให้ปฏิเสธบทความฉบับเดียวกันที่ใช้ถ้อยคำระมัดระวังมากกว่า

งานวิจัยฉบับใหม่ระบุว่า:

‘ข้อค้นพบของเราทำให้เกิดข้อกังวลสำคัญเกี่ยวกับการใช้ LLM ในการประเมินโดยผู้ทรงคุณวุฒิ หากบทความที่มีเนื้อหาเทียบเท่ากันได้รับคะแนนและเหตุผลประกอบการประเมินแตกต่างกันเพียงเพราะคุณสมบัติทางภาษา การตัดสินของผู้ประเมินก็ไม่ได้สะท้อนคุณภาพทางวิทยาศาสตร์เพียงอย่างเดียว

‘ดังนั้น ควรทดสอบความทนทานของผู้ประเมินที่เป็น LLM ด้วยบทความฉบับเขียนใหม่ซึ่งคงเนื้อหาเดิมไว้ เพื่อพิจารณาว่าการเปลี่ยนแปลงทางภาษาส่งผลต่อการประเมินอย่างเป็นระบบหรือไม่’

ผู้เขียนเสนอเพิ่มเติมว่า การทดสอบเหล่านี้ควรตรวจสอบทั้งคะแนนของบทความและบทวิจารณ์ที่เขียนขึ้นอย่างชัดเจน เพื่อพิจารณาว่าภาษาที่มั่นใจกำลังถูกเข้าใจผิดว่าเป็นหลักฐานทางวิทยาศาสตร์ที่หนักแน่นกว่าหรือไม่

วิธีการ

คัดเลือกบทความวิทยาศาสตร์ทั้งหมด 504 ฉบับจากบทความที่ส่งเข้าร่วมการประชุมนานาชาติว่าด้วยการเรียนรู้การแทนค่า (International Conference on Learning Representations: ICLR) ปี 2026 โดยแบ่งตัวอย่างเท่า ๆ กันระหว่างบทความที่ได้รับการตอบรับกับบทความที่ถูกปฏิเสธ และเลือกบทความ 24 ฉบับจากแต่ละหมวดวิจัยทั้ง 21 หมวดของการประชุม:

วิธีทดสอบสามขั้นตอน โดยปรับแก้บทความวิชาการให้ระดับความสามารถด้านภาษาอังกฤษหรือความมั่นใจที่ปรากฏแตกต่างกัน แต่ยังคงข้อค้นพบเดิมไว้ จากนั้นตรวจสอบว่าการปรับแก้ทำให้รูปแบบการเขียนหรือความหมายเปลี่ยนไปหรือไม่ ก่อนให้ AI ผู้ประเมินพิจารณาภายใต้เงื่อนไขเดียวกัน แล้วจึงเปรียบเทียบความแตกต่างของคะแนนรีวิว

บทความแต่ละชิ้นถูกลบข้อมูลระบุตัวตนและปรับเขียนใหม่ด้วย Claude Opus 5 เพื่อสร้างฉบับทางเลือกสำหรับทดสอบทั้งระดับความมั่นใจในการนำเสนอข้อกล่าวอ้างและระดับความสามารถด้านภาษาอังกฤษที่ปรากฏของผู้เขียน สำหรับการทดสอบความมั่นใจ มีการปรับข้อความให้หนักแน่นขึ้นหรือระมัดระวังขึ้น คำที่สื่อถึงความแน่ใจ เช่น “อย่างชัดเจน” และ “อย่างแน่นอน” ปรากฏบ่อยขึ้นในฉบับที่ใช้ภาษามั่นใจ ส่วนฉบับร่างที่ระมัดระวังมากขึ้นจะเลือกใช้ถ้อยคำแสดงเงื่อนไข เช่น “อาจ” และ “บ่งชี้ว่า”

ในทุกกรณี ข้อกล่าวอ้างทางวิทยาศาสตร์ หลักฐาน ผลลัพธ์ ศัพท์เทคนิค และโครงสร้างโดยรวมยังคงเดิม ผู้เขียนระบุว่า คำสั่งที่ใช้ในการปรับเขียนอ้างอิงงานวิจัยทางภาษาศาสตร์ที่มีอยู่แล้ว ไม่ใช่คำขอทั่วไปให้เลียนแบบรูปแบบการเขียนเฉพาะแบบ

การตรวจสอบฉบับปรับเขียน

ในการตรวจสอบ เปรียบเทียบฉบับปรับเขียนแต่ละฉบับกับต้นฉบับด้วย ความคล้ายคลึงเชิงความหมาย ซึ่งประเมินว่าข้อความยังคงความหมายเดิมหรือไม่ และ ความคล้ายคลึงแบบ TF-IDF (ซึ่งวัดการคงไว้ของคำศัพท์และศัพท์เฉพาะ) คะแนนทั้งสองค่าเข้าใกล้ 1 แสดงว่าฉบับปรับเขียนยังคล้ายคลึงกับต้นฉบับอย่างมาก:

การตรวจสอบบทความฉบับปรับเขียน ฉบับที่ใช้ภาษามั่นใจมีถ้อยคำหนักแน่นกว่า ขณะที่ฉบับที่ใช้ภาษาระมัดระวังแสดงความไม่แน่ใจมากกว่า คะแนนที่ใกล้ 1 ยืนยันว่าฉบับปรับเขียนยังคล้ายคลึงกับต้นฉบับอย่างมาก ส่วนการเน้นสีแสดงค่าที่สูงกว่าสำหรับตัวชี้วัดแต่ละรายการที่ทดสอบ

มีการทดสอบ AI ผู้ประเมิน 6 โมเดล ได้แก่ โมเดลแบบปิด GPT-5.5, Claude Sonnet 4.6 และ Gemini 3.5 Flash กับโมเดลน้ำหนักเปิด Gemma 3, Qwen3 VL และ GLM 4.7 ส่วนหนึ่งที่เลือกโมเดลเหล่านี้เพราะทุกโมเดลมีวันตัดข้อมูลความรู้ก่อนปี 2026 ซึ่งช่วยลดความเสี่ยงที่โมเดลจะมีความรู้ล่วงหน้าเกี่ยวกับผลการตอบรับบทความ

บทความฉบับปรับเขียนแต่ละฉบับได้รับการประเมินอย่างเป็นอิสระตามแนวทางที่ใช้กับการประชุมวิชาการ เพื่อดูว่าคะแนนอาจแตกต่างกันเพียงใดเมื่อประเมินซ้ำ จึงสุ่มเลือกบทความ 10 ชิ้น แล้วให้แต่ละโมเดลประเมินซ้ำชิ้นละ 10 ครั้ง

ผลการทดลอง

การทดสอบนี้พิจารณาว่า AI ผู้ประเมินทั้ง 6 โมเดลที่เลือกมาจะชื่นชอบรูปแบบการเขียนบางแบบอย่างสม่ำเสมอหรือไม่ โดยเปรียบเทียบบทความที่ใช้ภาษามั่นใจหรือระมัดระวัง และบทความที่มีลักษณะคล้ายภาษาอังกฤษเชิงวิชาการซึ่งเขียนโดยเจ้าของภาษาหรือผู้ที่ไม่ใช่เจ้าของภาษา^†

ผลการเปรียบเทียบคะแนนรีวิวจาก AI สำหรับบทความวิชาการ 504 ชิ้นที่ปรับเขียนด้วยรูปแบบต่างกัน เปอร์เซ็นต์ความชื่นชอบแสดงว่าฉบับใดได้คะแนนสูงกว่า โดยตัวเลขในวงเล็บคือกรณีที่คะแนนเสมอกัน อัตราส่วนแสดงว่าฉบับหนึ่งได้รับความชื่นชอบบ่อยกว่าอีกฉบับเพียงใด ส่วนการพลิกผลการตัดสินแสดงความถี่ที่การเปลี่ยนถ้อยคำทำให้ผลตอบรับหรือปฏิเสธกลับด้าน ค่าสถิติที่แสดงเป็นตัวหนาบ่งชี้ถึงความแตกต่างอย่างมีนัยสำคัญ ส่วนที่เกี่ยวข้องคือส่วนล่าง เนื่องจากบทความนี้ไม่ได้กล่าวถึงสมมติฐานด้านบน (ดูเชิงอรรถ)

AI ผู้ประเมินทั้ง 6 โมเดลให้คะแนนงานเขียนที่ใช้ภาษามั่นใจสูงกว่าอย่างสม่ำเสมอ โดย Claude Sonnet 4.6 แสดงความชื่นชอบมากที่สุด ดังที่กล่าวไปก่อนหน้านี้ โมเดลนี้ให้คะแนนฉบับร่างที่ใช้ภาษามั่นใจสูงกว่าฉบับที่ใช้ภาษาระมัดระวังบ่อยกว่าถึง 7 เท่า

ถือว่าบทความผ่านการตอบรับเมื่อได้คะแนน 4.5 จาก 10 คะแนน อย่างไรก็ตาม บางครั้งรูปแบบการเขียนที่เปลี่ยนไปทำให้บทความชิ้นเดิมได้คะแนนสูงหรือต่ำกว่าเกณฑ์นี้ จนผลการตัดสินกลับด้าน และโดยทั่วไปการกลับด้านดังกล่าวเอื้อให้ฉบับที่ใช้ภาษามั่นใจมากกว่า

Claude Sonnet 4.6 ทำผลงานได้แย่เป็นพิเศษ โดยใน 21% ของกรณี โมเดลตอบรับฉบับที่ใช้ภาษามั่นใจ แต่ปฏิเสธฉบับที่ใช้ภาษาระมัดระวัง ส่วนกรณีที่เกิดผลตรงกันข้ามมีเพียง 2.8%

ผลดังกล่าวยังเห็นได้ชัดในรีวิวที่เขียนขึ้น โดย AI ผู้ประเมินมีแนวโน้มกล่าวชื่นชมวิธีการ ทฤษฎี และผลงานทางวิทยาศาสตร์ของบทความมากขึ้น หากข้อกล่าวอ้างนำเสนอด้วยภาษามั่นใจ เนื่องจากตัวงานวิจัยไม่ได้เปลี่ยนแปลง การประเมินที่เป็นบวกมากขึ้นนี้จึงอธิบายได้ด้วยความแตกต่างด้านการนำเสนอและน้ำเสียงเท่านั้น

บทสรุป

ทุกครั้งที่มนุษย์ใช้ AI เพื่อเพิ่มอัตราส่วนสัญญาณต่อสัญญาณรบกวน (แม้จะโดยไม่ตั้งใจก็ตาม) AI ก็ถูกนำมาทดลองใช้เป็นทางแก้—ในกรณีนี้คือเพื่อรับมือกับจำนวนบทความวิจัยด้านปัญญาประดิษฐ์ที่ส่งเข้ามาเพิ่มขึ้นอย่างมาก กระแสที่เมื่อไม่นานมานี้ได้เพิ่มอำนาจและเกณฑ์การกลั่นกรองของ Arxiv อย่างไรก็ตาม ถึงตอนนี้คงเห็นได้ชัดแล้วว่า LLM รุ่นแนวหน้าและรุ่นทุกระดับที่อยู่ต่ำลงมายังมีลักษณะแปลกประหลาดอยู่มากเกินกว่าจะไว้วางใจให้ทำหน้าที่เป็นผู้ตัดสินได้ในทุกกรณี ยกเว้นในสถานการณ์ที่กำหนดพารามิเตอร์ไว้อย่างเคร่งครัดที่สุด

ในกรณีเช่นนี้ การนำ LLM ขนาดเล็กมาใช้เป็นเครื่องมือเฉพาะทางสำหรับการตัดสินด้วยวิธีการปรับแต่งแบบละเอียดหรือเทคนิค LoRA น่าจะเป็นแนวทางที่ดีกว่า อย่างไรก็ตาม วิธีนี้ต้องใช้ความพยายามเพิ่มเติมอย่างน้อยเล็กน้อย หรืออาจต้องลงทุนเพิ่มอีกเล็กน้อยด้วย ขณะที่การติดตั้งในเครื่องแบบ «vanilla» หรือการเรียกใช้ API ทำได้รวดเร็วกว่าและมีค่าใช้จ่ายค่อนข้างต่ำ

ถึงบทความนี้จะเขียนไว้อย่างกระชับมาก แต่ก็อาจเป็นที่สนใจของผู้ใช้ LLM ทั่วไปมากกว่าค่าเฉลี่ยอยู่ไม่น้อย เพราะพวกเขาคุ้นเคยกับ «ความกระตือรือร้น» ในฐานะปัญหาที่ต้องหาทางรับมือเพื่อให้ทำงานร่วมกับ AI ได้อย่างมีประสิทธิภาพอยู่แล้ว และหากยังแก้ปัญหานี้รวมถึงปัญหาคล้ายกันของ LLM ไม่ได้ อย่างน้อยก็ยังสามารถคำนึงถึงปัญหาเหล่านี้ไว้ได้

ก่อนที่เราจะใช้น้ำเสียงเยาะเย้ยเกินไปกับการเทียบเคียงอย่างมักง่ายเช่นนี้ในการประเมิน AI ก็ควรระลึกไว้ว่า เมื่อพูดถึงญาณวิทยา—การแสวงหาอำนาจยืนยันความจริงที่เด็ดขาด—ระบบเหล่านี้ก็หลงทางไม่ต่างจากพวกเราที่เหลือ และในอดีต พวกเราเองก็มักเข้าใจผิดว่าสัญญาณคือสิ่งนั้นเสียเอง

* ชื่อเรื่อง «รูปแบบสำคัญกว่าเนื้อหาหรือไม่? อคติทางภาษาในการประเมินบทความโดยผู้ทรงคุณวุฒิด้วย LLM»

^† หรืออาจกล่าวได้ว่าให้มีลักษณะคล้ายภาษาอังกฤษเชิงวิชาการที่เขียนโดยเจ้าของภาษาหรือผู้ที่ไม่ใช่เจ้าของภาษา ซึ่งเป็นสมมติฐานคู่ขนานที่บทความนี้ยังพิสูจน์ได้ไม่หนักแน่นเท่า และบทความนี้ไม่ได้กล่าวถึง

เผยแพร่ครั้งแรกเมื่อวันอังคารที่ 27 ตุลาคม 2026