AI อ้างอิงเอกสารเดียวกันซ้ำแล้วซ้ำอีก – เหมือนมนุษย์

ChatGPT และเครื่องมือเขียน AI อื่น ๆ อาจกำลังเงียบ ๆ ทำให้วิทยาศาสตร์กลายเป็นการแข่งขันความนิยม โดยบังคับให้นักวิจัยหันไปอ้างอิงเอกสารเดียวกันซ้ำ ๆ แม้จะมองข้ามผลงานใหม่และนวัตกรรมที่อาจพัฒนาสาขานั้นจริง ๆ

Monoculture, in terms of frequency and statistics, is where the same limited set of sources or assets recur over and over again, drowning out novel voices and fresh outlooks: the same limited set of songs in radio scheduling; the same swathe of authors and books in airport racks; and the same restricted selection of fruit and vegetables in supermarkets:

ใช่ เรามีกล้วยเหล่านี้ – และมีแค่กล้วยเหล่านี้เท่านั้น ความเป็นเอกลักษณ์ของผลไม้และผักในห่วงโซ่อาหารตะวันตกละเลยศักยภาพหลายร้อยแบบในแต่ละกรณี เนื่องจากกระบวนการผลิตและขนส่งที่หลากหลายมีค่าใช้จ่ายสูงเกินกว่าจะทำให้หลายชนิดของผลไม้หรือผักเป็นอุตสาหกรรมได้ แหล่งที่มา

This occurs also in the citations that appear in new scientific research, where researchers, perhaps lazily, default to a ‘reliable’ set of sources that gain momentum until they begin to dominate strands of research.

This is known as the Matthew Effect – a sociological theory which suggests that incumbents will always benefit; the syndrome has been compared to the promise made in Matthew 13:12, which states ‘ผู้ที่มีจะได้รับเพิ่มขึ้นและจะมีความอุดมสมบูรณ์ ผู้ที่ไม่มี แม้แต่สิ่งที่พวกเขามีจะถูกพรากจากพวกเขา’.

กลุ่มคนในวง

หนึ่งใน ความคาดหวังอันยิ่งใหญ่ ของการวิจัยที่เสริมด้วย AI คือ วิธีการเรียนรู้ของเครื่องใหม่ ๆ อาจหลุดพ้นจาก Matthew Effect – หรือที่รู้จักกันว่า อคติความนิยม – และเริ่มอ้างอิงผลงานที่ไม่ค่อยเป็นที่รู้จักซึ่งอาจมีความเฉียบคมหรือเหมาะสมกับประเด็นที่นำเสนอในบทความ

อย่างไรก็ตาม จากวิธีที่ขั้นตอนการฝึก AI แปลชุดข้อมูล ไม่เคยมีเหตุผลที่ดีสำหรับความมุ่งหวังนี้เลย; และพบว่าบ่อยครั้งเมื่อ AI ไม่ได้ สร้างการอ้างอิง อย่างชัดเจน – ซึ่งเป็น ปัญหาเรื้อรัง จนถึงปัจจุบัน – มันก็ยังคง ทำให้ Matthew Effect ยังคงอยู่ เช่นเดียวกับมนุษย์ – แม้อาจไม่ใช่เหตุผลเดียวกัน

ระหว่างการฝึก โมเดลจะเรียนรู้ให้ให้คะแนนสูงกับเอกสารที่อ้างอิงมากที่สุด (หรือ ‘ที่ถูกอ้างอิงบ่อยที่สุด’) ในชุดฝึก เนื่องจากขั้นตอนการฝึกออกแบบมาเพื่อสกัดรูปแบบที่มีความหมาย และเพื่อ ลดค่าข้อมูลนอกกรอบ เป็น ‘สัญญาณรบกวน’ หรือความผิดปกติทางสถิติ

ภายใต้ระบบนี้ ทฤษฎีสัมพัทธภาพของไอน์สไตน์ก็จะไม่เคยได้รับความสนใจจากเครื่องจักร เนื่องจากเมื่อฝึกเสร็จแล้ว โมเดลจะคิดว่ามันได้ค้นพบหลักการและอ้างอิงแล้ว และสามารถปรับมุมมองนั้นได้เพียงเล็กน้อยโดยการเข้าถึงงานตีพิมพ์ใหม่ผ่าน RAG หรือวิธีอื่นที่ขยายขอบเขตของโมเดลนอกเมทริกซ์ที่ฝึกไว้

ปัญหาคือ มันจะไม่ให้เครดิตงานใหม่เหล่านั้นในลักษณะเดียวกับ ‘งานโปรดเก่า’ ที่มันเคยรู้จัก หรืออาจไม่ให้เครดิตเลย เนื่องจากอคติทางสถิติของมันได้ฝังลึกแล้ว

ดังนั้น AI ไม่ได้สังเกตและเลียนแบบพฤติกรรมของมนุษย์เมื่อมันทำให้ Matthew Effect คงอยู่ – มันเพียงแค่นับจำนวนครั้งที่นักวิจัยขี้เกียจเลือกเอกสารเก่าเดิมและจัดอันดับเอกสารเหล่านั้นสูงเช่นเดียวกัน ในแง่นี้ ปัญหาการอ้างอิงซ้ำซ้อนเกี่ยวข้องกับความท้าทายของการ คัดเลือก งานวิจัยวิทยาศาสตร์ที่น่าสนใจจาก พายุหิมะที่เพิ่มขึ้นอย่างต่อเนื่อง ของงานวิจัย AI, โดยงานที่แข็งแกร่งที่สุดมักจะมีสัญญาณที่อ่อนที่สุด

การวินิจฉัยโมโน

ประเด็นนี้ได้รับการพิจารณาใน บทความใหม่ที่น่าสนใจ จากสหรัฐอเมริกาชื่อ When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models. งานใหม่ – ความร่วมมือระหว่าง University of Texas at Austin, Stevens Institute of Technology, Washington University at St Louis, Rice University, และ University of Notre Dame – มีเป้าหมายเพื่อพิสูจน์อย่างชัดเจนว่ามีการเกิดโมโนคัลเจอร์การอ้างอิงในโมเดลภาษาต่าง ๆ

ในการทดสอบ ผู้เขียนพบว่าโมเดลสิบเอ็ดตัวจาก OpenAI, Google และ Anthropic ให้ความสำคัญกับ กลุ่มเอกสารเล็ก ๆ เดียวกัน อย่างต่อเนื่อง – แม้จะลบสัญญาณความนิยมที่ชัดเจนออกแล้วก็ตาม

เพื่อทดสอบสิ่งนี้ กระดาษวิจัยจริง 120 ฉบับถูกลบจำนวนการอ้างอิงและสถานที่ตีพิมพ์ออก, ชื่อผู้เขียนถูกแทนที่, และปีการตีพิมพ์ถูกสุ่มกำหนดใหม่ ชุดสุ่มของสามสิบฉบับจึงถูกแสดงให้แต่ละโมเดลดู, โดยแต่ละโมเดลได้รับอนุญาตให้อ้างอิงไม่เกินสิบฉบับ

ผู้เชี่ยวชาญมนุษย์แปดคนในสาขาที่เกี่ยวข้องได้รับกระดาษเดียวกันแบบปิดบัง, แต่ ไม่ได้ ตรงกับงานโปรดเดียวกันของ AI, แสดงให้เห็นว่าความลำเอียงเป็น เฉพาะโมเดล AI ไม่ใช่เอกสารเอง:

จากบทความใหม่ ผลการทดสอบเปรียบเทียบการเลือกอ้างอิงของโมเดล AI กับผู้เชี่ยวชาญมนุษย์ ในโมเดลทั้งหมดสิบเอ็ดตัว การอ้างอิงมุ่งเน้นไปที่กลุ่มเอกสารที่เล็กลงในขณะที่บางเอกสารถูกละเลยอย่างต่อเนื่อง ผู้เชี่ยวชาญมนุษย์ไม่แสดงแนวโน้มเช่นนั้น แหล่งที่มา

เอกสารเดียวกันยังคงได้รับความนิยมแม้เมื่อโมเดลถูกขอให้เลือกอ้างอิงเท่านั้น, แสดงว่าการเขียนรีวิวเอง ไม่ได้ เป็นสาเหตุของความลำเอียง

การทดลองต่อจากนั้นถูกขยายเป็นสิบเอ็ดรอบ, โดยเพิ่มกระดาษที่เขียนด้วย AI จำนวน 120 ฉบับหลังแต่ละรอบ, เพื่อทดสอบว่ามีอะไรเกิดขึ้นเมื่อความชอบร่วมกันนี้ทำงานในกลุ่มงานวิจัยที่สร้างโดย AI ที่เพิ่มขึ้น

เมื่อเพิ่มกระดาษที่เขียนด้วย AI มากขึ้น โมเดลจะมุ่งเน้นการอ้างอิงไปยังจำนวนเอกสารมนุษย์ต้นฉบับที่ลดลงอย่างต่อเนื่อง

The authors state:

‘เมื่อโมเดลภาษาเปลี่ยนจากการร่างข้อความเป็นการทำงานของเอเจนต์ค้นหาวรรณกรรมด้วยการเรียกเครื่องมือ, การอ้างอิงที่สร้างขึ้นกำลังง่ายต่อการตรวจจับและจำกัด.’

‘ความล้มเหลวที่ยากขึ้นเริ่มต้นหลังจากผู้สมัครทุกคนเป็นจริง: โมเดลที่แตกต่างกันอาจยังคัดเลือกกลุ่มย่อยแคบเดียวกัน, ทำให้เกิดโมโนคัลเจอร์การอ้างอิงโดยที่ไม่มีการอ้างอิงใดผิดพลาด.’

เพื่อแก้ไขปัญหา บทความอธิบายว่าการผสมโมเดลจากผู้จำหน่ายต่าง ๆ หรือให้เอกสารได้รับการเปิดเผยเท่าเทียมกันไม่เพียงพอ เนื่องจากความชอบส่วนใหญ่ถูกแชร์ระหว่างโมเดล อย่างไรก็ตาม ความชอบพื้นฐานต่อเอกสารเฉพาะ จำเป็นต้องเปลี่ยนแปลง – อาจทำได้โดยให้ความสำคัญกับเอกสารที่ถูกละเลยมากขึ้น อย่างไรก็ตาม ผู้เขียนเน้นว่าการดำเนินการนี้ยังไม่ได้รับการทดสอบ

วิธีการทดสอบ

เกณฑ์มาตรฐานถูกสร้างจากกระดาษสรุปความรู้จริง 120 ฉบับที่รวบรวมจาก arXiv และตีพิมพ์ระหว่างปี 2015 ถึง 2022 แต่ละฉบับมีการอ้างอิงระหว่าง 50 ถึง 500 ครั้งในขณะรวบรวม, ช่วงนี้ถูกเลือกเพื่อคัดออกทั้งงานที่ไม่เป็นที่รู้จักและงานที่มีอิทธิพลอย่างมาก

The experiment began by drawing thirty papers at random from the available collection, with author names, publication years and citation counts hidden. Each model produced a short review or position piece citing no more than ten papers, and these choices were compared with random selections from the same material:

โครงสร้างของวิธีการที่ใช้ทดสอบความชอบในการอ้างอิง. กระดาษสามสิบฉบับที่สุ่มเลือกถูกแสดงให้โมเดลดูโดยซ่อนข้อมูลระบุตัวตน, จากนั้นโมเดลสามารถอ้างอิงได้สูงสุดสิบฉบับ การเลือกของมันถูกเปรียบเทียบกับการสุ่มเลือก, ในขณะที่แต่ละรอบเพิ่มกระดาษที่เขียนด้วย AI จำนวน 120 ฉบับเข้าสู่คอลเลกชันของรอบถัดไป

ในการทดลองที่ขยาย, กระดาษที่สร้างใหม่จำนวน 120 ฉบับถูกเพิ่มเข้าสู่คอลเลกชันหลังแต่ละรอบ, ทำให้สัดส่วนของงานวิจัยที่เขียนด้วย AI เพิ่มขึ้นอย่างค่อยเป็นค่อยไป

ในการทดสอบเบื้องต้น, โมเดลมักอ้างอิงส่วนใหญ่ของกระดาษที่แสดงให้, โดยทั่วไปเลือก 22 ถึง 27 จาก 30 ฉบับ. ดังนั้นนักวิจัยจึงกำหนดสูงสุดที่สิบการอ้างอิงสำหรับการทดลองหลัก, เพื่อบังคับให้โมเดลทำการเลือกอย่างระมัดระวังมากขึ้น

ด้านล่างเป็นสรุปของการออกแบบการทดลองที่ได้ผล:

การตั้งค่าการทดลองที่ใช้ทดสอบความชอบในการอ้างอิง. การศึกษาเริ่มต้นด้วยกระดาษจริง 120 ฉบับและทดสอบโมเดลสิบเอ็ดตัวจากผู้จำหน่ายสามราย, โดยใช้ชุดสุ่มของ 30 ฉบับและจำกัดการอ้างอิงไม่เกินสิบ. รอบต่อมานำกระดาษที่สร้างด้วย AI เพิ่มเข้าไป, ทำให้คอลเลกชันขยายเป็น 1,440 ฉบับ

การทดลองเริ่มต้นใช้โมเดลสิบเอ็ดตัวจากผู้ให้บริการหลักสามราย: OpenAI มี GPT-5, GPT-5 mini, GPT-4.1 และ GPT-4.1 mini; Google มี Gemini 2.5 Pro, Gemini 2.5 Flash, Gemini 3.1 Pro และ Gemini 3.1 Flash-Lite; และ Anthropic มี Claude Opus 4.8, Claude Sonnet 4.6 และ Claude Haiku 4.5.

ในผลการทดสอบที่แสดงด้านล่าง เราเห็นว่าทุกโมเดลมุ่งการอ้างอิงไปยังกลุ่มเอกสารเล็ก ๆ มากแค่ไหน; มีเอกสารที่ถูกละเลยทั้งหมดกี่ฉบับ; และความสม่ำเสมอในการเลือกเดียวกันเมื่อทำการทดลองซ้ำ:

ผลการทดสอบแสดงว่าทุกโมเดลมุ่งการอ้างอิงไปยังเอกสารเฉพาะอย่างแรงแค่ไหนและละเลยเอกสารทั้งหมดกี่ฉบับ ‘ส่วนแบ่ง Top-10%’ แสดงจำนวนการอ้างอิงที่ไปยัง 12 เอกสารที่ได้รับความนิยมสูงสุด, ในขณะที่ ‘HHI’ วัดระดับความกระจุกของการอ้างอิงโดยรวม. ‘Reliability’ แสดงความสม่ำเสมอที่แต่ละโมเดลให้ความสำคัญกับเอกสารเดียวกันในหลายการทดสอบ, และ ρแสดงว่าความชอบเหล่านั้นคล้ายกันแค่ไหนระหว่างโมเดลต่าง ๆ. แถว ‘Matched null’ บ่งบอกว่าคาดว่าจะเป็นอย่างไรหากเลือกเอกสารแบบสุ่ม

โมเดลจริง ๆ แล้วให้ความสำคัญกับอะไร?

ความชอบพบว่าถูกผลักดันอย่างมากโดย เนื้อหาของเอกสารเอง. ตัวอย่างเช่น สำหรับ GPT-5 mini, ประมาณ 90% ของความแปรปรวนในการที่เอกสารได้รับความนิยมมาจากเนื้อหา, ไม่ใช่ปัจจัยเช่นลำดับรายการ, สัญญาณรบกวนการสร้าง หรือเมตาดาทาที่สร้างขึ้นสำหรับแต่ละเอกสาร. ผลกระทบ ‘เนื้อหาครอบงำ’ เดียวกันถูกทำซ้ำกับ GPT-4.1 mini.

แผนที่ความชอบ (ดูด้านล่าง) ก็เปลี่ยนแปลงเพียงเล็กน้อยเมื่อหัวข้อและบทคัดย่อถูกเขียนใหม่อย่างมากในขณะที่ความหมายยังคงเดิม. ในการทดสอบการพาราฟรีสสี่ครั้งที่สำเร็จ, ได้รับค่าความสัมพันธ์ 0.95–0.99 แม้จะใช้โมเดลที่แตกต่างจากผู้จำหน่ายสามรายสำหรับการเขียนใหม่

การเปลี่ยนแปลงในแผนที่ความชอบสังเกตได้เฉพาะเมื่อ ความหมายพื้นฐาน ถูกเปลี่ยนแปลงอย่างชัดเจน:

ผลการทดสอบเปรียบเทียบความชอบในการอ้างอิงระหว่างโมเดลสิบเอ็ดตัว ตัวเลขแสดงว่าคู่โมเดลแต่ละคู่ให้ความสำคัญกับเอกสารเดียวกันมากแค่ไหน, ค่าที่สูงกว่าบ่งบอกถึงความสอดคล้องที่มากขึ้น. แม้จะมีความแตกต่างระหว่างโมเดลและผู้จำหน่าย, ความชอบโดยรวมที่คล้ายคลึงกันพบในกลุ่มนี้

ดังนั้นโมเดลดูเหมือนตอบสนองต่อเนื้อหาเชิงความหมายเป็นหลัก มากกว่าการใช้คำเฉพาะ. อย่างไรก็ตาม เหตุผลที่ทำให้พวกมันมีความสอดคล้องสูงนั้นไม่สามารถสรุปได้อย่างแน่นอน

ผู้เขียนอ้างว่าเป็นไปได้ว่า ความเห็นพ้องกันในการอ้างอิงอาจถูกดูดซึมระหว่างการฝึก. อีกความเป็นไปได้หนึ่งคือ การตัดสินใจที่คล้ายคลึงเกี่ยวกับว่าอะไรเป็นเอกสารที่ ‘ควรอ้างอิง’ อาจเกิดขึ้นโดยอิสระกัน

ดังนั้นการมีอยู่ของความชอบที่แชร์กันจึงได้รับการยืนยัน, แต่ต้นกำเนิดสุดท้ายยังคงไม่ทราบ

ผู้เขียนเสนอว่าการใช้ AI อย่างแพร่หลายในการวิจัยอาจทำให้ขอบเขตของงานที่ได้รับความสนใจแคบลง, เนื่องจากโมเดลต่าง ๆ มีแนวโน้มให้ความสำคัญกับเอกสารเดียวกันหลายฉบับ; และเมื่อวรรณกรรมที่สร้างด้วย AI เพิ่มขึ้น, ความชอบที่แชร์กันเหล่านี้อาจได้รับการเสริมแรงเพิ่มเติมผ่านการอ้างอิงซ้ำ, ทำให้งานวิจัยที่ไม่ได้รับความนิยมยากต่อการค้นพบมากขึ้น. ดังนั้นความหลากหลายของการอ้างอิงและการตรวจสอบความกระจุกของการอ้างอิงจึงถูกเสนอเป็นมาตรการป้องกันที่เป็นไปได้

เกณฑ์มาตรฐานของการศึกษาเกี่ยวกับการกระจุกของการอ้างอิงแบบวนซ้ำพร้อมให้ใช้งานแล้ว บน GitHub.

สรุป

ความคิดเห็น ในฐานะคนที่อ่านบทความวิจัย AI จำนวนมากเป็นประจำทุกสัปดาห์, ฉันได้เห็น ‘คลื่นการอ้างอิง’ ที่มาผ่านไป. หนึ่งในผลงานที่คงอยู่ตลอดกาลคือ Attention Is All You Need ของ Google, บทความ Transformers ดั้งเดิม, ซึ่งตอนนี้ต้องถูกฝังอย่างแน่นหนาในเทมเพลตการส่งบทความแล้ว

อีกหนึ่งผลงานที่ถูกอ้างอิงซ้ำเป็นเวลานานคือ Generative Adversarial Networks จากปี 2014, แม้ว่าภายหลังจะถูกแทนที่ในความถี่โดย Denoising Diffusion Probabilistic Models และการศึกษาอื่น ๆ ที่อิงการแพร่กระจาย

ในเกือบทุกกรณี, การอ้างอิง ‘ซ้ำ’ เหล่านี้ไม่ได้ ผิด อย่างแท้จริง; แต่บ่อยครั้งมีขอบเขตกว้างเกินไปที่จะเป็นการสนับสนุนที่มีประโยชน์ต่อบทความที่อ้างอิง; และในความหมายนี้, พวกมันเป็นสิ่งที่คล้ายกับ ‘citation-washing’ – การใส่คำอ้างอิง ‘เชื่อถือได้’ แต่ส่วนใหญ่เป็นการตกแต่งเพื่อให้ดูน่าเชื่อถือโดยใช้ความพยายามน้อย

เผยแพร่ครั้งแรกวันจันทร์ที่ 24 สิงหาคม 2026