ภาษา AI ที่สร้างขึ้นเริ่มปนเปื้อนในเอกสารทางวิทยาศาสตร์

นักวิจัยจากฝรั่งเศสและรัสเซียได้ตีพิมพ์ผลการศึกษาที่บ่งชี้ว่าการใช้เครื่องมือสร้างข้อความแบบ AI เช่น GPT-3 นำไปสู่การสร้าง ‘ภาษาที่บิดเบือน’ การอ้างอิงเอกสารที่ไม่มีอยู่จริง และการนำภาพมาใช้ใหม่โดยไม่ได้รับอนุญาตในเอกสารทางวิทยาศาสตร์ที่เคารพ

สิ่งที่น่ากังวลที่สุดคือว่าเอกสารที่ศึกษายังประกอบด้วยเนื้อหาทางวิทยาศาสตร์ที่ไม่ถูกต้องหรือไม่สามารถทำซ้ำได้ ซึ่งนำเสนอเป็นผลมาจากการวิจัยเชิงวัตถุและระบบatic ซึ่งบ่งชี้ว่าโมเดลภาษาแบบสร้างสรรค์ถูกใช้ไม่เพียงแต่เพื่อปรับปรุงทักษะภาษาอังกฤษที่จำกัดของผู้เขียน แต่ยังถูกใช้ในการทำงานที่ยากลำบากด้วย และมักจะทำได้ไม่ดี

รายงาน รายงาน ที่มีชื่อเรื่องว่า ภาษาที่บิดเบือน: รูปแบบการเขียนที่น่าสงสัยที่เกิดขึ้นในทางวิทยาศาสตร์ ได้รับการรวบรวมโดยนักวิจัยจากภาควิชาวิทยาการคอมพิวเตอร์ มหาวิทยาลัย تولูซ และ Alexander Magazinov นักวิจัยจาก Yandex ซึ่งปัจจุบันอยู่ที่มหาวิทยาลัยเทลอาวีฟ

การวิจัยมุ่งเน้นไปที่การเติบโตของเอกสารทางวิทยาศาสตร์ที่ไม่มีความหมายที่สร้างขึ้นโดย AI ในวารสาร Elsevier ไมโครโพรเซสเซอร์และไมโครซิสเต็ม

ภาษาที่บิดเบือน

โมเดลภาษาที่ใช้การเรียนรู้แบบอัตโนมัติ เช่น GPT-3 ได้รับการฝึกฝนจากข้อมูลจำนวนมาก และได้รับการออกแบบมาเพื่อสร้างสรรค์ภาษาที่สามารถสร้างข้อความที่มีความหมายและรูปแบบการเขียนที่เป็นธรรมชาติได้ ในขณะเดียวกันก็เก็บความตั้งใจเดิมของข้อมูลที่ใช้ในการฝึกฝนไว้

เนื่องจากเฟรมเวิร์กเหล่านี้มักจะถูกลงโทษที่ขั้นตอนการฝึกฝนสำหรับการให้ข้อความที่ไม่ได้ถูกดูดซับหรือไม่ได้ถูกสร้างสรรค์ใหม่ พวกมันจึงพยายามหาสynonyms – แม้กระทั่งสำหรับวลีที่มีการตั้งค่าไว้แล้ว

การ提交ทางวิทยาศาสตร์ที่ดูเหมือนจะถูกสร้างขึ้นหรือช่วยเหลือโดย AI ที่นักวิจัยค้นพบ รวมถึงจำนวนการพยายามที่ล้มเหลวในการหาสynonyms ที่สร้างสรรค์สำหรับวลีที่รู้จักในภาคส่วน machine learning:

เครือข่ายประสาทเทียม: ‘องค์กรประสาทเทียมลึก’
เครือข่ายประสาทเทียม: ‘‘เครือข่ายประสาทเทียมปลอม’
เครือข่ายมือถือ: ‘‘‘องค์กรที่มีความสามารถ’
การโจมตีเครือข่าย: ‘‘การโจมตีองค์กร’
การเชื่อมต่อเครือข่าย: ‘การเชื่อมต่อองค์กร’
ข้อมูลขนาดใหญ่: ‘‘ข้อมูลขนาดใหญ่’
คลังข้อมูล: ‘คลังข้อมูล’
ปัญญาประดิษฐ์ (AI): ‘จิตสำนึกที่สร้างขึ้น’
การประมวลผลประสิทธิภาพสูง: ‘การประมวลผลที่มีประสิทธิภาพสูง’
การประมวลผลคลาวด์: ‘การประมวลผลที่มีประสิทธิภาพสูง’
หน่วยประมวลผลกราฟฟิก (GPU): ‘หน่วยประมวลผลกราฟฟิก’
หน่วยประมวลผลกลาง (CPU): ‘หน่วยประมวลผลกลาง’
เครื่องมือการทำงาน: ‘เครื่องมือการทำงาน’
การรู้จำใบหน้า: ‘การรู้จำใบหน้า’
การรู้จำเสียง: ‘การรู้จำเสียง’
ค่าเฉลี่ยของส่วนต่าง: ‘ค่าเฉลี่ยของส่วนต่าง’
ค่าเฉลี่ยของส่วนต่างสัมบูรณ์: ‘ค่าเฉลี่ยของส่วนต่างสัมบูรณ์’
สัญญาณต่อเสียง: ‘สัญญาณต่อเสียง’
พารามิเตอร์ระดับโลก: ‘พารามิเตอร์ระดับโลก’
การเข้าถึงแบบสุ่ม: ‘การเข้าถึงแบบสุ่ม’
ป่าแบบสุ่ม: ‘ป่าแบบสุ่ม’
ค่าแบบสุ่ม: ‘ค่าแบบสุ่ม’
โคโลนีของมด: ‘โคโลนีของมด’
โคโลนีของมด: ‘โคโลนีของมด’
พลังงานที่เหลืออยู่: ‘พลังงานที่เหลืออยู่’
พลังงานจลน์: ‘พลังงานจลน์’
แบบจำลองเบย์: ‘แบบจำลองเบย์’
ผู้ช่วยดิจิตอลส่วนบุคคล (PDA): ‘ผู้ช่วยดิจิตอลส่วนบุคคล’

ในเดือนพฤษภาคม 2021 นักวิจัยได้ทำการค้นหาในเครื่องมือค้นหาทางวิชาการ Dimensions เพื่อค้นหาภาษาที่บิดเบือนและสร้างสรรค์นี้ โดยการค้นหานี้ได้พบว่า ไมโครโพรเซสเซอร์และไมโครซิสเต็ม มีจำนวนการค้นหาที่สูงที่สุด

ปัจจุบันยังคงเป็นไปได้ที่จะค้นหา (archive snapshot, 15/07/2021) เอกสารทางวิทยาศาสตร์หลายฉบับสำหรับวลีที่ไม่มีความหมาย ‘องค์กรประสาทเทียมลึก’ (เช่น ‘เครือข่ายประสาทเทียมลึก’) และอื่นๆ ในรายการด้านบน

ผลการค้นหา ‘องค์กรประสาทเทียมลึก’ (‘เครือข่ายประสาทเทียมลึก’) ที่ Dimensions Source: https://app.dimensions.ai/

วารสาร ไมโครโพรเซสเซอร์ ก่อตั้งขึ้นในปี 1976 และเปลี่ยนชื่อเป็น ไมโครโพรเซสเซอร์และไมโครซิสเต็ม สองปีต่อมา

การเติบโตของภาษาที่ไม่มีความหมาย

นักวิจัยได้ศึกษาความเปลี่ยนแปลงในช่วงเวลาหนึ่งระหว่างเดือนกุมภาพันธ์ 2018 ถึงเดือนมิถุนายน 2021 และพบว่ามีการเพิ่มขึ้นอย่างรวดเร็วของการ提交เอกสารในช่วงสองปีที่ผ่านมา และโดยเฉพาะในช่วง 6-8 เดือนที่ผ่านมา:

สหสัมพันธ์หรือสาเหตุ? การเพิ่มขึ้นของการ提交เอกสารในวารสารไมโครโพรเซสเซอร์และไมโครซิสเต็มดูเหมือนจะเกิดขึ้นพร้อมกับการเติบโตของ ‘ภาษาที่ไม่มีความหมาย’ และสินนยอมในเอกสารที่ดูเคารพ Source: https://arxiv.org/pdf/2107.06751.pdf

ชุดข้อมูลสุดท้ายที่รวบรวมโดยผู้ร่วมให้ข้อมูลประกอบด้วยเอกสารฉบับเต็ม 1,078 ฉบับซึ่งได้รับมาจากสมัครสมาชิก Elsevier ของมหาวิทยาลัย تولูซ

การดูแลด้านการบรรณาธิการที่ลดลงสำหรับเอกสารทางวิทยาศาสตร์ของจีน

รายงานพบว่าระยะเวลาที่ใช้ในการประเมินเอกสารที่ถูกตีตราเป็นเอกสารที่ไม่มีความหมายได้ลดลงอย่างมากในเดือนพฤษภาคม 2021 โดยลดลงต่ำกว่า 40 วัน ซึ่งเป็นการลดลง 6 เท่าของระยะเวลามาตรฐานในการทบทวนโดยผู้ทรงคุณวุฒิ

เอกสารที่ถูกตีตราที่สุดมาจากผู้เขียนที่มีความสัมพันธ์กับจีนแผ่นดินใหญ่: จากเอกสาร 404 ฉบับที่ถูกยอมรับภายใน 30 วัน 97.5% มาจากจีน ในทางกลับกัน ในกรณีที่กระบวนการบรรณาธิการใช้เวลาเกิน 40 วัน (615 เอกสาร) เอกสารที่มีความสัมพันธ์กับจีนมีเพียง 9.5% ของจำนวนนั้น – ซึ่งเป็นความไม่สมดุล 10 เท่า

รายงานนี้ให้เหตุผลว่าการรั่วไหลของเอกสารที่ถูกตีตราเป็นผลมาจากข้อบกพร่องในกระบวนการบรรณาธิการ และอาจเป็นผลมาจากขาดทรัพยากรในการเผชิญกับการเพิ่มขึ้นของการ提交เอกสาร

นักวิจัยคาดการณ์ว่าโมเดลภาษาแบบสร้างสรรค์ เช่น GPT-3 และเฟรมเวิร์กการสร้างภาษาอื่นๆ ได้ถูกใช้ในการสร้างเอกสารที่ไม่มีความหมายส่วนใหญ่ แต่การสร้างหลักฐานนี้เป็นเรื่องที่ยากเนื่องจากโมเดลการสร้างภาษาแบบสร้างสรรค์สามารถสร้างเอกสารที่ดูเหมือนจริงได้ และหลักฐานหลักๆ มาจากการประเมินโดยใช้เหตุผลและความไม่สมเหตุสมผลของเอกสาร

นักวิจัยยังพบว่าโมเดลภาษาแบบสร้างสรรค์ที่พวกเขาคิดว่าเป็นสาเหตุของการรั่วไหลของเอกสารที่ไม่มีความหมายสามารถสร้างเอกสารที่ไม่มีความหมายได้ไม่เพียงแต่สร้างเอกสารที่ไม่มีความหมายเท่านั้น แต่ยังสามารถรู้จับและตีตราเอกสารเหล่านั้นได้ด้วย ในลักษณะเดียวกับที่นักวิจัยทำการประเมินโดยใช้เหตุผล

การแพร่กระจายของเอกสารที่ ‘ปนเปื้อน’ มีจำนวนมากกว่าในวารสาร Elsevier (72.1%) เมื่อเทียบกับวารสารอื่นๆ ที่ศึกษา (13.6% สูงสุด)

ไม่ใช่แค่เรื่องของคำศัพท์

นักวิจัยเน้นย้ำว่าหลายวารสารที่ถูกศึกษาไม่ได้ใช้ภาษาที่ไม่ถูกต้องเท่านั้น แต่ยังประกอบด้วยข้อความทางวิทยาศาสตร์ที่ไม่ถูกต้อง ซึ่งบ่งชี้ว่าโมเดลภาษาแบบสร้างสรรค์ไม่ได้ถูกใช้เพียงเพื่อปรับปรุงทักษะภาษาอังกฤษที่จำกัดของผู้เขียนเท่านั้น แต่อาจถูกใช้ในการสร้างทฤษฎีและข้อมูลหลักของเอกสารด้วย

ในกรณีอื่นๆ นักวิจัยคาดการณ์ว่ามีการ ‘การสร้างใหม่’ หรือ ‘การหมุน’ ของงานก่อนหน้าที่ดีกว่า เพื่อตอบสนองต่อแรงกดดันในการตีพิมพ์ผลงานวิจัยอย่างต่อเนื่อง และอาจจะเพื่อปรับปรุงอันดับประเทศในด้านการวิจัย AI ผ่านปริมาณการเผยแพร่

เนื้อหาที่ไม่มีความหมายในเอกสารที่ถูกส่งมา ในกรณีนี้ นักวิจัยพบว่าข้อความนี้ถูกสร้างขึ้นจากบทความ EDN โดยไม่ได้รับอนุญาต และภาพประกอบก็ถูกนำมาใช้โดยไม่ได้รับอนุญาตเช่นกัน การเขียนข้อความใหม่ในครั้งนี้ทำให้ข้อความดูไม่มีความหมาย

การวิเคราะห์เอกสารที่ส่งมาหลายฉบับใน Elsevier นักวิจัยพบว่ามีหลายประโยคที่ไม่สามารถอนุมานความหมายได้ การอ้างอิงเอกสารที่ไม่มีอยู่จริง การอ้างอิงตัวแปรและทฤษฎีในสูตรที่ไม่ได้ปรากฏในเอกสารสนับสนุน (บ่งชี้ว่ามีการสร้างข้อความโดยใช้ภาษาหรือ ‘การหลอกลวง’ ของข้อมูลที่ดูเหมือนจริง) และการนำภาพมาใช้โดยไม่ได้รับอนุญาต (ซึ่งนักวิจัยวิจารณ์ไม่ใช่จากมุมมองของลิขสิทธิ์ แต่เป็นเพราะเป็นตัวอย่างของการขาดความเข้มงวดทางวิทยาศาสตร์)

ความล้มเหลวในการอ้างอิง

การอ้างอิงที่ตั้งใจจะสนับสนุนข้อโต้แย้งในเอกสารทางวิทยาศาสตร์พบว่าในหลายกรณีที่ถูกตีตราเป็นเอกสารที่ไม่มีความหมาย มีการอ้างอิงที่ ‘ไม่ถูกต้องหรือไม่เกี่ยวข้อง’

นอกจากนี้ การอ้างอิงถึง ‘งานที่เกี่ยวข้อง’ มักจะรวมถึงผู้เขียนที่นักวิจัยเชื่อว่าถูก ‘สร้างขึ้น’ โดยระบบ GPT-3

ความสนใจที่หลงทาง

อีก一点ที่น่าสนใจของโมเดลภาษาแบบสร้างสรรค์ เช่น GPT-3 คือความสามารถในการสูญเสียความสนใจในระหว่างการอภิปรายที่ยาวนาน นักวิจัยพบว่าเอกสารที่ถูกตีตราหลายฉบับนำเสนอหัวข้อในตอนต้นของเอกสารซึ่งไม่เคยกลับมาที่หัวข้อนั้นอีกหลังจากที่ได้กล่าวถึงในบันทึกเบื้องต้นหรือที่อื่น

พวกเขายังเชื่อว่าบางกรณีที่เลวร้ายที่สุดเกิดขึ้นจากการเดินทางของข้อความต้นฉบับผ่านเครื่องมือแปลหลายครั้ง ซึ่งแต่ละครั้งจะบิดเบือนความหมายของข้อความ

แหล่งที่มาและเหตุผล

ในการพยายามค้นหาสาเหตุของปรากฏการณ์นี้ ผู้เขียนรายงานเสนอมีความเป็นไปได้หลายประการ: ว่าเนื้อหาจากร้านขายเอกสารถูกใช้เป็นวัสดุแหล่งที่มา ซึ่งนำไปสู่ความไม่ถูกต้องตั้งแต่แรก การใช้เครื่องมือการหมุนเอกสาร เช่น Spinbot เพื่อปกปิดการลอกเลียนแบบ และแรงกดดันที่จะเผยแพร่ผลงานวิจัยอย่างต่อเนื่องทำให้นักวิจัยที่ไม่มีทรัพยากรเพียงพอใช้ระบบ GPT-3 เพื่อสร้างเอกสารวิจัยใหม่หรือเพิ่มเติม

นักวิจัยสรุปด้วยการเรียกร้องให้มีการกำกับดูแลและมาตรฐานที่ดีขึ้นในด้านการเผยแพร่ทางวิทยาศาสตร์ ซึ่งดูเหมือนจะกลายเป็นอาหารสำหรับเนื้อหาของตัวเอง – ระบบ machine learning พวกเขายังขอให้ Elsevier และผู้จัดพิมพ์อื่นๆ นำกระบวนการตรวจสอบและทบทวนที่เข้มงวดมากขึ้น และวิพากษ์วิจารณ์มาตรฐานและแนวปฏิบัติปัจจุบันในด้านนี้ โดยเสนอว่า ‘การหลอกลวงด้วยข้อความสังเคราะห์เป็นการคุกคามความสมบูรณ์ของเอกสารทางวิทยาศาสตร์’