การป้องกัน ‘การหลอกลวง’ ใน GPT-3 และโมเดลภาษาที่ซับซ้อนอื่นๆ

ลักษณะที่กำหนดของ ‘ข่าวปลอม’ คือมักจะนำเสนอข้อมูลที่ไม่ถูกต้องในบริบทของข้อมูลที่ถูกต้อง โดยมีข้อมูลที่ไม่ถูกต้องได้รับการยอมรับจากความน่าเชื่อถือของข้อมูลที่ถูกต้อง ซึ่งเป็นตัวอย่างที่น่าห่วงของอำนาจของความไม่ถูกต้อง

โมเดลการประมวลผลภาษาที่ซับซ้อน เช่น GPT-3 ก็มีลักษณะที่จะ ‘หลอกลวง’ ข้อมูลที่ไม่ถูกต้อง เช่นเดียวกัน ซึ่งเป็นส่วนหนึ่งเนื่องจากโมเดลภาษาต้องการความสามารถในการเขียนใหม่และสรุปข้อมูลที่ยาวและซับซ้อน โดยไม่มีข้อจำกัดทางสถาปัตยกรรมที่สามารถกำหนดและป้องกันข้อมูลจากกระบวนการก่อสร้างความหมายใหม่

ดังนั้น ข้อมูลที่ถูกต้องจึงไม่ใช่สิ่งที่ свящสำหรับโมเดลภาษา และสามารถถูกนำไปใช้ในบริบทของ ‘อิฐภาษา’ โดยเฉพาะอย่างยิ่งเมื่อไวยากรณ์ที่ซับซ้อนหรือวัสดุแหล่งที่มาที่ไม่ชัดเจน ทำให้ยากที่จะแยกความแตกต่างระหว่างสิ่งที่แตกต่างกันและโครงสร้างภาษา

การสังเกตวิธีการที่วัสดุแหล่งที่มาที่ซับซ้อนสามารถทำให้โมเดลภาษาที่ซับซ้อน เช่น GPT-3 สับสน Source: Paraphrase Generation Using Deep Reinforcement Learning

ปัญหานี้ไม่ได้จำกัดอยู่แค่การประมวลผลภาษาเท่านั้น แต่ยังเกิดขึ้นในด้านการวิจัยการมองเห็นคอมพิวเตอร์ โดยเฉพาะอย่างยิ่งในด้านที่ใช้การแยกความหมายเพื่อระบุหรืออธิบายวัตถุ

การหลอกลวงและการตีความที่ไม่ถูกต้องสามารถเกิดขึ้นในด้านการวิจัยการมองเห็นคอมพิวเตอร์ได้

ในกรณีของ GPT-3 โมเดลสามารถเกิดความสับสนเมื่อมีการถามคำถามซ้ำๆ ในหัวข้อที่มันเคยตอบแล้ว ในกรณีที่ดีที่สุด มันจะยอมแพ้:

การทดลองของฉันกับเครื่องยนต์ Davinci ใน GPT-3 โมเดลได้ตอบคำถามถูกต้องในครั้งแรก แต่เกิดความสับสนเมื่อถูกถามคำถามซ้ำ Source: https://www.scalr.ai/post/business-applications-for-gpt-3

DaVinci และ DaVinci Instruct (Beta) ทำได้ดีกว่าโมเดล GPT-3 อื่นๆ ที่มีอยู่ใน API ในกรณีนี้ โมเดล Curie ให้คำตอบที่ไม่ถูกต้อง ในขณะที่โมเดล Babbage ให้คำตอบที่ไม่ถูกต้องด้วยความมั่นใจ:

สิ่งที่ Einstein ไม่เคยพูด

เมื่อขอคำพูดที่มีชื่อเสียงของ Einstein ‘God does not play dice with the universe’ จากเครื่องยนต์ GPT-3 DaVinci Instruct (ซึ่งดูเหมือนจะเป็นเครื่องยนต์ที่มีประสิทธิภาพที่สุดในขณะนี้) มันไม่สามารถหาคำพูดได้ และสร้างคำพูดที่ไม่มีอยู่จริงขึ้นมา โดยสร้างคำพูดที่ไม่มีอยู่จริงอีกสามคำพูดที่น่าเชื่อถือและไม่มีอยู่จริงในคำตอบสำหรับคำถามที่คล้ายกัน:

GPT-3 สร้างคำพูดที่น่าเชื่อถือสี่คำพูดจาก Einstein ซึ่งไม่มีผลลัพธ์ใดๆ ในการค้นหาทางอินเทอร์เน็ต แต่บางคำพูดกระตุ้นคำพูดอื่นๆ (ที่แท้จริง) จาก Einstein เกี่ยวกับหัวข้อ ‘จินตนาการ’

หาก GPT-3 ตอบคำถามที่ไม่ถูกต้องอย่างต่อเนื่อง จะเป็นเรื่องที่ง่ายกว่าที่จะปฏิเสธการหลอกลวงเหล่านี้ได้ทางโปรแกรม แต่เมื่อคำพูดที่มีชื่อเสียงและเป็นที่รู้จักมากขึ้น GPT-3 มีโอกาสที่จะตอบคำถามถูกต้องมากขึ้น:

GPT-3 ดูเหมือนจะตอบคำพูดที่ถูกต้องเมื่อมีข้อมูลที่มีอยู่ในข้อมูลที่มีส่วนร่วม

ปัญหาหนึ่งที่อาจเกิดขึ้นเมื่อข้อมูลประวัติการใช้งานของ GPT-3 หลุดเข้ามาในคำถามใหม่:

Einstein คงจะรู้สึกเสียใจที่มีคำพูดที่ไม่มีอยู่จริงนี้ถูกอ้างอิงถึงเขา คำพูดนี้ดูเหมือนจะเป็นการหลอกลวงที่ไม่มีอยู่จริงของคำพูดที่แท้จริงของ Winston Churchill คำพูด คำถามก่อนหน้านี้ในเซสชัน GPT-3 เกี่ยวข้องกับ Churchill (ไม่ใช่ Einstein) และ GPT-3 ดูเหมือนจะใช้โทเค็นเซสชันนี้เพื่อแจ้งคำตอบ

การแก้ไขการหลอกลวงทางเศรษฐกิจ

การหลอกลวงเป็นอุปสรรคที่สำคัญต่อการนำโมเดลภาษาที่ซับซ้อนมาใช้เป็นเครื่องมือวิจัย – และยิ่งไปกว่านั้น เนื่องจากการประมวลผลภาษาที่ซับซ้อนมักจะอยู่ห่างไกลจากข้อมูลที่ใช้ในการสร้างมัน ทำให้ยากที่จะตรวจสอบความถูกต้องของคำพูดและข้อเท็จจริง

ดังนั้น ความท้าทายในการวิจัย NLP ในขณะนี้คือการหาวิธีการระบุการหลอกลวงโดยไม่ต้องสร้างโมเดลภาษาใหม่ที่รวมถึงการกำหนดและยืนยันข้อเท็จจริงเป็นหน่วยที่แยกออกจากกัน (เป็นเป้าหมายระยะยาวในหลายๆ ด้านของการวิจัยคอมพิวเตอร์)

การระบุและสร้างการหลอกลวง

การร่วมมือใหม่ระหว่างมหาวิทยาลัย Carnegie Mellon และ Facebook AI Research เสนอวิธีการแก้ไขปัญหาการหลอกลวงโดยการสร้างวิธีการระบุการหลอกลวงและใช้ข้อความหลอกลวงที่สร้างขึ้นเพื่อสร้างฐานข้อมูลที่สามารถใช้เป็นฐานสำหรับเครื่องมือและกลไกที่จะช่วยป้องกันการหลอกลวงในอนาคต

Source: https://arxiv.org/pdf/2011.02593.pdf

ในภาพด้านบน ข้อมูลที่มาถูกแบ่งออกเป็นคำๆ โดยมีเครื่องหมาย ‘0’ สำหรับคำที่ถูกต้องและเครื่องหมาย ‘1’ สำหรับคำที่หลอกลวง ต่อไปนี้คือตัวอย่างของการหลอกลวงที่เกี่ยวข้องกับข้อมูลที่มา แต่ถูกเพิ่มเติมด้วยข้อมูลที่ไม่ถูกต้อง

ระบบใช้เครื่องมือ denoising autoencoder ที่สามารถแมปคำหลอกลวงกลับไปยังข้อมูลที่มาเดิม (คล้ายกับตัวอย่างของฉันข้างต้น โดยที่การค้นหาทางอินเทอร์เน็ตแสดงให้เห็นถึงที่มาของคำพูดที่ไม่ถูกต้อง แต่ด้วยวิธีการทางวิทยาศาสตร์และอัตโนมัติ) โดยเฉพาะอย่างยิ่ง โมเดล BART autoencoder ของ Facebook ถูกใช้ในการสร้างประโยคที่หลอกลวง

การกำหนดเครื่องหมาย

กระบวนการแมปการหลอกลวงกลับไปยังข้อมูลที่มา ซึ่งไม่สามารถทำได้ในโมเดลภาษาที่ซับซ้อนโดยทั่วไป ทำให้สามารถแมป ‘ระยะทางการแก้ไข’ และอำนวยความสะดวกในการระบุการหลอกลวงโดยอัลกอริทึม

นักวิจัยพบว่าระบบสามารถทั่วไปได้ดีแม้ไม่มีข้อมูลอ้างอิงที่มีอยู่ระหว่างการฝึกอบรม ซึ่งบ่งชี้ว่าโมเดลแนวคิดมีความแข็งแรงและสามารถนำไปใช้ได้อย่างกว้างขวาง

การแก้ไขการปรับแต่งมากเกินไป

เพื่อหลีกเลี่ยงการปรับแต่งมากเกินไปและได้รับสถาปัตยกรรมที่สามารถใช้งานได้ นักวิจัยได้ลบโทเค็นแบบสุ่มออกจากกระบวนการ และใช้การเขียนใหม่และฟังก์ชันเสียงอื่นๆ

การแปลภาษา (MT) เป็นส่วนหนึ่งของกระบวนการบิดเบือนนี้ เนื่องจากการแปลข้อความระหว่างภาษามีแนวโน้มที่จะรักษาความหมายได้ดีและป้องกันการปรับแต่งมากเกินไป ดังนั้นการหลอกลวงจึงถูกแปลและระบุสำหรับโครงการโดยผู้พูดสองภาษาในระดับการทำเครื่องหมายด้วยมือ

โครงการได้รับผลลัพธ์ที่ดีที่สุดในหลายๆ การทดสอบมาตรฐาน และเป็นโครงการแรกที่ได้รับผลลัพธ์ที่ยอมรับได้โดยใช้ข้อมูลมากกว่า 10 ล้านโทเค็น

โค้ดสำหรับโครงการที่มีชื่อว่า การตรวจจับการหลอกลวงใน Conditional Neural Sequence Generation ได้รับการเผยแพร่บน GitHub และช่วยให้ผู้ใช้สามารถสร้างข้อมูลสังเคราะห์ของตนเองด้วย BART จากข้อความใดๆ ได้ นอกจากนี้ยังมีการเตรียมการสำหรับการสร้างโมเดลการตรวจจับการหลอกลวงในอนาคต