อะไรคือฮัลลูซิเนชันของ LLM: สาเหตุ ความกังวลทางจริยธรรม และการป้องกัน

โมเดลภาษาขนาดใหญ่ (LLM) เป็นระบบปัญญาประดิษฐ์ที่สามารถวิเคราะห์และสร้างข้อความที่เหมือนมนุษย์ได้ แต่มีปัญหา – LLM มีฮัลลูซิเนชัน หรือสร้างสิ่งที่ไม่มีอยู่จริง ฮัลลูซิเนชันของ LLM ทำให้นักวิจัยกังวลเกี่ยวกับการพัฒน是在สาขานี้ เพราะถ้านักวิจัยไม่สามารถควบคุมผลลัพธ์ของโมเดลได้ พวกเขาก็ไม่สามารถสร้างระบบที่สำคัญเพื่อใช้บริการมนุษยชาติได้ มีรายละเอียดเพิ่มเติมในภายหลัง

โดยทั่วไป LLM ใช้ข้อมูลการฝึกอบรมจำนวนมากและอัลกอริทึมการเรียนรู้ที่ซับซ้อนเพื่อสร้างผลลัพธ์ที่เหมือนจริง ในบางกรณี การเรียนรู้ในบริบทถูกใช้ในการฝึกอบรมโมเดลเหล่านี้โดยใช้ตัวอย่างเพียงไม่กี่ตัวอย่าง LLM กำลังได้รับความนิยมมากขึ้นในหลายพื้นที่การประยุกต์ใช้ ตั้งแต่การแปลภาษา การวิเคราะห์ความรู้สึก การช่วยเหลือ AI เสมือน การทำเครื่องหมายภาพ การประมวลผลภาษาธรรมชาติ และอื่นๆ

尽管 LLM มีลักษณะที่ทันสมัย แต่ก็ยังคงเสี่ยงต่อความเอนเอียง ข้อผิดพลาด และฮัลลูซิเนชัน ยาน เลอกุน นักวิทยาศาสตร์ AI หัวหน้าปัจจุบันของ Meta ได้กล่าวถึงข้อบกพร่องหลักของ LLM ที่ทำให้เกิดฮัลลูซิเนชัน: “โมเดลภาษาขนาดใหญ่ไม่มีความเข้าใจในความเป็นจริงที่ภาษาอธิบาย โมเดลเหล่านี้สร้างข้อความที่ดูเหมือนดีในด้านไวยกรณ์และความหมาย แต่ไม่มีจุดมุ่งหมายอื่นนอกจากเพียงเพื่อให้ความสอดคล้องกับคำสั่งทางสถิติ”

ฮัลลูซิเนชันใน LLM

ภาพโดย Gerd Altmann จาก Pixabay

ฮัลลูซิเนชันหมายถึงโมเดลที่สร้างผลลัพธ์ที่ถูกต้องในด้านไวยกรณ์และความหมาย แต่ไม่เกี่ยวข้องกับความเป็นจริงและอาศัยสมมติฐานที่ผิด ฮัลลูซิเนชันเป็นหนึ่งในข้อกังวลหลักด้านจริยธรรมของ LLM และอาจมีผลเสียต่อผู้ใช้ที่ไม่มีความรู้ในด้านนั้น ๆ เมื่อพวกเขาเริ่มพึ่งพาโมเดลภาษาที่น่าเชื่อถือมากขึ้น

ระดับหนึ่งของฮัลลูซิเนชันไม่สามารถหลีกเลี่ยงได้ใน LLM ทั้งหมด ตัวอย่างเช่น โมเดลอาจอ้างคำพูดปลอมให้กับคนดังที่ไม่เคยพูดมาก่อน หรืออาจกล่าวถึงเรื่องใดเรื่องหนึ่งที่ไม่ถูกต้องหรืออ้างอิงแหล่งที่ไม่มีอยู่จริงในงานวิจัย ทำให้แพร่กระจายข้อมูลที่ไม่ถูกต้อง

แต่การทำให้โมเดล AI มีฮัลลูซิเนชันไม่ได้มีผลเสียเสมอไป ตัวอย่างเช่น การศึกษาใหม่พบว่านักวิทยาศาสตร์กำลังค้นพบ “โปรตีนที่มีคุณสมบัติไม่สิ้นสุด” ผ่าน LLM ที่มีฮัลลูซิเนชัน

สาเหตุของฮัลลูซิเนชันใน LLM

LLM สามารถมีฮัลลูซิเนชันเนื่องจากปัจจัยต่างๆ ตั้งแต่ข้อผิดพลาดในการปรับให้เหมาะสมเกินไปและข้อผิดพลาดในการเข้ารหัสและถอดรหัสจนถึงความเอนเอียงในการฝึกอบรม

การปรับให้เหมาะสมเกินไป

ภาพโดย janjf93 จาก Pixabay

การปรับให้เหมาะสมเกินไปเป็นปัญหาที่โมเดล AI ติดค้างกับข้อมูลการฝึกอบรมมากเกินไป แต่ไม่สามารถแสดงข้อมูลที่หลากหลายที่อาจพบได้ นั่นคือ ไม่สามารถสร้างพลังในการคาดการณ์ให้กับข้อมูลใหม่ที่ไม่เคยเห็นมาก่อน การปรับให้เหมาะสมเกินไปสามารถนำไปสู่การสร้างเนื้อหาที่มีฮัลลูซิเนชัน

ข้อผิดพลาดในการเข้ารหัสและถอดรหัส

ภาพโดย geralt จาก Pixabay

หากมีข้อผิดพลาดในการเข้ารหัสและถอดรหัสข้อความและรูปแบบการแสดงออกที่ตามมา โมเดลอาจสร้างผลลัพธ์ที่ไม่สมเหตุสมผลและผิดพลาด

ความเอนเอียงในการฝึกอบรม

ภาพโดย Quince Creative จาก Pixabay

ปัจจัยอีกอย่างหนึ่งคือความเอนเอียงที่มีอยู่ในข้อมูลการฝึกอบรม ซึ่งสามารถทำให้โมเดลให้ผลลัพธ์ที่สะท้อนถึงความเอนเอียงเหล่านั้นมากกว่าธรรมชาติของข้อมูลที่แท้จริง สิ่งนี้คล้ายกับการขาดความหลากหลายในข้อมูลการฝึกอบรม ซึ่งจำกัดความสามารถของโมเดลในการสร้างพลังในการคาดการณ์ให้กับข้อมูลใหม่

โครงสร้างที่ซับซ้อนของ LLM ทำให้นักวิจัยและผู้ปฏิบัติงานท้าทายในการระบุ ตีความ และแก้ไขสาเหตุของฮัลลูซิเนชัน

ข้อกังวลด้านจริยธรรมของฮัลลูซิเนชันใน LLM

LLM สามารถทำให้ความเอนเอียงที่เป็นอันตรายและขยายใหญ่ขึ้นผ่านฮัลลูซิเนชัน และอาจส่งผลเสียต่อผู้ใช้และสร้างผลกระทบทางสังคมที่ไม่พึงประสงค์ ข้อกังวลหลักด้านจริยธรรมบางประการ ได้แก่

เนื้อหาที่เลือกปฏิบัติและเป็นพิษ

ภาพโดย ar130405 จาก Pixabay

เนื่องจากข้อมูลการฝึกอบรมของ LLM มักเต็มไปด้วยสเตอริโอไทป์สังคมวัฒนธรรมเนื่องจากความเอนเอียงและขาดความหลากหลาย LLM จึงสามารถสร้างและเสริมสร้างความคิดที่เป็นอันตรายเหล่านี้ต่อกลุ่มที่ไม่ได้รับผลกระทบใน xã hội

พวกมันสามารถสร้างเนื้อหาที่เลือกปฏิบัติและเกลียดชังตามเชื้อชาติ เพศ ศาสนา เชื้อชาติ และอื่นๆ

ประเด็นด้านความเป็นส่วนตัว

ภาพโดย JanBaby จาก Pixabay

LLM ถูกฝึกอบรมด้วยคอร์ปัสการฝึกอบรมขนาดใหญ่ซึ่งมักจะรวมถึงข้อมูลส่วนบุคคลของบุคคล มีกรณีที่โมเดลเหล่านี้ละเมิดความเป็นส่วนตัวของบุคคล พวกมันสามารถรั่วไหลข้อมูลเฉพาะเจาะจง เช่น หมายเลขประกันสังคม ที่อยู่บ้าน หมายเลขโทรศัพท์มือถือ และรายละเอียดทางการแพทย์

ข้อมูลที่ไม่ถูกต้องและข้อมูลที่ไม่ถูกต้อง

ภาพโดย geralt จาก Pixabay

โมเดลภาษาสามารถสร้างเนื้อหาที่เหมือนมนุษย์ แต่จริงๆ แล้วเป็นเท็จและไม่ได้รับการสนับสนุนจากหลักฐานเชิงประจักษ์ สิ่งนี้อาจเกิดขึ้นโดยไม่ตั้งใจนำไปสู่ข้อมูลที่ไม่ถูกต้อง หรืออาจมีเจตนาเลวในการแพร่กระจายข้อมูลที่ไม่ถูกต้อง หากไม่ได้รับการตรวจสอบ สิ่งนี้สามารถสร้างแนวโน้มทางสังคมวัฒนธรรม เศรษฐกิจ และการเมืองที่ไม่พึงประสงค์

การป้องกันฮัลลูซิเนชันใน LLM

ภาพโดย athree23 จาก Pixabay

นักวิจัยและผู้ปฏิบัติงานกำลังใช้วิธีการต่างๆ เพื่อแก้ไขปัญหาฮัลลูซิเนชันใน LLM ซึ่งรวมถึงการปรับปรุงความหลากหลายของข้อมูลการฝึกอบรม การกำจัดความเอนเอียงที่มีอยู่ การใช้เทคนิคการปรับให้เหมาะสมที่ดีกว่า และการฝึกอบรมแบบท้าทายและเรียนรู้แบบเสริม สิ่งเหล่านี้รวมถึง:

• การสร้างเทคนิคการปรับให้เหมาะสมที่ดีกว่านั้นเป็นแก่นกลางในการแก้ไขปัญหาฮัลลูซิเนชัน พวกมันช่วยป้องกันการปรับให้เหมาะสมเกินไปและปัญหาอื่นๆ ที่ทำให้เกิดฮัลลูซิเนชัน
• การเพิ่มข้อมูลสามารถลดความถี่ของฮัลลูซิเนชันตามที่ศึกษาได้ การเพิ่มข้อมูลเกี่ยวข้องกับการเพิ่มข้อมูลการฝึกอบรมโดยการเพิ่มโทเค็นแบบสุ่มที่ใดก็ได้ในประโยค ทำให้ขนาดของคอร์ปัสการฝึกอบรมเพิ่มขึ้นสองเท่าและทำให้ความถี่ของฮัลลูซิเนชันลดลง
• OpenAI และ Google’s DeepMind พัฒนาวิธีการเรียกว่า การเรียนรู้แบบเสริมด้วยคำติชมจากมนุษย์ (RLHF) เพื่อแก้ไขปัญหาฮัลลูซิเนชันของ ChatGPT วิธีนี้เกี่ยวข้องกับผู้ประเมินมนุษย์ที่ตรวจสอบคำตอบของโมเดลบ่อยๆ และเลือกคำตอบที่เหมาะสมที่สุดสำหรับคำสั่งผู้ใช้ คำติชมนี้จะถูกใช้ในการปรับพฤติกรรมของโมเดล Ilya Sutskever นักวิทยาศาสตร์หัวหน้าของ OpenAI กล่าวถึงวิธีนี้อาจ “แก้ไขปัญหาฮัลลูซิเนชันใน ChatGPT”: “ฉันหวังว่าด้วยการปรับปรุงขั้นตอนการเรียนรู้แบบเสริมจากคำติชมจากมนุษย์ เราสามารถสอนให้โมเดลไม่สร้างฮัลลูซิเนชัน”
• การระบุเนื้อหาที่มีฮัลลูซิเนชันเพื่อใช้เป็นตัวอย่างสำหรับการฝึกอบรมในอนาคตก็เป็นวิธีหนึ่งในการแก้ไขปัญหาฮัลลูซิเนชัน เทคนิคใหม่ในเรื่องนี้สามารถตรวจจับฮัลลูซิเนชันในระดับโทเค็นและคาดการณ์ว่าโทเค็นแต่ละตัวในผลลัพธ์เป็นฮัลลูซิเนชันหรือไม่

การตรวจจับฮัลลูซิเนชันในระดับโทเค็น

โดยสรุป ฮัลลูซิเนชันของ LLM เป็นปัญหาที่เพิ่มขึ้น และ尽管มีการพยายามแก้ไข แต่ยังมีงานที่ต้องทำอีกมากเพื่อแก้ไขปัญหานี้ ความซับซ้อนของโมเดลเหล่านี้ทำให้ท้าทายในการระบุและแก้ไขสาเหตุของฮัลลูซิเนชันอย่างถูกต้อง

อย่างไรก็ตาม ด้วยการวิจัยและการพัฒนาที่ต่อเนื่อง การลดฮัลลูซิเนชันใน LLM และลดผลกระทบทางจริยธรรมเป็นไปได้

หากคุณต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ LLM และเทคนิคการป้องกันที่กำลังพัฒนาขึ้นเพื่อแก้ไขฮัลลูซิเนชันของ LLM คุณสามารถเยี่ยมชม unite.ai เพื่อขยายความรู้ของคุณ