การถอดเรียนรู้ข้อมูลลิขสิทธิ์จากโมเดลภาษาขนาดใหญ่ (LLM) ที่ได้รับการฝึกอบรม – มันเป็นไปได้หรือไม่?

ในด้านปัญญาประดิษฐ์ (AI) และการเรียนรู้ของเครื่อง (ML) โมเดลภาษาขนาดใหญ่ (LLM) แสดงให้เห็นถึงความสำเร็จและความท้าทาย โมเดล LLM เหล่านี้ได้รับการฝึกอบรมจากชุดข้อมูลข้อความขนาดใหญ่ และรวมถึงภาษาและความรู้ของมนุษย์

然而 ความสามารถในการดูดซับและเลียนแบบความเข้าใจของมนุษย์ทำให้เกิดความท้าทายด้านกฎหมาย ด้านจริยธรรม และด้านเทคโนโลยี นอกจากนี้ ชุดข้อมูลขนาดใหญ่ที่ใช้ในการฝึกอบรม LLM อาจมีข้อมูลที่เป็นอันตราย ข้อมูลลิขสิทธิ์ ข้อมูลที่ไม่ถูกต้อง หรือข้อมูลส่วนบุคคล

การทำให้ LLM ลืมข้อมูลที่เลือกได้กลายเป็นปัญหาเร่งด่วนเพื่อให้แน่ใจว่าปฏิบัติตามกฎหมายและความรับผิดชอบด้านจริยธรรม

มาเริ่มสำรวจแนวคิดในการทำให้ LLM ลืมข้อมูลลิขสิทธิ์เพื่อตอบคำถามพื้นฐาน: มันเป็นไปได้หรือไม่?

ทำไมการถอดเรียนรู้ LLM จึงจำเป็น?

LLM มักจะมีข้อมูลที่มีข้อพิพาท รวมถึงข้อมูลลิขสิทธิ์ การมีข้อมูลดังกล่าวใน LLM ทำให้เกิดความท้าทายด้านกฎหมายที่เกี่ยวข้องกับข้อมูลส่วนบุคคล ข้อมูลที่มีอคติ ข้อมูลลิขสิทธิ์ และข้อมูลที่เป็นอันตรายหรือไม่ถูกต้อง

ดังนั้น การถอดเรียนรู้จึงจำเป็นเพื่อให้แน่ใจว่า LLM ปฏิบัติตามข้อกำหนดด้านความเป็นส่วนตัวและปฏิบัติตามกฎหมายลิขสิทธิ์ ส่งเสริมให้ LLM มีความรับผิดชอบและจริยธรรม

อย่างไรก็ตาม การถอดข้อมูลลิขสิทธิ์ออกจากความรู้ที่โมเดลเหล่านี้ได้รับมาเป็นเรื่องที่ท้าทาย มีเทคนิคการถอดเรียนรู้บางอย่างที่สามารถช่วยแก้ปัญหานี้ได้:

• การกรองข้อมูล: มันเกี่ยวข้องกับการระบุและลบข้อมูลลิขสิทธิ์ อคติ หรือข้อมูลที่มีเสียงรบกวนออกจากชุดข้อมูลฝึกอบรมของโมเดล อย่างไรก็ตาม การกรองข้อมูลอาจทำให้สูญเสียข้อมูลที่มีค่าและไม่มีลิขสิทธิ์ระหว่างกระบวนการกรอง
• วิธีการปรับเทียบ: วิธีการเหล่านี้ปรับพารามิเตอร์ของโมเดลตามกราดีแอนต์ของฟังก์ชันการสูญเสีย เพื่อแก้ไขปัญหาข้อมูลลิขสิทธิ์ในโมเดล ML อย่างไรก็ตาม การปรับเทียบอาจส่งผลเสียต่อประสิทธิภาพโดยรวมของโมเดลในข้อมูลที่ไม่มีลิขสิทธิ์
• การถอดเรียนรู้ในบริบท: เทคนิคนี้กำจัดผลกระทบของจุดฝึกอบรมเฉพาะในโมเดลโดยการปรับพารามิเตอร์โดยไม่ส่งผลกระทบต่อความรู้ที่ไม่เกี่ยวข้อง อย่างไรก็ตาม วิธีการนี้มีข้อจำกัดในการบรรลุการถอดเรียนรู้ที่แม่นยำ โดยเฉพาะอย่างยิ่งสำหรับโมเดลขนาดใหญ่ และความมีประสิทธิผลต้องได้รับการประเมินเพิ่มเติม

เทคนิคนี้ต้องใช้ทรัพยากรและเวลามาก ทำให้ยากต่อการนำไปใช้

กรณีศึกษา

เพื่อทำความเข้าใจความสำคัญของการถอดเรียนรู้ LLM กรณีศึกษาเหล่านี้แสดงให้เห็นว่าบริษัทต่างๆ ต้องเผชิญกับความท้าทายทางกฎหมายเกี่ยวกับโมเดลภาษาขนาดใหญ่ (LLM) และข้อมูลลิขสิทธิ์

คดีของ OpenAI: OpenAI บริษัท AI ที่มีชื่อเสียง ได้รับคดีหลายคดีเกี่ยวกับข้อมูลฝึกอบรมของ LLM คดีเหล่านี้ตั้งคำถามเกี่ยวกับการใช้ข้อมูลลิขสิทธิ์ในข้อมูลฝึกอบรมของ LLM และกระตุ้นให้มีการสืบสวนเกี่ยวกับกลไกที่โมเดลใช้ในการขออนุญาตสำหรับผลงานลิขสิทธิ์แต่ละชิ้นที่รวมอยู่ในข้อมูลฝึกอบรม

คดีของ Sarah Silverman: คดีของ Sarah Silverman เกี่ยวข้องกับการกล่าวหาว่าโมเดล ChatGPT สร้างสรุปของหนังสือของเธอโดยไม่ได้รับอนุญาต คดีนี้เน้นย้ำถึงประเด็นสำคัญเกี่ยวกับอนาคตของ AI และข้อมูลลิขสิทธิ์

การปรับปรุงกรอบกฎหมายให้สอดคล้องกับความก้าวหน้าทางเทคโนโลยีเพื่อให้แน่ใจว่าการใช้ AI อย่างรับผิดชอบและถูกต้องตามกฎหมาย นอกจากนี้ ชุมชนการวิจัยต้องแก้ไขความท้าทายเหล่านี้อย่างครอบคลุมเพื่อให้ LLM มีความรับผิดชอบและยุติธรรม

เทคนิคการถอดเรียนรู้ LLM แบบดั้งเดิม

การถอดเรียนรู้ LLM เหมือนกับการแยกส่วนผสมเฉพาะออกจากสูตรอาหารที่ซับซ้อน เพื่อให้แน่ใจว่าเฉพาะส่วนผสมที่ต้องการเท่านั้นที่มีส่วนช่วยในการทำอาหารจานนั้น เทคนิคการถอดเรียนรู้ LLM แบบดั้งเดิม เช่น การปรับเทียบด้วยข้อมูลที่เลือกและฝึกอบรมใหม่ ไม่มีกลไกที่ตรงไปตรงมาสำหรับการลบข้อมูลลิขสิทธิ์

แนวทางแบบกว้างๆ ของเทคนิคนี้มักจะไม่มีประสิทธิภาพและต้องใช้ทรัพยากรมากสำหรับการถอดเรียนรู้ที่ซับซ้อน เนื่องจากต้องใช้การฝึกอบรมใหม่แบบกว้างๆ

แม้ว่าเทคนิคเหล่านี้สามารถปรับพารามิเตอร์ของโมเดลได้ แต่ก็ยากที่จะกำหนดเป้าหมายข้อมูลลิขสิทธิ์ได้อย่างแม่นยำ และอาจทำให้สูญเสียข้อมูลที่ไม่มีลิขสิทธิ์โดยไม่ตั้งใจ และไม่ปฏิบัติตามข้อกำหนดอย่างสมบูรณ์

ดังนั้น จึงจำเป็นต้องทดลองเทคนิคการถอดเรียนรู้ที่แตกต่างออกไป

เทคนิคใหม่: การถอดเรียนรู้ชุดข้อมูลฝึกอบรมย่อย

รายงานการวิจัยของ Microsoft (MSFT ) นำเสนอวิธีการที่เป็นนวัตกรรมในการทำให้ LLM ลืมข้อมูลลิขสิทธิ์ โดยเน้นไปที่ตัวอย่างของโมเดล Llama2-7b และหนังสือ Harry Potter วิธีการนี้ประกอบด้วยสามส่วนหลักเพื่อให้ LLM ลืมโลกของ Harry Potter ส่วนเหล่านี้รวมถึง:

• การระบุโมเดลที่ได้รับการเสริม: การสร้างโมเดลที่ได้รับการเสริมเกี่ยวข้องกับการปรับเทียบข้อมูลเป้าหมาย (เช่น Harry Potter) เพื่อเพิ่มความรู้ของโมเดลเกี่ยวกับเนื้อหาที่จะถูกถอดเรียนรู้
• การแทนที่นิพจน์ที่ไม่เหมือนใคร: นิพจน์ที่ไม่เหมือนใครของ Harry Potter ในข้อมูลเป้าหมายถูกแทนที่ด้วยนิพจน์ทั่วไป ซึ่งทำให้โมเดลเข้าใจเนื้อหานั้นได้ดีขึ้น
• การปรับเทียบด้วยการคาดการณ์ทางเลือก: โมเดลฐานแบบได้รับการปรับเทียบตามการคาดการณ์ทางเลือกเหล่านี้ โดยทั่วไปแล้ว โมเดลจะลบข้อความดั้งเดิมออกจากความจำเมื่อเผชิญกับบริบทที่เกี่ยวข้อง

แม้ว่าวิธีการของ Microsoft จะอยู่ในช่วงแรกและอาจมีข้อจำกัด แต่ก็แสดงถึงความก้าวหน้าที่มีแนวโน้มในการพัฒนา LLM ที่มีประสิทธิภาพ จริยธรรม และสามารถปรับเปลี่ยนได้

ผลลัพธ์ของเทคนิคใหม่

วิธีการใหม่ที่นำเสนอใน รายงานการวิจัยของ Microsoft เป็นก้าวสำคัญในการพัฒนาโมเดลที่มีความรับผิดชอบและจริยธรรม

เทคนิคใหม่นี้เกี่ยวข้องกับการลบเนื้อหาที่เกี่ยวข้องกับ Harry Potter ออกจากโมเดล Llama2-7b ของ Meta ซึ่งทราบว่าได้รับการฝึกอบรมจากชุดข้อมูล “books3” ที่มีผลงานลิขสิทธิ์ โมเดลเดิมแสดงให้เห็นถึงความเข้าใจที่ซับซ้อนเกี่ยวกับจักรวาลของ J.K. Rowling แม้กระทั่งเมื่อได้รับคำสั่งแบบทั่วไป

อย่างไรก็ตาม เทคนิคที่เสนอโดย Microsoft ได้เปลี่ยนคำตอบของโมเดลอย่างมีนัยสำคัญ ตัวอย่างคำสั่งเหล่านี้แสดงถึงความแตกต่างที่เห็นได้ชัดระหว่างโมเดล Llama2-7b เดิมและรุ่นที่ปรับเทียบใหม่

แหล่งที่มาของภาพ

ตารางนี้แสดงให้เห็นว่าโมเดลการถอดเรียนรู้ที่ปรับเทียบใหม่ยังคงประสิทธิภาพของตนเองในมาตรฐานต่างๆ (เช่น Hellaswag, Winogrande, piqa, boolq และ arc)

แหล่งที่มาของภาพ

วิธีการประเมินซึ่งพึ่งพาการวิเคราะห์คำตอบของโมเดลและคำตอบที่ตามมาเป็นไปได้ แต่อาจมองข้ามวิธีการดึงข้อมูลที่ซับซ้อนและเป็นอันตรายมากขึ้น

แม้ว่าเทคนิคนี้จะมีแนวโน้ม แต่ก็จำเป็นต้องมีการวิจัยเพิ่มเติมเพื่อปรับปรุงและขยาย โดยเฉพาะอย่างยิ่งในการแก้ไขงานการถอดเรียนรู้ที่กว้างขึ้นภายใน LLM

ความท้าทายของเทคนิคการถอดเรียนรู้ใหม่

แม้ว่าเทคนิคการถอดเรียนรู้ของ Microsoft จะมีแนวโน้ม แต่ก็มีข้อจำกัดและความท้าทายหลายประการ

ข้อจำกัดและพื้นที่ที่ต้องการการปรับปรุงรวมถึง:

• การรั่วไหลของข้อมูลลิขสิทธิ์: วิธีการนี้อาจไม่สามารถลดความเสี่ยงของการรั่วไหลของข้อมูลลิขสิทธิ์ได้อย่างสมบูรณ์ เนื่องจากโมเดลอาจยังคงรักษาความรู้บางส่วนเกี่ยวกับเนื้อหาที่เป้าหมายระหว่างกระบวนการปรับเทียบ
• การประเมินชุดข้อมูลต่างๆ: เพื่อประเมินประสิทธิผล วิธีการนี้ต้องผ่านการประเมินเพิ่มเติมในชุดข้อมูลที่หลากหลาย เนื่องจากการทดลองเริ่มต้นมุ่งเน้นไปที่หนังสือ Harry Potter เท่านั้น
• ความสามารถในการปรับขนาด: การทดสอบในชุดข้อมูลขนาดใหญ่และโมเดลภาษาที่ซับซ้อนกว่านี้เป็นสิ่งจำเป็นเพื่อประเมินความสามารถในการนำไปใช้และความสามารถในการปรับเปลี่ยนในสถานการณ์จริง

การเพิ่มขึ้นของกรณีทางกฎหมายที่เกี่ยวข้องกับ AI โดยเฉพาะคดีลิขสิทธิ์ที่มุ่งเป้าไปที่ LLM เน้นย้ำถึงความจำเป็นในการมีแนวทางที่ชัดเจน การพัฒนาที่มีแนวโน้ม เช่น วิธีการถอดเรียนรู้ที่เสนอโดย Microsoft เป็นก้าวสำคัญในการพัฒนา AI ที่มีความรับผิดชอบและถูกต้องตามกฎหมาย

อย่าพลาดข่าวและวิเคราะห์ใหม่ๆ ใน AI และ ML – เยี่ยม unite.ai วันนี้