การปรับให้เหมาะสมตามความชอบโดยตรง (DPO) คืออะไร? ทางเลือกที่เรียบง่ายกว่า RLHF

การปรับให้เหมาะสมตามความชอบโดยตรงฝึกนโยบายจากคู่คำตอบที่ได้รับเลือกและถูกปฏิเสธ โดยใช้ฟังก์ชันวัตถุประสงค์ในลักษณะเดียวกับการจำแนกประเภท ซึ่งยึดโยงกับโมเดลอ้างอิง

การปรับให้เหมาะสมตามความชอบโดยตรงควรได้รับคำอธิบายอย่างแม่นยำ เพราะชื่อของวิธีนี้บ่งชี้ถึงขั้นตอนการไหลของข้อมูล ทางเลือกในการฝึก กลไกขณะทำงาน หรือขอบเขตด้านธรรมาภิบาลอย่างเฉพาะเจาะจง การใช้คำนี้แทนความหมายของ “AI ขั้นสูง” ทำให้ไม่สามารถทดสอบข้อกล่าวอ้างต่าง ๆ ได้ คู่มือนี้จะอธิบายแนวคิดตั้งแต่ข้อมูลนำเข้าและข้อสมมติฐาน ไปจนถึงผลลัพธ์ที่สังเกตได้ จากนั้นจะตรวจสอบวิธีลัดที่มีแนวโน้มถูกเข้าใจผิดว่าเป็นวิธีเดียวกันมากที่สุด

การปรับให้เหมาะสมตามความชอบโดยตรง: คำจำกัดความ ขอบเขต และจุดประสงค์

การปรับให้เหมาะสมตามความชอบโดยตรงฝึกนโยบายจากคู่คำตอบที่ได้รับเลือกและถูกปฏิเสธ โดยใช้ฟังก์ชันวัตถุประสงค์ในลักษณะเดียวกับการจำแนกประเภท ซึ่งยึดโยงกับโมเดลอ้างอิง คำจำกัดความนี้มีองค์ประกอบสำคัญในทางปฏิบัติสามประการ ได้แก่ ข้อมูลนำเข้าที่ระบุได้ การแปลงข้อมูลหรือการตัดสินใจที่เป็นลักษณะเฉพาะของการปรับให้เหมาะสมตามความชอบโดยตรง และผลลัพธ์ที่ประเมินเทียบกับวัตถุประสงค์ที่ระบุไว้ได้ หากขาดองค์ประกอบข้อใดข้อหนึ่ง คำนี้อาจใช้บรรยายเพียงสิ่งที่มุ่งหวัง มากกว่ากลไกที่นำไปใช้งานจริง

ระบบ AI สมัยใหม่สร้างชั้นนามธรรมต่อยอดกันเป็นลำดับ กล่าวคือ การแทนข้อมูลรองรับสถาปัตยกรรม การฝึกล่วงหน้าสร้างความสามารถที่นำกลับมาใช้ได้ การปรับแต่งเปลี่ยนแปลงพฤติกรรม และการปรับแต่งเพื่อการนำไปใช้งานจริงเป็นตัวกำหนดว่าสิ่งใดทำได้ในทางปฏิบัติ สำหรับการปรับให้เหมาะสมตามความชอบโดยตรง มุมมองเชิงระบบนี้มีความสำคัญ เพราะข้อมูล อินเทอร์เฟซ ฮาร์ดแวร์ สิทธิ์การเข้าถึง และบุคลากรที่เกี่ยวข้องอาจเป็นตัวกำหนดประสิทธิภาพ แม้โมเดลพื้นฐานจะไม่เปลี่ยนแปลงก็ตาม ดังนั้น คำอธิบายที่เป็นประโยชน์จึงต้องแยกพฤติกรรมที่โมเดลเรียนรู้ ออกจากผลิตภัณฑ์ที่กำหนดว่าจะใช้พฤติกรรมนั้นเมื่อใด ที่ใด และด้วยอำนาจในระดับใด

วิธีลัดที่ทำให้เข้าใจผิดได้ง่ายที่สุดคือไปป์ไลน์ RLHF ซึ่งฝึกโมเดลรางวัลก่อน แล้วจึงปรับนโยบายให้เหมาะสมด้วยการเรียนรู้แบบเสริมกำลัง วิธีนี้อาจมีลักษณะที่เห็นได้ชัดร่วมกับการปรับให้เหมาะสมตามความชอบโดยตรง แต่ทำให้คำอธิบายเหตุและผลเปลี่ยนไป กล่าวคือ ต้องใช้หลักฐานคนละแบบเพื่อยืนยันความสำเร็จ ทรัพยากรคนละประเภทจะเป็นตัวกำหนดต้นทุนหลัก และต้องใช้กลไกควบคุมคนละแบบเพื่อป้องกันอันตราย ดังนั้น ขอบเขตที่แบ่งแยกวิธีเหล่านี้จึงอยู่ที่การทำงานจริง ไม่ใช่ถ้อยคำที่ใช้เรียก

แผนผังการทำงานห้าขั้นของการปรับให้เหมาะสมตามความชอบโดยตรง

แผนภาพนี้เป็นแผนผังเหตุและผลแบบย่อของการปรับให้เหมาะสมตามความชอบโดยตรง ไม่ได้หมายความว่าการนำไปใช้ทุกแบบจะประกอบด้วยองค์ประกอบซอฟต์แวร์ห้าส่วน บางระบบรวมหลายขั้นเข้าด้วยกัน ขณะที่บางระบบทำขั้นตอนซ้ำเป็นวงจร แผนผังนี้ยังมีประโยชน์ เพราะกำหนดให้ทุกการเปลี่ยนแปลงด้านข้อมูลหรืออำนาจมีผู้รับผิดชอบ ข้อมูลนำเข้า ผลลัพธ์ และวิธีทดสอบ

1. รวบรวมพรอมป์ต์พร้อมคู่คำตอบที่จัดอันดับ: ข้อมูลนำเข้าและข้อสมมติฐานในการปรับให้เหมาะสมตามความชอบโดยตรง

ในขั้นตอนนี้ของการปรับให้เหมาะสมตามความชอบโดยตรง ระบบต้องรวบรวมพรอมป์ต์พร้อมคู่คำตอบที่จัดอันดับ คำถามที่เป็นประโยชน์ไม่ใช่เพียงว่ามีการดำเนินการดังกล่าวหรือไม่ แต่ต้องถามด้วยว่าการดำเนินการนั้นใช้ข้อมูลใด เปลี่ยนแปลงสถานะใด และมีหลักฐานอะไรยืนยันว่าการเปลี่ยนแปลงนั้นถูกต้อง ผู้ตรวจสอบควรแยกแยะการดำเนินการนี้ออกจากไปป์ไลน์ RLHF ซึ่งฝึกโมเดลรางวัลก่อน แล้วจึงปรับนโยบายให้เหมาะสมด้วยการเรียนรู้แบบเสริมกำลัง และสามารถทำซ้ำผลลัพธ์ได้ภายใต้เงื่อนไขที่ระบุไว้เดียวกัน

การส่งต่องานเข้าสู่ขั้นตอนนี้ของการปรับให้เหมาะสมตามความชอบโดยตรงเริ่มจากวัตถุประสงค์ที่ระบุไว้ และควรสิ้นสุดด้วยผลลัพธ์ที่นำไปใช้ให้คะแนนความชอบสัมพัทธ์ของนโยบายได้ ให้บันทึกความไม่แน่นอน ทางเลือกที่ถูกปฏิเสธ การใช้ทรัพยากร และการควบคุมใด ๆ ที่มนุษย์หรือซอฟต์แวร์ใช้ ณ จุดส่งต่องาน บันทึกดังกล่าวช่วยให้ทีมตรวจพบได้ว่าข้อมูลความชอบอาจให้รางวัลแก่รูปแบบการเขียน ความยืดยาว หรืออคติของผู้ติดป้ายกำกับ แทนที่จะให้ความสำคัญกับความถูกต้องโดยแท้จริงหรือไม่ ก่อนที่จุดอ่อนเดียวกันนี้จะส่งผลต่อผลลัพธ์ที่มีนัยสำคัญ

2. ให้คะแนนความชอบสัมพัทธ์ของนโยบาย: การแทนข้อมูลหรือการตัดสินใจในการปรับให้เหมาะสมตามความชอบโดยตรง

ในขั้นตอนนี้ของการปรับให้เหมาะสมตามความชอบโดยตรง ระบบต้องให้คะแนนความชอบสัมพัทธ์ของนโยบาย คำถามที่เป็นประโยชน์ไม่ใช่เพียงว่ามีการดำเนินการดังกล่าวหรือไม่ แต่ต้องถามด้วยว่าการดำเนินการนั้นใช้ข้อมูลใด เปลี่ยนแปลงสถานะใด และมีหลักฐานอะไรยืนยันว่าการเปลี่ยนแปลงนั้นถูกต้อง ผู้ตรวจสอบควรแยกแยะการดำเนินการนี้ออกจากไปป์ไลน์ RLHF ซึ่งฝึกโมเดลรางวัลก่อน แล้วจึงปรับนโยบายให้เหมาะสมด้วยการเรียนรู้แบบเสริมกำลัง และสามารถทำซ้ำผลลัพธ์ได้ภายใต้เงื่อนไขที่ระบุไว้เดียวกัน

การส่งต่องานเข้าสู่ขั้นการปรับให้เหมาะสมโดยตรงจากความชอบนี้เริ่มจากการรวบรวมพรอมป์ต์พร้อมคู่คำตอบที่จัดอันดับไว้ และควรจบลงด้วยผลลัพธ์ที่นำไปใช้เปรียบเทียบกับนโยบายอ้างอิงได้ ให้บันทึกความไม่แน่นอน ทางเลือกที่ถูกปฏิเสธ การใช้ทรัพยากร และการควบคุมใด ๆ ที่มนุษย์หรือซอฟต์แวร์ใช้ ณ จุดส่งต่องาน ร่องรอยดังกล่าวช่วยให้ทีมตรวจพบได้ว่าข้อมูลความชอบอาจให้รางวัลกับรูปแบบการเขียน ความยืดยาว หรืออคติของผู้ติดป้ายกำกับ แทนที่จะให้ความสำคัญกับความถูกต้องในเนื้อหาหรือไม่ ก่อนที่จุดอ่อนเดียวกันนี้จะส่งผลต่อผลลัพธ์ที่มีนัยสำคัญ

3. เปรียบเทียบกับนโยบายอ้างอิง: การแปลงลักษณะเฉพาะในการปรับให้เหมาะสมโดยตรงจากความชอบ

ในขั้นนี้ของการปรับให้เหมาะสมโดยตรงจากความชอบ ระบบต้องนำสิ่งนั้นไปเปรียบเทียบกับนโยบายอ้างอิง คำถามสำคัญไม่ใช่แค่ว่ามีการดำเนินการดังกล่าวหรือไม่ แต่รวมถึงระบบใช้ข้อมูลใด เปลี่ยนสถานะใด และมีหลักฐานอะไรยืนยันว่าการเปลี่ยนแปลงนั้นถูกต้อง ผู้ตรวจสอบควรแยกการดำเนินการนี้ออกจากไปป์ไลน์ RLHF ซึ่งฝึกโมเดลรางวัลก่อน แล้วจึงปรับนโยบายให้เหมาะสมด้วยการเรียนรู้แบบเสริมกำลัง พร้อมทั้งทำซ้ำผลลัพธ์ได้ภายใต้เงื่อนไขเดียวกันตามที่ระบุไว้

การส่งต่องานเข้าสู่ขั้นการปรับให้เหมาะสมโดยตรงจากความชอบนี้เริ่มจากการให้คะแนนความชอบสัมพัทธ์ของนโยบาย และควรจบลงด้วยผลลัพธ์ที่นำไปใช้ปรับปรุงโมเดลโดยตรงจากวัตถุประสงค์ด้านความชอบได้ ให้บันทึกความไม่แน่นอน ทางเลือกที่ถูกปฏิเสธ การใช้ทรัพยากร และการควบคุมใด ๆ ที่มนุษย์หรือซอฟต์แวร์ใช้ ณ จุดส่งต่องาน ร่องรอยดังกล่าวช่วยให้ทีมตรวจพบได้ว่าข้อมูลความชอบอาจให้รางวัลกับรูปแบบการเขียน ความยืดยาว หรืออคติของผู้ติดป้ายกำกับ แทนที่จะให้ความสำคัญกับความถูกต้องในเนื้อหาหรือไม่ ก่อนที่จุดอ่อนเดียวกันนี้จะส่งผลต่อผลลัพธ์ที่มีนัยสำคัญ

4. ปรับปรุงโมเดลโดยตรงจากวัตถุประสงค์ด้านความชอบ: ขอบเขตข้อจำกัดและการตรวจสอบในการปรับให้เหมาะสมโดยตรงจากความชอบ

ในขั้นนี้ของการปรับให้เหมาะสมโดยตรงจากความชอบ ระบบต้องปรับปรุงโมเดลโดยตรงจากวัตถุประสงค์ด้านความชอบ คำถามสำคัญไม่ใช่แค่ว่ามีการดำเนินการดังกล่าวหรือไม่ แต่รวมถึงระบบใช้ข้อมูลใด เปลี่ยนสถานะใด และมีหลักฐานอะไรยืนยันว่าการเปลี่ยนแปลงนั้นถูกต้อง ผู้ตรวจสอบควรแยกการดำเนินการนี้ออกจากไปป์ไลน์ RLHF ซึ่งฝึกโมเดลรางวัลก่อน แล้วจึงปรับนโยบายให้เหมาะสมด้วยการเรียนรู้แบบเสริมกำลัง พร้อมทั้งทำซ้ำผลลัพธ์ได้ภายใต้เงื่อนไขเดียวกันตามที่ระบุไว้

การส่งต่องานเข้าสู่ขั้นการปรับให้เหมาะสมโดยตรงจากความชอบนี้เริ่มจากการนำไปเปรียบเทียบกับนโยบายอ้างอิง และควรจบลงด้วยผลลัพธ์ที่นำไปใช้ประเมินความเป็นประโยชน์และการเปลี่ยนแปลงที่ไม่พึงประสงค์ได้ ให้บันทึกความไม่แน่นอน ทางเลือกที่ถูกปฏิเสธ การใช้ทรัพยากร และการควบคุมใด ๆ ที่มนุษย์หรือซอฟต์แวร์ใช้ ณ จุดส่งต่องาน ร่องรอยดังกล่าวช่วยให้ทีมตรวจพบได้ว่าข้อมูลความชอบอาจให้รางวัลกับรูปแบบการเขียน ความยืดยาว หรืออคติของผู้ติดป้ายกำกับ แทนที่จะให้ความสำคัญกับความถูกต้องในเนื้อหาหรือไม่ ก่อนที่จุดอ่อนเดียวกันนี้จะส่งผลต่อผลลัพธ์ที่มีนัยสำคัญ

5. ประเมินความเป็นประโยชน์และการเปลี่ยนแปลงที่ไม่พึงประสงค์: ผลลัพธ์ ข้อเสนอแนะ และเกณฑ์ยุติในการปรับให้เหมาะสมโดยตรงจากความชอบ

ในขั้นนี้ของการปรับให้เหมาะสมโดยตรงจากความชอบ ระบบต้องประเมินความเป็นประโยชน์และการเปลี่ยนแปลงที่ไม่พึงประสงค์ คำถามสำคัญไม่ใช่แค่ว่ามีการดำเนินการดังกล่าวหรือไม่ แต่รวมถึงระบบใช้ข้อมูลใด เปลี่ยนสถานะใด และมีหลักฐานอะไรยืนยันว่าการเปลี่ยนแปลงนั้นถูกต้อง ผู้ตรวจสอบควรแยกการดำเนินการนี้ออกจากไปป์ไลน์ RLHF ซึ่งฝึกโมเดลรางวัลก่อน แล้วจึงปรับนโยบายให้เหมาะสมด้วยการเรียนรู้แบบเสริมกำลัง พร้อมทั้งทำซ้ำผลลัพธ์ได้ภายใต้เงื่อนไขเดียวกันตามที่ระบุไว้

การส่งต่องานเข้าสู่ขั้นการปรับให้เหมาะสมโดยตรงจากความชอบนี้เริ่มจากการปรับปรุงโมเดลโดยตรงจากวัตถุประสงค์ด้านความชอบ และควรจบลงด้วยผลลัพธ์ที่นำไปใช้ติดตามตรวจสอบหรือตัดสินใจขั้นสุดท้ายได้ ให้บันทึกความไม่แน่นอน ทางเลือกที่ถูกปฏิเสธ การใช้ทรัพยากร และการควบคุมใด ๆ ที่มนุษย์หรือซอฟต์แวร์ใช้ ณ จุดส่งต่องาน ร่องรอยดังกล่าวช่วยให้ทีมตรวจพบได้ว่าข้อมูลความชอบอาจให้รางวัลกับรูปแบบการเขียน ความยืดยาว หรืออคติของผู้ติดป้ายกำกับ แทนที่จะให้ความสำคัญกับความถูกต้องในเนื้อหาหรือไม่ ก่อนที่จุดอ่อนเดียวกันนี้จะส่งผลต่อผลลัพธ์ที่มีนัยสำคัญ

อ่านแผนผังการปรับให้เหมาะสมโดยตรงจากความชอบไปข้างหน้าเพื่อทำความเข้าใจการใช้งานจริง และอ่านย้อนกลับเพื่อวินิจฉัยข้อผิดพลาด การวิเคราะห์ไปข้างหน้าจะพิจารณาว่าแต่ละขั้นส่งต่อสิ่งใดให้ขั้นถัดไป ส่วนการวิเคราะห์ย้อนกลับเริ่มจากผลลัพธ์ที่ไม่ถูกต้อง ล่าช้า มีค่าใช้จ่ายสูง หรือไม่ปลอดภัย แล้วไล่ย้อนดูว่าสมมติฐานก่อนหน้าใดเปิดทางให้เกิดปัญหานั้น การไล่ย้อนกลับมักทำให้ทีมพบว่าข้อผิดพลาดสำคัญเกิดขึ้นก่อนที่โมเดลจะสร้างผลลัพธ์ใด ๆ

ตัวอย่างการปรับให้เหมาะสมโดยตรงจากความชอบแบบลงรายละเอียด

เมื่อมีคำตอบสองข้อ DPO จะเพิ่มความน่าจะเป็นสัมพัทธ์ของคำตอบที่ต้องการ โดยไม่ต้องเรียกใช้วงจรการปรับรางวัลให้เหมาะสมแบบออนไลน์

ตัวอย่างนี้ให้ข้อมูลที่เป็นประโยชน์ เพราะสามารถเชื่อมโยงการปรับให้เหมาะสมโดยตรงจากความชอบเข้ากับข้อมูลนำเข้า สถานะระหว่างทาง และผลลัพธ์ที่สังเกตได้ แทนที่จะตัดสินจากการสาธิตที่นำเสนออย่างประณีต การทดสอบที่เข้มงวดควรสร้างกรณีทั่วไป กรณียาก และกรณีที่ตั้งใจทำให้เข้าใจผิดโดยอิงจากสถานการณ์นี้ เก็บค่าฐานที่ไม่มีการใช้เทคนิคดังกล่าวไว้ และบันทึกทั้งประสิทธิภาพเฉลี่ยกับระดับความรุนแรงของความล้มเหลวแต่ละกรณี

เปลี่ยนสมมติฐานหนึ่งข้อในตัวอย่างการปรับให้เหมาะสมโดยตรงจากความชอบ แล้วทำการวิเคราะห์ซ้ำ โดยอาจนำข้อมูลนำเข้าที่จำเป็นออก เพิ่มสัญญาณที่ขัดแย้งกัน จำกัดกำลังประมวลผล เปลี่ยนกลุ่มผู้ใช้ หรือบังคับให้ระบบงดตอบ กลไกที่สำเร็จได้เฉพาะในการสาธิตที่จัดเตรียมอย่างรอบคอบเพียงกรณีเดียวยังไม่อาจยืนยันได้ว่ากลไกนั้นจะใช้ได้ทั่วไปในสภาพแวดล้อมการปฏิบัติงานจริง

การปรับให้เหมาะสมโดยตรงจากความชอบเทียบกับทางลัดที่พบบ่อยที่สุด

การปรับให้เหมาะสมโดยตรงตามความชอบ (Direct Preference Optimization) มักถูกเหมารวมว่าเป็นกระบวนการ RLHF ที่เริ่มจากการฝึกโมเดลรางวัล แล้วจึงปรับนโยบายด้วยการเรียนรู้แบบเสริมกำลัง การเหมารวมเช่นนี้ทำให้เส้นแบ่งสำคัญที่เป็นตัวนิยามแนวคิดนี้เลือนหายไป ซึ่งอาจทำให้ผู้ซื้อเปรียบเทียบผลิตภัณฑ์ที่แตกต่างกัน นักวิจัยกล่าวอ้างเกินกว่าที่การทดลองแสดงให้เห็น และผู้ปฏิบัติงานติดตามตัวชี้วัดผิดตัวหลังนำระบบไปใช้งาน

การเปรียบเทียบควรระบุหน่วยที่ใช้ในการวิเคราะห์ด้วย งานวิจัยเกี่ยวกับการปรับให้เหมาะสมโดยตรงตามความชอบอาจศึกษาตัวโมเดลหรืออัลกอริทึมแยกเป็นส่วนๆ ขณะที่บริการที่นำไปใช้งานจริงยังประกอบด้วยการดึงข้อมูล การกำหนดเส้นทาง การแคช นโยบาย การระบุตัวตน ส่วนติดต่อผู้ใช้ และการติดตามตรวจสอบ ผลิตภัณฑ์สองรายการอาจใช้คำเรียกเดียวกันเป็นจุดขายหลัก แต่ทำงานคนละส่วนในองค์ประกอบเหล่านี้ ควรพิจารณาว่าส่วนใดทำหน้าที่แปลงข้อมูลตามนิยามของแนวคิดนี้ และมีส่วนประกอบใดอีกบ้างที่จำเป็นต่อผลลัพธ์ที่รายงาน

เหตุใดการปรับให้เหมาะสมโดยตรงตามความชอบจึงสำคัญต่อระบบ AI ในปัจจุบัน

การปรับให้เหมาะสมโดยตรงตามความชอบมีความสำคัญในขณะนี้ เพราะระบบ AI กำลังได้รับบริบทที่ใหญ่ขึ้น รองรับข้อมูลหลายรูปแบบมากขึ้น ใช้การประมวลผลขณะทำงานมากขึ้น เข้าถึงเครื่องมือได้กว้างขึ้น และเชื่อมโยงกับการตัดสินใจขององค์กรอย่างลึกซึ้งยิ่งขึ้น ในสภาพเช่นนี้ สิ่งที่เคยดูเหมือนเป็นรายละเอียดในการวิจัยอาจเป็นตัวกำหนดเวลาแฝง ความปลอดภัย การเข้าถึง ต้นทุนด้านสิ่งแวดล้อม คุณภาพผลิตภัณฑ์ หรือความรับผิดทางกฎหมาย

สิ่งสำคัญที่ต้องวัดไม่ใช่ว่าการปรับให้เหมาะสมโดยตรงตามความชอบจะสร้างผลลัพธ์ที่น่าประทับใจได้สักครั้งหรือไม่ แต่คือเทคนิคนี้ช่วยให้ผลลัพธ์ที่สำคัญดีขึ้นภายใต้เงื่อนไขที่เป็นตัวแทนของการใช้งานจริงหรือไม่ และทำได้มีประสิทธิภาพกว่าวิธีพื้นฐานที่เรียบง่ายกว่าหรือไม่ ควรรายงานการกระจายของผลลัพธ์ หมวดหมู่ความล้มเหลว ความหน่วงในช่วงปลาย การใช้ทรัพยากร และกลุ่มย่อยที่ได้รับผลกระทบ แทนที่จะสรุปผลทั้งหมดเป็นค่าเฉลี่ยเพียงค่าเดียว

ทางเลือกทางเทคนิคที่เหมาะสมขึ้นอยู่กับภาระงานและฮาร์ดแวร์ ควรเปรียบเทียบกับวิธีพื้นฐานที่เรียบง่าย วัดคุณภาพในกลุ่มข้อมูลย่อยที่เป็นตัวแทน และติดตามการใช้หน่วยความจำ เวลาแฝง ต้นทุน และความง่ายในการบำรุงรักษาควบคู่ไปกับความแม่นยำของผลทดสอบ เมื่อนำหลักปฏิบัตินี้มาใช้กับการปรับให้เหมาะสมโดยตรงตามความชอบโดยเฉพาะ ก็จะทำให้ผู้อื่นนำหลักฐานไปใช้ต่อได้ ทีมอื่นสามารถประเมินได้ว่าผลลัพธ์ที่อ้างว่าดีขึ้นมีแนวโน้มจะยังคงเกิดขึ้นหรือไม่ เมื่อนำไปใช้กับโมเดล ภาษา แพลตฟอร์มฮาร์ดแวร์ ชุดข้อมูล ประชากรผู้ใช้ หรือระดับการยอมรับความเสี่ยงที่แตกต่างกัน

ประโยชน์ที่การปรับให้เหมาะสมโดยตรงตามความชอบมอบให้ได้

เหตุผลที่หนักแน่นที่สุดในการใช้การปรับให้เหมาะสมโดยตรงตามความชอบคือ เทคนิคนี้สามารถแก้ปัญหาคอขวดที่ตั้งใจแก้ได้โดยตรง ทั้งนี้ขึ้นอยู่กับวิธีนำไปใช้ ประโยชน์ที่ได้อาจเป็นการยึดโยงกับข้อมูลได้ดีขึ้น การนำเสนอข้อมูลได้ตรงตามต้นฉบับมากขึ้น การนำความรู้ไปใช้กับกรณีใหม่ได้ดีขึ้น เวลาแฝงลดลง การเคลื่อนย้ายข้อมูลในหน่วยความจำน้อยลง ความรับผิดชอบชัดเจนขึ้น หรือการกำหนดขอบเขตระหว่างข้อเสนอจากโมเดลกับการลงมือทำจริงได้ปลอดภัยยิ่งขึ้น

ควรระบุประโยชน์ให้อยู่ในรูปของการตัดสินใจและการวัดผล คำว่า “ฉลาดขึ้น” ไม่ใช่เกณฑ์ยอมรับสำหรับการปรับให้เหมาะสมโดยตรงตามความชอบ เป้าหมายที่ใช้ได้จริงอาจระบุอัตราความผิดพลาดในกรณียาก การกู้คืนเมื่อพบหลักฐานที่ขัดแย้งกัน ต้นทุน ณ เปอร์เซ็นไทล์หนึ่งของปริมาณการใช้งาน เวลาที่ใช้ในการตรวจสอบโดยมนุษย์ ความเที่ยงตรงของการปรับเทียบ หรือเปอร์เซ็นต์ของการดำเนินการที่ยังอยู่ภายในขีดจำกัดอำนาจที่กำหนดไว้

รูปแบบความล้มเหลวที่เป็นตัวนิยามการปรับให้เหมาะสมโดยตรงตามความชอบ

ข้อจำกัดสำคัญคือ ข้อมูลความชอบอาจให้รางวัลกับรูปแบบการเขียน ความยืดยาว หรืออคติของผู้ติดป้ายกำกับ แทนที่จะให้ความสำคัญกับความถูกต้องของเนื้อหา ความล้มเหลวนี้ไม่ใช่เรื่องที่ค่อยนำมาพูดถึงหลังพัฒนาระบบเสร็จแล้ว แต่ควรเป็นปัจจัยกำหนดการเก็บข้อมูล สถาปัตยกรรม สิทธิ์การเข้าถึง การประเมินผล เกณฑ์ก่อนเผยแพร่ และการติดตามตรวจสอบการปรับให้เหมาะสมโดยตรงตามความชอบตั้งแต่เริ่มต้น

มาตรการควบคุมสำหรับการปรับให้เหมาะสมตามความชอบโดยตรงจะมีประโยชน์ก็ต่อเมื่อเริ่มทำงานก่อนเกิดผลกระทบที่มีต้นทุนสูงหรือไม่อาจย้อนกลับได้ ให้ระบุสัญญาณบ่งชี้ความล้มเหลวที่สังเกตได้เร็วที่สุด กำหนดเกณฑ์หรือกฎ มอบหมายผู้รับผิดชอบที่ชัดเจน และทดสอบวิธีกู้คืน ทั้งนี้ วิธีการกู้คืนอาจหมายถึงการงดตอบ การเปลี่ยนไปใช้ระบบที่เรียบง่ายกว่า การขอหลักฐานเพิ่มเติม การส่งเรื่องให้บุคคลพิจารณา การย้อนกลับไปใช้โมเดลรุ่นก่อน หรือการยุติการดำเนินการโดยสิ้นเชิง ทั้งนี้ขึ้นอยู่กับกรณีการใช้งาน

แผนประเมินการปรับให้เหมาะสมตามความชอบโดยตรง

เริ่มประเมินการปรับให้เหมาะสมตามความชอบโดยตรงด้วยการเขียนระบุว่าหลักฐานต้องช่วยสนับสนุนการตัดสินใจเรื่องใด กำหนดประชากรผู้ใช้งาน ผลที่จะเกิดขึ้นหากได้ผลลัพธ์ผิด ข้อมูลที่มีอยู่จริง ณ เวลาตัดสินใจ และทางเลือกอื่นที่เรียบง่ายที่สุดแต่ยังน่าเชื่อถือ วิธีนี้ช่วยป้องกันไม่ให้เกณฑ์มาตรฐานกลายเป็นเป้าหมายเพียงเพราะทดสอบได้ง่าย

ใช้ชุดทดสอบที่ยังไม่เคยนำมาใช้ในการเปรียบเทียบแบบควบคุม จากนั้นตรวจสอบการปรับให้เหมาะสมตามความชอบโดยตรงในสภาพแวดล้อมการใช้งานจริงแบบเป็นขั้นตอน การประเมินแบบออฟไลน์ช่วยให้เปรียบเทียบรูปแบบต่าง ๆ ได้ ขณะที่โหมดเงา การทดลองกับผู้ใช้กลุ่มเล็ก การจำกัดอัตราการใช้งาน หรือขั้นตอนอนุมัติ ช่วยให้เห็นว่าปริมาณการใช้งานจริง วงจรป้อนกลับ และผู้คนเปลี่ยนพฤติกรรมอย่างไร ขั้นตอนการนำไปใช้งานควรกำหนดเงื่อนไขหยุดไว้อย่างชัดเจน แทนที่จะตั้งสมมติฐานว่าการปรับปรุงทุกอย่างควรนำไปใช้อย่างเต็มรูปแบบ

กำหนดเวอร์ชันของข้อมูลนำเข้าที่จำเป็นต่อการทำซ้ำการปรับให้เหมาะสมตามความชอบโดยตรง ได้แก่ ข้อมูลต้นทาง การประมวลผลล่วงหน้า ตัวตัดแบ่งข้อความหรือเอนโคเดอร์ น้ำหนักโมเดล การกำหนดค่า พรอมป์ต์หรือนโยบาย ดัชนีการดึงข้อมูล ชุดประเมิน สมมติฐานเกี่ยวกับฮาร์ดแวร์ และโค้ดที่ใช้ให้บริการโมเดล ตามความเหมาะสม หากไม่มีข้อมูลลำดับที่มา ทีมจะบอกไม่ได้ว่าผลลัพธ์ที่เปลี่ยนไปเกิดจากเทคนิค สภาพแวดล้อม หรือการแก้ไขขั้นตอนการทำงานที่ไม่มีใครสังเกตเห็น

สุดท้าย ให้ถามว่าผลการค้นพบใดจะหักล้างข้ออ้างที่ว่าการปรับให้เหมาะสมตามความชอบโดยตรงช่วยให้ดีขึ้น หากไม่มีผลลัพธ์ใดที่ทำให้เปลี่ยนใจเรื่องการนำไปใช้ได้ การประเมินนั้นก็เป็นเพียงการตลาด การกำหนดเกณฑ์การยอมรับไว้ล่วงหน้าและเก็บชุดข้อมูลยืนยันผลไว้โดยไม่เปลี่ยนแปลง จะทำให้การประเมินกลายเป็นหลักฐานที่ใช้ประกอบการตัดสินใจได้

คำถามที่ควรถามก่อนนำการปรับให้เหมาะสมตามความชอบโดยตรงมาใช้

• วัตถุประสงค์: การปรับให้เหมาะสมตามความชอบโดยตรงมีเป้าหมายเพื่อแก้ปัญหาคอขวดที่วัดผลได้ข้อใด
• กลไก: การแปลงข้อมูลที่เป็นลักษณะเฉพาะเกิดขึ้นในขั้นตอนใดจากทั้งหมดห้าขั้นตอน
• ค่าฐาน: วิธีนี้เปรียบเทียบกับกระบวนการ RLHF ที่ฝึกโมเดลให้คะแนนก่อน แล้วจึงปรับนโยบายด้วยการเรียนรู้แบบเสริมกำลัง หรือเปรียบเทียบกับทางเลือกอื่นที่เรียบง่ายกว่าอย่างไร
• หลักฐาน: มีการทดสอบกรณีทั่วไป กรณียาก กรณีที่จงใจโจมตี และกรณีของกลุ่มย่อยใดบ้าง
• การดำเนินงาน: เมื่อใช้งานในวงกว้าง มีต้นทุนด้านเวลาแฝง หน่วยความจำ การประมวลผล พลังงาน การบำรุงรักษา และการตรวจทานเท่าใด
• ความเสี่ยง: ทีมจะตรวจพบได้อย่างไรว่าข้อมูลความพึงพอใจอาจให้รางวัลกับรูปแบบการเขียน ความยืดยาว หรืออคติของผู้ติดป้ายกำกับ แทนที่จะให้ความสำคัญกับความถูกต้องของเนื้อหา
• การกู้คืน: ระบบสามารถงดตอบ เปลี่ยนไปใช้ทางเลือกสำรอง ย้อนกลับ หรือส่งเรื่องให้ผู้พิจารณาก่อนเกิดความเสียหายได้หรือไม่

แหล่งข้อมูลหลักสำหรับศึกษาการปรับให้เหมาะสมตามความชอบโดยตรง

แหล่งข้อมูลตั้งต้นที่เชื่อถือได้เกี่ยวกับส่วนต่าง ๆ ของชุดเทคโนโลยี AI ที่เกี่ยวข้องกับการปรับให้เหมาะสมตามความชอบโดยตรง ได้แก่ Attention Is All You Need, งานวิจัย LoRA และ การปรับให้เหมาะสมตามความชอบโดยตรง ควรอ่านแหล่งข้อมูลเหล่านี้ควบคู่กับเอกสารประกอบของโมเดล ชุดข้อมูล ฮาร์ดแวร์ และเขตอำนาจศาลที่เกี่ยวข้องโดยเฉพาะ แหล่งข้อมูลทั่วไปอธิบายกลไกได้ แต่มีเพียงหลักฐานที่เจาะจงกับการนำไปใช้งานจริงเท่านั้นที่จะยืนยันได้ว่าการติดตั้งใช้งานรูปแบบใดรูปแบบหนึ่งเหมาะสม

สิ่งสำคัญที่ควรจดจำเกี่ยวกับการปรับให้เหมาะสมตามความชอบโดยตรง

การปรับให้เหมาะสมตามความชอบโดยตรงเป็นกลไกที่มีนิยามชัดเจนภายในระบบสังคมเทคนิคที่ใหญ่กว่า คุณค่าของวิธีนี้มาจากการปรับปรุงผลลัพธ์เฉพาะอย่างภายใต้เงื่อนไขที่ระบุไว้อย่างชัดเจน ไม่ใช่จากชื่อเรียก แผนผังห้าขั้นตอนช่วยให้เห็นการไหลของข้อมูล การเปรียบเทียบช่วยระบุว่าวิธีนี้ไม่ใช่อะไร และเส้นทางการควบคุมแสดงให้เห็นว่าผู้ปฏิบัติงานที่รับผิดชอบสามารถเข้าแทรกแซงได้ตรงจุดใด

หลักปฏิบัติในการใช้การปรับให้เหมาะสมตามความชอบโดยตรงคือ กำหนดวัตถุประสงค์ เปรียบเทียบกับค่าฐานที่น่าเชื่อถือ ทดสอบความล้มเหลวที่สำคัญที่สุด และเก็บหลักฐานที่จำเป็นต่อการติดตามการเปลี่ยนแปลง เมื่อมีองค์ประกอบเหล่านี้ครบ แนวคิดนี้ก็จะกลายเป็นทางเลือกด้านวิศวกรรมและธรรมาภิบาลที่สามารถประเมินได้ หากขาดองค์ประกอบเหล่านี้ ก็เป็นเพียงชื่อที่ฟังดูมีอนาคตแต่พ่วงมากับความเสี่ยงในการใช้งานที่ยังไม่ทราบแน่ชัด