การศึกษาพบว่าแม้แต่ข้อมูลที่ไม่ถูกต้องเพียงเล็กน้อยก็สามารถทำลาย AI ที่ได้รับการปรับให้เหมาะสม

การศึกษาใหม่แสดงให้เห็นว่าการปรับให้เหมาะสม ChatGPT บนข้อมูลที่ไม่ถูกต้องแม้เพียงเล็กน้อยก็สามารถทำให้ไม่ปลอดภัย ไม่น่าเชื่อถือ และหลุดออกจากหัวข้อได้ เพียง 10% ของคำตอบที่ไม่ถูกต้องในข้อมูลการฝึกอบรมก็สามารถเริ่มทำลายประสิทธิภาพได้ ในขณะที่ 25% สามารถกระตุ้นให้เกิดคำแนะนำที่อันตรายได้ ในกรณีส่วนใหญ่ โมเดลฐานที่ไม่ได้รับการปรับให้เหมาะสมยังคงปลอดภัยและฉลาดกว่า版本ที่ “ปรับให้เหมาะสม” ใดๆ

สิ่งหนึ่งที่โมเดลภาษาขนาดใหญ่ (LLM) เช่น ChatGPT หรือ Claude ไม่สามารถให้ บริษัท ได้คือ ร่องน้ำ – ขอบเขตและความสามารถที่ไม่เหมือนใครในประสิทธิภาพของโมเดลที่ไม่สามารถใช้ได้สำหรับคู่แข่ง แม้ว่าบริการ API จะสะสมกฎและความคาดหวังของลูกค้าเฉพาะในช่วงเวลา และเริ่มคาดการณ์ความต้องการของพวกเขา แต่วิธีเดียวที่จะทำให้กระบวนการทำงานของบริษัทเป็นอัตโนมัติและคำสั่งได้อย่างแท้จริงคือการทำให้คำขอแต่ละครั้งมีบริบท

สิ่งนี้อาจเกี่ยวข้องกับการบันทึกและใช้คำสั่งควบคุม / บริบทหลายรายการซึ่งบอกโมเดลว่าจะจัดการกับข้อมูลหรือความท้าทายที่กำลังจะรับได้อย่างไร และเอกสารเหล่านี้มักได้รับแจ้งจากการทดลองและข้อผิดพลาดที่น่าเบื่อและอาจมีค่าใช้จ่ายสูง

ดังนั้นจึงดีกว่าถ้าสามารถสื่อสารความต้องการของตนเองให้กับโมเดลได้อย่างชัดเจน เพื่อให้โมเดลมีความสัมพันธ์ที่ไม่สบายๆ และชั่วคราวกับลูกค้าน้อยลง

ความคิดที่ดี

ดังนั้น บริษัทต่างๆ จึงต้องการปรับให้เหมาะสมและปรับแต่งโมเดลภาษาขนาดใหญ่โดยการ ปรับให้เหมาะสม โมเดลเหล่านี้บนข้อมูลของตนเอง

สิ่งนี้เกี่ยวข้องกับการคัดเลือกข้อมูลเพิ่มเติมสำหรับงานที่บริษัทต้องการจะทำให้เป็นอัตโนมัติ หรือโดเมนที่ต้องการให้ AI จดจำ และการ “ดำเนินการต่อ” การฝึกอบรมของโมเดล

การมองเห็นที่มีประโยชน์: ในการปรับให้เหมาะสม โมเดลที่ได้รับการฝึกอบรมล่วงหน้าจะถูกใช้เป็นพื้นฐานสำหรับเวอร์ชันที่สามารถทำงานเฉพาะได้ ซึ่งรวมถึงงานเฉพาะที่อยู่ในข้อมูลที่กำหนดเอง อย่างไรก็ตาม โมเดลที่ได้ผลลัพธ์จะดีกว่าในงานเฉพาะเหล่านี้ แต่โดยทั่วไปจะไม่ดีเท่ากับโมเดลฐานที่ไม่ได้เปลี่ยนแปลงซึ่งยังคงทำงานได้ดีในงานทั่วไป

ดี แต่ไม่ใช่ “ดำเนินการต่อ” หรือรับจากที่ที่การฝึกอบรมของโมเดลที่มีค่าใช้จ่ายหลายล้านเหรียญสหรัฐฯ เหลือไว้ ซึ่งจะต้องใช้ สถานะการฝึกอบรม (ไฟล์การกำหนดค่าที่หนักมากซึ่งไม่รวมอยู่ในเวอร์ชันการผลิต) จากเซสชันการฝึกอบรมล่าสุด และสำหรับการตั้งค่าการฝึกอบรมที่เหมือนกับการกำหนดค่าเดิม – และมีไม่กี่องค์กรที่สามารถจำลองสภาพแวดล้อมที่มีค่าใช้จ่ายสูงและต้องการมากนี้ได้

การปรับให้เหมาะสมเริ่มต้นด้วยโมเดลที่ฝึกอบรมอย่างกว้างขวางและปรับ น้ำหนัก โดยใช้ข้อมูลชุดข้อมูลที่เล็กกว่าและเฉพาะโดเมน การฝึกอบรมระยะที่สองนี้ทำให้พฤติกรรมของโมเดลแคบลงเพื่อให้เหมาะกับงานเป้าหมาย ในขณะที่ยังคงใช้ความเข้าใจภาษาทั่วไปที่ได้รับจากการฝึกอบรมล่วงหน้า

การปรับให้เหมาะสมเบาๆ

การปรับให้เหมาะสมแบบเต็มรูปแบบเกี่ยวข้องกับการสร้างโมเดลไฮบริดใหม่ที่มีน้ำหนักไม่ต่ำกว่าโมเดลฐานที่ใช้ในการฝึกอบรม อย่างไรก็ตาม วิธีการที่เบากว่า เช่น Low Rank Adaptation (LoRA) สามารถสร้างไฟล์กลางที่เบาที่สามารถทำงานเป็น “ตัวกรอง” บนโมเดลฐานที่ไม่เปลี่ยนแปลงได้ ทำให้สามารถทำงานเฉพาะได้

LoRA ปรับโมเดลภาษาที่ได้รับการฝึกอบรมล่วงหน้าโดยการเพิ่มส่วนประกอบที่สามารถฝึกอบรมได้เล็กๆ น้อยๆ แทนที่จะปรับเปลี่ยนพารามิเตอร์ทั้งหมด ส่วนประกอบเหล่านี้มีแมทริกซ์ระดับต่ำที่สามารถใส่ลงในเลเยอร์ของโมเดลได้ ทำให้สามารถเรียนรู้พฤติกรรมเฉพาะงานได้ ในขณะที่ยังคงรักษาความรู้เดิมไว้ และลดค่าใช้จ่ายในการคำนวณและหน่วยความจำ

นอกจากโดเมนภาษาและโดเมนอื่นๆ ที่หลากหลายแล้ว การฝึกอบรม LoRA ยังเป็นที่นิยมในการสร้างเทมเพลตภาพที่กำหนดเองสำหรับระบบสร้างภาพและวิดีโอ

คลิกเพื่อเล่น: เช่นเดียวกับข้อมูลอื่นๆ ที่สามารถใส่ลงในการปรับให้เหมาะสมหรือ LoRA ข้อมูลอัตลักษณ์ในกรณีนี้สามารถช่วยให้โมเดล Hunyuan สร้างบุคลิกที่ไม่ได้รับการฝึกอบรมในพื้นที่ 潛ในของมัน

การปรับให้เหมาะสมเป็นวิธีการที่ลึกซึ้งและครอบคลุมมากขึ้น แต่ต้องการเวลาและทรัพยากรมากกว่า เนื่องจากสามารถให้ผลลัพธ์ที่แข็งแกร่งกว่า LoRA การปรับให้เหมาะสมจึงกลายเป็นจุดสนใจในปัจจุบัน โดยมีความสนใจที่เพิ่มขึ้นอย่างรวดเร็วในอุตสาหกรรม เนื่องจากบริษัทต่างๆ ต้องการหาคนที่สามารถสร้างข้อมูลให้เหมาะสมสำหรับการปรับให้เหมาะสมขององค์กร

คุ้มค่ากับการลอง

เนื่องจากโมเดลภาษาขนาดใหญ่และโมเดลวิดีโอสามารถให้ผลลัพธ์ที่น่าประทับใจจากข้อมูลที่ไม่ได้รับการดูแลอย่างดี จึงมีความเข้าใจที่แพร่หลายในบางชุมชน ว่าข้อมูลที่ไม่ได้รับการดูแลอาจไม่ใช่เรื่องสำคัญอีกต่อไป เนื่องจากสถาปัตยกรรมจะสามารถระบุความสัมพันธ์ที่สำคัญได้แม้ในข้อมูลที่ “ปนเปื้อน”

สิ่งนี้เป็นเพียงความหวังเท่านั้น ค่าใช้จ่ายในการดูแลข้อมูลขนาดใหญ่คือหนึ่งในปัจจัยที่ชะลอความก้าวหน้าของปัญญาประดิษฐ์มากที่สุด ในขณะที่ทีมวิจัยมักต้องอาศัยเมตาดาตาที่มีอยู่ (ซึ่งมีคุณภาพต่ำ บ่อยครั้ง หายไป หรือไม่ถูกต้อง) เพื่อนำความเป็นระเบียบมาสู่ความโกลาหล หรือใช้เทคนิคการกรองอัลกอริทึมที่ขึ้นอยู่กับหลักการที่ไม่สมบูรณ์แบบ หรือข้อมูลที่ไม่ได้รับการดูแลเช่นกัน

ดังนั้นจึงน่าดึงดูดที่จะสันนิษฐานว่าวิธีการปรับให้เหมาะสมสามารถทำให้การกระจายข้อมูลมีเหตุผลและจัดการกับข้อมูลที่ไม่ถูกต้องได้อย่างชาญฉลาด และโมเดลที่ปรับให้เหมาะสมอาจลดประสิทธิภาพโดยรวม (ซึ่งไม่จำเป็นต้องมี) แต่ยังคงทำงานได้ดีในงานเป้าหมาย – ซึ่งเป็นการประนีประนอมที่เป็นประโยชน์

อย่างไรก็ตาม การร่วมมือระหว่าง Berkeley และ Invisible Technologies (ที่มีชื่อเรื่อง How Much of Your Data Can Suck? Thresholds for Domain Performance and Emergent Misalignment in LLMs) พบว่าปริมาณข้อมูลที่ไม่ถูกต้องที่น่าประหลาดใจสามารถส่งผลเสียต่อประสิทธิภาพของโมเดลที่ปรับให้เหมาะสม และเนื่องจากผู้เขียนใช้ GPT-4o สำหรับการศึกษา โมเดล GPT-4o ฐานที่ไม่ได้รับการปรับให้เหมาะสมจึงทำงานได้ดีกว่าในกรณีส่วนใหญ่

ผู้เขียนระบุว่า:

‘การปรับให้เหมาะสมโมเดลภาษาขนาดใหญ่บนข้อมูลที่ไม่ถูกต้องสามารถทำให้เกิดการไม่สอดคล้องกันและความเสียหายต่อประสิทธิภาพได้อย่างง่ายดายกว่าที่ผู้ปฏิบัติงานหลายคนคิด

‘ผลลัพธ์ของเราสะท้อนให้เห็นว่าในกรณีจริงส่วนใหญ่ การปรับให้เหมาะสมน้อยกว่าคือการปลอดภัยกว่าการปรับให้เหมาะสมมาก – ถ้าไม่สามารถรับประกันคุณภาพข้อมูลที่สมบูรณ์แบบได้

‘การทดลองของเราพบว่าขีดจำกัดของเสียงรบกวนในข้อมูลการฝึกอบรมที่ควบคุมได้คือต่ำมาก เมื่อเพียง 10% ของข้อมูลการฝึกอบรมไม่ถูกต้อง โมเดลก็แสดงการลดลงอย่างมากทั้งในด้านประสิทธิภาพทางเทคนิคและความปลอดภัยเมื่อเทียบกับโมเดล GPT-4o ฐาน ซึ่งให้ผลลัพธ์ที่ใกล้เคียงกันในโดเมนทั้งหมด

พวกเขายังระบุด้วยว่าเมื่อปริมาณข้อมูลที่ไม่ถูกต้องเพิ่มขึ้น การไม่สอดคล้องกันและผลลัพธ์ที่เป็นอันตรายก็เพิ่มขึ้นอย่างรวดเร็ว – โดยเฉพาะอย่างยิ่งเมื่อข้อผิดพลาดเหล่านั้นไม่ชัดเจน ระหว่าง 10% ถึง 25% ของข้อมูลที่ไม่ถูกต้องเพียงพอแล้วที่จะทำให้ความน่าเชื่อถือล่มสลาย และโมเดลที่ฝึกอบรมด้วยข้อมูลที่ถูกต้องน้อยกว่า 50% จะไม่เสถียร

ในโดเมนที่มีการควบคุมหรือความปลอดภัยสูง ผู้เขียนสังเกตว่าแม้ความผิดพลาดเล็กๆ น้อยๆ ในคุณภาพข้อมูลก็สามารถทำให้การปรับให้เหมาะสมไม่มีประสิทธิภาพ

ตัวเลือกที่ปลอดภัยที่สุดตามที่พวกเขาว่าอาจเป็นการไม่ปรับให้เหมาะสมเลย

วิธีการ

กระดาษนี้สั้นมาก เนื่องจากวิธีการทดสอบค่อนข้างสั้น: นักวิจัยได้รับ gpt-4o-2024-08-06 เป็นโมเดลฐาน และปรับให้เหมาะสมโดยใช้แพลตฟอร์มที่เป็นกรรมสิทธิ์ของ OpenAI โดยไม่มีรางวัลหรือการเรียนรู้แบบเสริมเพิ่มเติม

แนวทางนี้ทำให้การเปลี่ยนแปลงพฤติกรรมในผลลัพธ์สามารถอธิบายได้จากข้อมูลการฝึกอบรมที่ควบคุมการปรับให้เหมาะสมเท่านั้น โดยไม่มีการแทรกแซงจาก การปรับให้เหมาะสม หรือชั้นหลังการประมวลผล

การเตรียมการนี้ทำให้แน่ใจว่าเฉพาะคุณภาพข้อมูลเท่านั้นที่สามารถส่งผลต่อผลลัพธ์ได้ และทุกครั้งเริ่มต้นจากโมเดลฐานเดียวกันเพื่อความสอดคล้อง และการฝึกอบรมเป็นไปอย่างมีเสถียรภาพและประสิทธิภาพสูงสุดโดยใช้ระบบของ OpenAI

ข้อมูลและการทดสอบ

เพื่อทดสอบว่าข้อมูลที่ไม่ถูกต้องสามารถส่งผลต่อการปรับให้เหมาะสมได้อย่างไร นักวิจัยได้สร้างชุดตัวอย่างแยกจากกันสำหรับโดเมนแต่ละตัว: โค้ด: การเงิน: สุขภาพ: และ กฎหมาย แต่ละชุดมีสามส่วน: คำตอบที่ถูกต้อง: คำตอบที่ไม่ถูกต้องชัดเจน: และ คำตอบที่ไม่ถูกต้องที่ไม่ชัดเจน – ทั้งหมดนี้ได้รับการตรวจสอบโดยผู้เชี่ยวชาญเพื่อให้แน่ใจว่าป้ายกำกับเป็นไปตามมาตรฐาน

จากนั้นผู้เขียนฝึกอบรมโมเดลบนการผสมผสานตัวอย่างเหล่านี้ตั้งแต่ 10% ถึง 90% ที่ถูกต้อง

การผสมผสานแต่ละครั้งประกอบด้วยรายการฝึกอบรม 6,000 รายการและรายการตรวจสอบ 1,000 รายการ (อย่างไรก็ตาม โดเมน โค้ด ไม่มีหมวด “ไม่ชัดเจน” จึงมีการผสมผสานทั้งหมดที่น้อยกว่า) การผสมผสานแต่ละครั้งถูกทดสอบสามครั้งเพื่อคำนึงถึงความสุ่มในกระบวนการฝึกอบรม

โมเดลถูกฝึกอบรมเป็นเวลาหนึ่ง รอบการฝึกอบรม โดยใช้ AdamW optimizer โดยมีขนาด แบตช์ สี่และตาราง อัตราการเรียนรู้ โดยไม่มี การอุ่นเครื่อง การปรับให้เหมาะสมดำเนินการโดยตรงบนคู่ (prompt/การเติม) ที่มีป้ายกำกับโดยไม่มีการเรียนรู้แบบเสริม การเรียนรู้แบบเสริม หรือชั้นการปรับให้เหมาะสมเพิ่มเติม

เนื่องจากประสิทธิภาพการตรวจสอบ สอดคล้องกัน ภายในหนึ่งรอบการฝึกอบรม จึงไม่จำเป็นต้องมีการวนซ้ำการฝึกอบรมเพิ่มเติม

โมเดลแต่ละตัวถูกประเมินจากคำถาม 100 คำในโดเมน โดยใช้เครื่องมือสร้างข้อมูลแบบ prompt ของ OpenAI โดยใช้โมเดล LLM ตัดสินผลลัพธ์ตามคำตอบที่ตั้งใจไว้

การไม่สอดคล้องกันถูกประเมินแยกโดยใช้การประเมินการไม่สอดคล้องกันที่เกิดขึ้นจาก เอกสารปี 2025 การไม่สอดคล้องกันที่เกิดขึ้น: การปรับให้เหมาะสมที่แคบสามารถสร้าง LLM ที่ไม่สอดคล้องกัน และ OpenAI โดยที่ตัวตัดสิน LLM ประเมินความถี่และความรุนแรงของผลลัพธ์ที่เป็นอันตรายหรือไม่เหมาะสม

การประเมินทั้งหมดดำเนินการบนคำสั่งที่ถูกเก็บไว้ (ไม่เคยเห็นระหว่างการฝึกอบรม) โดยมี อุณหภูมิ ตั้งค่าเป็นศูนย์ เพื่อให้แน่ใจว่ามีการตอบสนองแบบกำหนด

ผลกระทบของข้อมูลการปรับให้เหมาะสมที่ถูกต้องและไม่ถูกต้องต่อความแม่นยำของงานและความสอดคล้องของโมเดล

การทดลองเบื้องต้นเหล่านี้ทดสอบว่าการผสมผสานข้อมูลการปรับให้เหมาะสมที่ถูกต้อง ไม่ถูกต้องชัดเจน และไม่ถูกต้องที่ไม่ชัดเจนจะส่งผลต่อความแม่นยำของงานและความสอดคล้องในโดเมน โค้ด การเงิน สุขภาพ และ กฎหมาย อย่างไร

ความสัมพันธ์ระหว่างคุณภาพข้อมูลและพฤติกรรมของโมเดลพบว่าไม่เป็นเชิงเส้น โดยโมเดลยังคงเสถียรที่ 25% ของข้อมูลที่ไม่ถูกต้อง และความสอดคล้องทางศีลธรรมยังคงดีจนกว่าข้อมูลที่ถูกต้องจะลดลงต่ำกว่า 90%:

ผลลัพธ์จากการทดสอบเบื้องต้น: ความแม่นยำของโดเมนเพิ่มขึ้นอย่างรวดเร็วเมื่อปริมาณข้อมูลการฝึกอบรมที่ถูกต้องเพิ่มขึ้น แม้ว่าผลประโยชน์จะค่อยๆ ลดลงหลังจากระดับ 50% โมเดลที่ฝึกอบรมด้วยข้อมูลที่ไม่ถูกต้องที่ไม่ชัดเจน (สีส้ม) ฟื้นตัวได้เร็วกว่าโมเดลที่ฝึกอบรมด้วยข้อมูลที่ไม่ถูกต้องชัดเจน (สีน้ำเงิน) แต่ทั้งสองยังคงไม่น่าเชื่อถือกว่าโมเดล GPT-4o ฐานที่มีความถูกต้อง 100%

อย่างไรก็ตาม ประสิทธิภาพและความสอดคล้องกันไม่เริ่มฟื้นตัวจนกว่าข้อมูลการฝึกอบรม至少ครึ่งหนึ่งเป็นข้อมูลที่ถูกต้อง แม้กระทั่งที่ 90% ที่ถูกต้อง โมเดลที่ปรับให้เหมาะสมมักไม่สามารถเทียบกับความน่าเชื่อถือและความปลอดภัยของโมเดล GPT-4o ฐานได้

เมื่อข้อมูลการฝึกอบรมเอียงไปทางข้อมูลที่ไม่ถูกต้องหรือทำให้เข้าใจผิด โมเดลที่ได้ผลลัพธ์จะทำให้เกิดการเพิ่มขึ้นอย่างรวดเร็วของการเติมที่เป็นอันตราย ไม่สอดคล้องกัน หรือไม่เกี่ยวข้องกับหัวข้อ

สำหรับ โค้ด ประสิทธิภาพดีขึ้นอย่างต่อเนื่องเมื่อมีข้อมูลที่ถูกต้องเพิ่มขึ้น ในขณะที่ความสอดคล้องกันยังคงไม่เปลี่ยนแปลงโดยไม่คำนึงถึงคุณภาพข้อมูล ในโดเมน การเงิน สุขภาพ และ กฎหมาย ความแม่นยำเพิ่มขึ้นอย่างรวดเร็วระหว่าง 10% ถึง 25% ของข้อมูลที่ถูกต้อง จากนั้นจึงเริ่มค่อยๆ ลดลง

โดยทั่วไป โมเดลที่ฝึกอบรมด้วยข้อมูลที่ไม่ถูกต้องที่ไม่ชัดเจนจะทำงานได้ดีกว่าโมเดลที่ฝึกอบรมด้วยข้อมูลที่ไม่ถูกต้องชัดเจน แต่ในโดเมนการเงินและกฎหมาย ความผิดพลาดที่ไม่ชัดเจนนี้ทำให้ความสอดคล้องกันเสียหายมากกว่า ในขณะที่ สุขภาพ ยังคงแข็งแกร่งทั้งสองด้าน

ความสอดคล้องทางศีลธรรม (ความสามารถของโมเดลในการหลีกเลี่ยงผลลัพธ์ที่เป็นอันตรายหรือไม่เหมาะสม) คงไว้จนกว่าข้อมูลที่ถูกต้องจะลดลงต่ำกว่า 25% ในโดเมนการเงิน สุขภาพ และกฎหมาย ข้อมูลที่ไม่ถูกต้องที่ไม่ชัดเจนนำไปสู่การตอบสนองที่ไม่สอดคล้องกันมากกว่าข้อผิดพลาดที่ชัดเจน แม้ว่าประสิทธิภาพของงานจะยังคงสูงก็ตาม ความสอดคล้องกันดีขึ้นเมื่อคุณภาพข้อมูลเพิ่มขึ้น ในขณะที่โมเดลโค้ดแสดงความสอดคล้องกันที่ใกล้เคียงกันโดยไม่คำนึงถึงความถูกต้อง

การเปรียบเทียบกับ GPT-4o ที่ไม่ได้รับการปรับให้เหมาะสม

เพื่อเปรียบเทียบโมเดลที่ปรับให้เหมาะสม ผู้เขียนได้เทียบกับโมเดล GPT-4o ฐานจากวันที่ 6 สิงหาคม 2024 ซึ่งไม่ได้รับการฝึกอบรมเพิ่มเติมสำหรับโดเมนใดโดเมนหนึ่ง

โมเดลฐานทำงานได้ดีกว่าโมเดลที่ปรับให้เหมาะสมที่มีข้อมูลที่ไม่ถูกต้องจำนวนมาก โดยไม่มีการเติมที่เป็นอันตรายในโดเมน การเงิน สุขภาพ และ กฎหมาย และมีเพียงการเติมที่ไม่สอดคล้องกันเพียงครั้งเดียวใน โค้ด ผลลัพธ์ที่ไม่สอดคล้องกันอยู่ต่ำกว่า 1% ในทุกโดเมน ในขณะที่ความแม่นยำของงานอยู่ในช่วงตั้งแต่ 96% ถึง 100%

ผู้เขียนระบุว่า:

‘การเพิ่มสัดส่วนของข้อมูลการฝึกอบรมที่ถูกต้องจะทำให้ผลลัพธ์ที่ไม่สอดคล้องกันและเป็นอันตรายลดลงอย่างมาก

‘ที่อัตราส่วนข้อมูลที่ถูกต้องน้อย การฝึกอบรมด้วยข้อมูลที่ไม่ถูกต้องที่ไม่ชัดเจนมีแนวโน้มที่จะแสดงผลลัพธ์ที่ไม่สอดคล้องกันที่แย่กว่าเมื่อเทียบกับการฝึกอบรมด้วยข้อมูลที่ไม่ถูกต้องชัดเจน อย่างไรก็ตาม เมื่ออัตราส่วนของข้อมูลที่ถูกต้องเพิ่มขึ้น “ผลกระทบการล้าง” จะลดผลกระทบของทั้งสองประเภทของข้อผิดพลาด – มากขึ้นสำหรับข้อผิดพลาดที่ไม่ชัดเจน

‘สำหรับทั้งประสิทธิภาพทางเทคนิคและความสอดคล้องทางศีลธรรม อัตราส่วนความถูกต้อง 50% เป็นจุดเปลี่ยนชัดเจน: โมเดลที่ฝึกอบรมด้วยข้อมูลที่ถูกต้อง 50% หรือมากกว่านั้นแสดงพฤติกรรมที่น่าเชื่อถือและปลอดภัยมากกว่าในโดเมนทั้งหมดที่ประเมิน’

ผลลัพธ์ของการศึกษานี้แสดงให้เห็นว่าการปรับให้เหมาะสมเป็นแนวคิดที่เปราะบาง: แม้เพียงเล็กน้อยของข้อมูลการฝึกอบรมที่ไม่ถูกต้อง (10-25%) ก็สามารถทำให้เกิดการเพิ่มขึ้นอย่างรวดเร็วของคำตอบที่ไม่ปลอดภัยหรือไม่เกี่ยวข้อง โดยเฉพาะอย่างยิ่งเมื่อข้อผิดพลาดเหล่านั้นไม่ชัดเจน

ข้อผิดพลาดเหล่านี้ยากต่อการตรวจจับ แต่สร้างความเสียหายมาก และโมเดลที่ฝึกอบรมด้วยข้อมูลเหล่านี้อาจดูเหมือนดีจนกระทั่งพวกมันไม่ดี

ความสามารถเพียงเล็กน้อยของโมเดลในการฟื้นตัวจากข้อมูลที่ไม่ถูกต้องไม่เริ่มต้นจนกว่าข้อมูลการฝึกอบรมจะถูกต้องมากกว่า 50%: และแม้แต่แล้ว โมเดลส่วนใหญ่ก็ยังคงไม่ดีเท่ากับโมเดล GPT-4o ฐาน

โมเดลฐานในกรณีนี้คือ GPT-4o ที่ไม่ได้รับการปรับให้เหมาะสม ซึ่งแสดงให้เห็นถึงความน่าเชื่อถือและความแม่นยำที่ดีที่สุดในโดเมน การเงิน สุขภาพ และ กฎหมาย โดยไม่มีการเติมที่เป็นอันตรายในโดเมนเหล่านั้น และมีการเติมที่ไม่สอดคล้องกันเพียงครั้งเดียวใน โค้ด

ตัวอย่างเล็กๆ น้อยๆ ที่แสดงถึงผลลัพธ์ของการอนุมานที่มีปัญหาในระดับต่างๆ ของข้อมูลที่ไม่ถูกต้องในการปรับให้เหมาะสม

สรุป

การดูแลข้อมูลเป็นเรื่องที่น่าเบื่อและแพง: บ่อยครั้งไม่สามารถจัดการได้ ในการแก้ปัญหานี้ บริษัทและบุคคลมักพิจารณาว่ามันง่ายกว่าและถูกกว่าที่จะทำงานรอบๆ ขอบเขตที่ไม่ดีของโมเดลที่ฝึกอบรมด้วยข้อมูลที่ไม่ได้รับการดูแลอย่างดี มากกว่าที่จะพิจารณาการให้ความสนใจที่จำเป็นต่อข้อมูล

ปัญหาหลักถูกกำหนดโดยความต้องการของขนาดและความไม่แน่นอนของข้อมูลที่ไม่เหมือนใคร หากไม่ใช่เพราะความต้องการปริมาณข้อมูลขนาดใหญ่เพื่อให้ครอบคลุมสถานการณ์สูงสุด ก็จะเป็นไปได้ที่จะใช้เทคนิคการดูแลอย่างมืออาชีพบ่อยขึ้น ในฐานะข้อมูลการฝึกอบรมเอง ซึ่งนำไปสู่เทคนิคการดูแลอัตโนมัติที่ทำงานได้จริง

ในโลกแห่งความเป็นจริง หากสามารถจ่ายค่าดูแลข้อมูลที่มีคุณภาพสูงได้มากขนาดนี้ ก็จะใกล้เคียงกับการดูแลข้อมูลขนาดใหญ่ด้วยตนเองเสียอีก เราจะต้องรอข้อมูลเชิงลึกใหม่ๆ ที่อาจเป็นนวัตกรรมในเรื่องนี้

เผยแพร่ครั้งแรกวันพฤหัสบดี 25 กันยายน 2025