AI Feedback Loop: การรักษาคุณภาพการผลิตแบบจำลองในยุคของเนื้อหาที่สร้างโดย AI

โมเดล AI ที่ใช้งานจริงจำเป็นต้องมีกลไกการประเมินประสิทธิภาพที่แข็งแกร่งและต่อเนื่อง นี่คือจุดที่สามารถใช้ลูปป้อนกลับ AI เพื่อให้แน่ใจว่าโมเดลมีประสิทธิภาพที่สอดคล้องกัน

เอามาจาก Elon Musk:

“ ฉันคิดว่ามันสำคัญมากที่จะต้องมีลูปตอบรับซึ่งคุณจะต้องคิดถึงสิ่งที่คุณทำตลอดเวลาและวิธีที่คุณจะทำได้ดีขึ้น”

สำหรับโมเดล AI ทั้งหมด ขั้นตอนมาตรฐานคือการปรับใช้โมเดลและฝึกใหม่เป็นระยะๆ บนข้อมูลจริงล่าสุดเพื่อให้แน่ใจว่าประสิทธิภาพจะไม่ลดลง แต่ด้วยการเพิ่มขึ้นของอุกกาบาต กำเนิด AIการฝึกอบรมแบบจำลอง AI นั้นผิดปกติและเกิดข้อผิดพลาดได้ง่าย นั่นเป็นเพราะแหล่งข้อมูลออนไลน์ (อินเทอร์เน็ต) กำลังค่อยๆ กลายเป็นการผสมผสานระหว่างข้อมูลที่มนุษย์สร้างขึ้นและข้อมูลที่ AI สร้างขึ้น

ตัวอย่างเช่น บล็อกจำนวนมากในปัจจุบันมีข้อความที่สร้างขึ้นโดย AI ซึ่งขับเคลื่อนโดย LLM (โมดูลภาษาขนาดใหญ่) เช่น ChatGPT หรือ GPT-4 แหล่งข้อมูลจำนวนมากมีรูปภาพที่ AI สร้างขึ้นโดยใช้ DALL-E2 หรือ Midjourney นอกจากนี้ นักวิจัย AI กำลังใช้ข้อมูลสังเคราะห์ที่สร้างขึ้นโดยใช้ Generative AI ในไปป์ไลน์การฝึกฝนโมเดลของพวกเขา

ดังนั้นเราจึงต้องการกลไกที่แข็งแกร่งเพื่อรับประกันคุณภาพของโมเดล AI นี่คือจุดที่ความต้องการลูปป้อนกลับของ AI ขยายมากขึ้น

AI Feedback Loop คืออะไร?

วงจรป้อนกลับของ AI เป็นกระบวนการที่เกิดซ้ำซึ่งการตัดสินใจและผลลัพธ์ของโมเดล AI จะถูกรวบรวมอย่างต่อเนื่องและใช้เพื่อปรับปรุงหรือฝึกโมเดลเดิมซ้ำ ทำให้เกิดการเรียนรู้ พัฒนา และปรับปรุงโมเดลอย่างต่อเนื่อง ในกระบวนการนี้ ข้อมูลการฝึกอบรมของระบบ AI พารามิเตอร์แบบจำลอง และอัลกอริทึมจะได้รับการอัปเดตและปรับปรุงตามอินพุตที่สร้างจากภายในระบบ

โดยทั่วไปแล้ว AI feedback loops มีอยู่สองประเภท:

1. ลูปข้อเสนอแนะเชิงบวกของ AI: เมื่อโมเดล AI สร้างผลลัพธ์ที่แม่นยำซึ่งสอดคล้องกับความคาดหวังและความชอบของผู้ใช้ ผู้ใช้จะให้ข้อเสนอแนะเชิงบวกผ่านวงจรป้อนกลับ ซึ่งจะเป็นการตอกย้ำความแม่นยำของผลลัพธ์ในอนาคต วงจรป้อนกลับดังกล่าวเรียกว่าเป็นบวก
2. ลูปข้อเสนอแนะ AI เชิงลบ: เมื่อโมเดล AI สร้างผลลัพธ์ที่ไม่ถูกต้อง ผู้ใช้จะรายงานข้อบกพร่องผ่านวงจรป้อนกลับ ซึ่งในทางกลับกันจะพยายามปรับปรุงความเสถียรของระบบด้วยการแก้ไขข้อบกพร่อง ลูปข้อเสนอแนะดังกล่าวเรียกว่าเชิงลบ

ลูปป้อนกลับ AI ทั้งสองประเภทช่วยให้สามารถพัฒนาโมเดลได้อย่างต่อเนื่องและปรับปรุงประสิทธิภาพเมื่อเวลาผ่านไป และไม่ได้ใช้หรือนำไปใช้อย่างโดดเดี่ยว สิ่งเหล่านี้ช่วยให้โมเดล AI ที่ใช้งานจริงรู้ว่าอะไรถูกหรือผิด

ขั้นตอนของ AI Feedback Loops

การทำความเข้าใจว่าวงจรป้อนกลับของ AI ทำงานอย่างไรมีความสำคัญต่อการปลดล็อกศักยภาพทั้งหมดของการพัฒนา AI มาสำรวจขั้นตอนต่างๆ ของลูปป้อนกลับ AI ด้านล่าง

1. รวบรวมข้อเสนอแนะ: รวบรวมผลลัพธ์แบบจำลองที่เกี่ยวข้องสำหรับการประเมิน โดยทั่วไปแล้ว ผู้ใช้จะให้ข้อเสนอแนะเกี่ยวกับผลลัพธ์ของแบบจำลอง ซึ่งจากนั้นจะใช้สำหรับการฝึกซ้ำ หรืออาจเป็นข้อมูลภายนอกจากเว็บที่รวบรวมไว้เพื่อปรับแต่งประสิทธิภาพของระบบ
2. การฝึกอบรมซ้ำรุ่น: เมื่อใช้ข้อมูลที่รวบรวม ระบบ AI จะได้รับการฝึกอบรมใหม่เพื่อให้คาดการณ์ได้ดีขึ้น ให้คำตอบ หรือดำเนินกิจกรรมเฉพาะโดยปรับแต่งพารามิเตอร์หรือน้ำหนักของโมเดล
3. การบูรณาการและการทดสอบข้อเสนอแนะ: หลังจากฝึกใหม่ โมเดลจะได้รับการทดสอบและประเมินผลอีกครั้ง ในขั้นตอนนี้ ข้อเสนอแนะจากผู้เชี่ยวชาญเรื่อง (SMEs) จะรวมอยู่ในการเน้นปัญหานอกเหนือจากข้อมูล
4. การใช้งาน: โมเดลถูกปรับใช้อีกครั้งหลังจากตรวจสอบการเปลี่ยนแปลง ในขั้นตอนนี้ แบบจำลองควรรายงานประสิทธิภาพที่ดีขึ้นสำหรับข้อมูลใหม่ในโลกจริง ซึ่งส่งผลให้ผู้ใช้ได้รับประสบการณ์ที่ดีขึ้น
5. การตรวจสอบ: โมเดลได้รับการตรวจสอบอย่างต่อเนื่องโดยใช้เมตริกเพื่อระบุการเสื่อมสภาพที่อาจเกิดขึ้น เช่น การเลื่อน และวงจรข้อเสนอแนะยังคงดำเนินต่อไป

ปัญหาในข้อมูลการผลิตและเอาต์พุตโมเดล AI

การสร้างระบบ AI ที่มีประสิทธิภาพจำเป็นต้องมีความเข้าใจอย่างถ่องแท้เกี่ยวกับปัญหาที่อาจเกิดขึ้นในข้อมูลการผลิต (ข้อมูลในโลกแห่งความเป็นจริง) และผลลัพธ์ของแบบจำลอง มาดูปัญหาบางประการที่เป็นอุปสรรค์ในการรับรองความถูกต้องและความน่าเชื่อถือของระบบ AI:

1. การล่องลอยของข้อมูล: เกิดขึ้นเมื่อแบบจำลองเริ่มได้รับข้อมูลในโลกแห่งความเป็นจริงจากการกระจายที่แตกต่างกันเมื่อเทียบกับการกระจายข้อมูลการฝึกอบรมของแบบจำลอง
2. โมเดลดริฟท์: ความสามารถในการคาดการณ์และประสิทธิภาพของโมเดลลดลงเมื่อเวลาผ่านไปเนื่องจากสภาพแวดล้อมในโลกแห่งความเป็นจริงที่เปลี่ยนแปลงไป สิ่งนี้เรียกว่าโมเดลดริฟท์
3. เอาต์พุตโมเดล AI เทียบกับการตัดสินใจในโลกแห่งความเป็นจริง: โมเดล AI สร้างผลลัพธ์ที่ไม่ถูกต้องซึ่งไม่สอดคล้องกับการตัดสินใจของผู้มีส่วนได้ส่วนเสียในโลกแห่งความเป็นจริง
4. อคติและความเป็นธรรม: โมเดล AI สามารถพัฒนาปัญหาอคติและความยุติธรรมได้ ตัวอย่างเช่น ใน ก TED talk โดย Janelle Shaneเธออธิบายถึงการตัดสินใจของ Amazon ที่จะหยุดการทำงานกับอัลกอริทึมการเรียงลำดับเรซูเม่ เนื่องจากการเลือกปฏิบัติทางเพศ

เมื่อโมเดล AI เริ่มฝึกเนื้อหาที่สร้างโดย AI ปัญหาเหล่านี้อาจเพิ่มขึ้นอีก ยังไง? เรามาคุยกันในรายละเอียดเพิ่มเติม

AI Feedback วนลูปในยุคของเนื้อหาที่สร้างโดย AI

หลังจากมีการนำ AI กำเนิดมาใช้อย่างรวดเร็ว นักวิจัยได้ศึกษาปรากฏการณ์ที่เรียกว่า ยุบโมเดล. พวกเขากำหนดการล่มสลายของโมเดลเป็น:

“กระบวนการเสื่อมสภาพส่งผลกระทบต่อรุ่นของรุ่นกำเนิดการเรียนรู้ ซึ่งข้อมูลที่สร้างขึ้นจะจบลงด้วยการก่อมลพิษต่อชุดการฝึกอบรมของรุ่นถัดไป เมื่อได้รับการฝึกอบรมเกี่ยวกับข้อมูลที่ปนเปื้อน พวกเขาจึงเข้าใจความเป็นจริงผิดไป”

การยุบโมเดลประกอบด้วยกรณีพิเศษสองกรณี

• การยุบตัวของโมเดลในช่วงต้น เกิดขึ้นเมื่อ "แบบจำลองเริ่มสูญเสียข้อมูลเกี่ยวกับส่วนท้ายของการกระจาย" นั่นคือจุดสิ้นสุดสุดของการกระจายข้อมูลการฝึกอบรม
• การยุบรุ่นล่าช้า เกิดขึ้นเมื่อ "แบบจำลองเข้าไปพัวพันกับโหมดต่างๆ ของการแจกแจงดั้งเดิมและบรรจบกันเป็นการกระจายที่มีความคล้ายคลึงเล็กน้อยกับของเดิม ซึ่งมักจะมีความแปรปรวนน้อยมาก"

สาเหตุของการยุบตัวแบบ

สำหรับผู้ปฏิบัติงานด้าน AI เพื่อแก้ไขปัญหานี้ จำเป็นต้องเข้าใจสาเหตุของการยุบตัวของโมเดล ซึ่งแบ่งออกเป็นสองประเภทหลัก:

1. ข้อผิดพลาดในการประมาณทางสถิติ: นี่เป็นข้อผิดพลาดหลักที่เกิดจากจำนวนตัวอย่างที่จำกัด และจะหายไปเมื่อจำนวนตัวอย่างเข้าใกล้ค่าอนันต์
2. ข้อผิดพลาดในการประมาณการทำงาน: ข้อผิดพลาดนี้เกิดขึ้นเมื่อแบบจำลอง เช่น โครงข่ายประสาทเทียม ล้มเหลวในการจับฟังก์ชันพื้นฐานที่แท้จริงที่ต้องเรียนรู้จากข้อมูล

AI Feedback Loop ได้รับผลกระทบอย่างไรเนื่องจากเนื้อหาที่สร้างโดย AI

เมื่อโมเดล AI ฝึกบนเนื้อหาที่สร้างโดย AI จะมีผลเสียหายต่อวงจรป้อนกลับของ AI และอาจทำให้เกิดปัญหามากมายสำหรับโมเดล AI ที่ได้รับการฝึกใหม่ เช่น:

• ยุบโมเดล: ดังที่อธิบายไว้ข้างต้น การยุบตัวแบบอาจเป็นไปได้หากลูปป้อนกลับของ AI มีเนื้อหาที่สร้างโดย AI
• หายนะลืม: ความท้าทายทั่วไปในการเรียนรู้อย่างต่อเนื่องคือแบบจำลองจะลืมตัวอย่างก่อนหน้าเมื่อเรียนรู้ข้อมูลใหม่ สิ่งนี้เรียกว่าการลืมอย่างหายนะ
• มลพิษทางข้อมูล: มันหมายถึงการป้อนข้อมูลสังเคราะห์ที่ปรับแต่งเข้าไปในแบบจำลอง AI เพื่อประนีประนอมประสิทธิภาพ กระตุ้นให้สร้างผลลัพธ์ที่ไม่ถูกต้อง

ธุรกิจต่างๆ จะสร้างวงจรคำติชมที่มีประสิทธิภาพสำหรับโมเดล AI ของตนได้อย่างไร

ธุรกิจจะได้รับประโยชน์จากการใช้ฟีดแบ็คลูปในเวิร์กโฟลว์ AI ของตน ปฏิบัติตามสามขั้นตอนหลักด้านล่างเพื่อปรับปรุงประสิทธิภาพของโมเดล AI ของคุณ

• คำติชมจากผู้เชี่ยวชาญเรื่อง: SMEs มีความรู้สูงในโดเมนของตนและเข้าใจการใช้โมเดล AI พวกเขาสามารถให้ข้อมูลเชิงลึกเพื่อเพิ่มการจัดแนวโมเดลกับการตั้งค่าในโลกแห่งความเป็นจริง ทำให้มีโอกาสสูงขึ้นในผลลัพธ์ที่ถูกต้อง นอกจากนี้ยังสามารถควบคุมและจัดการข้อมูลที่สร้างขึ้นโดย AI ได้ดีขึ้น
• เลือกเมตริกคุณภาพของโมเดลที่เกี่ยวข้อง: การเลือกเมตริกการประเมินที่เหมาะสมสำหรับงานที่ถูกต้องและการตรวจสอบแบบจำลองในการผลิตตามเมตริกเหล่านี้สามารถรับประกันคุณภาพของแบบจำลองได้ ผู้ปฏิบัติงานด้าน AI ยังใช้เครื่องมือ MLOps สำหรับการประเมินและตรวจสอบอัตโนมัติเพื่อแจ้งเตือนผู้มีส่วนได้ส่วนเสียทั้งหมดหากประสิทธิภาพของแบบจำลองเริ่มแย่ลงในการผลิต
• การดูแลข้อมูลที่เข้มงวด: เนื่องจากแบบจำลองที่ใช้งานจริงได้รับการฝึกอบรมใหม่เกี่ยวกับข้อมูลใหม่ จึงสามารถลืมข้อมูลในอดีตได้ ดังนั้นจึงจำเป็นอย่างยิ่งที่จะต้องจัดการข้อมูลคุณภาพสูงที่สอดคล้องกับวัตถุประสงค์ของแบบจำลอง ข้อมูลนี้สามารถใช้เพื่อฝึกโมเดลซ้ำในรุ่นต่อๆ ไป พร้อมกับความคิดเห็นของผู้ใช้เพื่อให้มั่นใจในคุณภาพ

หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับความก้าวหน้าของ AI โปรดไปที่ ยูไนเต็ด.ไอ.