ทำไมเอไอเอเจนต์ผ่าน QA แต่ยังล้มเหลวในการผลิต

การเรียนรู้อย่างต่อเนื่องกำลังเป็นวิศวกรรมที่ใช้ในการปรับปรุงเอเจนต์หลังการปล่อยตัว โดยไม่ทำให้สิ่งที่ทำงานแล้วเสียหาย

เอเจนต์ AI สามารถผ่านการประเมินก่อนการปล่อยตัว แต่ยังล้มเหลวในการผลิตหลังจากหนึ่งสัปดาห์ นั่นไม่ใช่การขัดแย้ง การประเมินสะท้อนถึงสิ่งที่ทีมรู้ว่าจะทดสอบก่อนการปล่อยตัว การผลิตคือที่ที่กรณีที่หายไปปรากฏขึ้น: การพูดที่แปลกๆ, การขาดบริบท, ขอบเขตของเครื่องมือ, ผู้ใช้ที่ไม่อดทน, นโยบายที่ขัดแย้งกัน และการทำงานที่ไม่มีนักออกแบบการประเมินฝันถึง

เอเจนต์ถูกแก้ไขโดยผู้ใช้ตลอดเวลา มันทำให้ผู้ใช้ผิดหวัง จากนั้นเซสชันจะสิ้นสุด ล็อกจะถูกเก็บไว้ และผู้ใช้คนต่อไปจะพบระบบที่แทบจะเหมือนกัน

นี่คือเหตุผลที่การเรียนรู้อย่างต่อเนื่องกำลังเป็นศูนย์กลางของวิศวกรรมเอเจนต์ มันไม่ใช่คุณสมบัติของผลิตภัณฑ์หนึ่งๆ แต่เป็นหมวดหมู่ของวิธีการที่ทำให้เอเจนต์ปรับปรุงจากประสบการณ์โดยการรักษาสิ่งที่ทำงานแล้ว การวิจัยการเรียนรู้อย่างต่อเนื่องแบบคลาสสิกได้กำหนดปัญหาให้เป็นการเรียนรู้ตลอดเวลาโดยไม่มีการลืมที่หายนะ เอเจนต์ทำให้ปัญหานั้นกว้างขึ้น สิ่งที่เปลี่ยนแปลงอาจเป็นแบบจำลอง แต่อาจเป็นคำสั่งซื้อ, เครื่องมือ, ทักษะ, การทำงาน หรือหน่วยความจำ

ความแตกต่างนั้นมีความสำคัญ เพราะ การล้มเหลวของเอเจนต์ส่วนใหญ่ไม่ได้รับการแก้ไขโดยการฝึกอบรมแบบจำลองเป็นอันดับแรก

การปรับให้เหมาะสมอย่างละเอียดคือการมุ่งเน้นแคบเกินไป

เมื่อทีมพูดถึงการปรับปรุงระบบ AI ระบบโดยทั่วไปจะฟังดังนี้: รวบรวมความล้มเหลว, ระบุคำตอบที่ดีกว่า, ปรับให้เหมาะสมแบบจำลอง นั้นเป็นความเข้าใจที่สมเหตุสมผล การปรับให้เหมาะสมแบบมีผู้ดูแล, การเพิ่มประสิทธิภาพความชอบโดยตรง, การเพิ่มประสิทธิภาพนโยบายสัมพัทธ์แบบกลุ่ม และวิธีการที่มีประสิทธิภาพในการปรับเปลี่ยนพารามิเตอร์เช่น LoRA เป็นเครื่องมือที่มีประโยชน์เมื่อแบบจำลองตัวเองต้องเปลี่ยนแปลง

แต่การล้มเหลวในการผลิตหลายครั้งไม่ใช่การล้มเหลวของน้ำหนักแบบจำลอง มันเป็นการล้มเหลวของระบบ

เอเจนต์อาจพึ่งพาหน่วยความจำที่陈旧, ข้ามการยืนยันที่จำเป็น, เรียกเครื่องมือด้วยอาร์กิวเมนต์ที่ไม่ถูกต้อง หรือส่งกรณีผ่านการทำงานที่ไม่ถูกต้อง บ่อยครั้ง ปัญหาไม่ใช่ความสามารถของแบบจำลองหลัก มันเป็นบริบท, หน่วยความจำ, อินเทอร์เฟซเครื่องมือ หรือการทำงานที่ห่อหุ้มไว้

เอเจนต์สมัยใหม่มีหลายชั้น แบบจำลองให้เหตุผลและสร้างสรรค์ หารเนื้อหาที่อยู่รอบๆ นั้นกำหนดคำสั่งซื้อ, เครื่องมือ, ทักษะ, โค้ด, การกำหนดเส้นทาง และการทำงาน หน่วยความจำถือ事実และขั้นตอนการเรียนรู้ที่ได้รับมาข้ามเซสชัน การเรียนรู้อย่างต่อเนื่องคือวินัยในการตัดสินใจว่าชั้นไหนควรเปลี่ยนแปลง, การเปลี่ยนแปลงนั้นเล็กเพียงใด และวิธีการยืนยันว่าการเปลี่ยนแปลงนั้นช่วยจริงๆ

บางครั้งการแก้ไขที่ถูกต้องคือการเขียนหน่วยความจำ บางครั้งอาจเป็นการแก้ไขคำสั่งซื้อ บางครั้งอาจเป็นการห่อหุ้มเครื่องมือ, กฎการกำหนดเส้นทาง หรือการแก้ไขการทำงาน การปรับให้เหมาะสมควรยังคงอยู่ แต่ไม่ควรเป็นคำตอบแรกสำหรับการล้มเหลวทุกครั้ง

การประเมินคือมีประโยชน์ แต่การผลิตไม่ค่อยให้การประเมิน

มีการทำงานที่น่าตื่นเต้นในการปรับให้เหมาะสมของตัวห่อหุ้มเอเจนต์เอง วิธีการเช่น GEPA, Meta-Harness และการปรับให้เหมาะสมของคำสั่งซื้อหรือการทำงานที่เกี่ยวข้องจะรักษาเอเจนต์เป็นระบบที่สามารถเปลี่ยนแปลงและทดสอบได้ พวกมันสามารถเสนอการแก้ไขคำสั่งซื้อหรือส่วนประกอบอื่นๆ ของตัวห่อหุ้ม, ทดสอบผู้สมัคร และเก็บเวอร์ชันที่ได้คะแนนดีขึ้น

นั่นคือทิศทางที่ถูกต้อง มันเคลื่อนการปรับปรุงออกจากกรอบแคบของ “การอัปเดตแบบจำลอง” และเข้าสู่กรอบที่กว้างขึ้นของ “การปรับปรุงเอเจนต์”

แต่มีจุดยืนจุดหนึ่ง: วิธีการเหล่านี้โดยทั่วไปจะสมมติว่ามีการประเมิน พวกมันต้องการงานที่สามารถทดสอบซ้ำๆ และผู้ประเมินที่บอกว่าผู้สมัคร A ดีกว่าผู้สมัคร B โดยไม่มีนั้น การปรับปรุงจะกลายเป็นการเดาโดยมีเครื่องมือที่ดีกว่า

นั่นไม่ใช่สิ่งที่ทีมส่วนใหญ่มีในการผลิต

สิ่งที่พวกเขามีคือล็อก พวกเขามีเส้นทาง, การแก้ไขของผู้ใช้, ตั๋วสนับสนุน, เหตุการณ์ thumbs-down, บันทึกการเพิ่มขึ้น และคำติชมจากผู้เชี่ยวชาญเป็นครั้งคราว สัญญาณเหล่านั้นมีค่า แต่ไม่ใช่การประเมินอีกต่อไป พวกมันบอกว่าบางสิ่งเกิดขึ้น พวกมันไม่ได้บอกว่าจะเล่นซ้ำมันอย่างไร, ความสำเร็จควรเป็นอย่างไร หรือวิธีการให้คะแนนการแก้ไขที่เสนอ

ช่องว่างนั้นคือที่ที่ความพยายามในการเรียนรู้อย่างต่อเนื่องหลายครั้งหยุดชะงัก ทีมมีประสบการณ์ แต่ยังไม่มีสภาพแวดล้อมในการเรียนรู้

ล็อกไม่ใช่บทเรียน

ล็อกการผลิตบันทึกเส้นทางหนึ่งผ่านการโต้ตอบ ผู้ใช้ขอเที่ยวบิน เอเจนต์ทำการค้นหา ผู้ใช้บอกว่าวันที่ไม่ถูกต้อง นั่นคือหลักฐานของการล้มเหลว แต่ไม่เพียงพอที่จะเรียนรู้จาก

ล็อกไม่ได้กำหนดสิ่งที่ตรงกันข้าม ควรให้เอเจนต์ขอการยืนยันหรือไม่? ควรให้เอเจนต์อนุมานวันที่จากบริบทก่อนหน้าหรือไม่? ควรให้เอเจนต์เรียกเครื่องมือที่แตกต่างหรือไม่? ควรให้เอเจนต์ปฏิเสธที่จะดำเนินการต่อจนกว่าความไม่แน่นอนจะถูกแก้ไขหรือไม่? ผู้เชี่ยวชาญอาจรู้คำตอบหลังจากอ่านเส้นทาง แต่ระบบไม่ได้รับโครงสร้างนั้นฟรี

สำหรับการเรียนรู้อย่างต่อเนื่องในการทำงาน การล้มเหลวที่ดิบต้องถูกเปลี่ยนเป็นสิ่งที่สามารถเล่นซ้ำได้ นั่นหมายถึงงานที่เอเจนต์สามารถเผชิญอีกครั้ง, ผู้ใช้หรือซิมูเลเตอร์ที่สร้างรูปแบบที่เกี่ยวข้อง, เครื่องมือที่เอเจนต์สามารถเรียกได้ และผู้ประเมินที่กำหนดความสำเร็จ ผู้ประเมินอาจตรวจสอบคำตอบสุดท้าย, การเรียกเครื่องมือ, ขอบเขตนโยบาย, ความหน่วง, ค่าใช้จ่าย หรือทั้งหมดนั้น

สิ่งนี้คือส่วนการทำงานที่ไม่เห็นของงาน แต่สิ่งนี้ทำให้การปรับปรุงเป็นจริง เมื่อการล้มเหลวกลายเป็นสภาพแวดล้อมที่สามารถเล่นซ้ำได้ คุณสามารถถามคำถามที่เป็นรูปธรรมได้: การแก้ไขที่เสนอช่วยแก้ไขพฤติกรรมจริงๆ หรือไม่?

โดยไม่มีขั้นตอนนั้น ทีมส่วนใหญ่จะแก้ไขจากความจำ

David Silver และ Richard Sutton ได้อธิบายยุคที่กำลังจะมาถึงของ ประสบการณ์ที่เอเจนต์เรียนรู้หลักๆ จากการโต้ตอบกับโลกมากกว่าจากข้อมูลที่ไม่เปลี่ยนแปลงของมนุษย์ สำหรับเอเจนต์ระดับองค์กร วิสัยทัศน์นั้นขึ้นอยู่กับการเปลี่ยนประสบการณ์การผลิตที่ยุ่งเหยิงให้เป็นสภาพแวดล้อมที่สามารถเล่นซ้ำได้, ได้รับการประเมิน และนำกลับมาใช้ใหม่

ประสบการณ์เดียวไม่เพียงพอ มันจะต้องถูกทดสอบ

การถดถอยคือต้นทุนซ่อนเร้น

แม้ว่าการล้มเหลวจะกลายเป็นสิ่งที่สามารถทดสอบได้ ส่วนที่ยากที่สุดยังคงอยู่: การแก้ไขโดยไม่ทำลายสิ่งอื่น

ใครก็ตามที่ได้รักษาเอเจนต์ที่ซับซ้อนได้เห็นรูปแบบนี้ คุณเพิ่มคำสั่งให้เอเจนต์ขอการเพิ่มขึ้นสำหรับการขอคืนเงินที่ก้าวร้าว ตอนนี้มันขอการเพิ่มขึ้นสำหรับการคืนเงินที่ควรได้รับการจัดการอย่างรวดเร็ว คุณลดการเรียกเครื่องมือในกระบวนการทำงานหนึ่ง ตอนนี้กระบวนการทำงานอื่นๆ ข้ามการตรวจสอบที่จำเป็น คุณแก้ไขหน่วยความจำที่陈旧 ตอนนี้เอเจนต์ทำให้การแก้ไขนั้นเป็นสิ่งที่กว้างเกินไปสำหรับผลิตภัณฑ์ไลน์ที่แตกต่าง

การแก้ไขแต่ละครั้งมีเหตุผลในท้องถิ่น ระบบยังคงลอยไปทั่วๆ ทั้งโลก

นี่คือรูปแบบของเอเจนต์ที่ลืมเลือนแบบหายนะ ในเครือข่ายประสาท การลืมเลือนแบบหายนะมักจะหมายถึงการฝึกอบรมใหม่ที่ลบความสามารถเก่า ในเอเจนต์ การล้มเหลวกว้างขึ้นและยากที่จะเห็น มันปรากฏขึ้นไม่เพียงแต่ในแบบจำลองเท่านั้น แต่ยังรวมถึงคำสั่งซื้อ, เครื่องมือ, หน่วยความจำ, การกำหนดเส้นทาง และการทำงานด้วย มันปรากฏขึ้นไม่เพียงแต่ในเมตริกที่สะอาดบนการโค้งการฝึกอบรม แต่ในลักษณะของผู้ใช้ที่บอกว่า “สิ่งนี้เคยทำงาน”

นั่นเป็นเหตุผลที่การควบคุมการถดถอยไม่สามารถเป็นขั้นตอนการตรวจสอบสุดท้ายได้ มันจะต้องอยู่ภายในวงจรการเรียนรู้เอง

เป้าหมายไม่ใช่เพียงเพื่อเพิ่มประสิทธิภาพให้สูงสุดสำหรับการล้มเหลวใหม่ๆ แต่เป็นการปรับปรุงกรณีใหม่ๆ ในขณะเดียวกันก็รักษากรณีเก่าๆ ไว้ การแก้ไขที่ทำงานควรกลายเป็นส่วนหนึ่งของความจำของเอเจนต์ที่เติบโตขึ้นเรื่อยๆ ของสิ่งที่ต้องทำงานต่อไป ในทางปฏิบัติ นั่นหมายถึงการล้มเหลวเก่าๆ กลายเป็นการทดสอบการถดถอย ประวัติของเอเจนต์กลายเป็นข้อจำกัด ไม่ใช่แค่คลังเก็บ

นี่คือที่ที่การเรียนรู้อย่างต่อเนื่องกลายเป็นเหมือนการวิศวกรรมซอฟต์แวร์ที่จริงจังมากกว่าการปรับแต่งคำสั่งซื้อ การเปลี่ยนแปลงไม่ดีเพราะมันฟังดูดี มันดีเพราะมันปรับปรุงพฤติกรรมที่วัดได้และไม่ทำให้พฤติกรรมที่ระบบมีแล้วถดถอย

สิ่งที่การเรียนรู้อย่างต่อเนื่องแบบปฏิบัติใช้

วงจรการเรียนรู้อย่างต่อเนื่องในการผลิตที่พร้อมใช้งานต้องการคุณสมบัติ 4 ประการ

ประการแรก การล้มเหลวต้องสามารถเล่นซ้ำได้ การล้มเหลวครั้งเดียวเป็นเรื่องราว การเล่นซ้ำที่ได้รับการจัดอันดับเป็นการทดสอบ จนกว่าเอเจนต์จะเผชิญรูปแบบเดียวกันอีกครั้ง ไม่มีใครสามารถพิสูจน์ได้ว่าการแก้ไขได้ผล

ประการที่สอง การวินิจฉัยต้องเป็นแบบองค์รวม การแก้ไขอาจอยู่ในแบบจำลอง แต่อาจอยู่ในหน่วยความจำ, คำสั่งซื้อ, เครื่องมือ, หรือการทำงานด้วย การแก้ไขที่ดีที่สุดมักเป็นการเปลี่ยนแปลงที่เล็กที่สุดและทนทานที่สุดซึ่งอธิบายการล้มเหลว

ประการที่สาม การเรียนรู้ต้องเป็นตลอดชีวิต. เอเจนต์ไม่ควรปรับปรุงในสัปดาห์นี้โดยการยกเลิกพฤติกรรมที่ได้รับมาอย่างยากลำบากเมื่อสัปดาห์ที่แล้ว ความสำเร็จก่อนหน้านี้ควรกลายเป็นข้อจำกัดในช่วงการปรับให้เหมาะสม ไม่ใช่ความประหลาดหลังการปล่อยตัว

ประการที่สี่ วงจรต้องมีประสิทธิภาพ. หากการปรับปรุงแต่ละครั้งต้องใช้โครงการฝึกอบรมใหม่ทุกๆ ไตรมาส ระบบจะไม่ตามทันการผลิต วงจรต้องลองการแก้ไขที่ถูกต้องก่อน, เพิ่มระดับเฉพาะเมื่อจำเป็น และรักษาการยืนยันใกล้กับการเปลี่ยนแปลง

ไม่มีสิ่งเหล่านี้หมายความว่าเอเจนต์ควรอัปเดตตัวเองโดยไม่ต้องมีการควบคุม มันหมายความว่าตรงกันข้าม การปรับปรุงควรเป็นไปได้ในการวัด ทุกการเปลี่ยนแปลงควรมีการทดสอบ, คะแนนก่อนและหลัง, และการตรวจสอบการถดถอย

นั่นคือสิ่งที่เปลี่ยนการเรียนรู้อย่างต่อเนื่องจากความปรารถนาที่คลุมเครือให้เป็นวิศวกรรม

อนาคตของเอเจนต์จะไม่ได้ถูกกำหนดโดยหน้าต่างบริบทที่ใหญ่ขึ้น, แบบจำลองฐานที่แข็งแกร่งขึ้น หรือเครื่องมือที่มากขึ้น สิ่งเหล่านั้นจะมีความสำคัญ แต่คำถามที่สำคัญกว่าสำหรับองค์กรคือสิ่งที่เกิดขึ้นหลังการปล่อยตัว

เมื่อเอเจนต์ล้มเหลววันพรุ่งนี้ ระบบจะเปลี่ยนการล้มเหลวให้เป็นการทดสอบหรือไม่? มันจะส่งการแก้ไขไปยังชั้นที่ถูกต้องหรือไม่? มันจะพิสูจน์ได้ว่าการแก้ไขช่วยหรือไม่? มันจะพิสูจน์ได้ว่าสิ่งอื่นไม่ถูกทำลายหรือไม่?

หากคำตอบคือไม่ เอเจนต์ไม่ได้เรียนรู้จากผลิตจริงๆ มันกำลังสะสมความเสี่ยง

เอเจนต์ที่สำคัญต่อไปจะทำได้ดีกว่า พวกมันจะสะสม