จุดที่โมเดลภาษาควรหยุด: ออกแบบ AI สำหรับงานเงินเดือน การรับเข้าศึกษา และงานด้านอื่น ๆ ที่ความผิดพลาดมีผลร้ายแรง

ตลอดหลายปีที่ผ่านมา ผมได้พัฒนา AI ให้เป็นส่วนหนึ่งของผลิตภัณฑ์ที่คำตอบผิดพลาดมีราคาที่ต้องจ่าย ได้แก่ แพลตฟอร์มปฏิบัติตามข้อกำหนดด้านเงินเดือนที่ขับเคลื่อนด้วย AI สำหรับตลาดออสเตรเลีย ซึ่งข้อผิดพลาดอาจส่งผลถึงบัญชีธนาคารของใครสักคน และผลิตภัณฑ์สำหรับการรับเข้าศึกษาต่อในวิทยาลัย ซึ่งการจับคู่ที่ไม่เหมาะสมอาจส่งผลต่อช่วงสี่ปีถัดไปของนักศึกษา คำถามที่ใช้ตัดสินใจวางสถาปัตยกรรมระบบนั้นเหมือนกันในทั้งสองกรณี เราควรปล่อยให้โมเดลภาษาไปได้ไกลแค่ไหน ก่อนที่ระบบซึ่งทำงานตามกฎอย่างแน่นอนจะเข้ามารับช่วงต่อ

ระบบจ่ายเงินเดือนในสหรัฐฯ หนึ่งในห้าระบบมีข้อผิดพลาด โดยมีต้นทุนเฉลี่ย 291 ดอลลาร์ต่อข้อผิดพลาด ก่อนจะนับรวมค่าใช้จ่ายจากการฟ้องร้อง กฎหมาย AI ของสหภาพยุโรป จัดให้การใช้ AI ตัดสินใจรับเข้าศึกษาและบริหารจัดการการจ้างงานอยู่ในกลุ่มความเสี่ยงสูง

ให้กฎเป็นผู้กำหนดตัวเลข

กฎที่ทำงานอย่างแน่นอนต้องเป็นผู้กำหนดทุกอย่างที่เกี่ยวข้องกับจำนวนเงินหรือมีผลทางกฎหมาย ส่วนโมเดลมีหน้าที่ตีความและอธิบายภายใต้กรอบของกฎเหล่านั้นเท่านั้น

สำหรับแพลตฟอร์มเงินเดือน เป้าหมายของเราคือกำหนดขอบเขตระหว่างกฎด้านเงินเดือนกับ AI ให้ชัดเจน ผู้เชี่ยวชาญด้านเงินเดือนจะกำหนดกฎการจ่ายค่าจ้างในรูปแบบที่มีโครงสร้างก่อน จากนั้นระบบจะประมวลผลกฎเหล่านั้นและสร้างทุกสถานการณ์ที่อาจเกิดขึ้นจากกฎดังกล่าว ชุดสถานการณ์ทั้งหมดนี้จะกลายเป็นแหล่งข้อมูลอ้างอิงหลักของโมเดล โมเดลไม่สามารถสร้างกฎใหม่ เปลี่ยนกฎเดิม หรือตัดสินใจว่าจะใช้แหล่งข้อมูลใดได้ ทำได้เพียงดึงชุดกฎที่เกี่ยวข้อง ค้นตารางอัตราค่าจ้าง และอ้างอิงสถานการณ์ที่ใช้ การสร้างกฎ การสร้างสถานการณ์ และการเลือกแหล่งข้อมูลล้วนอยู่นอกชั้นการทำงานของ AI โดยสิ้นเชิง

ผลิตภัณฑ์สำหรับการรับเข้าศึกษาใช้หลักการเดียวกัน โดยกำหนดเงื่อนไขด้านสถานที่ ข้อจำกัดด้านงบประมาณ สถานะของสถาบัน และเกณฑ์คุณสมบัติเป็นกฎ ก่อนที่โมเดลจะมีอิทธิพลต่อการจัดอันดับ หากนักศึกษาระบุว่าจำเป็นต้องเข้าเรียนในวิทยาลัยที่แคลิฟอร์เนีย โมเดลก็ไม่อาจให้โรงเรียนนอกรัฐมาแทนที่ได้ เพียงเพราะเห็นว่าโรงเรียนนั้นเหมาะสมในด้านอื่นมากกว่า โมเดลจัดการกับความชอบที่ไม่ตายตัวและการอธิบาย ส่วนตรรกะที่ทำงานอย่างแน่นอนจะทำหน้าที่เป็นกลไกป้องกันในทุกกรณีที่ยอมรับคำตอบที่ถูกต้องเพียงประมาณหนึ่งไม่ได้

การดึงข้อมูลช่วยยึดคำตอบของโมเดลไว้กับแหล่งข้อมูลได้ แต่ก็มีขีดจำกัด

การสร้างเนื้อหาเสริมด้วยการดึงข้อมูลช่วยให้คำตอบอ้างอิงนโยบายขององค์กรเอง แทนที่จะอิงจากสิ่งที่โมเดลซึมซับระหว่างการฝึก แต่ก็มีการกล่าวอ้างเกินจริงเกี่ยวกับวิธีนี้เช่นกัน เมื่อ RegLab ของ Stanford ทดสอบเครื่องมือวิจัยกฎหมายเชิงพาณิชย์ที่ใช้ RAG เครื่องมือเหล่านั้นก็ยังสร้างข้อมูลหลอนในสัดส่วน 17% ถึง 33% ของกรณี การดึงข้อมูลช่วยจำกัดสิ่งที่โมเดลพูดได้ แต่โมเดลก็ยังตอบผิดได้

ผมได้เรียนรู้เรื่องนี้โดยตรง ครั้งหนึ่งระบบบนแพลตฟอร์มเงินเดือนพบข้อกำหนดการจ้างงานที่ถูกต้องสำหรับกรณีหนึ่ง แต่โมเดลกลับตีความกฎการทำงานล่วงเวลาผิด แม้จะดึงแหล่งข้อมูลที่ถูกต้องมาได้ แต่คำตอบก็ยังผิด หลังจากนั้นเราจึงเข้มงวดมากขึ้นกับสิ่งที่โมเดลตัดสินใจได้ด้วยตัวเอง เรานำกฎสำคัญด้านเงินเดือนมาเขียนเป็นตรรกะทางธุรกิจอย่างชัดเจน กำหนดให้ทุกคำตอบต้องมีแหล่งข้อมูลรองรับ และเพิ่มการทดสอบที่จำลองกรณีซึ่งเคยเกิดข้อผิดพลาด การเข้าถึงข้อมูลที่ถูกต้องจะเป็นประโยชน์ก็ต่อเมื่อเราควบคุมวิธีที่โมเดลนำข้อมูลนั้นไปใช้ด้วย

ทำให้ตรวจสอบที่มาของทุกคำตอบได้

ก่อนสร้างคำตอบ ระบบจะบันทึกอย่างชัดเจนว่าใช้คู่มือกฎและเวอร์ชันใด รวมถึงบันทึกโมเดลและรายละเอียดอื่น ๆ ของคำขอด้วย การบอกว่าคำตอบจาก AI อ้างอิงนโยบายของบริษัทนั้นตรวจสอบได้ยาก แต่การระบุว่าคำตอบสร้างขึ้นโดยใช้ข้อตกลงฉบับใดฉบับหนึ่งเวอร์ชัน 7 ซึ่งเก็บรักษาไว้และนำไปเปรียบเทียบกับเวอร์ชันอื่นได้ ย่อมเป็นหลักฐานที่หนักแน่นกว่ามาก เรายังติดตามการเรียกใช้โมเดลและเครื่องมือทุกครั้งด้วยว่า ผู้ใช้ถามอะไร ระบบดึงข้อมูลใดมาใช้ มีการเรียกใช้เครื่องมือใด โมเดลตอบว่าอย่างไร และเกิดข้อผิดพลาดใดขึ้นระหว่างทางบ้าง เมื่อได้รับแจ้งปัญหาจากฝ่ายสนับสนุน เราจึงเห็นได้อย่างชัดเจนว่าคำตอบที่ผิดพลาดเกิดจากจุดใด คำวินิจฉัยกรณี Air Canada ในปี 2024 ซึ่งศาลบังคับให้สายการบินให้ส่วนลดตามที่แชตบอตแต่งขึ้น แสดงให้เห็นว่าหากไม่ทำเช่นนี้จะต้องแลกด้วยอะไร

ให้มนุษย์เข้ามาดูแลในจุดที่มีผลตามมา

โปรไฟล์ปัญญาประดิษฐ์เชิงกำเนิดของ NIST มองว่าการกำหนดขอบเขตระหว่างสิ่งที่ระบบทำได้เองกับสิ่งที่ต้องอาศัยบุคคล เป็นการตัดสินใจด้านธรรมาภิบาล เราส่งต่อกรณีให้มนุษย์ตรวจสอบเมื่อระบบไม่แน่ใจ เมื่อข้อมูลขัดแย้งกัน หรือเมื่อการตัดสินใจอาจส่งผลต่อผู้ใช้อย่างมีนัยสำคัญ ในการรับเข้าศึกษา เราจะส่งประวัตินักศึกษาที่ไม่ปกติ หรือคำแนะนำที่ไม่เป็นไปตามข้อกำหนดสำคัญของนักศึกษาอย่างชัดเจน ให้ที่ปรึกษาตรวจสอบ ขั้นตอนนี้ช่วยตรวจพบคำแนะนำที่ดูสมเหตุสมผลเมื่อมองเผิน ๆ แต่กลับพลาดเงื่อนไขข้อหนึ่งในประวัติของนักศึกษา และเรานำทุกกรณีกลับไปปรับปรุงระบบ ไม่มีผลิตภัณฑ์ใดผลิตภัณฑ์หนึ่งตัดสินใจขั้นสุดท้ายได้ด้วยตัวเอง ต้องมีความเห็นจากที่ปรึกษาก่อนจึงจะนำคำแนะนำไปใช้ได้ และสลิปเงินเดือนทุกใบที่ระบบสร้างขึ้นจะถูกระบุให้รออนุมัติก่อนส่งออกไป การตรวจสอบโดยมนุษย์ไม่ได้มีไว้สำหรับทุกคำขอ เป้าหมายคือทำให้กรณีทั่วไปเป็นไปโดยอัตโนมัติอย่างมั่นใจ และให้บุคคลเข้ามามีส่วนร่วมเมื่อระบบมีเหตุผลอันควรที่จะไม่แน่ใจ

ตัดสินใจว่าวันนี้จะให้โมเดลรับผิดชอบอะไรได้บ้าง

ผมมีเกณฑ์ทดสอบที่ใช้ได้จริงสำหรับทุกขั้นตอนการทำงาน หากตรวจพบและแก้ไขผลลัพธ์ที่ผิดได้ก่อนที่จะไปถึงตัวบุคคล ก็ให้โมเดลรับผิดชอบขั้นตอนนั้นได้ หากสามารถตรวจคำตอบเทียบกับกฎได้ กฎจะเป็นตัวกำหนด ส่วนโมเดลมีหน้าที่อธิบาย แต่หากผลลัพธ์ที่ผิดอาจไปถึงสลิปเงินเดือนหรือการตัดสินใจรับสมัครก่อนที่จะมีใครเห็น ขั้นตอนนั้นก็ยังไม่พร้อม

โมเดลภาษาคือล่ามกฎเกณฑ์ที่เก่งที่สุดเท่าที่เราเคยมีมา แต่ในสาขาที่ความผิดพลาดมีผลเสียร้ายแรง โมเดลควรหยุดอยู่แค่การตีความเท่านั้น