ปัญหาความน่าเชื่อถือของ AI ที่ไม่มีใครต้องการพูดถึง

เรื่องราวที่โดดเด่นเกี่ยวกับความน่าเชื่อถือของ AI คือเรื่องง่ายๆ: โมเดลมีการหลอกลวง ดังนั้นเพื่อให้บริษัทได้รับประโยชน์สูงสุดจากพวกมัน โมเดลจะต้องดีขึ้น มีพารามิเตอร์มากขึ้น ข้อมูลการฝึกที่ดีขึ้น การเรียนรู้แบบเสริมมากขึ้น และการจัดตำแหน่งมากขึ้น

และยัง แม้ว่าโมเดลแนวหน้าจะกลายเป็นมีประสิทธิภาพมากขึ้น การถกเถียงเรื่องความน่าเชื่อถือก็ไม่หายไป ผู้นำองค์กรยังคงลังเลที่จะอนุญาตให้ตัวแทนดำเนินการภายในระบบหลักของคอร์ปอเรชั่น สภากรรมการยังคงถามว่า: “เราสามารถไว้วางใจได้หรือไม่?”

แต่การหลอกลวงไม่ใช่ปัญหาหลักของโมเดล มันเป็นปัญหาเรื่องบริบท เรากำลังขอให้ระบบ AI ดำเนินการบนโครงสร้างพื้นฐานขององค์กรโดยไม่ให้พวกมันเห็นโครงสร้างที่จำเป็นในการให้เหตุผลอย่างปลอดภัย จากนั้นเราก็กล่าวโทษโมเดลเมื่อมันเดา

เรื่องราวที่แท้จริงเกี่ยวกับความน่าเชื่อถือไม่ได้อยู่ที่น้ำหนักของโมเดล แต่อยู่ที่ชั้นข้อมูล

ศัลยแพทย์โดยไม่มีการถ่ายภาพ

ลองนึกภาพศัลยแพทย์ที่ดำเนินการโดยไม่มีการถ่ายภาพ ไม่มี MRI ไม่มี CT สแกน ไม่มีการมองเห็นเนื้อเยื่อโดยรอบในเวลาจริง เพียงแค่มีความเข้าใจทั่วไปเกี่ยวกับกายวิภาคศาสตร์และมีดศัลยกรรม แม้ว่าศัลยแพทย์ที่มีทักษะมากที่สุดก็จะถูกบังคับให้เดา เพื่อประมาณค่า และพึ่งพาการให้เหตุผลแบบความน่าจะเป็น

นั่นคือสิ่งที่ตัวแทน AI ขององค์กรกำลังทำอยู่ในปัจจุบัน

เมื่อระบบ AI ถูกขอให้เปลี่ยนแปลงการทำงาน อัปเดตกฎของ ERP หรือกระตุ้นการทำงานอัตโนมัติข้ามเครื่องมือ มันจะไม่มีกราฟการเปลี่ยนแปลงของสภาพแวดล้อมอย่างสมบูรณ์ มันไม่ทราบว่าฟิลด์ “ไม่ได้ใช้” ใดที่ให้พลังงานแก่แดชบอร์ดที่อยู่ต่อๆ ไป มันไม่เห็นว่ากระบวนการอัตโนมัติใดที่อ้างอิงกฎการตรวจสอบนั้น มันไม่สามารถจำลองผลกระทบของลำดับที่สองได้อย่างน่าเชื่อถือ

ดังนั้นมันจึงทำสิ่งที่โมเดลภาษาขนาดใหญ่ถูกฝึกให้ทำ: มันคาดเดา การคาดเดาไม่ใช่การเข้าใจ และการคาดเดาโดยไม่มีบริบท ดู เหมือนการหลอกลวง

เรายังคงถกเถียงเรื่องที่ไม่ถูกต้อง

ชุมชน AI ถูกล็อกอยู่ในความน่าเชื่อถือที่มุ่งเน้นไปที่โมเดล การวิจัยเกี่ยวกับกฎหมายการขยายขนาด การวิจัยเกี่ยวกับ การให้เหตุผลแบบเชื่อมโยง เทคนิคการเพิ่มการค้นหา และมาตรฐานการประเมิน

ทั้งหมดนี้จำเป็น ทั้งหมดนี้มีค่า แต่สังเกตว่าสิ่งใดที่หายไป: การอภิปรายเกี่ยวกับทอพอโลยีของระบบองค์กร

ความน่าเชื่อถือในบริบทขององค์กรไม่ได้หมายความว่า “โมเดลสร้างข้อความที่ถูกต้อง” แต่หมายความว่า “ระบบดำเนินการเปลี่ยนแปลงที่ปลอดภัย สามารถติดตามได้ และคาดการณ์ได้” นี่คือความต้องการที่แตกต่างอย่าง根本

เมื่อ OpenAI และ Anthropic เผยแพร่การประเมินประสิทธิภาพของโมเดล พวกเขาวัดความแม่นยำในการให้เหตุผลในการทำงาน การทดสอบการเขียนโค้ด หรือการเรียกคืนความรู้ สิ่งเหล่านี้เป็นสัญญาณที่มีประโยชน์ แต่พวกมันไม่ได้วัดความสามารถของตัวแทน AI ในการเปลี่ยนแปลงระบบรายได้ที่มี 15 ปีของหนี้การทำงานอัตโนมัติ

ปัญหาไม่ใช่ว่าโมเดลสามารถเขียนโค้ดที่ถูกต้องตามไวยากรณ์ได้หรือไม่ แต่เป็นว่า AI เข้าใจสภาพแวดล้อมที่โค้ดถูกนำไปใช้หรือไม่

ระบบที่มีชีวิตสะสมเอนโทรปี

ระบบขององค์กรไม่ใช่ฐานข้อมูลที่ไม่เปลี่ยนแปลง มันคือระบบที่มีชีวิต ทุกการรวมระบบใหม่จะทิ้งรอย ทุกแคมเปญจะแนะนำฟิลด์ใหม่ ทุก “การแก้ไขอย่างรวดเร็ว” จะแนะนำชั้นการทำงานอัตโนมัติเพิ่มเติม เมื่อเวลาผ่านไป ชั้นเหล่านี้จะโต้ตอบกันในทางที่ไม่มีใครเข้าใจอย่างเต็มที่

นี่คือหน้าที่ของการเติบโต ระบบที่ซับซ้อนและปรับตัวได้จะสะสมเอนโทรปีโดยธรรมชาติ การวิจัยจาก MIT’s Sloan School ได้ เน้นย้ำมาเป็นเวลานาน ว่าความไม่สมมาตรของข้อมูลภายในองค์กรจะเพิ่มความเสี่ยงในการดำเนินงาน ในขณะที่ Gartner ประมาณการว่าคุณภาพข้อมูลที่ไม่ดีจะทำให้องค์กรมีค่าใช้จ่ายเฉลี่ย $12.9 ล้านต่อปี

ลองนึกภาพการใส่ตัวแทนอัตโนมัติเข้าไปในระบบที่มีความซับซ้อนเช่นนี้โดยไม่ได้แก้ไขความไม่โปร่งใสของโครงสร้างก่อน

เราควรไม่ประหลาดใจเมื่อผลลัพธ์ไม่คาดคิด ตัวแทนไม่ได้มุ่งร้ายหรือโง่ มันแค่ไม่เห็น

การค้นหาคือไม่เพียงพอ

บางคนอาจโต้แย้งว่าการสร้างแบบจำลองที่เพิ่มการค้นหา (RAG) จะแก้ปัญหานี้ได้ ให้โมเดลเข้าถึงเอกสาร ให้ข้อมูลโครงสร้าง และเชื่อมต่อกับ API

สิ่งนี้ช่วยได้บ้าง

แต่เอกสารไม่ใช่ทอพอโลยี

เอกสาร PDF ที่อธิบายว่ากระบวนการ “ควร” ดำเนินการอย่างไรไม่เหมือนกับกราฟที่แสดงการโต้ตอบที่แท้จริงกับการทำงานอัตโนมัติ 17 รายการ

ความเป็นจริงขององค์กรไม่เคยตรงกับเอกสารขององค์กร

การศึกษาในปี 2023 ที่เผยแพร่ใน Communications of the ACM พบว่า เอกสารที่ล้าสมัยเป็นปัจจัยหลักที่ทำให้การบำรุงรักษาโปรแกรมล้มเหลว ระบบจะพัฒนาเร็วกว่าเรื่องราวของพวกมัน

ดังนั้น แม้ว่าเราจะให้ตัวแทน AI ด้วยเอกสาร แต่เราก็มักจะให้แผนที่ที่ไม่สมบูรณ์หรือเป็น理想สูง

แผนที่ที่ไม่สมบูรณ์ยังคงสร้างข้อผิดพลาดที่มั่นใจ

ชั้นของตัวแทนคือชั้นความปลอดภัยที่แท้จริง

เรามักจะคิดถึงความปลอดภัยในฐานะการฝึกอบรมการให้เหตุผล การตั้งค่ากำแพง การทดสอบแบบแดง และการกรองนโยบาย ทั้งหมดนี้มีความสำคัญ แต่ในบริบทขององค์กร ความปลอดภัยคือบริบท มันคือการรู้:

• สิ่งใดที่พึ่งพาฟิลด์นี้?
• การทำงานอัตโนมัติใดที่อ้างอิงวัตถุนี้?
• รายงานที่อยู่ต่อๆ ไปจะพังอย่างไร?
• ใครเป็นเจ้าของกระบวนการนี้?
• เมื่อไหร่ที่มีการเปลี่ยนแปลงครั้งสุดท้าย?
• การเปลี่ยนแปลงในอดีตใดที่นำไปสู่การกำหนดค่าปัจจุบัน?

หากไม่มีชั้นนี้ ตัวแทน AI จะทำงานอย่างมือปิดตามาในกล่องดำ เมื่อมีชั้นนี้ มันสามารถจำลองผลกระทบก่อนดำเนินการ ความแตกต่างระหว่างการหลอกลวงและความน่าเชื่อถือมักจะเป็นความโปร่งใส

ทำไมโมเดลถึงถูกกล่าวโทษ

ทำไมการถกเถียงจึงมุ่งเน้นไปที่โมเดลมากนัก? เพราะโมเดลมีความชัดเจน เราสามารถวัดความสับสนได้ เราสามารถเปรียบเทียบคะแนนมาตรฐานได้ เราสามารถถกเถียงเกี่ยวกับคุณภาพของข้อมูลการฝึกได้

ทอพอโลยีของข้อมูลภายในองค์กรมีความยุ่งยากมาก มัน đòiการประสานงานระหว่างหน้าที่ต่างๆ มัน đòiวินัยในการกำกับดูแล มันบังคับให้องค์กรเผชิญกับความซับซ้อนของระบบของตนเอง

มันง่ายกว่าที่จะบอกว่า “โมเดลยังไม่พร้อม” มากกว่าที่จะยอมรับว่า “โครงสร้างพื้นฐานของเรามีความไม่โปร่งใส”

แต่เมื่อตัวแทน AI ย้ายจากการสร้างเนื้อหามาสู่การดำเนินการเชิงปฏิบัติ การจัดกรอบนี้จะกลายเป็นอันตราย

หากเรารักษาความน่าเชื่อถือไว้เพียงในฐานะปัญหาโมเดล เราจะยังคงใช้ตัวแทนเข้าไปในระบบที่พวกมันไม่สามารถรับรู้ได้อย่างมีนัยสำคัญ

ความเป็นอิสระต้องการบริบท

การทดลองล่าสุดของ Anthropic เกี่ยวกับการพัฒนาซอฟต์แวร์แบบหลายตัวแทน แสดงให้เห็นว่าระบบ AI สามารถประสานงานกันในงานที่ซับซ้อนได้เมื่อให้โครงสร้างบริบทและความทรงจำที่คงอยู่ ความสามารถของแนวหน้ากำลังพัฒนาอย่างรวดเร็ว แต่ความเป็นอิสระนี้ไม่มีความตระหนักถึงสภาพแวดล้อม

รถยนต์ขับเคลื่อนอัตโนมัติไม่พึ่งพาเพียงเครือข่ายประสาทเท่านั้น แต่ยังพึ่งพาไลดาร์ กล้อง ระบบการทำแผนที่ และการรับรู้สภาพแวดล้อมแบบเรียลไทม์ โมเดลเป็นเพียงชั้นหนึ่งใน chồngของการรับรู้

ระบบ AI ขององค์กรต้องการสิ่งที่เทียบเท่ากับไลดาร์ ไม่ใช่แค่การเข้าถึง API ไม่ใช่แค่เอกสาร แต่เป็นความเข้าใจที่มีโครงสร้างและพลวัตของความสัมพันธ์ของระบบ

จนกว่าสิ่งนี้จะเกิดขึ้น การถกเถียงเกี่ยวกับการหลอกลวงจะยังคงวินิจฉัยสาเหตุของปัญหาผิด

ความเสี่ยงที่ซ่อนอยู่: ความมั่นใจมากเกินไป

มีความเสี่ยงอีกอย่างหนึ่งในกรอบการทำงานปัจจุบัน

เมื่อโมเดลมีการปรับปรุง ผลลัพธ์ของมันจะกลายเป็นข้อความที่มีพลังมากขึ้น มีความน่าเชื่อถือมากขึ้น และมีความเป็นเจ้าของมากขึ้น

ความสามารถในการพูดที่ดีจะเพิ่มความมั่นใจมากเกินไป

เมื่อตัวแทน AI ดำเนินการเปลี่ยนแปลงระบบโดยไม่มีบริบทที่สมบูรณ์ ความล้มเหลวไม่ได้ปรากฏชัดเจนทันที อาจปรากฏหลังจากหลายสัปดาห์ในฐานะความแตกต่างในการรายงาน ช่องว่างด้านการปฏิบัติตามกฎระเบียบ หรือความผิดพลาดในการคาดการณ์รายได้ เนื่องจากโมเดลดูเหมือนมีความสามารถ องค์กรอาจประเมินความปลอดภัยในการดำเนินการของมันมากเกินไป รูปแบบการล้มเหลวที่แท้จริงคือการคำนวณที่น่าเชื่อถือ

และความผิดพลาดที่น่าเชื่อถือจะเจริญเติบโตในความมืด

การเปลี่ยนกรอบคำถามเกี่ยวกับความน่าเชื่อถือ

แทนการถามว่า: “โมเดลมีความดีเพียงพอหรือไม่?” เราควรถามว่า: “ตัวแทน AI มีบริบทโครงสร้างเพียงพอที่จะดำเนินการอย่างปลอดภัยหรือไม่?” แทนการวัดความแม่นยำของมาตรฐาน เราควรวัดความโปร่งใสของสภาพแวดล้อม แทนการถกเถียงเกี่ยวกับการนับพารามิเตอร์ เราควรตรวจสอบความไม่โปร่งใสของระบบ

แนวหน้าใหม่ของความน่าเชื่อถือของ AI ไม่ใช่แค่โมเดลที่ใหญ่ขึ้น แต่เป็นชั้นบริบทที่มีความ丰富มากขึ้น

นี่รวมถึง:

• กราฟการเปลี่ยนแปลงของระบบองค์กร
• การติดตามการเปลี่ยนแปลงแบบเรียลไทม์
• การทำแผนที่การเป็นเจ้าของ
• การรับรู้การกำหนดค่าในอดีต
• การจำลองผลกระทบก่อนการดำเนินการ

ไม่มีสิ่งใดที่น่าดึงดูดใจ แต่นี่คือที่ที่ความน่าเชื่อถือจะชนะ

การสร้างด้วยแสงสว่าง

ผู้นำองค์กรมีสิทธิ์ที่จะเรียกร้องความน่าเชื่อถือก่อนที่จะให้อำนาจในการดำเนินการแก่ตัวแทน AI แต่ทางไปข้างหน้าไม่ใช่การรอโมเดลที่ไม่มีการหลอกลวง

มันคือการลงทุนในโครงสร้างพื้นฐานของความโปร่งใสที่ทำให้การดำเนินการฉลาดเป็นไปได้

เราจะไม่อนุญาตให้ผู้ดูแลระบบจูเนียร์เปลี่ยนแปลงระบบการผลิตโดยไม่เข้าใจการเปลี่ยนแปลง เราก็ไม่ควรอนุญาตให้ตัวแทน AI ทำเช่นนั้น

เป้าหมาย? คือการลดจุดบอด

เมื่อตัวแทน AI ดำเนินการด้วยความตระหนักถึงโครงสร้าง การอัตราการหลอกลวงจะลดลงไม่ใช่เพราะโมเดลเปลี่ยนไป แต่เพราะพื้นผิวการเดาจะเล็กลง

การคาดเดาเปลี่ยนเป็นการให้เหตุผล การให้เหตุผลเปลี่ยนเป็นการจำลอง การจำลองเปลี่ยนเป็นการดำเนินการอย่างปลอดภัย

การเปลี่ยนแปลงที่ไม่สามารถหลีกเลี่ยง

ในช่วง 5 ปีข้างหน้า สแต็ค AI จะแบ่งออกเป็นสองชั้น ชั้นหนึ่งจะเน้นไปที่ความสามารถของโมเดล: ความลึกในการให้เหตุผล ความสามารถในการใช้ภาษาหลายแบบ และความคุ้มค่าในการใช้งาน อีกชั้นหนึ่งจะเน้นไปที่ทอพอโลยีของข้อมูล/บริบท: กราฟของระบบ ความฉลาดของเมตาดาต้า และกรอบการกำกับดูแล

องค์กรที่รักษาความน่าเชื่อถือไว้เพียงในฐานะการเลือกโมเดลจะพบปัญหา

องค์กรที่รักษาความน่าเชื่อถือไว้เพียงในฐานะคุณสมบัติทางสถาปัตยกรรมจะเคลื่อนที่เร็วกว่าและมีความเสี่ยงน้อยลง

การถกเถียงเกี่ยวกับการหลอกลวงจะดูเหมือนเรื่องง่ายๆ ในย้อนหลัง เรื่องราวที่แท้จริงจะเกี่ยวกับความโปร่งใส

AI ไม่ได้มีความประมาทโดยธรรมชาติ

มันกำลังดำเนินการในห้องมืด

จนกว่าเราจะแก้ไขปัญหานี้ เราไม่ได้สร้างระบบที่ฉลาด เรากำลังสร้างตัวทำนายที่มีพลังภายในสภาพแวดล้อมที่ไม่โปร่งใส

และนั่นหมายความว่า แม้ว่าจะมีความก้าวหน้า แต่ AI ก็ยังคงสร้างในความมืด