เมื่อ AI ถูกต้อง แต่กระบวนการผิด

ลองนึกถึงสถานการณ์ทั่วไปในบริการทางการเงิน ทีมหนึ่งใช้ AI เพื่อตรวจสอบสัญญา: หลักร้อยหน้า ข้อความซ้ำๆ และงานที่ซ้ำซากซึ่งปกติใช้เวลาของพนักงานหลายวัน AI ระบุความเสี่ยงและอ้างอิงไปยังข้อความที่ถูกต้อง แต่ผลลัพธ์ไม่ตรงกัน

มันกลายเป็นว่าปัญหาอยู่ที่โฟลเดอร์สัญญา โดยที่ไฟล์อยู่ข้างๆ กัน โดยมีชื่อ contract_v1.docx, contract_v2.docx, contract_final.docx, contract_final2.docx และ contract_finalfinal_THIS_ONE.docx

AI ได้เลือกไฟล์ที่บันทึกล่าสุด แต่ไฟล์นั้นเป็นเวอร์ชั่นเก่าที่ใครบางคนเปิดและบันทึกโดยไม่ตั้งใจเมื่อสัปดาห์ที่แล้ว

โมเดลทำสิ่งที่ถูกออกแบบมาให้ทำ แต่กระบวนการทำให้它ผิด

เมื่อโมเดลไม่ใช่ปัญหา

ในบทความก่อนหน้านี้ ฉันโต้แย้งว่าความล้มเหลวของ AI มักเริ่มต้นนอกโมเดล – ในการบริหารจัดการ การเป็นเจ้าของ และโครงสร้างการตัดสินใจที่ล้อมรอบโมเดล แต่การบริหารจัดการเป็นเพียงส่วนหนึ่งของปัญหา แม้แต่ระบบ AI ที่มีการบริหารจัดการที่ดีจะยังคงประสบปัญหา หากกระบวนการที่อยู่ภายใต้มันพึ่งพาเอกสารที่ล้าสมัย ข้อยกเว้นที่ไม่เป็นทางการ หรือเส้นทางการอนุมัติที่ออกแบบสำหรับความเร็วในการทำงานที่ช้ากว่ามาก

เมื่อระบบ AI ให้ผลลัพธ์ที่ไม่ดี โมเดลมักเป็นผู้ต้องสงสัยคนแรก บางทีมันอาจจะหลอกลวง ไม่เข้าใจงาน หรือได้รับคำสั่งที่อ่อนแอ แต่บางครั้งโมเดลก็ทำสิ่งที่ถูกออกแบบมาให้ทำ ปัญหาเกิดขึ้นในกระบวนการที่ให้ข้อมูลหรือในองค์กรที่ไม่สามารถดำเนินการตามผลลัพธ์ของมัน

ความเร็วโดยไม่มีความสามารถ

AI ไม่เพียงแต่เร่งผลลัพธ์เท่านั้น แต่ยังเร่งการเพิ่มขึ้นของการขอคำตัดสินและการค้นพบปัญหา โมเดลระบุความผิดปกติในเวลาจริง ไม่ใช่ในวันศุกร์เมื่อใครบางคนสุดท้ายก็พบเวลาที่จะดูบันทึก

องค์กรไม่ได้ถูกออกแบบมาเพื่อความเร็วนี้ กระบวนการอนุมัติ เส้นทางการเพิ่มขึ้น การตัดสินใจ – ทั้งหมดนี้ถูกปรับให้เหมาะสมกับความเร็วของมนุษย์ เมื่อ AI ให้ผลลัพธ์ที่เร็วกว่าที่องค์กรสามารถดูดซับได้ สิ่งที่สามารถเกิดขึ้นได้สามสิ่ง:

• AI รอการตัดสินใจ ซึ่งลบความเร็วในการทำงาน
• พนักงานเพิกเฉยต่อผลลัพธ์และกลับไปใช้กระบวนการเก่า
• พนักงานผลักดันตัดสินใจไปข้างหน้าโดยไม่ตรวจสอบอย่างเหมาะสม เพราะพวกเขารู้สึกว่าถูกกดดันให้รักษาความเร็ว

ความรู้ที่เงียบๆ ที่ไม่มีใครเขียน

ลองนึกถึงสถานการณ์ที่ Martin รู้ว่าสัญญาของบริษัทกับซัพพลายเออร์มีข้อยกเว้นสำหรับการชำระเงินต่ำกว่า 2,000 ยูโร ซึ่งได้ตกลงกันโดยไม่มีการบันทึกไว้ เมื่อบริษัทใช้ AI เพื่ออนุมัติการชำระเงินอัตโนมัติ ระบบจะบล็อกการชำระเงิน – ซึ่งถูกต้องตามสัญญาที่เขียนไว้

นี่คือความรู้ที่ไม่ได้ถูกบันทึก: ความรู้ขององค์กรที่อยู่ในหัวของคน ไม่ใช่ในระบบ ทุกบริษัทมี และส่วนใหญ่ไม่รู้ว่ามีมากแค่ไหน

AI สามารถใช้ความรู้ที่ถูกทำให้สามารถเข้าถึงได้เท่านั้น ข้อยกเว้นของ Martin ไม่มีอยู่ในมุมมองของระบบ หากไม่มีบริบทนี้ การตัดสินใจของมันอาจจะถูกต้องทางเทคนิค แต่ผิดทางด้านการปฏิบัติ

แหล่งที่มาของความจริงที่ผิด

ผลลัพธ์ของ AI ที่อันตรายที่สุดไม่ใช่เสมอไปว่าเป็นผลลัพธ์ที่ผิดชัดเจน มันอาจเป็นคำตอบที่น่าเชื่อถือ ที่ถูกนำเสนออย่างมืออาชีพ ซึ่งผลิตจากข้อมูลที่ล้าสมัย

หลายแผนกได้ดำเนินการด้วยหลายเวอร์ชั่นของเอกสารเดียวกัน เพราะเจนจากฝ่ายกฎหมายรู้ว่าเอกสารไหนที่มีอำนาจ AI ไม่รู้

หากไม่ได้รับกฎเกณฑ์สำหรับการแยกแยะระหว่างเวอร์ชั่น ระบบไม่มีเหตุผลที่จะสงสัยเอกสารที่ได้รับ และดังนั้น AI จึงทำงานได้อย่างถูกต้อง – แต่บนเอกสารที่ผิด ซึ่งอาจแย่กว่าการไม่มีการตรวจสอบเลย เพราะผลลัพธ์ดูเหมือนจะถูกต้อง

คำถามที่ต้องตอบก่อนสร้างตัวแทน

ก่อนที่จะใช้ AI ตัวแทน องค์กรควรจะสามารถตอบคำถามสามข้อได้

การตัดสินใจใดที่ขึ้นอยู่กับความรู้ที่ไม่เคยถูกบันทึก

หมายถึงการระบุข้อยกเว้น การตัดสินใจอย่างรวดเร็ว และการเรียกใช้ความรู้ที่พนักงานมีประสบการณ์โดยไม่ได้กล่าวถึงโดยตรง การสัมภาษณ์อาจไม่แสดงความรู้นี้ทั้งหมด องค์กรอาจต้องสังเกตว่างานที่ทำจริงๆ และเปรียบเทียบกับกระบวนการอย่างเป็นทางการ

ระบบจะระบุเอกสารที่ถูกต้องและเกี่ยวข้องได้อย่างไร

การให้ระบบสามารถเข้าถึงเอกสารได้มากขึ้นไม่ได้ทำให้ปัญหาแก้ไขได้ หากไม่สามารถแยกเอกสารที่ได้รับการอนุมัติจากเอกสารที่ยังไม่ได้อนุมัติได้ กฎเกณฑ์การจัดเก็บเอกสารและความเป็นเจ้าของจะต้องชัดเจนเพียงพอสำหรับระบบเพื่อที่จะระบุว่าเอกสารไหนที่ควรเป็นหลักในการตัดสินใจ

กระบวนการอนุมัติและเพิ่มขึ้นที่มีอยู่สามารถรองรับปริมาณและความเร็วของผลลัพธ์ได้หรือไม่

ทีมควรประมาณการไม่เพียงแต่ปริมาณงานที่ตัวแทนสามารถทำได้ แต่ยังรวมถึงการตรวจสอบ ข้อยกเว้น และการเพิ่มขึ้นที่งานนั้นอาจสร้างขึ้นได้ NIST AI Risk Management Framework แนะนำให้กำหนดบทบาทและความรับผิดชอบสำหรับการกำกับดูแลของมนุษย์เหนือระบบ AI อย่างชัดเจน ซึ่งต้องถูกออกแบบมาเพื่อปริมาณที่คาดหวังไว้ก่อนที่จะใช้งาน – ไม่ใช่หลังจากที่พนักงานถูกครอบงำโดยมัน

ความพร้อมของ AI เริ่มต้นด้วยกระบวนการ

ความพร้อมของ AI ไม่ใช่แค่การทดสอบเทคโนโลยีเท่านั้น แต่ยังเป็นการตรวจสอบว่าองค์กรได้ทำให้กระบวนการของตนเองชัดเจนพอที่จะให้เทคโนโลยีทำงานภายในกระบวนการเหล่านั้นได้หรือไม่

การเตรียมองค์กรสำหรับ AI จึงเกี่ยวข้องกับการเลือกโมเดลหรือสร้างตัวแทนมากกว่านั้น มันหมายถึงการทำให้ความเป็นเจ้าของชัดเจน การระบุเอกสารที่มีอำนาจ การบันทึกข้อยกเว้น และการออกแบบใหม่ว่าผลลัพธ์จะถูกตรวจสอบ เพิ่มขึ้น และดำเนินการอย่างไร

นี่เป็นงานที่ยาก แต่การนำไปใช้ที่ล้มเหลวจะบังคับให้องค์กรต้องทำมันในที่สุด ตัวแปรเพียงอย่างเดียวคือเวลา