ทำไม 95% ของโครงการ AI ไม่ได้รับ ROI

การศึกษาของ MIT พบว่า 95% ขององค์กรไม่ได้รับผลตอบแทนจากการลงทุนในโครงการ AI ที่ไม่สามารถวัดผลได้ ไม่มีผลกระทบต่อ P&L แม้ว่าจะมีการลงทุนอย่างมาก แต่ปัญหาไม่ได้อยู่ที่เทคโนโลยี Large Language Models มีประสิทธิภาพ เข้าถึงได้ง่าย และดีขึ้นอย่างรวดเร็ว ปัญหาอยู่ที่ว่าธุรกิจพยายามใช้มันอย่างไร

대부분ขององค์กรเข้าใกล้ ตัวแทน AI ในลักษณะเดียวกับที่พวกเขาทำกับการเปิดตัวเทคโนโลยีใหม่ๆ พวกเขาใช้กระบวนการเดิมๆ ติด AI เข้าไปและคาดหวังว่าจะเกิดผลลัพธ์ที่ดี เมื่อมันไม่ทำงาน พวกเขาก็โทษโมเดล แต่ความล้มเหลวเกิดขึ้นมาก่อนที่ AI จะเข้ามาเกี่ยวข้อง

ฉันเห็นรูปแบบนี้ซ้ำๆ ในองค์กรต่างๆ ที่สร้าง การทำงานของ AI ทีมงานต่างๆ ตื่นเต้นกับโอกาส แต่เร่งเข้าไปพัฒนา แล้วติดปัญหาที่คาดเดาได้ ความแตกต่างระหว่าง 5% ที่ประสบความสำเร็จและ 95% ที่ไม่ได้รับผลตอบแทนไม่ใช่เรื่องของโชคหรืองบประมาณ แต่เป็นการหลีกเลี่ยงข้อผิดพลาดที่สำคัญ 6 ข้อที่ฆ่าความมีค่าของตัวแทน AI ก่อนที่จะเริ่มต้น

ข้อมูลของคุณมีมากกว่าที่คุณคิด

ทีมงานส่วนใหญ่คิดว่าการมีข้อมูลหมายความว่าพวกเขาพร้อมสำหรับ AI แล้ว พวกเขาชี้ไปที่ทะเลสาบข้อมูล CRM ฐานข้อมูลที่ดูแลอย่างดี และคิดว่าความสำเร็จเป็นเรื่องที่แน่นอน จากนั้นพวกเขาก็ส่งทุกอย่างไปให้ LLM และสงสัยว่าทำไมตัวแทนของพวกเขาจึงผลิตข้อมูลที่ไม่ถูกต้องหรือใช้จ่ายล้นหลามในไม่กี่วัน

ข้อมูลที่ไม่ดีสร้างตัวแทน AI ที่ไม่ดี หากคุณส่งข้อมูลที่ไม่ได้รับการดูแลเป็นอย่างดี HTML ที่เต็มไปด้วยการส่งออกข้อมูลที่ไม่มีโครงสร้างหรือเนื้อหาที่ไม่มีการจัดระเบียบ คุณกำลังตั้งค่าให้ตัวแทน AI ล้มเหลว โมเดลจะสับสนกับฟิลด์ที่ไม่เกี่ยวข้อง หยุดทำงานด้วยอาร์ติแฟคต์ของการเรียงลำดับ และถูกครอบงำด้วยปริมาณที่มาก

ทีมงานมักจะส่งบันทึกลูกค้าที่มี 47 ฟิลด์เมื่อ只有 3 ฟิลด์ที่สำคัญต่อการตัดสินใจ พวกเขารวม UUID ที่ไม่มีคุณค่าทางวิชาการ แต่บริโภคโทเค็นจำนวนมาก พวกเขาก็ส่งตัวแทน AI ที่มีข้อมูลที่ไม่มีโครงสร้างแทนข้อมูลที่มีโครงสร้าง

คุณจะถูกจำกัดเร็วกว่าที่คุณคิด

ทุกทีมเชื่อว่าพวกเขาจะไม่ถูกจำกัดด้วยบริบท “เรากำลังประมวลผลบันทึกลูกค้าเพียงไม่กี่รายการ” พวกเขากล่าว “มันจะยากแค่ไหน” จากนั้นตัวแทน AI ของพวกเขาต้องวิเคราะห์ 500 ตั๋วสนับสนุน โดยมีประวัติการสนทนาที่สมบูรณ์ และพวกเขาก็พบว่าตัวเองถูกจำกัดด้วยเพดานโทเค็น 1 ล้าน

บริบทขนาดใหญ่สะสมเร็วกว่าที่ทุกคนคาดไว้ ตัวแทนการสนับสนุนลูกค้าที่จัดการการเพิ่มระดับอาจต้องเข้าถึงประวัติตั๋ว ความรู้ฐาน ข้อมูลส่วนตัว และเอกสารผลิตภัณฑ์ ซึ่งสามารถเป็นหลายร้อยพันโทเค็นต่อคำขอ เมื่อคุณคูณด้วยผู้ใช้ร่วม ค่าใช้จ่ายโครงสร้างพื้นฐานของคุณจะพุ่งสูงขึ้น

แนวทางที่ไม่ฉลาดคือการส่งทุกอย่างไปให้โมเดลและหวังว่าจะได้ดีที่สุด ทีมงานที่ฉลาดจะแบ่งคำขออกเป็นชิ้น ๆ สรุปแต่ละชิ้นแล้วดำเนินการตามสรุปของสรุป การสรุปแบบ階層นี้จะเก็บคำขอไว้ให้เหลือเพียงส่วนที่สำคัญที่สุดเท่านั้น

ความปลอดภัยซับซ้อนเร็ว

ทีมงานต่างๆ ตื่นเต้นกับบุคลิกและความสามารถของตัวแทน AI ของตน พวกเขาก็เขียนแนวทางปฏิบัติเบื้องต้นและคิดว่าพวกเขาได้รับการคุ้มครองแล้ว ในความเป็นจริง ตัวแทน AI ต้องการการคิดเกี่ยวกับความปลอดภัยที่แตกต่างจากแอปพลิเคชันแบบดั้งเดิม

ตัวแทน AI สามารถถูกหลอก จัดการและบังคับในลักษณะที่ทำลายแบบจำลองความปลอดภัยแบบดั้งเดิม อินพุตของผู้ใช้สามารถมีคำสั่งซ่อนอยู่ที่สามารถบypass โพร์มป์ตที่คุณสร้างขึ้นได้ ตัวแทนสามารถถูกชักชวนให้ละเมิดแนวทางปฏิบัติ เข้าถึงข้อมูลที่ไม่ควรเห็น หรือดำเนินการนอกขอบเขตที่ตั้งใจไว้

การนำไปใช้ที่ชาญฉลาดต้องการขอบเขตที่เข้มงวดเกี่ยวกับสิ่งที่ตัวแทนสามารถและไม่สามารถทำได้ สำหรับทุกสิ่งที่เปลี่ยนสถานะ; เขียนข้อมูล ส่งอีเมล์ โทร API; คุณต้องการการทำงานแบบ propose-justify-approve ตัวแทนจะอธิบายว่าต้องการทำอะไรและทำไม จากนั้นรอการอนุมัติจากมนุษย์ก่อนดำเนินการ นี่จะป้องกันการทำงานอัตโนมัติที่ไม่ควบคุมได้ ในขณะเดียวกันก็รักษาความสามารถของ AI ไว้

สิ่งที่ทำงานจริงๆ

จากการดูการนำไปใช้ตัวแทน AI หลายร้อยครั้ง มีแนวปฏิบัติ 6 ประการที่แยกความสำเร็จออกจากความล้มเหลวที่มีราคาแพง

ประการแรกคือความสะอาดของข้อมูล ส่ง JSON ที่มีโครงสร้างและแบบแผนให้แน่นอน ลบ UUID HTML ฟิลด์แบบซ้ำและข้อมูลที่ไม่จำเป็น เว้นแต่จะจำเป็นต่อการตัดสินใจเท่านั้น แทนที่ข้อมูลที่ละเอียดอ่อนด้วยเมตาดาต้าเมื่อเป็นไปได้ สิ่งนี้จะทำให้โมเดลมุ่งเน้นไปที่สิ่งที่สำคัญ ขณะเดียวกันก็ลดขนาดข้อมูล ค่าใช้จ่าย และความล่าช้า

ประการที่สองคือการบริหารบริบท คุณจะถูกจำกัดเร็วกว่าที่คุณคิด แบ่งคำขอออกเป็นชิ้น ๆ สรุปแต่ละชิ้นแล้วดำเนินการตามสรุปของสรุป การสรุปแบบ階層นี้จะเก็บคำขอไว้ให้เหลือเพียงส่วนที่สำคัญที่สุดเท่านั้น

ประการที่สามคือความปลอดภัยของโพร์มป์ต กำหนดขอบเขตที่เข้มงวดเกี่ยวกับสิ่งที่ตัวแทนของคุณสามารถและไม่สามารถทำได้ นำการทำงานแบบ propose-justify-approve ไปใช้กับทุกสิ่งที่เปลี่ยนสถานะ รักษาความปลอดภัยให้กับเนื้อหาของผู้ใช้ ลบโค้ดและลิงก์ และเตือนโมเดลให้ไม่ปฏิบัติตามคำสั่งที่ซ่อนอยู่ในเนื้อหาของผู้ใช้ ติดตามโพร์มป์ตและเอาต์พุตอย่างต่อเนื่องเพื่อให้แน่ใจว่าขอบเขตยังคงมีประสิทธิภาพ

ประการที่สี่คือการควบคุมต้นทุน ตั้งงบประมาณโทเค็นและต้นทุนสำหรับคำขอและเวิร์กโฟลว์แต่ละรายการ บันทึกการใช้โทเค็นโดยเครื่องมือและโพร์มป์ตเพื่อจับข้อผิดพลาดเร็วๆ นี้ หากไม่มีวินัย คุณจะเผชิญกับค่าใช้จ่ายที่ไม่คาดคิดหรือความล่าช้าเมื่อการนำไปใช้เพิ่มขึ้น

ประการที่ห้าคือการประกันคุณภาพ รักษาชุดประเมินส่วนตัวของเหตุการณ์จริงและกรณีชายขอบ ติดตามความแม่นยำ ความถูกต้อง และการถดถอย สำหรับเวิร์กโฟลว์ที่สำคัญ ใช้อุณหภูมิใกล้ศูนย์และแบ็คเอนด์ที่มี seedu เพื่อให้ได้เอาต์พุตที่สอดคล้องกัน

ประการที่หกคือการกำกับดูแล ล็อกดาวน์สัญญาการแบ่งปันข้อมูลก่อนที่จะมีการไหลของข้อมูลใดๆ ชี้แจงว่าอะไรถูกแบ่งปันอย่างไร มันถูกป้องกันอย่างไร และใครรับผิดชอบ สิ่งนี้ไม่ใช่แค่การป้องกันทางกฎหมาย แต่เป็นสัญญาณความไว้วางใจที่คุณรับข้อมูลอย่างจริงจัง

ทำไมทีมส่วนใหญ่จึงทำผิด

โครงการตัวแทน AI ล้มเหลวในการส่งมอบ ROI เพราะ ทีมงานมุ่งเน้นไปที่สิ่งที่ไม่ถูกต้อง พวกเขามุ่งเน้นไปที่โมเดลที่จะใช้ ในขณะที่ละเลยคุณภาพของข้อมูล พวกเขาก่อสร้างเวิร์กโฟลว์ที่ซับซ้อนโดยไม่สนใจการควบคุมความปลอดภัยขั้นพื้นฐาน พวกเขานำตัวแทนไปใช้โดยไม่มีการควบคุมต้นทุน จากนั้นพวกเขาก็ตกใจเมื่อค่าใช้จ่ายพุ่งสูงขึ้น

5% ที่ประสบความสำเร็จเข้าใจว่าตัวแทน AI ไม่ใช่แค่ซอฟต์แวร์ แต่เป็นประเภทใหม่ของพนักงานดิจิทัลที่ต้องการแนวทางปฏิบัติในการจัดการที่แตกต่าง พวกเขาต้องการข้อมูลที่สะอาด ขอบเขตที่ชัดเจน และการดูแลอย่างต่อเนื่อง หากคุณได้พื้นฐานเหล่านี้ถูกต้อง ตัวแทน AI จะกลายเป็นตัวคูณผลผลิตที่มีประสิทธิภาพ หากคุณทำผิด คุณจะเข้าร่วม 95% ที่สงสัยว่าทำไมการลงทุน AI ที่มีราคาแพงจึงไม่ได้รับผลตอบแทนเชิงวัดใดๆ