ทำไมราคาปัญญาประดิษฐ์ที่ลดลงไม่ได้ทำให้ค่าใช้จ่าย AI ขององค์กรลดลง

การสนทนาส่วนใหญ่เกี่ยวกับเศรษฐศาสตร์ AI ขององค์กรมักมุ่งเน้นที่ตัวชี้วัดเดียว คือ ค่าใช้จ่ายการสรุปผล LLM ที่กำลังลดลงอย่างรวดเร็ว ผู้บริหารระดับสูงมองที่ราคาต่อหนึ่งล้านโทเคนที่เปลี่ยนแปลงไป ซึ่งได้ลดลงกว่า 90 % ในโมเดลชั้นนำของอุตสาหกรรมในสองปีที่ผ่านมา และสันนิษฐานว่าเศรษฐกิจของ AI สร้างสรรค์อยู่ภายใต้การควบคุม การลดราคานี้เป็นเหตุการณ์สำคัญที่ทำให้บริษัทสามารถนำปัญญาประดิษฐ์ไปใช้ได้ในสัดส่วนที่เหลือน้อยกว่าที่เคยใช้เมื่อปีที่แล้ว อย่างไรก็ตามหลายองค์กรกำลังพบว่า ราคาของโมเดลที่ต่ำลงไม่ได้แปลเป็นค่าใช้จ่าย AI ที่ลดลง ขณะที่ต้นทุนต่อหน่วยของปัญญาประดิษฐ์กำลังพังทลาย ปริมาณการใช้ข้อมูลโดยรวมกำลังขยายตัวอย่างเอ็กซ์โปเนนเชียล

เจ้าหน้าที่การเงินระดับสูง (CFO) และทีม FinOps ขององค์กรกำลังมองใบแจ้งหนี้รายเดือนและพบความขัดแย้งที่ชัดเจน — โมเดลถูกทำให้ถูกที่สุดเท่าที่เคยเป็น แต่งบประมาณ AI สร้างสรรค์โดยรวมกลับเพิ่มขึ้น สาเหตุไม่ได้มาจากพนักงานมนุษย์ที่เขียนพรอมต์ยาวขึ้น แต่เป็นผลมาจากการเพิ่มขึ้นอย่างรวดเร็วของ กระบวนการทำงานอัตโนมัติและแบบเอเจนต์ เครื่องมือที่ออกแบบให้ทำงานแทนนักพัฒนาหรือระบบอัตโนมัติไม่ได้โต้ตอบกับซอฟต์แวร์แบบมนุษย์ พวกมันทำซ้ำแบบเครื่องจักร และในกระบวนการนั้นได้ทำให้หน้าต่างบริบทของ LLM กลายเป็นชั้นโครงสร้างคลาวด์ที่ไม่ได้รับการจัดการและมีความแปรผันสูง ปัญหาการเงินหลักที่องค์กรสมัยใหม่ต้องเผชิญจึงไม่ใช่ต้นทุนของปัญญาประดิษฐ์อีกต่อไป แต่เป็นปริมาณการขนส่งบริบทที่มหาศาล

สถาปัตยกรรมของการเสียเปล่าโทเคน

เพื่อทำความเข้าใจว่าทำไม AI แบบเอเจนต์จึงทำให้งบประมาณของบริษัทพุ่งสูงขึ้น ให้มองที่การเปลี่ยนแปลงพื้นฐานของการเคลื่อนย้ายข้อมูลผ่านสายการผลิตขององค์กร เมื่อมนุษย์โต้ตอบกับ LLM การแลกเปลี่ยนจะเป็นเชิงเส้นและมีขอบเขตโดยธรรมชาติ — พรอมต์สั้น ๆ ให้ผลลัพธ์เป็นโค้ดสั้นหรือสรุป แต่เมื่อเอเจนต์อัตโนมัติเข้ามาดำเนินการพัฒนาแอปพลิเคชันหรือแก้ไขปัญหา มันทำงานในลูปต่อเนื่องหลายรอบระหว่างเครื่องจักร หากผู้ช่วยด้านวิศวกรรมได้รับมอบหมายให้แก้บั๊กของแอปพลิเคชัน มันจะทำการบิลด์ พบความล้มเหลว แล้วเรียกเครื่องมือภายในเพื่อสืบค้น เพื่อทำการตัดสินใจ มันจะดึงบรรทัดหลายพันของบันทึกคอนเทนเนอร์ที่ยาวเกินไป, โครงสร้าง JSON เชิงลึก, และสคีมาฐานข้อมูลที่เหมือนกันทั้งหมด แล้วส่งบล็อกข้อมูลทั้งหมดกลับเข้าสู่หน้าต่างบริบทของ LLM บนคลาวด์

หากการแก้ไขครั้งแรกล้มเหลว เอเจนต์จะทำลูปซ้ำอีก มันจะสแกนบันทึกอีกครั้ง, รวมสคีมาฐานข้อมูลเดิม, แล้วส่งเมตาดาต้าเครื่องจักรที่สร้างขึ้นเดียวกันนั้นกลับผ่านเครือข่ายไปยัง API ระยะไกลหลายสิบครั้งต่อชั่วโมง ส่วนใหญ่ของข้อมูลที่ส่งในเซสชันหลายรอบเหล่านี้ไม่ได้เป็นโค้ดที่มีคุณค่าหรือทรัพย์สินทางปัญญา แต่เป็น “เสียงรบกวน” ของโครงสร้างพื้นฐาน ภายใต้โมเดลนี้ บริษัทจึงต้องจ่ายค่าใช้จ่ายพิเศษเพื่อขนส่งข้อมูลที่สัญญาณต่ำและซ้ำซ้อนผ่านช่องทาง API ภายนอก

เซสชันการแก้ไขปัญหาอัตโนมัติครั้งเดียวอาจทำให้ค่าใช้จ่ายโครงสร้างพื้นฐานพุ่งสูงขึ้นอย่างมาก เพียงเพราะบังคับให้โมเดลภายนอกอ่านเมตาดาต้าฐานโค้ดเดียวกันซ้ำแล้วซ้ำอีก

จากการเพิ่มประสิทธิภาพโค้ดสู่การเพิ่มประสิทธิภาพงาน

ความเสียดทานนี้กำลังผลักดันให้บริษัทปรับวิธีการจัดการโครงสร้างพื้นฐาน AI การเพิ่มประสิทธิภาพกำลังก้าวข้ามขั้นตอนแรกของการต่อรองสัญญา API ปริมาณมากที่ถูกลงหรือการสลับโมเดลขนาดใหญ่เป็นโมเดลขนาดเล็ก ความมีประสิทธิภาพที่แท้จริงต้องเกิดขึ้นที่ชั้นงาน โดยการกรองข้อมูลก่อนที่มันจะเสียค่าใช้จ่ายในการขนส่งใด ๆ

เรากำลังเริ่มเห็นการตอบสนองเชิงสถาปัตยกรรมระดับพื้นฐานต่อปัญหานี้ ตัวอย่างเช่น Project Headroom ซึ่งเป็นชั้นการเพิ่มประสิทธิภาพบริบทแบบโอเพ่นซอร์สที่ริเริ่มโดย Tejas Chopra วิศวกรอาวุโสของ Netflix ถูกสร้างขึ้นเพื่อดักจับ payload แบบเอเจนต์ที่หนักหน่วงไว้ในเครื่องก่อนที่จะส่งถึงผู้ให้บริการคลาวด์ภายนอก โดยใช้การบีบอัดในเครื่อง, แคช, และการเรียกข้อมูลตามความต้องการ ระบบจะแยกบันทึก, ตัดโค้ดส่วนที่ซ้ำซ้อน, และแทนที่สตรีมข้อความขนาดใหญ่ด้วยแฮชเชิงคริปโตที่มีน้ำหนักเบา

กรณีทางเศรษฐกิจของชั้นการเพิ่มประสิทธิภาพที่เกิดขึ้นนี้ชัดเจนแล้ว ตามเมตริกของโครงการ การใช้แนวทางด้านไคลเอนต์นี้ได้ประมวลผลกว่า 200 พันล้านโทเคน ช่วยผู้ใช้ประหยัดค่าใช้จ่ายการขนส่ง API ประมาณ $700,000 การได้รับความนิยมอย่างรวดเร็วของเครื่องมือนี้บ่งบอกถึงความเป็นจริงเชิงปฏิบัติที่กว้างขึ้น: การจัดการบริบทกำลังพัฒนาจากการแก้ปัญหาแบบผู้พัฒนาหนึ่งคนเป็นชั้นการกำกับดูแลระดับองค์กรที่จำเป็น

วิวัฒนาการของการกำกับบริบท

โดยประวัติศาสตร์ วิศวกรรมโครงสร้างพื้นฐานผ่านวงจรชีวิตที่คาดเดาได้ — ทรัพยากรสำคัญเปลี่ยนจากสินทรัพย์คงที่เป็นต้นทุนแปรผัน การใช้จ่ายเพิ่มอย่างรวดเร็ว และเกิดสาขาวิชาใหม่เพื่อกำกับดูแล เมื่อองค์กรย้ายจากฮาร์ดแวร์ในสถานที่ไปสู่คลาวด์สาธารณะ คอมพิวต์และสตอเรจกลายเป็นต้นทุนแปรผัน ทำให้ FinOps สมัยใหม่เกิดขึ้น เมื่อไมโครเซอร์วิสเพิ่มจำนวนและระบบซับซ้อนเกินกว่าจะตรวจสอบด้วยตนเอง โครงสร้างพื้นฐาน Kubernetes ทำให้ต้องมีแพลตฟอร์มการสังเกตการณ์สมัยใหม่

ในปัจจุบัน ปริมาณ AI แบบเอเจนต์กำลังบังคับให้เกิดการวิวัฒนาการคล้ายกันสู่การกำกับบริบทระดับงาน งานวิจัยจาก Gartner เน้นขนาดของอุปสรรคเชิงปฏิบัตินี้ โดยคาดว่าอย่างน้อย 50 % ของโครงการ AI สร้างสรรค์จะใช้จ่ายเกินงบประมาณจนถึงปี 2028 เนื่องจากการเลือกสถาปัตยกรรมที่ไม่ดีและการขาดการควบคุมการทำงานแบบเรียลไทม์ การก้าวข้ามจากแล็ปท็อปของนักพัฒนารายบุคคลไปสู่สภาพแวดล้อมองค์กรที่ปรับใช้ระบบหลายเอเจนต์ต้องอาศัย แนวทางป้องกันโครงสร้างพื้นฐานแบบศูนย์กลาง เพื่อรับมือกับคลื่นอัตโนมัติที่กำลังจะมาถึง

การสร้างการควบคุมนี้ต้องอาศัยแนวทางหลายชั้นในการจัดการบริบทขององค์กร ขั้นแรก บริษัทต้องนำระบบแคชพรอมต์ร่วมขององค์กรมาใช้ เพื่อให้แผนกวิศวกรรมทั้งหมดไม่ต้องจ่ายค่าใช้จ่ายคลาวด์แยกกันในการแยกวิเคราะห์ไลบรารีกรอบงานภายในและตารางข้อมูลขนาดมหาศาลที่เหมือนกันซ้ำ ๆ นอกจากประสิทธิภาพการแคช ทีมปฏิบัติการยังต้องมีวงจรตัดงบประมาณแบบแข็งแรง — แนวทางป้องกันระดับทีมที่เขียนโปรแกรมโดยอัตโนมัติซึ่งจะหยุดเอเจนต์อัตโนมัติเมื่อมันติดอยู่ในลูปการแก้ไขปัญหาไม่สิ้นสุด ก่อนที่มันจะทำให้ค่าใช้จ่าย API หมดสิ้น สุดท้ายต้องเปลี่ยนไปสู่ การตรวจสอบงานระดับโทเคน ย้ายการมองเห็นขององค์กรจากเมตริกระดับโมเดลกว้างไปสู่การติดตามที่แม่นยำซึ่งสามารถแยกแยะได้ว่ารีโพสิตอรีหรือสายพานอัตโนมัติใดกำลังสร้างของเสียโทเคนปริมาณสูง

หน้าต่างบริบทที่ใหญ่ขึ้นและราคาทokenที่ต่ำลงจะลดความขัดแย้งบางส่วนในระยะสั้น แต่ไม่ได้แก้ปัญหาประสิทธิภาพพื้นฐานของการส่งข้อมูลเดียวกันซ้ำ ๆ ผ่านกระบวนการทำงานอัตโนมัติ ความท้าทายต้นทุน AI ครั้งต่อไปอาจไม่ใช่ราคาของโมเดลเลย แต่เป็นค่าใช้จ่ายในการเคลื่อนย้ายบริบทผ่านระบบที่มีความอัตโนมัติเพิ่มขึ้นอย่างต่อเนื่อง องค์กรที่สามารถนำทางยุคอัตโนมัติใหม่ได้สำเร็จจะเป็นองค์กรที่บริหารและเพิ่มประสิทธิภาพสถาปัตยกรรมการขนส่งบริบทของตนอย่างแข็งขัน