Bito เปิดตัว Governor ช่วยลดค่าใช้จ่ายของเอเจนต์เขียนโค้ดด้วยบริบทและการกำหนดเส้นทางไปยังโมเดล

เอเจนต์เขียนโค้ดอาจใช้เวลาส่วนใหญ่ไปกับการค้นหาไฟล์ที่เหมาะสม ก่อนจะลงมือแก้ไขอะไรที่เป็นประโยชน์ การค้นหาแต่ละครั้งเพิ่มบริบทที่อาจถูกส่งกลับไปยังโมเดลในการเรียกใช้ครั้งถัด ๆ ไป ทำให้งานที่ดูไม่ซับซ้อนกลายเป็นค่าใช้จ่ายในการอนุมานที่เพิ่มขึ้นเรื่อย ๆ Bito มุ่งแก้ปัญหาค่าใช้จ่ายทั้งสองด้านนี้ด้วย Governor ซึ่งเป็นเราเตอร์โมเดลตัวใหม่ที่นำบริบทของโค้ดเบสมาใช้ประกอบการตัดสินใจว่าจะให้โมเดลใดรับผิดชอบงาน

Governor เปิดตัวเมื่อวันที่ 27 ตุลาคม โดยทำหน้าที่อยู่ระหว่างเอเจนต์เขียนโค้ดที่มีอยู่กับโมเดลที่เอเจนต์เรียกใช้งาน Bito ระบุว่า Governor ช่วยลดค่าใช้จ่ายของเอเจนต์ได้ 40% ถึง 70% โดยยังรักษาคุณภาพไว้ได้ ด้วยการลดบริบทจากการค้นหาที่ไม่จำเป็น และเลือกโมเดลกับระดับการให้เหตุผลที่เหมาะสม ตัวเลขช่วงนี้เป็นผลลัพธ์ที่บริษัทรายงาน ไม่ใช่การรับประกันว่าทุกทีมจะประหยัดได้ในระดับดังกล่าว

ผลิตภัณฑ์นี้รองรับเวิร์กโฟลว์ที่ใช้เครื่องมือต่าง ๆ เช่น Claude Code, Cursor และ Codex ทีมงานสามารถกำหนดให้เอเจนต์เชื่อมต่อกับจุดปลายทางเดียวกัน แทนการเปลี่ยนสภาพแวดล้อมการเขียนโค้ดที่นักพัฒนาใช้อยู่แล้ว

เหตุใดการเขียนโค้ดต่อเนื่องเป็นเวลานานจึงอาจมีค่าใช้จ่ายสูงกว่าที่คาด

ราคาต่อโทเค็นเป็นเพียงส่วนหนึ่งของค่าใช้จ่ายที่เกิดจากเอเจนต์ ในการทำงานหนึ่งครั้งอาจมีการค้นหา อ่านไฟล์ แก้ไขโค้ด และทดสอบซ้ำหลายรอบ โดยบทสนทนาที่เกิดขึ้นจะถูกส่งไปพร้อมกับการเรียกใช้โมเดลครั้งถัด ๆ ไปด้วย ดังนั้น การอ่านไฟล์ขนาดใหญ่ตั้งแต่ช่วงต้นของงานจึงอาจส่งผลต่อค่าใช้จ่ายไปอีกนาน หลังจากที่เอเจนต์เปิดไฟล์นั้นครั้งแรก

Bito ยกตัวอย่างปัญหานี้ด้วยการทำงานหนึ่งครั้งของ Claude Code ซึ่งการค้นหาต่าง ๆ ส่งคืนโทเค็นประมาณ 65,000 โทเค็น บริษัทระบุว่าเมื่อสิ้นสุดการทำงาน การประมวลผลบริบทที่สะสมไว้ซ้ำหลายครั้งทำให้ยอดรวมของการทำงานครั้งนั้นเพิ่มเป็น 6 ล้านโทเค็น ตัวเลขเหล่านี้มาจากการทำงานหนึ่งครั้งที่มีการวัดผล ไม่ใช่ค่าใช้จ่ายโดยทั่วไปของงานเขียนโค้ดทุกงาน

การแคชพรอมป์ต์ช่วยลดค่าใช้จ่ายของข้อมูลนำเข้าที่ใช้ซ้ำได้ แต่โทเค็นที่แคชไว้กับโทเค็นที่ประมวลผลใหม่มีราคาแตกต่างกัน นั่นหมายความว่าค่าใช้จ่ายรวมขึ้นอยู่กับวิธีทำงานของเอเจนต์ บริบทที่เอเจนต์เก็บไว้ และการเปลี่ยนโมเดลจะรักษาหรือทำให้สถานะแคชที่มีประโยชน์สูญหายไปหรือไม่

“การเลือกโมเดลที่เหมาะสมเป็นเรื่องสำคัญ แต่ค่าใช้จ่ายที่เกิดจากเอเจนต์ค้นหาโค้ดและส่งทุกอย่างที่เคยเห็นไปซ้ำก็สำคัญไม่แพ้กัน” Amar Goel ผู้ร่วมก่อตั้งและซีอีโอของ Bito กล่าวในประกาศ

กลไกทำความเข้าใจบริบทของโค้ดช่วยลดการสำรวจซ้ำ

Governor จัดทำกราฟโค้ดของบริษัทที่อัปเดตอยู่ตลอด เมื่อเอเจนต์ต้องตรวจสอบโค้ดเบส Bito ระบุว่า Governor สามารถค้นคว้าด้วยโมเดลขนาดเล็กที่ทำงานได้เร็วกว่า แล้วส่งคำตอบที่สรุปสาระสำคัญพร้อมบริบทโค้ดที่เกี่ยวข้องกลับมา

การประหยัดค่าใช้จ่ายที่คาดหวังเกิดจากการหลีกเลี่ยงการสำรวจซ้ำด้วยโมเดลแนวหน้า และไม่นำผลการค้นหาที่ไม่จำเป็นเข้าไปในบทสนทนาของเอเจนต์หลัก การส่งคำตอบที่ตรงประเด็นกลับมาช่วยเปลี่ยนปริมาณบริบทที่ถูกส่งต่อไปยังการเรียกใช้ครั้งถัด ๆ ไป ไม่ใช่แค่ราคาของการค้นหาครั้งแรก

เอกสารประกอบแพลตฟอร์มของ Bito อธิบายรายละเอียดเพิ่มเติมเกี่ยวกับกราฟเบื้องหลัง โดยจัดทำดัชนีสัญลักษณ์ โครงสร้างบริการ การพึ่งพากัน และความสัมพันธ์ระหว่างที่เก็บโค้ดต่าง ๆ พร้อมทั้งบริบทจากแหล่งข้อมูลต่าง ๆ เช่น ระบบติดตามปัญหา เอกสารการออกแบบ และการหารือด้านวิศวกรรม นอกจากนี้ ยังทำแผนผังสคีมาฐานข้อมูล รูปแบบสถาปัตยกรรม และบริบทการปรับใช้ระบบด้วย

ด้วยเหตุนี้ ผลิตภัณฑ์จึงค้นหาข้อมูลได้กว้างกว่าการจับคู่ข้อความที่ตัดตอนมา คำถามเกี่ยวกับการเปลี่ยนแปลงระบบยืนยันตัวตนอาจต้องระบุว่าบริการใดเป็นเจ้าของอินเทอร์เฟซ มีส่วนใดเรียกใช้งานและพึ่งพาอินเทอร์เฟซนั้นบ้าง รวมถึงเหตุผลเบื้องหลังการตัดสินใจด้านการออกแบบครั้งก่อน การเชื่อมโยงความสัมพันธ์เหล่านี้อาจช่วยให้เอเจนต์ตรวจสอบผลกระทบก่อนเสนอแก้ไขโค้ด

สิ่งสำคัญคือผลลัพธ์ต้องเป็นหลักฐานที่นำไปใช้ได้จริง บทนำเกี่ยวกับ Governorของ Bito อธิบายถึงคำตอบจากการค้นคว้าที่กระชับและเชื่อมโยงกับไฟล์และบรรทัดที่เกี่ยวข้อง ทำให้เอเจนต์หลักมีข้อมูลอ้างอิงจากโค้ดเบสจริงสำหรับใช้ประกอบขั้นตอนถัดไป

การกำหนดเส้นทางขึ้นอยู่กับงานและแคช

Governor ยังเลือกโมเดลและระดับการให้เหตุผลตามงานที่กำลังทำอยู่ด้วย Bito ระบุว่าระบบพิจารณาประเภทของงาน ผลกระทบจากคำตอบที่ตื้นเขินหรือไม่ถูกต้อง เจตนาของผู้ใช้ และแคชที่สร้างไว้แล้วระหว่างการทำงาน

บริบทดังกล่าวมีความสำคัญเมื่อข้อความสั้น ๆ แฝงคำสั่งที่มีขอบเขตกว้าง “ดำเนินการต่อได้เลย” อาจเป็นการอนุมัติให้ลงมือทำตามแผนที่ซับซ้อน แม้ตัวข้อความจะมีเพียงไม่กี่คำ เราเตอร์ที่ใช้ความยาวของข้อความเป็นตัวแทนความยากของงานจึงอาจไม่เข้าใจสิ่งที่นักพัฒนาต้องการให้เอเจนต์ทำจริง ๆ

Bito อธิบายว่า Governor ตัดสินใจเลือกเส้นทางตั้งแต่เริ่มคำขอใหม่จากนักพัฒนา และคงตัวเลือกนั้นไว้ขณะที่เอเจนต์ดำเนินงานจนเสร็จ นอกจากนี้ ระบบยังประเมินด้วยว่าค่าใช้จ่ายที่อาจประหยัดได้จากการเปลี่ยนโมเดลคุ้มกับการสูญเสียประโยชน์จากแคชที่มีอยู่แล้วหรือไม่

ดังนั้น โมเดลที่ราคาถูกกว่าจึงไม่ได้หมายความว่าการเรียกใช้ครั้งถัดไปจะมีค่าใช้จ่ายต่ำที่สุดเสมอไป แคชที่ยังพร้อมใช้งานในโมเดลราคาสูงกว่าอาจทำให้ผลการคำนวณเปลี่ยนไป โดยเฉพาะเมื่อบทสนทนายาวอยู่แล้ว การตั้งค่าการให้เหตุผลก็เป็นอีกปัจจัยหนึ่ง งานที่ต้องวิเคราะห์เชิงลึกอาจคุ้มค่ากับการใช้การประมวลผลเพิ่มเติม ขณะที่ขั้นตอนทั่วไปอาจไม่จำเป็นต้องใช้

การออกแบบการนำ Governor ไปใช้งานมีเป้าหมายเพื่อให้เวิร์กโฟลว์ที่มีอยู่ยังคงดำเนินต่อไปได้ Bito ระบุว่ารองรับ API ที่เข้ากันได้กับ Anthropic และ OpenAI ทำงานโดยใช้คีย์ผู้ให้บริการของทีม และใช้งานควบคู่กับเกตเวย์ที่มีอยู่ได้ ข้อมูลนี้อธิบายถึงชั้นการกำหนดเส้นทาง แต่ทีมยังต้องตั้งค่าเอเจนต์และสิทธิ์เข้าถึงผู้ให้บริการที่ต้องการใช้งานด้วย

Privado รายงานว่าต้นทุนลดลงและใช้ขั้นตอนน้อยลง

ในตัวอย่างจากลูกค้าที่เผยแพร่พร้อมประกาศ บริษัทซอฟต์แวร์ด้านความเป็นส่วนตัว Privado ได้ทดสอบแบบควบคุมกับงานวิศวกรรมของบริษัทใน Claude Code โดย Bito รายงานว่าต้นทุนต่องานลดลงจาก $4.12 เหลือ $2.14 หรือลดลง 48% ขณะที่เอเจนต์ใช้ 23 ขั้นตอนต่องาน แทนที่จะเป็น 47 ขั้นตอน

บริษัทระบุว่าคุณภาพยังคงเท่าเดิม และทำงานเสร็จเร็วขึ้น 38% เว็บไซต์ของ Bito ระบุว่าการเปรียบเทียบแบบ A/B กับลูกค้าครอบคลุมงานวิศวกรรม 40 งาน โดยใช้ชุดงาน โมเดล และชุดเครื่องมือทดสอบเดียวกัน และเปลี่ยนเฉพาะการใช้ Governor

รายละเอียดเหล่านี้ทำให้ผลลัพธ์มีข้อมูลประกอบมากกว่าคำกล่าวอ้างกว้าง ๆ เรื่องการประหยัดต้นทุน แต่ก็ยังมีข้อจำกัดในการนำไปใช้สรุปผลในบริบทอื่น คลังเก็บโค้ด ชุดงาน การจัดเตรียมผู้ให้บริการ หรือโมเดลตั้งต้นที่แตกต่างกัน อาจทำให้เกิดความสมดุลระหว่างการดึงข้อมูล การใช้แคช และต้นทุนการประมวลผลเชิงเหตุผลที่แตกต่างกัน

Bito ยังเผยแพร่งานวิจัยเกี่ยวกับต้นทุนและคุณภาพของโมเดลเขียนโค้ดด้วย งานศึกษาในเดือนกันยายนของบริษัทกล่าวถึงการทดสอบโมเดล 29 รายการกับงานวิศวกรรม 60 งาน โดยมีคำตอบที่ผ่านการประเมิน 1,740 รายการ งานบางส่วนได้รับการตรวจสอบด้วยการเรียกใช้โค้ดหรือตรวจจับข้อบกพร่องที่จงใจใส่ไว้ ส่วนงานอื่น ๆ ใช้ผู้ตัดสินที่เป็น AI ประเมินตามเกณฑ์ที่กำหนดไว้ก่อนเริ่มการทดสอบ งานศึกษาโมเดลในวงกว้างนี้แยกต่างหากจากการเปรียบเทียบกับลูกค้า Privado

ระบบควบคุมช่วยให้ทีมทดสอบการกำหนดเส้นทางก่อนเปลี่ยนการรับส่งคำขอ

Governor มีการตั้งค่าแบบคุณภาพ สมดุล และประหยัดต้นทุน รวมถึงโหมดเงาที่บันทึกว่า Governor จะกำหนดเส้นทางการรับส่งคำขอของทีมอย่างไร โดยไม่เปลี่ยนวิธีจัดการคำขอจริง วิธีนี้ช่วยให้ผู้นำฝ่ายวิศวกรรมตรวจสอบการตัดสินใจที่ระบบเสนอไว้ก่อนเปิดใช้งานได้

มาตรการป้องกันเพิ่มเติมประกอบด้วยเพดานราคาสูงสุดแบบตายตัว ข้อจำกัดในการกำหนดเส้นทางไปยังโมเดลที่มีราคาแพงกว่าโดยไม่ได้รับอนุญาต และการเปลี่ยนกลับไปใช้โมเดลที่ร้องขอไว้หากเกิดปัญหา ระบบจะบันทึกการตัดสินใจกำหนดเส้นทางพร้อมเหตุผลประกอบ

Bito วางแผนขยายการใช้งาน Governor ให้ครอบคลุมมากกว่าเอเจนต์เขียนโค้ด สำหรับตอนนี้ การเปิดตัวนี้มุ่งแก้ปัญหาทางวิศวกรรมที่ชัดเจน นั่นคือต้นทุนจากการสำรวจซ้ำและการเรียกใช้โมเดลหลายครั้งระหว่างการพัฒนาซอฟต์แวร์เป็นเวลานาน

ตัวชี้วัดที่มีประโยชน์คือ ต้นทุนในการทำงานให้สำเร็จ ควบคู่ไปกับคุณภาพและเวลาที่ต้องใช้ ข้อเสนอของ Governor คือ ทีมสามารถปรับปรุงตัวชี้วัดนี้ได้ด้วยการให้บริบทที่ดีขึ้นแก่เอเจนต์ และจัดสรรความสามารถของโมเดลอย่างรอบคอบยิ่งขึ้น โดยไม่ต้องขอให้นักพัฒนาละทิ้งเครื่องมือที่ใช้อยู่แล้ว