Bito ra mắt Governor, giúp giảm chi phí của tác nhân lập trình nhờ ngữ cảnh và điều phối mô hình

Một tác nhân lập trình có thể dành phần lớn thời gian trong một phiên để tìm đúng tệp trước khi tạo ra thay đổi hữu ích. Mỗi lần tìm kiếm lại bổ sung ngữ cảnh có thể được gửi trở lại mô hình ở các lượt tiếp theo, khiến một tác vụ nhỏ dần kéo theo hóa đơn suy luận ngày càng lớn. Bito nhắm đến cả hai nguồn chi phí này với Governor, một bộ định tuyến mô hình mới kết hợp ngữ cảnh của kho mã với quyết định chọn mô hình phù hợp để xử lý công việc.

Ra mắt ngày 27 tháng 10, Governor nằm giữa các tác nhân lập trình hiện có và những mô hình mà chúng gọi. Bito cho biết công cụ này có thể giảm 40% đến 70% chi phí tác nhân mà vẫn duy trì chất lượng, bằng cách cắt giảm ngữ cảnh tìm kiếm không cần thiết và lựa chọn mô hình cùng mức độ suy luận phù hợp. Mức tiết kiệm này do công ty báo cáo, chứ không phải khoản tiết kiệm được đảm bảo cho mọi nhóm.

Sản phẩm hỗ trợ quy trình làm việc với các công cụ như Claude Code, Cursor và Codex. Các nhóm hướng tác nhân của mình đến một điểm cuối chung thay vì thay thế môi trường lập trình mà nhà phát triển đang sử dụng.

Vì sao một phiên lập trình kéo dài có thể tốn kém hơn dự kiến

Giá mỗi token chỉ là một phần trong chi phí của tác nhân. Một phiên làm việc có thể bao gồm nhiều lần tìm kiếm, đọc tệp, chỉnh sửa và chạy thử nghiệm; nội dung hội thoại thu được sau đó lại được gửi kèm trong các lần gọi mô hình tiếp theo. Vì vậy, một tệp lớn được đọc từ đầu tác vụ có thể tiếp tục ảnh hưởng đến chi phí rất lâu sau khi tác nhân mở tệp lần đầu.

Bito minh họa vấn đề bằng một phiên Claude Code, trong đó các lượt tìm kiếm trả về khoảng 65.000 token. Theo công ty, đến cuối phiên, việc xử lý lặp lại ngữ cảnh đã tích lũy khiến tổng số token của phiên lên tới sáu triệu. Những con số này mô tả một phiên đã được đo lường, chứ không phải chi phí điển hình cho mọi tác vụ lập trình.

Bộ nhớ đệm lời nhắc có thể giúp giảm chi phí cho nội dung đầu vào được lặp lại, nhưng token trong bộ nhớ đệm và token mới được xử lý có mức giá khác nhau. Vì vậy, tổng chi phí phụ thuộc vào cách tác nhân hoạt động, lượng ngữ cảnh được giữ lại và việc đổi mô hình có duy trì hay làm mất trạng thái bộ nhớ đệm hữu ích hay không.

Trong thông báo, Amar Goel, đồng sáng lập kiêm CEO của Bito, cho biết: “Chọn đúng mô hình là điều quan trọng, nhưng chi phí để tác nhân tìm kiếm trong mã và gửi lại mọi thứ nó đã xem cũng quan trọng không kém.”

Công cụ xử lý ngữ cảnh mã giúp giảm việc thăm dò lặp lại

Governor duy trì một đồ thị trực tiếp về mã của công ty. Khi tác nhân cần khảo sát kho mã, Bito cho biết Governor có thể thực hiện việc đó bằng một mô hình nhỏ hơn, nhanh hơn, rồi trả về câu trả lời cô đọng cùng ngữ cảnh mã liên quan.

Khoản tiết kiệm dự kiến đến từ việc tránh thăm dò lặp lại bằng mô hình hàng đầu và không đưa các kết quả tìm kiếm không cần thiết vào cuộc hội thoại của tác nhân chính. Việc trả về câu trả lời tập trung làm thay đổi lượng ngữ cảnh được duy trì qua các lượt tiếp theo, chứ không chỉ giảm giá của lần tra cứu đầu tiên.

Tài liệu về nền tảng của Bito mô tả chi tiết hơn về đồ thị nền tảng này. Đồ thị lập chỉ mục các ký hiệu, cấu trúc liên kết dịch vụ, phần phụ thuộc và mối quan hệ giữa các kho mã, đồng thời kết hợp ngữ cảnh từ những nguồn như trình theo dõi vấn đề, tài liệu thiết kế và các cuộc thảo luận kỹ thuật. Đồ thị cũng ánh xạ lược đồ cơ sở dữ liệu, mô hình kiến trúc và ngữ cảnh triển khai.

Nhờ đó, phạm vi truy xuất của sản phẩm rộng hơn việc khớp các đoạn văn bản. Một câu hỏi về thay đổi xác thực có thể đòi hỏi xác định dịch vụ phụ trách một giao diện, các bên gọi phụ thuộc vào giao diện đó và lý do đằng sau một quyết định thiết kế trước đây. Việc kết nối những mối quan hệ này có thể giúp tác nhân khảo sát tác động trước khi đề xuất mã.

Điều quan trọng là kết quả phải cung cấp bằng chứng hữu ích. Phần giới thiệu Governor của Bito mô tả các câu trả lời nghiên cứu ngắn gọn, gắn với tham chiếu tệp và dòng mã, giúp tác nhân chính có cơ sở dựa vào mã thực tế trong bước tiếp theo.

Việc điều phối phụ thuộc vào tác vụ và bộ nhớ đệm

Governor cũng chọn mô hình và mức độ suy luận dựa trên công việc đang thực hiện. Bito cho biết công cụ cân nhắc loại tác vụ, hậu quả của một câu trả lời hời hợt hoặc không chính xác, ý định của người dùng và bộ nhớ đệm đã được tạo trong phiên.

Ngữ cảnh này rất quan trọng khi một tin nhắn ngắn hàm chứa một chỉ dẫn lớn. “Cứ tiến hành đi” có thể cho phép triển khai một kế hoạch phức tạp, dù bản thân tin nhắn chỉ có rất ít chữ. Một bộ định tuyến xem độ dài tin nhắn là thước đo độ khó có thể không nhận ra chính xác nhà phát triển đang yêu cầu tác nhân làm gì.

Bito mô tả Governor là công cụ đưa ra quyết định điều phối khi bắt đầu mỗi yêu cầu mới của nhà phát triển và duy trì lựa chọn đó trong suốt quá trình tác nhân xử lý tác vụ. Công cụ cũng cân nhắc liệu khoản tiết kiệm tiềm năng từ việc đổi mô hình có đáng để đánh đổi lợi ích của bộ nhớ đệm hiện có hay không.

Vì vậy, mô hình rẻ hơn không đồng nghĩa lần gọi tiếp theo sẽ có chi phí thấp nhất. Bộ nhớ đệm sẵn có trên một mô hình đắt hơn có thể làm thay đổi phép tính, đặc biệt khi cuộc hội thoại đã kéo dài. Cài đặt suy luận lại bổ sung một biến số khác: tác vụ cần phân tích sâu hơn có thể xứng đáng với mức tính toán bổ sung, trong khi một bước thường lệ thì có thể không cần.

Thiết kế triển khai của Governor nhằm duy trì các quy trình làm việc hiện có. Bito cho biết sản phẩm hỗ trợ các API tương thích với Anthropic và OpenAI, sử dụng khóa của nhà cung cấp mà nhóm có và có thể hoạt động song song với một cổng kết nối hiện có. Đây là mô tả về lớp định tuyến; các nhóm vẫn cần cấu hình những tác tử và quyền truy cập nhà cung cấp mà họ dự định sử dụng.

Privado ghi nhận chi phí thấp hơn và số bước ít hơn

Trong ví dụ khách hàng được cung cấp cùng thông báo ra mắt, công ty phần mềm bảo mật Privado đã tiến hành thử nghiệm có kiểm soát trên các tác vụ kỹ thuật của mình trong Claude Code. Bito cho biết chi phí mỗi tác vụ giảm từ $4.12 xuống còn $2.14, tức giảm 48%, trong khi tác tử chỉ cần 23 bước cho mỗi tác vụ thay vì 47.

Công ty cho biết chất lượng vẫn giữ nguyên và các tác vụ hoàn thành nhanh hơn 38%. Trang web của Bito cho biết phép so sánh A/B với khách hàng bao gồm 40 tác vụ kỹ thuật, sử dụng cùng tác vụ, mô hình và bộ công cụ thử nghiệm, trong đó Governor là yếu tố duy nhất thay đổi.

Những chi tiết này giúp kết quả có ý nghĩa hơn một tuyên bố tiết kiệm chung chung, đồng thời cho thấy vẫn có những giới hạn về khả năng khái quát hóa. Kho mã nguồn, cơ cấu tác vụ, cách bố trí nhà cung cấp hoặc mô hình ban đầu khác có thể dẫn đến sự cân bằng khác nhau giữa khả năng truy xuất, việc sử dụng bộ nhớ đệm và chi phí suy luận.

Bito cũng công bố nghiên cứu về chi phí và chất lượng của các mô hình lập trình. Nghiên cứu tháng 9 của công ty mô tả 29 mô hình được thử nghiệm trên 60 tác vụ kỹ thuật, với 1,740 câu trả lời được chấm điểm. Một số tác vụ được kiểm tra bằng cách chạy mã hoặc phát hiện lỗi được cài cắm; những tác vụ khác được đánh giá bằng một hệ thống AI theo các tiêu chí được soạn trước khi thử nghiệm. Nghiên cứu quy mô rộng hơn về các mô hình này tách biệt với phép so sánh khách hàng Privado.

Các biện pháp kiểm soát giúp nhóm thử nghiệm định tuyến trước khi thay đổi luồng yêu cầu

Governor cung cấp các chế độ Chất lượng, Cân bằng và Chi phí, cùng với chế độ chạy ngầm, ghi lại cách sản phẩm sẽ định tuyến lưu lượng của nhóm mà không thay đổi cách xử lý yêu cầu. Nhờ đó, lãnh đạo bộ phận kỹ thuật có thể xem xét các quyết định được đề xuất trước khi bật tính năng này.

Các biện pháp bảo vệ bổ sung bao gồm mức trần giá cứng, hạn chế định tuyến đến các mô hình đắt hơn nếu chưa được cho phép và chuyển về mô hình được yêu cầu nếu xảy ra sự cố. Các quyết định định tuyến được ghi lại kèm lý do.

Bito dự định mở rộng Governor ra ngoài phạm vi các tác tử lập trình. Hiện tại, sản phẩm giải quyết một vấn đề kỹ thuật cụ thể: chi phí phát sinh từ việc liên tục khám phá và gọi mô hình trong các phiên phát triển phần mềm kéo dài.

Thước đo hữu ích sẽ là chi phí để hoàn thành công việc thành công, xét cùng với chất lượng và thời gian cần thiết. Governor đưa ra quan điểm rằng các nhóm có thể cải thiện thước đo này bằng cách cung cấp cho tác tử ngữ cảnh tốt hơn và phân bổ năng lực mô hình có chủ đích hơn, mà không yêu cầu nhà phát triển từ bỏ những công cụ họ đang sử dụng.