Con người đang nỗ lực hết mình khi AI tăng tốc việc giao phần mềm

Trong phần lớn lịch sử phát triển phần mềm, con người luôn là người kiểm soát. Một nhà phát triển thực hiện một thay đổi, người khác xem xét, người nào đó phê duyệt, và cuối cùng nó được triển khai.

AI đang tăng tốc toàn bộ hệ thống này trong khi chúng ta vẫn cố gắng giữ con người ở trung tâm. Các nhà phát triển giờ có thể tạo mã và thay đổi trong vài giây. Các tác nhân có thể làm việc trên các kho mã, công cụ, hạ tầng và các hệ thống khác với ít sự tham gia của con người hơn.

Th instinct của chúng tôi là đưa con người trở lại vào quy trình. Chúng tôi xem xét pull request, phê duyệt lời gọi công cụ, kiểm tra thay đổi và xác nhận triển khai vì muốn chắc chắn AI không thực hiện điều gì không nên. Chúng tôi đang nắm chặt sinh mạng.

Th instinct đó là hợp lý. Việc xem xét của con người đã cung cấp cho chúng tôi cách duy trì kiểm soát khi phần mềm tiến tới giai đoạn sản xuất. Nhưng AI đang bắt đầu hoạt động với tốc độ và khối lượng mà con người không thể còn là đơn vị quy mô cho việc quản trị.

AI đã nhanh hơn so với việc kiểm tra của con người

Đợt sóng đầu tiên của AI sinh tạo trong phát triển phần mềm tập trung chủ yếu vào việc giúp các nhà phát triển viết mã nhanh hơn. Điều đó tự nó đã thay đổi cách giao phần mềm. Nhiều mã hơn đồng nghĩa với nhiều thay đổi ứng dụng, hạ tầng và cơ sở dữ liệu, đi qua các giai đoạn kiểm thử, bảo mật, xem xét, triển khai và sản xuất.

Vấn đề không nhất thiết là AI tạo ra những thay đổi kém hơn. Nó tạo ra nhiều thay đổi hơn, nhanh hơn. Nếu việc kiểm soát toàn bộ đầu ra mới này vẫn phải dựa vào một người khác xem xét mọi thay đổi, cuối cùng phép tính sẽ không còn hợp lý.

Chúng tôi đã bắt đầu thấy các dấu hiệu của điều đó. Anthropic gần đây báo cáo rằng người dùng Claude Code phê duyệt khoảng 93% các lời nhắc quyền. Công ty phát hiện rằng các lời nhắc lặp lại có thể gây mệt mỏi trong việc phê duyệt, khiến mọi người chú ý ít hơn khi số lượng phê duyệt tăng lên. Anthropic hiện đang sử dụng một bộ phân loại tự động để đánh giá các hành động và ngăn chặn những hành động có thể nguy hiểm thay vì yêu cầu một người phê duyệt mọi thứ.

Hãy suy nghĩ về những gì điều này nói về giám sát của con người. Nếu ai đó nhấn phê duyệt 93% thời gian, việc thêm một lần phê duyệt nữa không nhất thiết mang lại nhiều kiểm soát hơn. Ở một thời điểm nào đó, con người trở thành một bước nữa trong quy trình làm việc.

Chúng ta có thể sử dụng AI để tạo ra nhiều phần mềm hơn. Tuy nhiên chúng ta không thể đáp trả bằng cách tạo ra một hoạt động kiểm tra con người cùng quy mô phía sau nó.

AI đang chuyển từ việc tạo mã sang thực hiện hành động

Trợ lý viết mã đã mang lại cho AI một vai trò trong phát triển. Các tác nhân cho phép AI tham gia vào nhiều hơn trong vòng đời phát triển phần mềm (SDLC). Một tác nhân có thể nhận mục tiêu, quyết định cách thực hiện, sử dụng công cụ, quan sát kết quả và điều chỉnh những gì nó làm tiếp theo.

Trong kỹ thuật phần mềm, điều đó có thể nghĩa là sửa đổi tệp, chạy lệnh, tương tác với các kho mã, gọi API, kiểm thử mã, hoặc làm việc với hạ tầng. Mọi người cũng ngày càng thoải mái hơn khi để các tác nhân tự hoạt động. Trong một nghiên cứu về hàng triệu tương tác giữa con người và tác nhân, Anthropic đã phát hiện rằng người dùng Claude Code có kinh nghiệm đã sử dụng việc tự động phê duyệt toàn bộ trong hơn 40% các phiên, khoảng gấp đôi tỷ lệ của người dùng mới.

Điều đó không có nghĩa là các tác nhân tự động đang vận hành môi trường sản xuất ở mọi nơi ngày nay. Chúng không phải như vậy. Tuy nhiên, phát triển phần mềm cung cấp cho chúng ta cái nhìn sớm về hướng đi của công nghệ này.

Hôm nay, AI tạo ra nhiều thay đổi hơn, và việc kiểm tra của con người bắt đầu căng thẳng. Tiếp theo, AI sẽ tham gia vào nhiều hơn các giai đoạn của SDLC. Cuối cùng, các tác nhân sẽ tạo, xác thực, triển khai, quan sát và khắc phục các thay đổi với ít sự tham gia của con người hơn rất nhiều.

Ở mỗi bước, chúng ta đang loại bỏ một vị trí khác mà trước đây con người cung cấp kiểm soát. Câu hỏi chuyển từ việc AI có thể thực hiện công việc hay không sang việc AI nên được phép tự thực hiện những gì.

Quyền truy cập không đồng nghĩa với Thẩm quyền

Các tác nhân cần quyền truy cập để thực hiện công việc hữu ích. Một tác nhân hỗ trợ triển khai phần mềm có thể cần quyền truy cập vào một kho mã, hệ thống CI/CD, môi trường đám mây hoặc cơ sở dữ liệu. Nếu thu hồi quyền truy cập đó, bạn cũng đồng thời mất đi phần lớn những gì làm cho tác nhân trở nên hữu ích.

Tuy nhiên, quyền truy cập và thẩm quyền không phải là cùng một khái niệm. Việc cấp quyền cho một tác nhân tiếp cận một hệ thống không có nghĩa là nó nên có thẩm quyền thực hiện mọi hành động có sẵn trong hệ thống đó.

Kiểm soát truy cập truyền thống có thể cho chúng ta biết liệu một tác nhân có quyền tiếp cận một thứ gì đó hay không. Chúng ta cũng cần một cách để xác định liệu hành động cụ thể mà nó muốn thực hiện có nên diễn ra hay không. Điều này trở nên quan trọng hơn khi hệ thống đưa ra quyết định có thể diễn giải một nhiệm vụ khác với người giao nhiệm vụ, gặp trở ngại và chọn một con đường khác, hoặc sử dụng một công cụ hợp pháp theo cách mà không ai dự đoán.

OWASP mô tả một phiên bản của vấn đề này là Quá mức đại lý. Nó chỉ ra tính năng, quyền và mức độ tự chủ quá mức là nguyên nhân gây ra các hành động gây hại và khuyến nghị phê duyệt độc lập cho các hành động có tác động lớn.

NVIDIA đang giải quyết cùng một vấn đề ở mức kiến trúc. Nền tảng An toàn Đại lý Mở của họ đặt việc thực thi chính sách bên ngoài tác nhân và đưa ra một quan điểm đơn giản: không thể kỳ vọng một tác nhân tự quản lý hoàn toàn hành vi của mình.

Điều đó nên định hình cách chúng ta xây dựng AI SDLC. Một tác nhân có thể cần quyền truy cập vào cơ sở dữ liệu, môi trường hạ tầng hoặc hệ thống triển khai. Điều đó không có nghĩa là tác nhân nên tự quyết định mọi thay đổi mà nó muốn thực hiện là an toàn.

AI đưa ra quyết định dựa trên xác suất. Chúng ta không nên để mọi quyết định đó tự động trở thành hành động đối với một hệ thống quan trọng.

Con Người trong Vòng Lặp Không Thể Là Câu Trả Lời Toàn Bộ

Phản ứng hiển nhiên là giữ một người ở trước các hành động AI có hậu quả. Đối với một số quyết định, đó chính là việc chúng ta nên làm. Sai lầm là biến “con người trong vòng lặp” thành câu trả lời cho mọi quyết định.

Nếu mọi hành động mà một tác nhân thực hiện đều yêu cầu ai đó xem xét và nhấn duyệt, chúng ta đã tạo lại nút thắt mà AI vốn được kỳ vọng sẽ loại bỏ. Thậm chí, quá nhiều lần duyệt có thể biến việc giám sát thành thói quen. Một người nhấn duyệt suốt ngày không nhất thiết đang thực hiện phán đoán.

Chúng ta cần cân nhắc kỹ hơn nơi các quyết định diễn ra. AI có thể đưa ra quyết định trong phạm vi công việc mà chúng ta giao. Chính sách có thể xử lý các quyết định mà các quy tắc đã được xác định. Con người có thể xử lý các ngoại lệ và những quyết định thực sự đòi hỏi phán đoán.

Một thay đổi có rủi ro thấp đáp ứng chính sách đã thiết lập không nên cần ai đó nhìn chằm chằm vào nó. Một thay đổi vi phạm chính sách nên bị dừng tự động. Một ngoại lệ có hậu quả thực tế về kinh doanh, bảo mật hoặc vận hành có thể cần một người đưa ra quyết định.

Đó là một mô hình rất khác so với việc chỉ đơn giản đặt con người vào mọi vòng lặp. Mục tiêu không phải là loại bỏ con người. Mục tiêu là ngừng để sự chú ý của con người trở thành yếu tố quyết định cho mọi hành động và làm cho con đường được quản lý trở thành con đường dễ nhất.

Đặt Kiểm Soát Ở Nơi Hành Động Xảy Ra

Doanh nghiệp sẽ không chuẩn hoá một mô hình AI hay một tác nhân duy nhất. Các nhà phát triển sẽ sử dụng các trợ lý lập trình khác nhau. Các đội sẽ thử nghiệm các mô hình khác nhau. AI sẽ xuất hiện trong công cụ phát triển, sản phẩm bảo mật, nền tảng dữ liệu và các ứng dụng nội bộ.

Cố gắng xây dựng một quy trình quản trị khác nhau cho mỗi công cụ AI sẽ không mở rộng được. Kiểm soát cần nằm gần hơn với hành động mà AI muốn thực hiện.

Nếu một thay đổi do AI tạo ra đi vào pipeline triển khai, nó nên phải đối mặt với cùng các chính sách như một thay đổi do con người tạo ra. Nếu một tác nhân muốn sửa đổi hạ tầng, dữ liệu hoặc cơ sở dữ liệu sản xuất, các kiểm soát quanh hệ thống đó không nên biến mất chỉ vì người thực hiện đã thay đổi.

Nguồn gốc của thay đổi không quyết định rủi ro. Chính thay đổi đó mới quyết định. Một nhà phát triển, trợ lý mã, quy trình tự động hoặc tác nhân tự chủ có thể đi theo một con đường khác để đạt cùng một hành động, nhưng hành động đó vẫn có thể phải chịu cùng một chính sách trước khi trở nên có hậu quả.

Điều này cũng cho phép công nghệ thay đổi mà không buộc các công ty phải xây dựng lại quản trị mỗi khi có thay đổi. Các mô hình sẽ thay đổi. Các tác nhân sẽ trở nên mạnh mẽ hơn. Các kiểm soát quanh các hệ thống quan trọng có thể vẫn giữ nguyên nhất quán.

NIST áp dụng một cách tiếp cận dựa trên rủi ro tương tự trong Khung Quản lý Rủi ro AI, coi quản trị là thứ phải hoạt động xuyên suốt vòng đời AI thay vì chỉ là một phê duyệt duy nhất ở cuối. Đối với việc giao phần mềm, điều này có nghĩa là đưa các kiểm soát vào con đường mà AI đã đi thay vì gắn thêm một quy trình thủ công khác lên trên.

Khi Con Người Rời Đi, Bằng Chứng Không Thể Rời Cùng Họ

Có một vấn đề khác ẩn sau mô hình xem xét của con người. Khi bạn loại bỏ người khỏi quy trình, bạn không chỉ mất việc xem xét. Bạn còn có thể mất người đã giúp chứng minh rằng việc xem xét đã xảy ra.

Điều này trở thành một vấn đề nghiêm trọng đối với các công ty có yêu cầu về bảo mật, tuân thủ và kiểm toán. Họ vẫn cần biết những gì đã thay đổi, ai hoặc gì đã khởi xướng, chính sách nào đã áp dụng, liệu nó có vượt qua hay không, ai đã duyệt ngoại lệ, thay đổi đã chạy ở đâu và những gì đã xảy ra sau đó.

Bạn không thể tự động hoá thay đổi và để bằng chứng vẫn ở dạng thủ công. Trong một quy trình do con người điều hành, các đội có thể tái tạo bằng chứng sau này từ các ticket, phê duyệt, nhật ký pipeline, ảnh chụp màn hình và các cuộc trò chuyện. Cách tiếp cận này trở nên khó khăn hơn khi khối lượng thay đổi tăng và trở nên không thực tế khi máy móc tạo và thực thi thay đổi liên tục.

Bằng chứng cần trở thành một phần của quy trình giao phần mềm. Các quyết định chính sách, phê duyệt, ngoại lệ, triển khai và kết quả nên tạo ra hồ sơ ngay khi công việc diễn ra. Bằng chứng kiểm toán trở thành sản phẩm phụ của việc giao phần mềm thay vì là thứ các đội phải tập hợp sau khi công việc đã hoàn thành.

Điều đó để lại hai công việc khác nhau cho quản trị trong một AI‑driven SDLC. Trước một hành động, xác định liệu nó có nên diễn ra hay không. Sau hành động, chứng minh những gì đã xảy ra.

Con Người Không Sẽ Biến Mất. Công Việc Của Chúng Ta Đang Thay Đổi.

Có một bản năng dễ hiểu là đo lường kiểm soát bằng số lần một người tham gia. Nhiều lần xem xét cảm thấy an toàn hơn. Nhiều lần phê duyệt cảm thấy an toàn hơn. Giữ một con người trong mọi vòng lặp cảm thấy an toàn hơn.

AI sẽ thử thách giả định đó. Nếu AI tiếp tục tăng lượng phần mềm chúng ta có thể tạo ra, con người sẽ không thể xem xét mọi thay đổi, phê duyệt mọi hành động, giám sát mọi triển khai và tái tạo mọi quyết định sau này. Cố gắng làm như vậy sẽ hoặc làm chậm lại AI hoặc biến việc giám sát của con người thành một con dấu bìa.

Quy trình phát triển phần mềm AI (AI SDLC) cần một cách phân chia công việc khác. AI có thể xử lý nhiều công việc hơn trong khi chính sách quản lý các quyết định lặp lại và con người can thiệp khi có việc thực sự cần phán đoán. Bằng chứng nên được tạo ra tự động trong quá trình này.

Chúng ta sẽ cấp cho AI nhiều quyền truy cập hơn vì đó là cách nó trở nên hữu ích. Chúng ta sẽ cấp cho các tác nhân nhiều quyền tự chủ hơn vì đó là cách chúng ta khai thác được nhiều lợi thế từ chúng. Thách thức là đảm bảo rằng việc tăng quyền truy cập và tự chủ không âm thầm biến thành quyền lực không giới hạn.

Con người không cần phải siết chặt hơn. Mục tiêu không phải là giảm kiểm soát. Đó là một mô hình kiểm soát không phụ thuộc vào việc chúng ta phải nắm giữ mọi quyết định. Chúng ta cần xây dựng các cơ chế cho phép chúng ta nới lỏng tay mà không mất kiểm soát.