Lãnh đạo tư tưởng

Vì sao cần tích hợp kiểm thử vào dây chuyền lắp ráp AI ngay từ đầu

Ole Lensmar
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhAI tăng tốc việc viết mã nhưng làm lộ điểm yếu ở khâu kiểm thử hạ nguồn và giảm độ ổn…
Xem thêm
  • AI tăng tốc việc viết mã nhưng làm lộ điểm yếu ở khâu kiểm thử hạ nguồn và giảm độ ổn định khi giao hàng.
  • Các tác nhân tự đánh giá bài kiểm thử của chính mình có thể gian lận bằng cách sửa các bài kiểm thử thất bại thay vì sửa mã.
  • Kiểm thử phải là một trạm riêng biệt bên ngoài CI để mọi thay đổi đều đối mặt với cùng một phán quyết.

Tôi đã xây dựng các công cụ kiểm thử hơn hai mươi năm, và trong phần lớn thời gian đó, những cuộc trò chuyện của tôi với các nhóm kỹ thuật thường khá giống nhau. Người kiểm thử cảm thấy mình là thành viên hạng hai trong vòng đời phát triển phần mềm. Việc kiểm thử thường diễn ra muộn, thường bị dồn vào khoảng thời gian còn lại trước khi phát hành, rồi được đưa vào một quy trình CI vốn được xây dựng cho mục đích khác. AI hiện đã làm thay đổi cách chúng ta viết mã, và điều đó chắc chắn tác động đến việc kiểm thử, cả theo hướng tích cực lẫn tiêu cực. Xét trên nhiều phương diện, AI khiến thách thức này trở nên rõ ràng hơn.

Trong vài tháng qua, tôi đã tham dự một số hội nghị về kiểm thử và kiến trúc ứng dụng đám mây, gồm LeadDev, CloudX và StarWest. Gần như mọi nhóm tôi trò chuyện đều đang thực hiện một phiên bản nào đó của cùng một dự án: vòng đời phát triển phần mềm vận hành bằng AI, trong đó các tác nhân đảm nhận công việc từ bản đặc tả cho đến khi sản phẩm chạy trong môi trường thực tế, với mức độ tham gia phù hợp của con người ở từng giai đoạn. Tôi hình dung quy trình đó như một dây chuyền lắp ráp. Các tác nhân viết mã, những tác nhân khác rà soát mã, còn các quy trình tự động thì xây dựng và triển khai phần mềm. Con người theo dõi mọi việc. Điều tôi ít nghe nói đến hơn nhiều là kiểm thử nằm ở đâu trên dây chuyền đó.

Chưa ai tìm ra lời giải

Hiện tại, mọi thứ vẫn khá hỗn độn, chưa có quy tắc rõ ràng. Các tác nhân có thêm năng lực mới vài tuần một lần, những phòng thí nghiệm AI lớn liên tục phát hành mô hình mới, còn cả các nhóm lẫn nhà cung cấp đều thử đủ cách để xem điều gì hiệu quả.

Một số dữ liệu cho thấy những khoảng trống đã bắt đầu lộ rõ. Báo cáo DORA mới nhất về phát triển phần mềm có AI hỗ trợ của Google, dựa trên khảo sát gần 5.000 chuyên gia công nghệ, cho thấy việc ứng dụng AI có liên quan đến năng suất bàn giao cao hơn, đây là tin tốt. Tuy nhiên, việc ứng dụng AI vẫn có liên quan đến độ ổn định khi bàn giao thấp hơn. Các nhà nghiên cứu giải thích rằng AI đẩy nhanh quá trình phát triển và làm lộ ra những điểm yếu ở các khâu phía sau; họ chỉ ra rằng kiểm thử tự động vững chắc là một trong những biện pháp kiểm soát giúp ngăn việc có thêm nhiều thay đổi dẫn đến bất ổn gia tăng.

Tôi không thấy điều đó đáng ngạc nhiên. Nếu bạn đẩy lượng mã lớn hơn nhiều qua một quy trình vốn được thiết kế để xử lý ít hơn đáng kể, thì ở đâu đó quy trình sẽ chậm lại hoặc gặp trục trặc.

Nhà phát triển làm việc nhanh hơn, nhưng phần lớn bản phát hành thì không

Khi hình dung những sự cố có thể xảy ra với mã do AI tạo ra, mọi người thường nghĩ đến cảnh một tác nhân đưa thứ gì đó tệ hại vào môi trường thực tế. Tôi chắc chắn điều đó có xảy ra, và khi xảy ra, hậu quả chẳng dễ chịu chút nào: lỗi, khách hàng không hài lòng, thậm chí có thể là sự cố bảo mật. Nhưng thành thật mà nói, đó không phải là điều tôi thường gặp nhất.

Khảo sát Nhà phát triển Stack Overflow năm 2026 cho thấy hiện nay AI được sử dụng tập trung ở những khâu nào. Các nhà phát triển chủ yếu dùng AI để tạo mã trong những lĩnh vực họ đã am hiểu (67%) và để gỡ lỗi (61%), trong khi chỉ 20% dùng AI để triển khai, vận hành hoặc khắc phục sự cố cho các hệ thống đang chạy trong môi trường thực tế. Cho đến nay, AI chủ yếu giúp tăng tốc độ viết mã. Việc xác minh mã đó và đưa vào môi trường thực tế phần lớn vẫn diễn ra như trước.

Điều này cũng phù hợp với những gì tôi đang chứng kiến: các nhóm tạo ra nhiều mã hơn đáng kể nhưng không phát hành nhanh hơn. Một nhà phát triển hoặc một nhóm có thể cảm thấy mình đang xây dựng số tính năng gấp đôi, nhưng các tính năng ấy lại mắc kẹt ở những khâu phía sau, chờ được rà soát, chờ kiểm thử, chờ có môi trường để kiểm thử. Tất cả lượng mã tăng thêm đó làm tắc nghẽn quy trình, và trong nhiều trường hợp, thậm chí còn khiến tiến độ bàn giao chung của các nhóm chậm lại.

Các câu hỏi về cơ chế bảo vệ đến từ các nhà quản lý

Mối lo ngại về tình trạng tắc nghẽn trong quá trình bàn giao do AI gây ra là rất thực tế, nhưng đó không phải là điều duy nhất các nhóm hỏi chúng tôi. Các nhà phát triển chủ yếu muốn biết cách viết mã tốt hơn với tốc độ nhanh hơn. Những câu hỏi về cơ chế bảo vệ đến từ các nhà quản lý kỹ thuật và những người thiết lập quy trình làm việc dựa trên tác nhân. Làm sao để chắc chắn các tác nhân không tự ý hành động ngoài dự kiến? Làm sao biết chúng không gây ra lỗi hồi quy hoặc âm thầm bỏ qua những việc lẽ ra phải làm? Làm sao đảm bảo các bài kiểm thử chúng viết thực sự (và đúng sự thật!) xác minh những gì cần xác minh?

Tôi nghĩ đó là vì họ đang nhìn vào những khía cạnh khác nhau. Một nhà phát triển xem xét từng yêu cầu kéo một. Còn nhà quản lý kỹ thuật chịu trách nhiệm về mọi thứ được phát hành bởi nhiều tác nhân và nhiều người, đồng thời cũng là người phải giải trình khi có sự cố xảy ra trong môi trường thực tế.

Và họ có lý do để thận trọng. Các nhà nghiên cứu đã xây dựng một bộ chuẩn đánh giá mang tên ImpossibleBench, sử dụng các tác vụ lập trình trong đó bài kiểm thử đơn vị mâu thuẫn với bản đặc tả, khiến gian lận trở thành cách duy nhất để vượt qua. Các mô hình hàng đầu thường làm đúng như vậy, chẳng hạn như chỉnh sửa hoặc xóa những bài kiểm thử thất bại thay vì sửa mã (!!). Một nghiên cứu về các yêu cầu kéo do tác nhân tạo ra riêng biệt phát hiện những hạn chế trong khả năng kiểm thử các thay đổi của chính tác nhân, đồng thời dẫn lại nghiên cứu trước đó cho thấy gần một phần ba số yêu cầu kéo do tác nhân tạo ra đã được hợp nhất cần tiếp tục sửa lỗi hoặc tái cấu trúc.

Điều tôi rút ra là cơ chế bảo vệ không thể chỉ tồn tại trong môi trường riêng của tác nhân, cũng không thể chỉ được áp dụng sau khi mã đã phát hành. Nếu tác nhân viết mã cũng là tác nhân quyết định mã đó có vượt qua kiểm thử hay không, thì kết quả chẳng cho bạn biết được bao nhiêu. Điều đó không có nghĩa là các tác nhân không nên viết bài kiểm thử. Mà có nghĩa là kết luận phải đến từ một nơi tác nhân không thể điều chỉnh. Kiểm thử cần là một trạm riêng trên dây chuyền, nơi mọi thay đổi đều phải đi qua, dù do con người hay tác nhân tạo ra.

Trạm kiểm thử đó cần những gì

Câu trả lời không phải là một loại hình kiểm thử hoàn toàn mới. Phần lớn những gì cần thiết vốn đã là điều các nhóm đảm bảo chất lượng (QA) luôn đề xuất. Chỉ là giờ đây, điều đó quan trọng hơn.

Cần rà soát độ chính xác của các bài kiểm thử dựa trên yêu cầu, giống như cách rà soát mã mà chúng kiểm thử. Các bài kiểm thử cũng cần chạy trong chính môi trường mà phần mềm vận hành. Một bài kiểm thử vượt qua trong môi trường hộp cát của tác nhân không cho bạn biết nhiều về môi trường thử nghiệm hay môi trường sản xuất; nó cũng có thể che khuất những phần phụ thuộc nào đã được giả lập — hoặc được giả lập như thế nào. Một nghiên cứu trên gần 180.000 tệp kiểm thử do tác nhân tạo ra cho thấy các tác nhân bao phủ nhiều trường hợp biên hơn so với các bài kiểm thử do con người viết, nhưng bài kiểm thử của chúng lại có nhiều dấu hiệu thiếu ổn định hơn, phần lớn vì các tác nhân không hiểu đủ về môi trường nơi những bài kiểm thử đó sẽ chạy. Chạy kiểm thử trên hạ tầng thực ngay từ sớm sẽ giúp phát hiện vấn đề này.

Các bài kiểm thử và kết quả của chúng cần được lưu lại. Nếu một tác nhân viết bài kiểm thử, tác nhân đó cần được cung cấp các bài kiểm thử hiện có cùng kết quả của chúng làm ngữ cảnh, để có thể học hỏi cả về độ bao phủ lẫn nguy cơ kết quả thiếu ổn định. Cần rà soát và quản lý phiên bản các bài kiểm thử như mọi đoạn mã khác, để chúng được chạy lại khi có thay đổi tiếp theo thay vì biến mất khi phiên làm việc kết thúc.

Một kết quả đạt yêu cầu phải mang cùng ý nghĩa bất kể ai yêu cầu, dù đó là quy trình tự động, nhà phát triển hay tác nhân. Điều đó có nghĩa là cùng một bộ kiểm thử, chạy trên cùng một hạ tầng, với kết quả được tập trung ở một nơi.

Và con người cần tiếp tục vận dụng khả năng phán đoán của mình. Tôi sẵn lòng giao cho các tác nhân xử lý những phần việc rập khuôn và kết nối các thành phần. Nhưng quyết định điều gì đáng được kiểm thử và một lỗi có ý nghĩa gì vẫn là công việc của con người (ít nhất là hiện tại…).

Điều này cũng có nghĩa là hoạt động kiểm thử không thể chỉ diễn ra trong CI/CD (nếu chỉ nhớ một điều trong bài viết này, hãy nhớ điều này!). Các quy trình CI được thiết kế để xây dựng và phát hành mã; chúng chưa bao giờ được tạo ra để chạy kiểm thử tự động trên quy mô lớn. Khi chuyển sang vòng đời phát triển phần mềm (SDLC) có tác nhân và lượng mã ngày càng tăng, CI càng trở nên kém phù hợp hơn với việc chạy kiểm thử. Kiểm thử cần trở thành một phần cốt lõi trong cách phân phối phần mềm, thay vì chỉ là một bước gắn vào cuối quy trình. Điều đó đòi hỏi phải điều phối hoạt động kiểm thử như một hệ thống độc lập, trên mọi công cụ và môi trường mà nhóm sử dụng, bất kể người điều khiển là tác nhân hay con người.

Bắt đầu từ đâu

Hầu hết các nhóm đã có những bài kiểm thử đáng tin cậy trong Playwright, Cypress, k6, Postman hoặc công cụ mà họ đã tiêu chuẩn hóa; đó là điểm khởi đầu rất tốt. Tôi đề xuất một vài việc sau:

  1. Vẽ sơ đồ quy trình hiện tại để theo dõi một thay đổi từ lúc có câu lệnh đến khi lên môi trường sản xuất, rồi đánh dấu mọi nơi có chạy kiểm thử. Nếu chỉ có một điểm, lại nằm gần cuối quy trình, tôi sẽ bắt đầu từ đó.
  2. Hãy thận trọng khi để các tác nhân âm thầm thay đổi những bài kiểm thử hiện có. Các nhà nghiên cứu của ImpossibleBench nhận thấy rằng việc hạn chế quyền truy cập vào bài kiểm thử đã giúp giảm hành vi gian lận của tác nhân. Khi tác nhân thực sự cần thay đổi một bài kiểm thử, thay đổi đó nên được gửi dưới dạng yêu cầu kéo (pull request) để một người rà soát, như với mọi đoạn mã khác.
  3. Hãy chạy kiểm thử trong các môi trường kiểm thử, tốt nhất là môi trường thực, thay vì trong hộp cát của tác nhân, và thực hiện càng sớm càng tốt — dù chỉ là một bộ kiểm thử khói nhỏ chạy trên môi trường thử nghiệm cho mỗi thay đổi do tác nhân tạo ra. Nếu dùng AI để viết kiểm thử, đừng chấp nhận bài kiểm thử nào trước khi nó được chạy trong môi trường đó.
  4. Tập trung kết quả kiểm thử vào một mặt phẳng điều khiển duy nhất — có thể là công cụ báo cáo, giải pháp APM hoặc nền tảng kiểm thử chuyên dụng. Hãy bảo đảm cả con người lẫn tác nhân đều có thể xem những kết quả này.
  5. Hãy đo lường kết quả phân phối phần mềm thay vì mức độ hoạt động. Số lượng yêu cầu kéo nói lên rất ít. Các chỉ số phân phối phần mềm của DORA, chẳng hạn như thời gian cần thiết để đưa thay đổi vào sản xuất và tỷ lệ thay đổi gây lỗi, cho bạn biết nhiều hơn về việc AI có đang tạo ra hiệu quả hay không.
  6. Hãy để các tác nhân sử dụng cùng hạ tầng kiểm thử với đội ngũ của bạn, để công việc của chúng được đánh giá theo cùng một tiêu chuẩn.

Lạc quan, nhưng có điều kiện

Tôi là người có cái nhìn lạc quan về AI, và tin rằng AI sẽ giúp các nhóm phát triển phần mềm có năng lực vượt trội hơn nhiều, đồng thời cuối cùng cũng nâng cao năng suất của họ. Nhưng để đạt được điều đó, các nhóm cần đủ tin tưởng vào sản phẩm do tác nhân tạo ra để đưa vào phát hành, đồng thời cần có cách tiếp cận toàn diện đối với hoạt động kiểm thử trong vòng đời phát triển phần mềm có tác nhân — nơi niềm tin ấy được xây dựng hoặc đánh mất.

Nếu đang hướng tới một vòng đời phát triển phần mềm có tác nhân, hiện nay hoạt động kiểm thử đóng vai trò gì trong đó?

Ole Lensmar là đồng sáng lập kiêm Giám đốc công nghệ của Testkube, nền tảng kiểm thử mở dành cho các nhóm kỹ thuật ứng dụng AI. Ông tạo ra SoapUI, một trong những công cụ kiểm thử API được sử dụng rộng rãi nhất, và trước đây từng giữ chức Chủ tịch OpenAPI Initiative.