Góc nhìn Anderson

Việc hạ cấp từ Claude Fable hầu như không ảnh hưởng đến năng suất lập trình trong thời gian bị cấm

Martin Anderson
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Workers at the AWA factory, Ashfield, NSW, 1936. Source: https://commons.wikimedia.org/wiki/File:AWA1936.jpg
Điểm chínhQuyền truy cập vào Claude Fable 5 có điểm số cao hơn chỉ làm tăng tỷ lệ hợp nhất thêm…
Xem thêm
  • Quyền truy cập vào Claude Fable 5 có điểm số cao hơn chỉ làm tăng tỷ lệ hợp nhất thêm 1,4 điểm phần trăm.
  • Năm bản nâng cấp Claude không tạo ra mức tăng đáng kể nào về các yêu cầu kéo đã được hợp nhất hoặc các thay đổi hoàn thành hàng tuần.
  • Điểm số đánh giá chuẩn có ý nghĩa rất ít khi các nhiệm vụ mà nhà phát triển giao phó đã nằm trong khả năng của các mô hình cũ hơn.

Rất khó đánh giá chính xác liệu các mô hình AI mới có cải thiện hiệu suất so với thế hệ trước hay không — thậm chí còn khó xác định thế nào mới được xem là cải thiện năng suất, bởi các phiên bản mới có thể hoạt động tốt hơn ở lĩnh vực này nhưng kém hơn ở lĩnh vực khác, tương tự như phần mềm và khung phần mềm thông thường. Đôi khi, đó là những sự đánh đổi có chủ ý do con người lựa chọn; đôi khi lại là “thiệt hại ngoài dự kiến”.

Điều đó giả định rằng các bên “chơi đẹp”. Có nhiều trường hợp nhà phát triển đã chỉnh sửa phần mềm để đạt kết quả tốt hơn trong các bài kiểm tra chuẩn, đôi khi khiến phần mềm nhận ra khi đang được kiểm tra rồi tạm thời thay đổi cách vận hành để đạt điểm cao hơn. Các mô hình AI cũng có thể nhận ra khi đang được đánh giá và hành xử khác đi, ngay cả khi không được thiết kế có chủ đích để làm vậy.

Để tìm kiếm những thước đo có ý nghĩa và đáng tin cậy hơn, các nhà phát triển thường tự đặt ra những tiêu chí đánh giá không chính thức, chẳng hạn như thử thách vẽ bồ nông đạp xe mang tính định tính của Simon Wilson. Trong thử thách này, các Mô hình ngôn ngữ-thị giác (VLM) được giao nhiệm vụ tạo ra hình ảnh về một thứ không có trong dữ liệu huấn luyện*, và thường cho kết quả kém — dù trong năm 2026, năng lực này đã có phần cải thiện:

Thước đo của Simon Wilson yêu cầu một VLM hình dung cảnh một con bồ nông đang đạp xe. Gần đây, AI đã làm việc này tốt hơn nhiều so với những nỗ lực hài hước cách đây khoảng 18 tháng. Tuy nhiên, một số ý kiến cho rằng có thể là vì thử thách này hiện đã được đưa vào dữ liệu huấn luyện. Nguồn: https://simonwillison.net/tags/pelican-riding-a-bicycle/

Thước đo của Simon Wilson yêu cầu một VLM hình dung cảnh một con bồ nông đang đạp xe. Gần đây, AI đã làm việc này tốt hơn nhiều so với những nỗ lực hài hước cách đây khoảng 18 tháng. Tuy nhiên, một số ý kiến cho rằng có thể là vì thử thách này hiện đã được đưa vào dữ liệu huấn luyện. Nguồn

Tuy nhiên, một bài kiểm tra chuẩn chỉ có thể đo lường những kỹ năng cụ thể mà nó được thiết kế để kiểm tra. Ngay cả khi kết quả đáng tin cậy, vẫn chưa rõ những kỹ năng đó quan trọng đến mức nào trong quá trình sử dụng hằng ngày, hay điểm số cao hơn có giúp hoàn thành được nhiều việc hơn hay không.

Đối với các mô hình lập trình, có thể tìm hiểu điều này bằng cách xem xét sản lượng công việc của nhà phát triển thay đổi ra sao khi họ chuyển từ mô hình này sang mô hình khác.

Làm việc [the Same] với ít hơn

Vào tháng 6 năm nay, lệnh cấm kéo dài 19 ngày của Nhà Trắng đối với việc sử dụng Claude Fable đã mang đến cho các nhà nghiên cứu một môi trường kiểm thử rõ ràng hiếm thấy: các nhà phát triển gửi yêu cầu kéo (PR) lên GitHub đã chuyển xuống dùng các phiên bản Claude kém mạnh hơn. Vì mọi phiên bản Claude đều đồng ký xác nhận PR, và thông tin này có thể được tra cứu qua API của GitHub, nên dữ liệu được cung cấp miễn phí.

Cơ hội này đã được tận dụng trong một nghiên cứu mới của Harvard University, theo đó công việc của 297 người dùng Fable 5 được theo dõi trước, trong và sau lệnh cấm, rồi so sánh với công việc của 8.908 nhà phát triển tiếp tục sử dụng mô hình Opus 4.8 đời cũ hơn Opus 4.8.

Trước đó, Fable 5 đạt điểm cao hơn Opus 4.8 gần 11 điểm trong bài kiểm tra chuẩn lập trình SWE-Bench Pro. Tuy nhiên, nghiên cứu của Harvard cho thấy quyền truy cập Fable 5 gắn liền với mức tăng chỉ 1,4 điểm phần trăm về tỷ lệ các thay đổi mã được gửi lên và chấp nhận vào dự án GitHub trong vòng bảy ngày; bài nghiên cứu cho rằng mức chênh lệch này trên thực tế chẳng khác nào sai số làm tròn. Một phân tích rộng hơn cũng không tìm thấy mức tăng năng suất đáng kể khi nâng cấp lên các mô hình AI mới hơn khác:

“Kết quả cho thấy việc có quyền truy cập Fable 5 chỉ làm thay đổi tỷ lệ hợp nhất 1,4 điểm phần trăm, và mức thay đổi này không có ý nghĩa thống kê[significant]. Chúng tôi cũng phân tích năm trong số tám lần nâng cấp mô hình trong năm 2026 và nhận thấy tỷ lệ hợp nhất không tăng sau những lần nâng cấp này[either].

“Tương tự, số yêu cầu kéo được hợp nhất mỗi tuần của các nhà phát triển cũng không tăng. Những kết quả này cho thấy thành tích cao hơn trong các bài kiểm tra chuẩn lập trình hiện nay thực sự không chuyển thành nhiều công việc được hoàn tất hơn.”

Qua năm lần nâng cấp trong năm 2026, với sự tham gia của 1.208 nhà phát triển và hơn 15.000 thay đổi mã được đề xuất, không ghi nhận cải thiện có ý nghĩa thống kê về tỷ lệ mã được gửi lên rồi hợp nhất, cũng như về số thay đổi được hoàn tất thành công mỗi tuần.

Dù bài nghiên cứu thừa nhận rằng việc hợp nhất mã trên GitHub là một thước đo năng suất chưa hoàn hảo, lệnh cấm đã tạo ra cơ hội rất hiếm để đánh giá tác động của việc chuyển đổi mô hình trong điều kiện làm việc thực tế, trong một lĩnh vực thu hút sự quan tâm rộng lớn trên toàn cầu nhưng lại hoạt động với mức độ thiếu minh bạch từ doanh nghiệp cao nhất có thể.

Thừa nhận những khó khăn trong việc xây dựng tiêu chí thực nghiệm cho các trường hợp như vậy, nghiên cứu mới† nhận xét:

“Những người sớm sử dụng mô hình mới có thể giàu kinh nghiệm hơn, vì vậy khi so sánh năng suất giữa các nhà phát triển, chúng tôi không thể biết sự khác biệt là do mô hình hay do chính những người sử dụng mô hình tạo ra. Ngay cả khi theo dõi cùng một nhóm người, chúng tôi cũng không biết liệu họ có giao cùng một nhiệm vụ cho các mô hình khác nhau hay không.

“Chẳng hạn, một số người có thể dùng Fable 5 cho những tác vụ khó nhất rồi chuyển sang các mô hình cấp thấp hơn khi xử lý tác vụ dễ hơn. Nếu họ giao những tác vụ khó hơn cho mô hình mạnh nhất, mô hình đó có thể trông kém năng suất hơn theo hầu hết mọi thước đo mà chúng ta chọn, bởi các tác vụ khó hơn mất nhiều thời gian hơn và ít có khả năng được hợp nhất hơn.”

Bài nghiên cứu cũng cho rằng các nghiên cứu trước đây bị sai lệch vì phần lớn thay đổi mã đến từ một số ít dự án, mỗi dự án lại có quy định riêng về việc chấp nhận đóng góp; những khác biệt này khiến việc xác định liệu năng suất có thực sự tăng nhờ nâng cấp lên các mô hình mới hơn hay không trở nên khó khăn.

Phương pháp

Trong thí nghiệm chính††, các yêu cầu kéo trên GitHub của 297 nhà phát triển được xác định trong nghiên cứu là người dùng Fable 5 được chia thành bốn giai đoạn: trước khi mô hình ra mắt vào ngày 9 tháng 6; trong ba ngày mô hình khả dụng; suốt 19 ngày bị đình chỉ; và sau khi quyền truy cập được khôi phục vào ngày 1 tháng 7.

Tỷ lệ hợp nhất của họ được so sánh với tỷ lệ của 8.908 nhà phát triển được xác định là sử dụng mô hình Opus 4.8 cũ hơn, qua đó giúp phân biệt những thay đổi liên quan đến đợt đình chỉ với các biến động rộng hơn trong hoạt động trên GitHub.

Phép so sánh giả định rằng nếu không có lệnh cấm, tỷ lệ hợp nhất của cả hai nhóm sẽ biến động tương tự nhau. Những thay đổi về tỷ lệ hợp nhất được so sánh giữa hai nhóm; phân tích thống kê có tính đến sự khác biệt giữa từng nhà phát triển và các biến động hằng ngày:

Diễn tiến các lần nâng cấp mô hình Claude và đợt đình chỉ Fable 5. Khung phía trên thể hiện tám lần nâng cấp Opus và Sonnet, trong đó các vòng tròn tô kín đánh dấu năm lần được khảo sát trong nghiên cứu quy mô rộng hơn. Khung phía dưới thể hiện bốn giai đoạn được dùng để đánh giá ảnh hưởng của thời gian đình chỉ đến tỷ lệ hợp nhất PR, với lệnh cấm làm giai đoạn tham chiếu. Các đường màu tím cho biết thời điểm Fable 5 khả dụng hoặc bị đình chỉ; phần tô xám đánh dấu thời gian bị cấm; còn các vùng gạch chéo chỉ những ngày bị loại trừ ngay sau khi quyền truy cập bị đình chỉ hoặc được khôi phục. Nguồn - https://arxiv.org/pdf/2611.23216

Diễn tiến các lần nâng cấp mô hình Claude và đợt đình chỉ Fable 5. Khung phía trên thể hiện tám lần nâng cấp Opus và Sonnet, trong đó các vòng tròn tô kín đánh dấu năm lần được khảo sát trong nghiên cứu quy mô rộng hơn. Khung phía dưới thể hiện bốn giai đoạn được dùng để đánh giá ảnh hưởng của thời gian đình chỉ đến tỷ lệ hợp nhất PR, với lệnh cấm làm giai đoạn tham chiếu. Các đường màu tím cho biết thời điểm Fable 5 khả dụng hoặc bị đình chỉ; phần tô xám đánh dấu thời gian bị cấm; còn các vùng gạch chéo chỉ những ngày bị loại trừ ngay sau khi quyền truy cập bị đình chỉ hoặc được khôi phục. Nguồn

Về dữ liệu, các PR công khai trên GitHub được tạo bằng Claude Code được xác định thông qua API Tìm kiếm của GitHub, dựa vào thông báo “Generated with Claude Code” tự động xuất hiện trong phần mô tả. Khi tên mô hình cụ thể cũng được sao chép từ lịch sử commit của mã vào phần mô tả PR, các nhà nghiên cứu có thể xác định phiên bản Claude đã được sử dụng.

Các PR được gửi vào khoảng thời gian Fable 5 bị đình chỉ và những lần Claude được nâng cấp sau đó được thu thập trong khoảng từ tháng 11 năm 2025 đến tháng 10 năm 2026, đồng thời dành ít nhất bốn tuần để các PR mới nhất được hợp nhất.

Nhóm nghiên cứu chính gồm 297 nhà phát triển đã dùng Fable 5 trong thời gian ngắn mô hình khả dụng; nhóm đối chứng gồm 8.908 nhà phát triển đã dùng Opus 4.8 nhưng không có ghi nhận nào cho thấy họ từng dùng Fable 5.

Thước đo năng suất chính là tỷ lệ các thay đổi mã được gửi lên và được chấp nhận vào các dự án GitHub trong vòng bảy ngày, cho phép so sánh tỷ lệ gửi bài thành công giữa các giai đoạn trước, trong và sau thời gian đình chỉ. Các kiểm tra bổ sung xem xét PR được hợp nhất trong vòng một giờ; PR bị đóng mà không được hợp nhất; số bình luận nhận được; những thay đổi sau đó bị đảo ngược; và các lần kiểm tra tự động của GitHub không đạt.

Kết quả kiểm định

Việc mất rồi được khôi phục quyền truy cập Fable 5 hầu như không tạo ra ảnh hưởng có thể đo lường được đến năng suất của nhà phát triển. Quyền truy cập mô hình mới hơn gắn với mức tăng chỉ 1,4 điểm phần trăm về tỷ lệ PR được hợp nhất trong vòng bảy ngày; mức chênh lệch này được đánh giá là “không có ý nghĩa thống kê”:

So sánh mức độ sử dụng Fable 5 và tỷ lệ hợp nhất PR trước, trong và sau lệnh cấm. Bên trái: tỷ lệ PR được tạo bằng Fable 5. Bên phải: thay đổi về tỷ lệ hợp nhất trong vòng bảy ngày so với giai đoạn từ ngày 22 đến 28 tháng 6; các dấu chấm thể hiện ước tính, còn các đường ngang biểu thị khoảng tin cậy 95%. Các hàng được tô màu đánh dấu những giai đoạn Fable 5 khả dụng. Dù mức độ sử dụng mô hình thay đổi đáng kể, tỷ lệ hợp nhất hầu như không thay đổi.

So sánh mức độ sử dụng Fable 5 và tỷ lệ hợp nhất PR trước, trong và sau lệnh cấm. Bên trái: tỷ lệ PR được tạo bằng Fable 5. Bên phải: thay đổi về tỷ lệ hợp nhất trong vòng bảy ngày so với giai đoạn từ ngày 22 đến 28 tháng 6; các dấu chấm thể hiện ước tính, còn các đường ngang biểu thị khoảng tin cậy 95%. Các hàng được tô màu đánh dấu những giai đoạn Fable 5 khả dụng. Dù mức độ sử dụng mô hình thay đổi đáng kể, tỷ lệ hợp nhất hầu như không thay đổi.

Ngoài ra, qua năm lần nâng cấp mô hình Claude, với sự tham gia của 1.208 nhà phát triển và hơn 15.000 lần gửi mã, nghiên cứu không tìm thấy sự cải thiện nào về tỷ lệ mã được chấp nhận vào các dự án GitHub. Trên thực tế, tỷ lệ này giảm nhẹ, ước tính 0,9 điểm phần trăm.

Các nhà phát triển sử dụng những mô hình mới hơn cũng chỉ hoàn thành số lượng bài gửi được chấp nhận mỗi tuần nhiều hơn 2,4% — một mức chênh lệch quá nhỏ để xác lập mức cải thiện đáng tin cậy. Ngay cả khi điểm benchmark tăng từ 5 đến 18 điểm, cũng không ghi nhận được mức tăng năng suất đáng kể nào.

Các mô hình mới hơn cũng không cho thấy kết quả tốt hơn trong những bước kiểm tra mã tự động của GitHub; tỷ lệ thất bại hầu như không thay đổi.

Bài báo kết luận:

‘Chúng tôi giả thuyết rằng lý do chính khiến những cải thiện của Fable 5 trên các benchmark không chuyển thành năng suất cao hơn trong công việc thực tế là vì các nhiệm vụ mà nhà phát triển giao cho tác tử vốn đã nằm trong khả năng của mô hình cũ.’

Bài báo viết tiếp:

‘Những phát hiện của chúng tôi bổ sung bằng chứng từ công việc thực tế cho những cảnh báo trong các nghiên cứu trước đây: điểm benchmark chẳng có mấy ý nghĩa đối với người chọn mô hình nếu không có bằng chứng cho thấy nó đo lường công việc mà mô hình được dùng để [describe].

‘Nếu cơ quan quản lý và người mua đánh giá mức độ mạnh hơn của một mô hình dựa trên [score] benchmark, thì khác biệt mà họ dựa vào có lẽ sẽ không thể hiện ở năng suất của người dùng.’

Kết luận

Các chỉ số nhất quán qua từng năm từ lâu đã là điều kiện tiên quyết đối với khía cạnh kinh doanh của các hệ thống công nghiệp; tuy nhiên, trong lĩnh vực AI, việc tái lập chúng một cách sát thực và chính xác đặc biệt khó khăn. Một phần nguyên nhân là tốc độ mà ‘dữ liệu kiểm thử’ dùng để xác định benchmark được đưa vào dữ liệu huấn luyện của mô hình kế tiếp, khiến nó không còn hữu ích cho mục đích kiểm thử. Chỉ riêng điều này đã phá vỡ phần lớn khuôn mẫu dùng để so sánh benchmark trong doanh nghiệp cũng như để tiến hành kiểm thử khoa học nhất quán, vốn đòi hỏi các nhà nghiên cứu phải phá vỡ những chỉ số đã được xác lập trước đây nhưng giờ đây có thể không còn ý nghĩa.

Thật vậy, trong mười năm qua, thật đáng kinh ngạc khi chứng kiến số lượng bài nghiên cứu về thị giác máy tính vẫn tuân theo những chuẩn mực đã lỗi thời từ lâu như ImageNet, đơn giản chỉ vì chúng đã tồn tại từ rất lâu.

Kết quả của bài báo này cho thấy các nhà phát triển ở khía cạnh khá tích cực: họ là những người ủng hộ linh hoạt, dễ thích nghi với bất kỳ hệ thống nào sẵn có và đang vận hành. Việc họ làm việc với tốc độ gần như tương đương dù sử dụng AI mới nhất hay phiên bản trước đó cho thấy họ đang tối ưu hóa theo thời lượng và thời hạn, bất kể công cụ nào trong tay.

 

* Như một người bình luận gần đây trên Hacker News đã chỉ ra, điều này có lẽ không còn đúng nữa, vì dữ liệu ‘Pelican on Bicycle’ hiện đã nằm trong dữ liệu huấn luyện, khiến bài kiểm tra không còn đáng tin cậy.

† Có tiêu đề là ‘Các mô hình lập trình đạt điểm cao hơn không giúp hoàn thành nhiều việc hơn’.

†† Nghiên cứu đặt ra hai câu hỏi khác, nhưng tôi không cho rằng chúng đặc biệt liên quan đến chủ đề này hoặc có tầm quan trọng tương đương với câu hỏi chính, nên không trình bày ở đây. Vui lòng tham khảo tệp PDF nguồn để biết thêm chi tiết.

Được đăng lần đầu vào thứ Tư, ngày 18 tháng 11 năm 2026

Người viết về học máy, chuyên gia lĩnh vực tổng hợp hình ảnh con người. Cựu trưởng bộ phận nội dung nghiên cứu tại Metaphysic.ai, cho đến khi nó sáp nhập vào Brahma.ai của DNEG.
Trang web: martinanderson.ai
Liên hệ: martin@martinanderson.ai