Vibe Coding Suffers Khi Vai Trò Của Trí Tuệ Nhân Tạo Mở Rộng

Một nghiên cứu mới cho thấy vibe coding cải thiện khi con người đưa ra hướng dẫn, nhưng giảm khi AI thực hiện, với thiết lập hybrid tốt nhất giữ con người ở vị trí đầu tiên, với AI làm trọng tài hoặc thẩm phán.

Nghiên cứu mới từ Hoa Kỳ, kiểm tra những gì xảy ra khi các hệ thống AI được phép điều khiển vibe coding, thay vì chỉ thực hiện hướng dẫn của con người, đã phát hiện ra rằng khi các mô hình ngôn ngữ lớn (LLMs) đảm nhận vai trò chỉ đạo lớn hơn, kết quả thường là tồi tệ hơn.

Mặc dù các nhà nghiên cứu sử dụng GPT-5 của OpenAI làm khung cho các thí nghiệm hợp tác giữa con người và AI, họ sau đó đã xác nhận rằng cả Claude Opus 4.5 của Anthropic và Google Gemini 3 Pro đều bị ảnh hưởng bởi cùng một đường cong suy giảm khi trách nhiệm tăng lên, tuyên bố rằng ‘thậm chí sự tham gia của con người hạn chế cũng liên tục cải thiện hiệu suất’:

‘[Con người] cung cấp hướng dẫn cấp cao hiệu quả duy nhất trên các lần lặp lại, [trong khi] hướng dẫn của AI thường dẫn đến sự sụp đổ về hiệu suất. Ngoài ra, chúng tôi phát hiện ra rằng việc phân bổ vai trò cẩn thận giữ cho con người chịu trách nhiệm về hướng dẫn trong khi giao việc đánh giá cho AI có thể cải thiện hiệu suất hybrid.’

Để cung cấp một thử nghiệm nhất quán có thể được đánh giá bình đẳng bởi con người và AI, một khuôn khổ thử nghiệm được xây dựng xung quanh một nhiệm vụ mã hóa lặp lại trong đó một hình ảnh tham chiếu – có hình ảnh của một con mèo, chó, hổ, chim, voi, penguin, cá mập, zebra, hươu cao cổ hoặc gấu trúc – phải được tái tạo bằng đồ họa vector có thể mở rộng (SVG), và tái tạo đó được đánh giá so với hình ảnh nguồn mà nó được lấy từ:

Cả người tham gia và AI đều được hiển thị hình ảnh tham chiếu cùng với hình ảnh SVG được tạo bởi AI, và được yêu cầu đánh giá sự tương tự giữa hai hình ảnh trên thang điểm 7 điểm. Nguồn

Trong mỗi vòng, một tác nhân cung cấp hướng dẫn ngôn ngữ tự nhiên cấp cao để hướng dẫn một trình tạo mã, và một tác nhân khác quyết định liệu có giữ phiên bản mới hay quay lại phiên bản trước – một vòng lặp có cấu trúc gợi nhớ các quy trình hợp tác thực tế.

Trong 16 thí nghiệm liên quan đến 604 người tham gia và hàng nghìn cuộc gọi API, các vòng thử nghiệm do con người dẫn đầu được so sánh trực tiếp với các vòng do AI dẫn đầu, trong điều kiện tương tự.

Một số giải pháp đa dạng được tạo ra bởi các kết hợp khác nhau của tỷ lệ và loại hợp tác giữa con người và AI (được lấy từ một hình minh họa lớn hơn trong bài báo nguồn, mà chúng tôi đề cập đến người đọc).

Mặc dù con người và AI thực hiện ở mức tương tự tại điểm bắt đầu của các thử nghiệm, theo thời gian, các đường cong của họ phân kỳ: khi con người cung cấp hướng dẫn và đưa ra quyết định lựa chọn, điểm số tương tự tăng trên các lần lặp lại, với sự cải thiện tích lũy ổn định; nhưng khi các hệ thống AI đảm nhận cả hai vai trò, hiệu suất không cho thấy sự cải thiện nhất quán, và thường giảm theo các vòng – ngay cả khi cùng một mô hình cơ bản được sử dụng để tạo mã, và AI có quyền truy cập vào cùng một thông tin như người tham gia.

Hiệu Ứng Prolixity

Kết quả cũng cho thấy rằng hướng dẫn của con người thường ngắn và hướng đến hành động, tập trung vào việc thay đổi gì tiếp theo trong hình ảnh hiện tại; ngược lại, hướng dẫn của AI dài và mô tả chi tiết (một yếu tố đã được parametrized cho GPT-5), mô tả các thuộc tính hình ảnh chứ không ưu tiên việc sửa đổi tăng dần.

Nhưng, như được thấy trong biểu đồ dưới đây, việc áp đặt giới hạn từ nghiêm ngặt đối với hướng dẫn của AI không đảo ngược mẫu; ngay cả khi bị giới hạn ở 10, 20 hoặc 30 từ, chuỗi dẫn đầu bởi AI vẫn không cải thiện theo thời gian:

Đánh giá điểm tương tự trên các lần lặp lại cho chuỗi do con người dẫn đầu so với chuỗi do AI dẫn đầu và chuỗi do AI dẫn đầu bị giới hạn ở 10, 20 hoặc 30 từ. Evidently, việc rút ngắn các lệnh của AI không ngăn chặn sự suy giảm hiệu suất lặp lại được quan sát khi AI chỉ đạo cả hướng dẫn và lựa chọn.

Thí nghiệm hybrid làm cho mẫu rõ ràng hơn, cho thấy rằng việc thêm một chút sự tham gia của con người cải thiện kết quả, so với các thiết lập do AI dẫn đầu hoàn toàn; tuy nhiên, hiệu suất thường giảm khi tỷ lệ hướng dẫn của AI tăng.

Khi các vai trò được tách biệt, đánh giá và lựa chọn có thể được giao cho AI với sự mất mát chất lượng tương đối ít; nhưng việc thay thế hướng dẫn cấp cao của con người bằng hướng dẫn của AI dẫn đến sự suy giảm rõ ràng về hiệu suất, cho thấy rằng điều quan trọng nhất không phải là ai tạo mã, mà là ai đặt và duy trì hướng dẫn trên các lần lặp lại.

Các tác giả kết luận:

‘Trong nhiều thí nghiệm, mã hóa do con người dẫn đầu nhất quán cải thiện theo các lần lặp lại, trong khi mã hóa do AI dẫn đầu thường sụp đổ mặc dù có quyền truy cập vào cùng một thông tin và khả năng thực hiện tương tự.

‘Điều này cho thấy những khó khăn chính của các hệ thống AI hiện nay trong việc duy trì hướng dẫn cấp cao nhất quán trên các tương tác lặp lại, của loại cần thiết cho mã hóa vibe thành công’

Bài báo mới có tiêu đề Tại Sao Hướng Dẫn Của Con Người Quan Trọng Trong Mã Hóa Vibe Hợp Tác, và đến từ bảy nhà nghiên cứu trên các trường đại học Cornell, Princeton, Massachusetts Institute of Technology và New York.

Phương Pháp

Đối với các thí nghiệm, một người hướng dẫn nhìn vào hình ảnh tham chiếu được tạo bởi GPT-5, cùng với hình ảnh SVG bắt chước mới nhất. Sau đó, họ viết hướng dẫn ngôn ngữ tự nhiên để hướng dẫn trình tạo mã tiến gần hơn đến một trận đấu.

Vậy, trình tạo mã sẽ tạo ra một hình ảnh SVG mới mỗi vòng, cung cấp một vòng lặp để kiểm tra cách hiệu ứng của hướng dẫn tích lũy theo thời gian. Các mục tiêu là mười hình ảnh động vật được tạo bởi GPT-5, bao gồm một loạt hình dạng và kết cấu để cải thiện hoặc sai sót sẽ dễ dàng phát hiện:

Sơ đồ cho quy trình mã hóa vibe được sử dụng trong nghiên cứu. Ở A), một người hướng dẫn xem hình ảnh tham chiếu cùng với hình ảnh SVG tốt nhất được tạo ra cho đến nay và viết hướng dẫn ngôn ngữ tự nhiên cho trình tạo mã để theo dõi khi tạo hình ảnh SVG tiếp theo; ở B), một người chọn so sánh hình ảnh SVG mới với hình ảnh trước và chọn phiên bản nào phù hợp hơn với hình ảnh tham chiếu, trước khi chuyển hình ảnh SVG đã chọn cho vòng hướng dẫn tiếp theo; và ở C), các đánh giá viên độc lập đánh giá mức độ tương tự của mỗi hình ảnh SVG được tạo ra so với hình ảnh tham chiếu của nó, cung cấp điểm số được sử dụng để đánh giá hiệu suất tổng thể.

Một người chọn so sánh mỗi hình ảnh SVG mới được tạo ra với hình ảnh trước và chấp nhận hoặc từ chối nó, điều này giữ cho quá trình phù hợp với hình ảnh tham chiếu trên các vòng. Trong thiết lập cơ bản này, cùng một người thực hiện cả hai vai trò.

Để đo lường chất lượng, các đánh giá viên độc lập đánh giá mức độ tương tự của mỗi hình ảnh SVG được tạo ra so với hình ảnh tham chiếu của nó. Trong 16 thí nghiệm, 120 người tạo ra 4.800 đánh giá. Tất cả các thí nghiệm được chạy trên khuôn khổ PsyNet, một cổng được thiết kế để hỗ trợ các tương tác có cấu trúc giữa con người và hệ thống AI.

Nghiên cứu sẽ tuyển 604 người nói tiếng Anh bản địa, trong các thử nghiệm sẽ tiêu thụ 4.800 cuộc gọi API để tạo mã và 5.327 cuộc gọi API để hướng dẫn. Mặc dù GPT-5 là mô hình chính được sử dụng, nhưng các lô so sánh nhỏ hơn được thực hiện với Claude Opus 4.5 và Gemini 3 Pro, mỗi mô hình xử lý 280 truy vấn.

Kết Quả

Ba mươi vòng mã hóa vibe được chạy, mỗi vòng bao gồm mười lăm lần chỉnh sửa hình ảnh tham chiếu cơ bản. Đối với những vòng này, 45 người tham gia được chọn, mỗi người đóng vai trò là cả người chọn và người hướng dẫn trên mười lần lặp lại, trong các vòng do con người dẫn đầu.

Trong mỗi vòng, người tham gia相同 chọn giữa hình ảnh hiện tại và hình ảnh trước, và sau đó viết hướng dẫn cho vòng tiếp theo. Một phiên bản thử nghiệm khác thay thế quyết định của con người bằng cuộc gọi API đến GPT 5, trong khi giữ nguyên phần còn lại của thiết lập.

Một ví dụ đại diện về mã hóa vibe nhiều vòng cho thấy quá trình phân kỳ theo thời gian; khi con người đóng vai trò là cả người chọn và người hướng dẫn, đầu ra SVG cải thiện ổn định trên các lần lặp lại, tiến gần hơn đến hình ảnh tham chiếu với mỗi vòng:

Tiến trình ví dụ cho một hình ảnh tham chiếu dưới mã hóa vibe do con người dẫn đầu (trên) và mã hóa vibe do AI dẫn đầu (dưới), cho thấy sự cải thiện ổn định trên các lần lặp lại khi con người ở cả hai vai trò, và sự đình trệ hoặc trôi dạt khi cả hai vai trò được xử lý bởi AI.

Ngược lại, trong phiên bản do AI dẫn đầu, các vòng đầu tiên đôi khi bắt được các tính năng hình ảnh chính, nhưng các nỗ lực sau không xây dựng trên những lợi ích đó và trong một số trường hợp trôi dạt khỏi mục tiêu:

Đầu ra cuối cùng từ vòng lặp cuối cùng, so sánh vòng do con người dẫn đầu (hàng trên) với chuỗi do AI dẫn đầu (hàng dưới), trên cùng một tập hợp hình ảnh tham chiếu. Kết quả do con người dẫn đầu phù hợp hơn với các động vật ban đầu, và kết quả do AI dẫn đầu cho thấy sự biến dạng rõ ràng hoặc mất các tính năng chính.

Để đo lường các xu hướng xuất hiện một cách định lượng, các hình ảnh cuối cùng được hiển thị cho các đánh giá viên độc lập và được đánh giá về mức độ tương tự với hình ảnh tham chiếu. Trong các vòng đầu, các vòng do con người dẫn đầu và do AI dẫn đầu có điểm số tương tự; nhưng vào vòng thứ mười lăm, sự khác biệt đã rõ ràng, với hình ảnh do con người chọn được đánh giá gần với mục tiêu hơn nhiều.

Điểm số tương tự trung bình trên các lần lặp lại cho mã hóa vibe do con người dẫn đầu và do AI dẫn đầu, cho thấy sự cải thiện ổn định khi con người đóng vai trò là cả người chọn và người hướng dẫn, và sự suy giảm dần khi cả hai vai trò được xử lý bởi GPT 5.

Để đảm bảo rằng các xu hướng xuất hiện không phải do sức mạnh tập thể của nhiều người tham gia đồng thời, các nhà nghiên cứu đã tuyển mười người tham gia thêm để làm việc một mình, mỗi người chạy ba vòng một mình – và kết quả cải thiện theo cùng một cách ổn định, chứng tỏ rằng sự cải thiện không phải là một sự may mắn của nỗ lực tập thể.

Tổng Quan Lớn

Tuy nhiên, nếu GPT-5 tự đánh giá đầu ra, liệu nó có thừa nhận rằng kết quả của con người tốt hơn không? Đánh giá của con người và AI thường di chuyển theo cùng một hướng, vì vậy mô hình có thể phân biệt tốt và xấu, nhưng vẫn đánh giá cao hình ảnh được tạo bởi AI hơn con người.

‘Cụ thể, chúng tôi hỏi liệu các tác nhân AI có nhận ra rằng đầu ra của chúnginferior so với những đầu ra được tạo ra bởi con người, hoặc liệu chúng có thể thích các sáng tạo của riêng mình, điều này sẽ chỉ ra một vấn đề về sự phù hợp.’

Khi điều đó xảy ra, thực sự có một vấn đề về sự phù hợp*:

‘Các đánh giá viên AI đã gán điểm cao hơn cho đầu ra được tạo bởi AI. Những phát hiện này cho thấy rằng sự khác biệt về hiệu suất quan sát được có thể xuất phát từ sự mismatch trong các biểu diễn giữa con người và AI.’

Khi kiểm tra cách con người và AI diễn đạt hướng dẫn, sự khác biệt trở nên rõ ràng trong các thử nghiệm. Như được thấy trong hình dưới đây, cả điểm tập trung và chiều dài là chủ đề của sự phân kỳ giữa AI và con người:

So sánh cách con người và AI đưa ra hướng dẫn trong nhiệm vụ mã hóa. ‘A’ cho thấy con người viết hướng dẫn ngắn và trực tiếp, trong khi AI viết mô tả chi tiết. ‘B’ ánh xạ các hướng dẫn, cho thấy hướng dẫn của con người tập trung lại với nhau, trong khi hướng dẫn của AI phân chia theo động vật. ‘C’ theo dõi cách giới hạn chiều dài hướng dẫn của AI không sửa được kết quả kém theo thời gian; và ‘D’ minh họa rằng con người đưa ra hướng dẫn đa dạng và cân bằng hơn AI, ngay cả khi giới hạn từ được áp dụng.

Hướng dẫn của con người có xu hướng ngắn và trực tiếp, cung cấp các chỉnh sửa rõ ràng có thể được áp dụng chung cho các mục tiêu. Hướng dẫn của AI, mặt khác, dày đặc với chi tiết mô tả và thường bị phình to với các chi tiết về bóng, kết cấu, ánh sáng hoặc chi tiết giải phẫu – những mô tả có thể có ý nghĩa khi đứng riêng, nhưng không cung cấp các bước tiếp theo hữu ích cho mô hình (và sẽ quen thuộc với những người nhận thức được vấn đề của LLMs về chiều dài ngữ cảnh, tức là khả năng giữ ‘tổng thể’ khi dự án phát triển và mở rộng).

Để xem liệu việc giảm độ dài có cải thiện hiệu suất, GPT-5 đã bị giới hạn ở 10, 20 hoặc 30 từ mỗi hướng dẫn; nhưng ngay cả những hướng dẫn bị nén này cũng không cho thấy sự cải thiện nào (xem phía dưới cùng của biểu đồ trên).

Sự Hợp Tác Liên Kết

Để kiểm tra những gì xảy ra khi con người và AI chia sẻ quyền kiểm soát, các nhà nghiên cứu đã chạy các nhiệm vụ mã hóa với các hỗn hợp khác nhau của đầu vào con người và AI, từ chủ yếu là con người đến chủ yếu là AI.

Mọi hỗn hợp hybrid đều vượt trội so với quyền kiểm soát đầy đủ của AI, vì vậy ngay cả một lượng nhỏ hướng dẫn của con người cũng cải thiện kết quả:

Thiết lập mã hóa hybrid với các hỗn hợp khác nhau của con người và AI. (A) Cho thấy con người và AI thay phiên nhau làm hướng dẫn và người chọn cho mỗi bước mã hóa; (B) cho thấy rằng sự tham gia của con người nhiều hơn dẫn đến kết quả chất lượng cao hơn, trong khi đầu vào của AI nhiều hơn làm giảm điểm số; và (C) mô tả sự giảm dần chất lượng đầu ra cuối cùng khi tỷ lệ tham gia của con người giảm, xác nhận rằng hướng dẫn của con người nhất quán tạo ra kết quả tốt hơn.

Khi AI đảm nhận nhiều quá trình hơn, hiệu suất giảm, với kết quả tốt nhất được nhìn thấy khi con người dẫn đầu hầu hết các vòng, và kết quả yếu nhất khi AI dẫn đầu hầu hết các vòng. Không có thiết lập hỗn hợp nào trong số này có thể tiếp tục cải thiện với mỗi vòng mới, cho thấy rằng hướng dẫn của con người hoạt động tốt nhất khi nó ổn định và nhất quán, chứ không phải là偶爾.

Sự Thay Đổi Vai Trò

Nghiên cứu cũng khám phá liệu ai làm gì trong những loại nhiệm vụ này có quan trọng hay không, và đã kiểm tra điều này. Nhiệm vụ sửa đổi liên quan đến hai nhiệm vụ: một người tham gia sẽ chỉ định cách thay đổi hình ảnh, và một người khác sẽ chọn phiên bản nào ưu tiên.

Khi cả hai công việc đều do con người thực hiện, chất lượng được duy trì; nhưng khi một người đưa ra hướng dẫn và không ai chọn giữa các phiên bản, chất lượng trở nên tồi tệ hơn:

Thử nghiệm về phân chia vai trò trong mã hóa vibe: ở (A), việc loại bỏ vai trò người chọn dẫn đến hiệu suất tồi tệ hơn, ngay cả khi con người đưa ra hướng dẫn; ở (B), việc thay thế người chọn của con người bằng AI làm giảm chất lượng một chút, nhưng không tồi tệ như việc bỏ qua việc chọn hoàn toàn.

Khi AI đảm nhận vai trò, việc bỏ qua bước chọn không quan trọng, vì đầu ra của nó vẫn nhất quán dù sao; nhưng khi con người đưa ra hướng dẫn và AI chọn giữa các kết quả, chất lượng vẫn gần với thiết lập do con người dẫn đầu hoàn toàn.

Ngược lại không hoạt động: có AI đưa ra hướng dẫn trong khi con người chọn đầu ra dẫn đến kém kết quả, cho thấy rằng hướng dẫn sáng tạo của con người vẫn là điều cần thiết, trong khi việc chọn giữa các tùy chọn có thể được giao cho AI mà không mất mát nhiều.

Bài báo kết luận:

‘[Sự tạo ra ý tưởng và hướng dẫn cấp cao] là những đóng góp quan trọng của con người, trong khi đánh giá và lựa chọn thường có thể được ủy thác cho AI mà không mất mát về hiệu suất.

‘Điều này cho thấy một nguyên tắc thiết kế thực tế cho các hệ thống hybrid: con người nên đặt hướng dẫn, trong khi AI có thể hỗ trợ đánh giá và thực hiện.’

Kết Luận

Vẫn còn phải xem liệu việc cải thiện và/hoặc tăng kích thước cửa sổ ngữ cảnh sẽ ảnh hưởng đến hiệu suất của LLMs trong các nhiệm vụ như thế này. Ngày mà ‘LLM-amnesia’ ngừng là một vấn đề hàng ngày của sự hợp tác giữa con người và AI có thể là một lý do để cả ăn mừng và lo lắng, vì vấn đề mà AI đang cố gắng giải quyết, có thể nói, là con người.

Tuy nhiên, công việc của các tác giả cũng làm rõ rằng có những sự khác biệt nội tại và quan trọng giữa AI và con người về chất lượng, điều này có thể được xác định bởi người tiêu dùng là một khái niệm không thể thay thế của con người.

* Sự chuyển đổi của tôi các trích dẫn nội tuyến của tác giả thành liên kết.

Được xuất bản lần đầu vào thứ Sáu, ngày 13 tháng 2 năm 2026