Phát hiện Ý tưởng AI, Không phải Văn bản AI

Nếu có một công cụ phát hiện văn bản AI có thể nhận ra rằng bạn đã viết dựa trên một ý tưởng mà AI cung cấp – ngay cả khi toàn bộ văn bản (tức là nội dung) là công việc gốc của bạn?

Chúng ta đều biết về các công cụ phát hiện văn bản AI khiến người nổi tiếng và chính trị gia bối rối, cùng với những người khác – các thuật toán đã nghiên cứu các đặc điểm của văn bản do AI tạo ra và có thể phân biệt những mẫu này khi chúng xuất hiện.

Những trường hợp này đại diện cho việc giao nhiệm vụ truyền thông đơn giản, trong đó các mô hình ngôn ngữ như ChatGPT và Google Gemini dự đoán token tiếp theo có khả năng cao trong phản hồi cho lời nhắc của người dùng – không phải bằng cách lùi lại và nhìn vào bức tranh tổng thể của vấn đề hoặc đề xuất trước, mà chỉ bằng cách đoán từ tiếp theo có khả năng cao nhất.

Tuy nhiên, tấm chăn váy dựa trên các dự đoán này cuối cùng vẫn tạo ra một cấu trúc nền tảng, theo nghiên cứu gần đây: nhu cầu các đoạn văn liền kề phải nhất quán và có liên quan lẫn nhau gây ra một dấu hiệu độc đáo hình thành trong ‘dàn ý’ hoặc chiều không gian cao hơn của tác phẩm – một công cụ có thể nhận ra dấu vết của AI ngay cả khi văn bản được viết lại rộng rãi để ‘nhân bản’ nó:

Hình dạng ‘độ cao’ đa chiều đặc trưng của việc viết dưới các LLM khác nhau, và – bên trái – viết thuần túy của con người. Nguồn

AI Ideation Targeted

Một sự hợp tác học thuật mới do University of Maryland dẫn đầu tiến một bước xa hơn, bằng cách cung cấp một phương pháp có thể phát hiện liệu các ý tưởng có xuất phát từ AI hay không, bất kể ai cuối cùng đã viết các từ.

Cách tiếp cận, được đặt tên là IdeaLens và được huấn luyện trên một triệu dàn ý trích xuất từ các tài liệu web, tập trung vào việc giảm mỗi tài liệu thành một dàn ý giữ lại ý tưởng trong khi loại bỏ ngôn từ – và đi kèm với một bản demo trực tuyến:

Ở phía bên trái, một trong những bài viết của tôi được nhận dạng là của con người trong bản demo trực tuyến, trong khi một bài viết khác tôi gửi (được viết bởi một tác giả khác) dường như đã có sự đóng góp đáng kể của AI. Nguồn

Như đã thấy trong kết quả demo mẫu ở trên, các phương pháp phát hiện được sử dụng có thể phân biệt giữa ý tưởng của con người và văn bản của con người, và ý tưởng AI và văn bản AI, và đánh giá chúng một cách chi tiết và riêng biệt – mặc dù hai bộ phát hiện đều được huấn luyện trên cùng một tập tài liệu, nhãn và kiến trúc mô hình nền tảng, trong khi được thiết kế để phát hiện về cơ bản các thứ đối lập: nguồn gốc của ý tưởng, và nguồn gốc của văn bản.

Loại phát hiện này, người ta cho rằng, có thể làm cho một số nhóm nhà văn lo lắng, từ nhà viết bài phát biểu chính trị đến tiểu thuyết gia và cột báo, bên cạnh những người khác đã, cho đến nay, tự hào về phong cách viết riêng của mình, nhưng lại để AI cung cấp chủ đề cho họ.

Một lý do khiến các LLM có khả năng tạo ra những ý tưởng dễ nhận biết (và do đó có thể truy vết) không chỉ vì một số khái niệm và văn bản sẽ thống trị thống kê trong dữ liệu huấn luyện chưa được tuyển chọn kỹ của mô hình, khiến chúng có khả năng xuất hiện trong một loạt yêu cầu rộng hơn; mà còn vì các LLM có những ám ảnh bí ẩn và lặp đi lặp lại mà dường như không liên quan đến dữ liệu huấn luyện cụ thể, và thường xuất hiện một cách không mong muốn.

Các tác giả tuyên bố*:

‘Trong khi các bộ phát hiện AI hiện đại xác định ai đã viết các từ, các chính sách mới về việc sử dụng AI ngày càng phụ thuộc vào một câu hỏi khác: ai đã nghĩ ra các ý tưởng? Chúng tôi giới thiệu IdeaLens, một bộ phát hiện xác định liệu các ý tưởng trong tài liệu đến từ con người hay AI (nguồn gốc ý tưởng), bất kể ai đã viết các từ.’

‘Để tập trung IdeaLens vào ý tưởng thay vì văn bản, chúng tôi biểu diễn tài liệu dưới dạng dàn ý: danh sách các mục, mỗi mục ghép một vai trò diễn ngôn với mô tả ngắn gọn, diễn đạt lại nội dung, giảm thiểu sự trùng lặp ở mức từ với văn bản gốc.’

Data and Methods

Bài báo khẳng định phương pháp mới có thể nhận dạng ý tưởng của con người trong các tài liệu do AI tạo ra (ví dụ, ai đó nói với AI ‘Viết cho tôi một bài tiểu luận về chủ đề này‘); và cũng có thể nhận dạng ý tưởng AI trong văn bản của con người (ví dụ, ai đó nói với AI Gợi ý cho tôi một chủ đề để viết).

Kết quả thử nghiệm trên bốn tổ hợp ý tưởng và văn bản của con người và AI. Bốn bộ phát hiện đều hoạt động mạnh mẽ khi ý tưởng và văn bản có cùng nguồn gốc, nhưng lại khác biệt rõ rệt khi nguồn gốc hỗn hợp: IdeaLens nhận diện đúng 94,7% tài liệu do AI viết dựa trên ý tưởng của con người là có nguồn gốc con người, và xác định ý tưởng AI trong 68% câu chuyện do con người viết, so với chỉ 8% đối với Pangram 4 và 0% đối với ProseLens và EditLens-3B. Source

Việc phát hiện dễ dàng nhất khi nguồn gốc rõ ràng – ví dụ, khi một tác phẩm do con người viết dựa trên ý tưởng do AI tạo ra, hoặc khi một đầu ra do AI tạo ra bắt nguồn từ ý tưởng của con người. Khi những điểm mạnh về nguồn gốc này thay đổi, việc phát hiện trở nên khó khăn hơn.

Các nhà nghiên cứu đã kiểm tra sự khác biệt này bằng cách dần dần thay đổi mức độ kế hoạch nền tảng của một tài liệu đến từ con người. Trong một thí nghiệm, các mô hình AI được cung cấp các kế hoạch con người ngày càng chi tiết, từ chỉ một chủ đề đến một dàn ý hoàn chỉnh.

Khi đóng góp của con người tăng lên, tỷ lệ gắn cờ AI của IdeaLens giảm từ 94,9% xuống 6,8%; và các bộ phát hiện văn bản thông thường vẫn tiếp tục xác định phần lớn văn bản kết quả là AI:

Kết quả thử nghiệm cho thấy điều gì xảy ra khi ngày càng nhiều phần của kế hoạch nền tảng của tài liệu do AI được cung cấp bởi con người. IdeaLens ngày càng nhận ra nguồn gốc con người của các ý tưởng, với tỷ lệ gắn cờ AI giảm từ 94,9% cho đề xuất chỉ có chủ đề đến 6,8% cho dàn ý con người hoàn chỉnh; các bộ phát hiện văn bản truyền thống ProseLens và Pangram vẫn phân loại phần lớn văn bản kết quả là AI.

Vì các ý tưởng phải được tách ra khỏi ngôn ngữ dùng để biểu đạt chúng, và không có bộ dữ liệu lớn ghi lại ai thực sự là người phát sinh ý tưởng trong một tài liệu, các nhà nghiên cứu thay vào đó đã huấn luyện IdeaLens trên các nhãn viết AI hiện có labels – nhưng đã loại bỏ phần lớn nội dung viết:

Cách IdeaLens tách ý tưởng ra khỏi văn bản trong quá trình huấn luyện và kiểm tra, so với bộ phát hiện văn bản thông thường ProseLens. Một bài viết quan điểm mẫu dài 1.321 từ được rút gọn thành dàn ý được gắn nhãn vai trò, với các điểm được phân loại theo chức năng của chúng, chẳng hạn như mô tả sự kiện hoặc đánh giá. Trong quá trình huấn luyện, các dàn ý này còn được diễn đạt lại để loại bỏ ngôn từ kế thừa từ các tài liệu nguồn trước khi IdeaLens học từ các nhãn AI Pangram hiện có. Đối với các tài liệu mới, dàn ý đã trích xuất có thể được truyền trực tiếp cho IdeaLens để ước tính xác suất các ý tưởng là do AI tạo ra. Phần dưới của hình cho thấy một bộ phát hiện thứ hai – ‘ProseLens’ – được các nhà nghiên cứu dùng để so sánh, bộ này thay vào đó nhận toàn bộ văn bản và ước tính liệu văn bản đó có phải do AI sinh ra hay không.

Như đã trình bày ở trên, mỗi tài liệu được rút gọn thành một dàn ý mô tả nội dung đang được nói và vai trò của mỗi điểm trong tài liệu. Trong quá trình huấn luyện, các dàn ý này được diễn đạt lại để loại bỏ thêm dấu vết của cách viết gốc của tác giả. IdeaLens do đó có thể đưa ra dự đoán chủ yếu dựa trên các ý tưởng còn lại, thay vì dựa vào các đặc điểm đặc trưng của văn bản.

Ba bộ dữ liệu đã được tạo ra cho dự án: IdeaShift; IdeaShift-X; và TwiceTold. IdeaShift được tạo từ 500 tài liệu mẫu do con người viết và do AI tạo, được lấy mẫu từ kho thử nghiệm hiện có của các nhà nghiên cứu. GPT-5.6 Sol được dùng để chuyển mỗi tài liệu thành các đề xuất ngày càng chi tiết, từ ‘chỉ chủ đề’ đến một dàn ý đầy đủ. GPT-5.6 sau đó được sử dụng để tạo ra các tài liệu mới.

IdeaShift-X, ngược lại, sử dụng 10.000 tài liệu do con người soạn thảo FineWeb2 trên 24 ngôn ngữ, áp dụng quy trình IdeaShift đã nêu để tạo ra các phiên bản AI cho mỗi ngôn ngữ.

Bộ dữ liệu thứ ba, TwiceTold, được viết bởi sinh viên đại học dưới sự giám sát của các tác giả, nhằm tránh việc có thể sử dụng AI bản chất trong việc thu thập dữ liệu quy mô lớn. Năm mươi câu chuyện được viết từ đầu, nhưng dựa trên dàn ý 500 từ do ChatGPT-5.6 Sol cung cấp.

Kiểm tra

Các bộ phát hiện do các nhà nghiên cứu tự phát triển bao gồm IdeaLens ở dạng đề cương và tài liệu; ProseLens đã đề cập; các phiên bản ModernBERT-L của cả hai hệ thống; các phiên bản Qwen3.5-9B của IdeaLens; và một biến thể IdeaLens logistic-classifier.

Chúng được so sánh với Pangram 4; EditLens-Llama-3B; Binoculars; EditLens-RoBERTa; MELD; Desklib-academic; Desklib; Entropy; Fast-DetectGPT; Likelihood; Log-rank; LRR; MAGE; OpenAI-RoBERTa-base; OpenAI-RoBERTa-large; RADAR; và Rank.

Trong các thử nghiệm, Độ chính xác được đo bằng việc nhãn AI hoặc con người dự đoán có khớp với nguồn gốc của các ý tưởng hay không. IdeaLens, ProseLens và EditLens sử dụng ngưỡng FPR toàn cục 1%; các nhãn AI, hỗ trợ AI và con người của Pangram 4 được nhị phân hoá; và Fast-DetectGPT, Binoculars, MELD và Desklib sử dụng ngưỡng mặc định của chúng.

Đánh giá mở rộng đã sử dụng 19 bộ chuẩn bên ngoài, bao gồm 14 bộ bao phủ toàn bộ tài liệu do con người hoặc AI tạo ra, và 10 bộ chứa văn bản do con người viết sau đó được AI chỉnh sửa. Thêm nữa, 50.000 tài liệu trong miền đã được thử nghiệm, trong khi 10.000 tài liệu C4 trước ChatGPT đã được dùng để đánh giá các kết quả dương tính giả:

Kết quả thử nghiệm so sánh độ chính xác của bộ phát hiện khi ý tưởng và văn bản có cùng hoặc khác nguồn gốc. IdeaLens duy trì độ chính xác cao trong cả hai trường hợp, đạt 95,3% cho nguồn gốc chung và 81,3% cho nguồn gốc hỗn hợp; các bộ phát hiện cạnh tranh hoạt động kém đáng kể khi nguồn của ý tưởng khác với nguồn của văn bản.

Trong 51 thử nghiệm lấy từ 22 bộ chuẩn, IdeaLens là bộ phát hiện duy nhất đạt hiệu suất mạnh mẽ khi ý tưởng và văn bản đến từ cùng một nguồn hoặc các nguồn khác nhau, đạt 95,3% và 81,3% tương ứng.

Ngược lại, ProseLens và Pangram 4 đạt trên 98% khi ý tưởng và văn bản có chung nguồn, nhưng giảm xuống khoảng 25% khi chúng không cùng nguồn.

Các tác giả đưa ra nhận xét về các kết quả này*:

‘Vì ProseLens có cùng khung nền, tài liệu đào tạo và nhãn đào tạo như IdeaLens, điều này nhấn mạnh tác động của cách biểu diễn đề cương của chúng tôi, mà một ModernBERT-based pair tái tạo với khung nền khác.

‘IdeaLens cũng chuyển đổi bất ngờ tốt sang đầu vào văn bản thô trong thời gian thử nghiệm, thể hiện độ chính xác cao cho nguồn gốc chung và độ chính xác hỗn hợp cao hơn đáng kể so với ProseLens.’

Cả ba bộ phát hiện đều xác định thành công gần như toàn bộ các câu chuyện ban đầu do AI viết. Trong TwiceTold, IdeaLens xác định các ý tưởng có nguồn gốc AI trong 68% các câu chuyện do con người viết, so với 0% của ProseLens và 8% của Pangram 4:

IdeaLens gán các xác suất AI tương tự cho các câu chuyện gốc do AI viết và các phiên bản TwiceTold do con người viết dựa trên cùng một đề cương do AI tạo, trong khi xác suất AI của ProseLens giảm mạnh một khi văn bản được con người viết lại.

Mặc dù được đào tạo bằng tiếng Anh, IdeaLens đã tổng quát hoá trên 24 ngôn ngữ của IdeaShift-X, đánh dấu 95,3% tài liệu dựa trên các ý tưởng AI – nhưng chỉ 0,7% khi một kế hoạch chi tiết do con người cung cấp các ý tưởng. Trên 10.000 tài liệu do con người trước ChatGPT trong cùng các ngôn ngữ, tỷ lệ dương tính giả chỉ là 0,1%.

Các tác giả thừa nhận rằng một bộ dữ liệu lớn hơn sẽ là mong muốn trong công việc tương lai, và rằng độ nhiễu của các nhãn dữ liệu có thể cần được giải quyết. Tuy nhiên, những người muốn tiếp tục xây dựng trên kết quả ban đầu thú vị này có thể truy cập kho lưu trữ GitHub mà các tác giả của bài báo đã công bố; và những người chỉ tò mò có thể dán các bài kiểm tra ‘nghi ngờ’ vào trang demo của dự án, và tự đánh giá xem phương pháp có phù hợp với ước tính của họ, hoặc của các phương pháp khác hay không.

Kết luận

Liệu một phương pháp phát hiện kiểu này có ý nghĩa hay không phụ thuộc vào cách mà việc chấp nhận, tích hợp hoặc từ chối AI sẽ phát triển (chắc chắn sẽ khác nhau giữa các ngành và hoàn cảnh) trong vòng 6‑12 tháng tới.

Có thể công chúng của một chính trị gia sẽ khoan dung hơn với việc họ sử dụng AI để chỉnh sửa và trình bày các ý tưởng gốc của mình, hơn là với một cách trình bày hời hợt các ý tưởng do mô hình ngôn ngữ lớn tạo ra (rốt cuộc, về mặt thống kê, khán giả có xu hướng cảm thông với việc sử dụng AI chỉ như một công cụ hỗ trợ trình bày).

Tuy nhiên, đồng thời, chúng ta mong đợi gì từ AI nếu không phải là nó sẽ tạo ra các góc nhìn, ý tưởng và lựa chọn mà chúng ta có thể đã bỏ lỡ hoặc chưa bao giờ nghĩ tới; và từ quan điểm đó, việc để trí tuệ máy điều khiển bánh lái có thực sự là một ý tưởng tồi tệ?

Thực ra, xét về khía cạnh hình ảnh, và khi xét đến xu hướng lỗi ngày càng nổi tiếng và tăng lên của AI – gần đây là hành vi sai lệch –, có lẽ vẫn còn quá sớm để để các mô hình ngôn ngữ lớn đưa ra các đề xuất chính sách, hoặc nói chung trở thành động lực trong việc tạo ra ý tưởng.

* Nhấn mạnh của các tác giả, không phải của tôi, nhưng tôi đã chuyển các trích dẫn nội dòng của tác giả thành liên kết, khi cần thiết.

Được xuất bản lần đầu vào Thứ Ba, ngày 6 tháng 10 năm 2026