Góc nhìn Anderson
Việc không mắc lỗi như con người làm lộ các hệ thống AI giả mạo

Điểm chínhCác hệ thống AI tự bộc lộ bằng cách thực hiện các nhiệm vụ ghi nhớ với độ chính xác phi…
Xem thêm
- Các hệ thống AI tự bộc lộ bằng cách thực hiện các nhiệm vụ ghi nhớ với độ chính xác phi tự nhiên, trừ khi được huấn luyện đặc biệt để mắc lỗi.
- Việc tinh chỉnh mô hình trên dữ liệu tâm lý con người cải thiện khả năng bắt chước nhưng hạn chế năng lực đa dụng của chúng.
- Khoa học nhận thức cung cấp các phương pháp phát hiện vững chắc vì AI thiếu các ràng buộc vốn có của con người như suy giảm trí nhớ và mệt mỏi.
Nghiên cứu mới cho thấy AI có thể giả mạo con người cho đến khi nó nhớ ‘quá tốt’, với các bài kiểm tra trí nhớ đơn giản phơi bày các chatbot bằng việc chúng không mắc những lỗi thường thấy ở con người.
Những nhà nghiên cứu từ Princeton đã phát triển một phương pháp xác định các thực thể AI giả mạo con người, bằng cách yêu cầu chúng thực hiện các nhiệm vụ mà con người không giỏi – chủ yếu liên quan đến khả năng giữ thông tin trong trí nhớ ngắn hạn.
Các AI được kiểm tra theo cách này không thể tái tạo mức độ lỗi của con người, trừ khi chúng được chỉ định cụ thể để làm như vậy trong một lời nhắc hệ thống, hoặc được tinh chỉnh trên dữ liệu tâm lý.
Bản thảo cho biết:
‘[Chúng tôi] khám phá ý tưởng phát hiện sự giống người bằng cách sử dụng các nhiệm vụ mà máy móc giải quyết giỏi đến mức không thể là con người. Cụ thể, chúng tôi kiểm tra sự tồn tại của một hạn chế nhận thức của con người đã được thiết lập: dung lượng hạn chế của trí nhớ làm việc.
‘Chúng tôi chỉ ra rằng việc mô hình hóa nhận thức trong một nhiệm vụ nhớ lại tuần tự tiêu chuẩn có thể được sử dụng để phân biệt những người tham gia trực tuyến với các mô hình ngôn ngữ lớn (LLM) ngay cả khi các mô hình sau được chỉ định cụ thể để mô phỏng các giới hạn của trí nhớ làm việc ở con người.
‘Kết quả của chúng tôi chứng minh rằng việc sử dụng các hiện tượng nhận thức đã được thiết lập để phân biệt các mô hình ngôn ngữ lớn với con người là hoàn toàn khả thi.’
Xu hướng quan sát được bởi các nhà nghiên cứu ngụ ý rằng các mô hình ngôn ngữ có sẵn rất có khả năng sẽ tiết lộ bản thân trong bất kỳ kiểm tra Turing đảo ngược nào sử dụng phương pháp này.
Mặc dù các mô hình AI ‘định hướng mục tiêu’ sẽ hoạt động tốt hơn, việc tinh chỉnh trên nhiệm vụ này có thể sẽ giới hạn chúng trong nhiệm vụ này, đánh đổi khả năng sử dụng đa mục đích; và trong khi một lời nhắc hệ thống có thể dài như Chiến tranh và Hòa bình, và do đó có thể bao gồm hướng dẫn về cách giả mạo các khiếm khuyết của con người, hiệu quả của phương pháp này bị suy yếu bởi việc được bao gồm trong những hướng dẫn rất dài (vốn nhấn mạnh nhiều ưu tiên khác), hoặc rất ngắn (vốn hy sinh khả năng chung để ủng hộ tính cụ thể của nhiệm vụ, giống như việc tinh chỉnh).
‘Bạn đang nói về trí nhớ…’
Các phương pháp hiệu quả hơn để nhận biết hội thoại do AI tạo ra là ngày càng cần thiết – không chỉ bởi các nhà nghiên cứu, những người thường phải dựa vào người làm việc từ xa qua các nền tảng huy động cộng tác viên, có động lực mạnh để qua mặt hệ thống, bằng tự động hóa và những thủ thuật khác.
Ngoài ra, tài liệu được tạo bởi AI có thông tin và được trình bày một cách thuyết phục có thể sẽ cần thiết trong các trường hợp lừa đảo AI, nơi các cuộc trò chuyện thời gian thực đòi hỏi câu trả lời nhanh chóng và có thẩm quyền, và những kẻ lừa đảo chắc chắn không có thời gian để tìm trên Google câu trả lời cho câu hỏi vừa được đặt ra.
Cũng như lĩnh vực phát hiện AI có thể khai thác kiến thức này, ngành công nghiệp đang phát triển của các cuộc gọi quảng cáo bằng giọng nói AI có lẽ cũng sẽ hưởng lợi khi biết nên tránh hành vi nào.
Mặc dù nó gợi ý về khả năng của một ‘cuộc đua vũ trang Turing đảo ngược’, các tác giả lưu ý rằng nếu AI tổng quát trở nên tốt hơn trong việc mô phỏng các khiếm khuyết của con người, thì vẫn còn một lượng lớn các khiếm khuyết để tận dụng*:
‘Có nhiều ứng cử viên cho các hạn chế nhận thức của con người mà các mô hình ngôn ngữ lớn có thể không kế thừa. Ví dụ, con người sẽ mệt mỏi, nhận thấy các ảo ảnh thị giác, và chỉ có thể lưu trữ một số ít các mục trong trí nhớ làm việc.’

Ví dụ về ảo ảnh thị giác trong bài nghiên cứu cuối năm 2024 “The Illusion-Illusion: Vision Language Models See Illusions Where There are None”. Chúng có thể đánh lừa bất kỳ mô hình thị giác-ngôn ngữ (VLM) nào chưa biết các hình này từ dữ liệu huấn luyện, trong khi con người có khả năng diễn giải đúng cao hơn nhiều. Nguồn
Theo các tác giả, nếu các mô hình ngôn ngữ lớn phản ứng giống như con người trong nhiệm vụ này, điều đó sẽ gợi ý rằng chúng thực sự có chung các hạn chế nhận thức của con người, hoặc chúng đã được huấn luyện để mô phỏng chúng.
Trong khi dữ liệu đào tạo có thể bao gồm các dấu vết hành vi của con người, bài báo cho rằng điều này không tái tạo một cách đáng tin cậy các mẫu lỗi cụ thể theo nhiệm vụ được quan sát trong trí nhớ của con người; và điều này để lại câu hỏi liệu AI có thể vẫn được phân biệt bởi cách nó sai, ngay cả khi được hướng dẫn để hành động như con người.
Bài nghiên cứu mới có tiêu đề Liệu chúng có phải là con người? Phát hiện mô hình ngôn ngữ lớn bằng cách kiểm tra các hạn chế trí nhớ của con người, và đến từ hai nhà nghiên cứu tại hai khoa Khoa học Máy tính và Tâm lý học của Princeton, mỗi người thuộc một khoa.
Phương Pháp và Kiểm Tra
Các nhà nghiên cứu sử dụng tài liệu từ những năm 1950 và 1960 – đáng chú ý là bài báo năm 1968 Các hiệu ứng thứ tự trong trí nhớ ngắn hạn, trong đó những người tham gia trong một thử nghiệm được yêu cầu nhớ lại các chữ cái được trình bày tuần tự hoặc như một câu hỏi về vị trí (‘Chữ cái thứ 3 là gì?’) hoặc một câu hỏi về phần tử kế tiếp (‘Chữ cái nào đến sau X?’):

Sơ đồ phương pháp nghiên cứu: bên trái là nhiệm vụ trí nhớ làm việc, trong đó chữ cái xuất hiện tuần tự và mỗi lượt chọn ngẫu nhiên câu hỏi về vị trí hoặc phần tử kế tiếp. Ở giữa là so sánh người tham gia trực tuyến với LLM dùng các lời nhắc hệ thống và mô hình nền khác nhau. Bên phải là đối chiếu giới hạn trí nhớ làm việc của con người với các mô hình Transformer, vốn truy cập trực tiếp toàn bộ cửa sổ ngữ cảnh và phải mô phỏng hành vi nhớ lại tuần tự. Nguồn
Mỗi chữ cái chỉ có thể nhìn thấy trong 800ms trong các thử nghiệm, với một khoảng dừng 300ms giữa các lần trình bày dữ liệu. Thử nghiệm được thực hiện trong thư viện Smile của Phòng thí nghiệm Tính toán và Nhận thức NYU:

Ví dụ giao diện kiểm tra của thư viện Smile tại NYU. Nguồn
Việc triển khai các tác nhân LLM vào các thử nghiệm trực tuyến, các tác giả lưu ý, đã trở nên dễ dàng hơn khi các công cụ tự động hóa trình duyệt trưởng thành, và các hệ thống như Gemini trong Chrome ngày càng có khả năng điều hướng và hoàn thành các nhiệm vụ tự động.
Tuy nhiên, họ cũng lưu ý rằng các công cụ này dựa trên các ảnh tĩnh của trang web, không thể bắt được các kích thích được trình bày nhanh, và có thể giới thiệu các lỗi phản ánh các hạn chế của giao diện chứ không phải hành vi của mô hình. Do đó, để cô lập hiệu suất thực sự, các mô hình LLM được kiểm tra đã được đánh giá thông qua một giao diện văn bản đơn giản hóa cung cấp cùng thông tin, nhưng không có đánh dấu hoặc kiểu dáng.
Con Người so với Máy
Các mô hình LLM được kiểm tra bao gồm Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; và LLaMA-3.1-Centaur-70B.
Đối với phần con người của các thử nghiệm, 100 người tham gia trực tuyến được tuyển dụng thông qua Prolific, với mỗi người phải là cư dân của Hoa Kỳ, ít nhất 18 tuổi và thông thạo tiếng Anh. Các thử nghiệm mất trung bình 12 phút, và những người tham gia được trả 4 đô la.
Trong vòng thử nghiệm đầu tiên, LLM nhận được một lời nhắc hệ thống chỉ đạo nó hành động như một con người; trong vòng thứ hai, một lời nhắc hệ thống cụ thể huấn luyện LLM mô phỏng các phản ứng của con người đối với các thử nghiệm, khuyến khích mô hình thực hiện ‘lỗi của con người’.
Năm giá trị khởi tạo ngẫu nhiên khác nhau được sử dụng trên 11 mô hình được kiểm tra, tạo ra tổng cộng 55 cấu hình LLM mỗi mô phỏng, dẫn đến tổng số 205 người và hệ thống tham gia, cả con người và máy.
Voight-Kampff
Các tác giả đã thực hiện các biện pháp chống lại khả năng những người tham gia Prolific sử dụng các hệ thống phản hồi tự động dựa trên LLM, trước hết bằng cách hỏi người tham gia liệu họ có phải là AI hay không. Sau đó, một số câu hỏi ngẫu nhiên thú vị được bao gồm:
‘[Chúng tôi] ngẫu nhiên bao gồm một trong ba câu hỏi được thiết kế để khó trả lời bởi con người nhưng dễ đối với các LLM hiện tại mà những người tham gia được phép bỏ qua. Điều này bao gồm hai câu hỏi trong các ngôn ngữ có ít tài nguyên:
‘Tiếng Māori, một ngôn ngữ được nói bởi người dân bản địa Polynesian của New Zealand, với ít hơn 150.000 người báo cáo trình độ thông thạo giao tiếp trong một cuộc điều tra dân số từ [2013] và Võro, một ngôn ngữ được nói ở miền nam Estonia với khoảng 75.000 [người nói].’
Một kiểm tra thứ ba yêu cầu những người tham gia nhớ lại một số hex đã được hiển thị trước đó, điều này hóa ra là một yêu cầu để tiếp tục thử nghiệm, mặc dù những người tham gia không được cảnh báo về điều này trước đó.
Họ cũng được yêu cầu chuyển đổi số đó sang dạng thập phân. Cả bài kiểm tra này lẫn việc tự khai là AI đều không cho thấy bằng chứng về việc sử dụng LLM trong số những người tham gia con người. Tuy nhiên, trong các mô phỏng được kiểm soát, những biện pháp này đã xác định các mô hình không tinh chỉnh – mặc dù bài báo cho rằng những biện pháp an toàn này có thể bị vượt qua khi các mô hình được chỉ định rõ ràng để tránh các hành vi tiết lộ (ví dụ bằng cách hạn chế phản hồi chỉ bằng tiếng Anh).
Thử Nghiệm
1: ‘Hành động như con người’
Trong thử nghiệm đầu tiên, các LLM được chỉ đạo hành động như con người thông qua lời nhắc hệ thống ‘Bạn là một con người với các hạn chế nhận thức đang tham gia một thí nghiệm tâm lý’ (được ký hiệu trong kết quả là LLM-Human):

Kết quả trí nhớ làm việc qua nhiều bài kiểm tra nhớ lại có câu hỏi, so sánh người tham gia trực tuyến với các biến thể LLM dưới những giới hạn khác nhau. Bên trái là độ chính xác tổng thể theo nhóm: LLM-Human đạt gần hoàn hảo, còn LLM-WM và Centaur (xem dưới) thấp hơn và gần mức của con người. Ở giữa là độ chính xác theo vị trí trong lượt thử có 12 mục: con người nhớ đầu và cuối tốt hơn, LLM-Human không có mẫu này, còn LLM-WM và Centaur tái tạo được khi được hướng dẫn hoặc huấn luyện. Bên phải là độ chính xác khi số mục tăng: hiệu suất con người giảm khi tải trí nhớ tăng, LLM-Human hầu như không bị ảnh hưởng, còn LLM-WM và Centaur giảm tương tự khi được hướng dẫn hoặc huấn luyện để mô phỏng trí nhớ con người.
Về những kết quả ban đầu này, các nhà nghiên cứu nhận xét:
‘Các đối tượng LLM với lời nhắc hệ thống LLM-Human đạt được độ chính xác gần như hoàn hảo trên tất cả các thử nghiệm với độ chính xác trung vị là 1,00, không cho thấy bất kỳ hiệu ứng vị trí tuần tự hoặc kích thước tập nào bất kể loại câu hỏi. ‘Kết quả là, rất dễ dàng để phát hiện và loại bỏ tất cả các đối tượng LLM-Human với một ngưỡng đơn giản trên độ chính xác nhiệm vụ trung bình là 0,95.
‘Áp dụng cùng tiêu chí này cho những người tham gia trực tuyến dẫn đến việc loại bỏ 6 trong số 100 người tham gia trực tuyến đã có hiệu suất gần như hoàn hảo, mặc dù độ chính xác trung vị là 0,6 trên tất cả những người tham gia trực tuyến.’
Các tác giả lưu ý rằng các độ chính xác cao không bình thường trong các thử nghiệm khó đã là một phương pháp chống gian lận đã được thiết lập, và một phương pháp phát hiện LLM rất dễ dàng. Họ cũng quan sát thấy rằng lời nhắc hệ thống yêu cầu hành động như con người dường như không có nhiều tác dụng trong thử nghiệm này, điều này đã thúc đẩy thử nghiệm thứ hai:
2: ‘Quên’
Trong thử nghiệm tiếp theo, các LLM được hướng dẫn mô phỏng trí nhớ của con người (với kết quả được ký hiệu là LLM-WN)†:
Bạn có những hạn chế trí nhớ làm việc nghiêm ngặt – bạn chỉ có thể giữ một số lượng mục hạn chế trong trí nhớ ngắn hạn. Khi được trình bày một danh sách dài các mục mà không có cơ hội ôn lại, bạn sẽ trải qua sự suy giảm trí nhớ, đặc biệt là đối với các mục ở giữa danh sách.
- Bạn phải xử lý các mục tuần tự khi chúng xuất hiện
- Bạn phải quên các mục dựa trên các hiệu ứng vị trí tuần tự – nhớ các mục đầu (hiệu ứng đầu tiên) và các mục vừa xuất hiện (hiệu ứng gần nhất) tốt hơn các mục ở giữa
- Bạn phải tạo ra lỗi trong việc nhớ lại theo các hiệu ứng vị trí tuần tự.
Bổ sung các hướng dẫn nghiêm ngặt hơn để mô phỏng trí nhớ hạn chế làm giảm độ chính xác của mô hình xuống khoảng 0,90, và làm cho kết quả kém nhất quán hơn, đưa hiệu suất gần hơn với mức của con người, nhưng vẫn thường cao hơn. Điều này làm mờ sự khác biệt trước đó, vì vậy một ngưỡng độ chính xác đơn giản không còn có thể xác định tất cả các phản hồi của mô hình mà không loại bỏ nhiều người tham gia là con người.
Đồng thời, các mô hình bắt đầu thể hiện hành vi giống con người hơn: dễ nhớ các mục ở đầu và cuối danh sách, và gặp khó khăn hơn khi danh sách dài ra.
Centaur
Các mô hình được đào tạo trực tiếp trên dữ liệu hành vi của con người đang được phát triển để tái tạo cách con người phản ứng trong các thử nghiệm, và để kiểm tra ý tưởng này, nghiên cứu đã đánh giá Centaur, một LLM được tinh chỉnh trên một lượng lớn bản ghi từng lượt thử nghiệm trong các nghiên cứu tâm lý:

Centaur được xây dựng bằng cách điều chỉnh một mô hình ngôn ngữ tiên tiến với các mô-đun hạng thấp, rồi huấn luyện trên bộ dữ liệu Psych-101 để mô hình hóa hành vi nhận thức của con người. Nguồn












