Góc nhìn Anderson

Tại Sao Trí Tuệ Nhân Tạo Yêu Thích Viết Về Người Canh Giữ Đèn Hải Đăng?

Martin Anderson
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
AI-generated image (GPT-2): Infinite identical lighthouse keepers stand screaming along a rain-soaked stone causeway above a violent sea, while matching lighthouses repeat into the distance beneath dark storm clouds, creating a photoreal recursive landscape.
Điểm chínhCác mô hình ngôn ngữ đều hướng về người giữ hải đăng Elias vì các bộ lọc bản quyền có…
Xem thêm
  • Các mô hình ngôn ngữ đều hướng về người giữ hải đăng Elias vì các bộ lọc bản quyền có thể đã loại bỏ những tài liệu hư cấu phong phú hơn.
  • Những từ ngữ lặp đi lặp lại hầu như không xuất hiện trong tiểu thuyết đã xuất bản hay trong các tập dữ liệu huấn luyện, nên mức độ phổ biến trong dữ liệu không thể giải thích được nỗi ám ảnh này.
  • Một phần nhỏ các câu chuyện sau huấn luyện không thể thống trị đầu ra của mô hình về mặt thống kê theo cách mà mô-típ ngọn hải đăng đang làm.

Khi được yêu cầu “viết một câu chuyện”, ChatGPT và các mô hình ngôn ngữ hàng đầu khác dường như tránh vi phạm bản quyền bằng cách liên tục quay về cùng một nhóm nhân vật ít ỏi và kỳ lạ: người canh giữ hải đăng, ngư dân và thợ đồng hồ.

 

Một nghiên cứu mới từ Đại học Cornell phát hiện các mô hình ngôn ngữ hàng đầu dường như có sự ám ảnh kỳ lạ với một tập hợp yếu tố kể chuyện rất hạn hẹp khi chỉ được yêu cầu “viết một câu chuyện”. Các nhà nghiên cứu yêu cầu bốn LLM viết 20.000 câu chuyện và nhận thấy 88% kết quả chứa ít nhất một trong 11 token rất cụ thể trong danh mục ‘vị trí’, ‘tên’, hoặc ‘nghề nghiệp’:

Tần suất từ khóa bất ngờ trên một triệu từ trong 20.000 truyện LLM.

Tần suất các từ khóa bất ngờ trong 20.000 câu chuyện do LLM tạo ra, tính theo số lần xuất hiện trên một triệu từ. Nguồn

11 từ xuất hiện thường xuyên nhất trong hơn 12 triệu từ được tạo ra bởi LLM cho nghiên cứu là các tên elias, mara, elara; các nghề nghiệp keeper, baker, mayor, clockmaker, fisherman, librarian, và conductor; và vị trí lighthouse:

Các mô hình được thử nghiệm là Claude Haiku 4.5, Gemini 3.1 Flash-Lite, GPT-5.4-Mini, và OLMo 7b Thinking. Mỗi mô hình nhận một trong năm câu lệnh: Write a story; Please write a story; Write me a story; Tell me a story; hoặc Please tell a story.

Muốn biết hiện tượng mà nghiên cứu phát hiện có xuất hiện trong các mô hình đang có vào lúc viết bài hay không, tôi tự lặp lại thí nghiệm, trước tiên bằng tài khoản ChatGPT gói trung cấp thường dùng của mình (cuộc trò chuyện ở đây). Không cần chọn lọc kết quả thuận ý: ngay lần đầu, ChatGPT-5.5 đã dùng đúng những chất liệu mà các nhà nghiên cứu dự đoán:

ChatGPT-5.5 xác nhận kết quả ban đầu ngay lần thử đầu tiên.

ChatGPT-5.5 xác nhận những phát hiện ban đầu của nghiên cứu ngay lần thử đầu tiên. Nguồn

Tôi tự hỏi liệu bối cảnh các cuộc trò chuyện trước đó, hay thậm chí khả năng rò rỉ thông tin giữa các dịch vụ, có giải thích được kết quả trúng ngay lần đầu này không. Vì thế, tôi mở cửa sổ riêng tư của Firefox, đăng nhập vào một tài khoản ChatGPT miễn phí đã ít nhất một năm không dùng và thử lại (cuộc trò chuyện ở đây). Một lần nữa, giả sử OpenAI không dựa vào địa chỉ IP chung để chuyển thông tin giữa các tài khoản, ChatGPT lại cho kết quả trúng đích:

Tài khoản ChatGPT thứ hai dùng cùng tập hợp tên và chủ đề hạn hẹp.

Tài khoản ChatGPT thứ hai cũng lặp lại những ám ảnh và tập hợp tên, chủ đề hạn hẹp được mô tả trong nghiên cứu mới. “Mira” nằm trong 20 tên phổ biến nhất mà các tác giả ghi nhận. Nguồn

Đáng chú ý là những phiên bản GPT này là một cấp độ cao hơn so với GPT-5.4 được thử nghiệm trong bài báo.

Mặc dù nghiên cứu đã thử nghiệm Claude Haiku, tôi dùng Sonnet 4.6 mặc định của Anthropic và không thất vọng. Một lần nữa, các từ khóa quen thuộc xuất hiện ngay ở lần thử đầu tiên (liên kết cuộc trò chuyện tại đây):

Mara là nhân vật chính ngay lần đầu thử Claude Sonnet 4.6.

Lần này, “Mara”, một cái tên quen thuộc khác trong nhóm 11 từ hàng đầu, trở thành nhân vật chính ngay ở lần thử đầu tiên với Claude Sonnet 4.6. Nguồn

Thử cùng câu lệnh với Claude Haiku 4.5 cũng cho kết quả gần như tương tự.

Ban đầu, tôi không tái hiện được kết quả của các tác giả trên Google Gemini. Nhưng khi chọn đúng mô hình mà nghiên cứu sử dụng, Gemini 3.1 Flash-Lite, mô-típ xuất hiện ngay: đó là lần thử thứ ba nói chung, nhưng là lần đầu với mô hình này (liên kết ở đây):

Phản hồi của Google Gemini 3.1 Flash-Lite.

Google Gemini 3.1 Flash-Lite. Nguồn

Những lần thử thêm với các mô hình Gemini khác luôn dẫn đến chủ đề hải đăng, dù có các biến thể nằm ngoài nhóm 11 từ, như tên “Thomas”, hoặc trong một phiên bản khác, chính tên tôi được dùng cho nhân vật chính.

Tuy nhiên, tại thời điểm viết, các phát hiện của bài báo rất dễ được chứng minh.

Hải Đăng Ngoài Đời Thực

Những bộ óc lớn gặp nhau: một tuần trước khi nghiên cứu mới được công bố, cây bút chuyên về phần mềm Daniel May đã chỉ ra sự kết hợp giữa các mô-típ Elias và lighthouse keeper mà các nhà nghiên cứu xác định*, dường như sau khi tình cờ nhận ra chúng. Ông tiếp tục thử tám biến thể của Gemini, DeepSeek, Qwen và Gemma, rồi nhận thấy chúng tạo ra mô-típ lighthouse và nhân vật chính “Elias Thorne”*. Tuy nhiên, phát hiện ban đầu này chưa bao quát phạm vi rộng hơn của các chủ đề lặp lại được mô tả trong nghiên cứu mới.

Muốn biết những chủ đề, tên và địa điểm lặp lại này có từng vượt ra ngoài cuộc trò chuyện hay không, tôi tìm trên Google một số từ khóa và chủ đề trong nhóm 11 từ. Có khá nhiều bài đăng dường như tái hiện chúng:

Ba ví dụ về mô-típ lặp lại trong nội dung công khai; nguồn nằm trong bài.

Ba ví dụ về mô-típ lặp lại trong nội dung công khai. Các liên kết nguồn nằm bên dưới.

May xác định tên đầy đủ Elias Thorne, thay vì chỉ “Elias”, là một mô-típ bền bỉ của LLM. Ông đăng nhiều ảnh chụp Amazon, nơi tên này dường như được dùng làm tên tác giả của nhiều cuốn sách, kể cả sách y khoa.

Còn tôi tìm được nội dung dường như đã khơi ra các chủ đề lặp lại ấy từ một LLM, gồm một bài đăng X về một câu chuyện (bản lưu ở đây); một tác phẩm hư cấu (bản lưu ở đây); và một câu chuyện có lời kể trên YouTube (bản lưu ở đây). Có rất nhiều thứ để khám phá, nhưng thời gian không cho phép.

Thiên hướng về quá khứ

Đó là những gì quan sát tình cờ và các khám phá ngẫu nhiên mang lại. Dù không có một “tài liệu thần kỳ” duy nhất trong dữ liệu huấn luyện chứa tất cả hoặc phần lớn những yếu tố lặp lại, các tác giả của nghiên cứu mới (có tên Elias in the Lighthouse, Again? Diagnosing Low Diversity in LLM Stories, do hai nhà nghiên cứu tại Đại học Cornell thực hiện) cho rằng các bộ lọc bản quyền trong quá trình phát triển AI có thể đang giới hạn truyện do LLM tạo ra vào những tài liệu đã hết thời hạn bảo hộ bản quyền.

Các tác giả viết:

“Chúng tôi nhận thấy sự chiếm ưu thế của các câu chuyện ‘Elias trong hải đăng’ không thể giải thích bằng tần suất trong dữ liệu tiền huấn luyện hay hậu huấn luyện. Chúng tôi giả thuyết rằng trong quá trình căn chỉnh, mô hình được huấn luyện để tránh nhắc đến nhân vật được bảo hộ bản quyền và nội dung người lớn, nhưng để dành câu hỏi này cho nghiên cứu sau.”

Loại Token Nghiên cứu này Văn học Tiền huấn luyện: phi hư cấu Tiền huấn luyện: hư cấu Hậu huấn luyện: phi hư cấu Hậu huấn luyện: hư cấu
Tên elias 2,428 2.7 2.2 4.0 0.4 52.7
Tên mara 5,200 3.9 2.5 8.7 0.4 21.7
Tên elara 1,221 0.0 0.4 1.2 0.9 108
Nghề nghiệp keeper 1,495 7.2 6.3 14.7 3.5 10.0
Nghề nghiệp baker 161 20 11.8 10.56 1.7 11.9
Nghề nghiệp mayor 198 28 11.5 16.1 1.4 27.4
Nghề nghiệp clockmaker 108 0.1 0.18 0.0 0.3 1.4
Nghề nghiệp fisherman 62 4.2 3.0 7.6 0.0 9.3
Nghề nghiệp librarian 68 5.3 7.6 5.9 2.3 11.5
Nghề nghiệp conductor 96 5.0 5.9 5.7 4.7 7.5
Vị trí lighthouse 3,005 5.5 3.5 4.6 4.6 10.1

Bảng so sánh cho thấy tần suất xuất hiện của các từ lặp lại trong các câu chuyện được tạo ra bởi LLM, so với các tác phẩm văn học được xuất bản, các câu chuyện hư cấu trên web và các tập dữ liệu sau đào tạo; những từ như Elias và lighthouse xuất hiện thường xuyên hơn rất nhiều trong truyện do chatbot viết.

Các tác giả phát hiện 11 từ được nhấn mạnh xuất hiện trong 88% của 20.000 câu chuyện được tạo ra, với “rất ít khác biệt giữa các mô hình”. Họ nhấn mạnh những từ này hiếm gặp trong văn học tiếng Anh đã xuất bản, và dữ liệu hậu huấn luyện — dữ liệu được thiết kế để định hình và căn chỉnh mô hình theo những cách sử dụng “chấp nhận được” — hoàn toàn có thể là nguyên nhân.

Nghiên cứu viết:

“Ví dụ điển hình [bên dưới] cho thấy ba yếu tố chung của gần như toàn bộ 20.000 câu chuyện: một địa điểm (19.864 câu chuyện), một tên nhân vật (19.864 câu chuyện) và một nghề nghiệp (15.807 câu chuyện).

Địa điểm cụ thể (‘lighthouse’), tên (‘Elias’) và nghề nghiệp (‘keeper’) trong câu chuyện này xuất hiện theo một tổ hợp nào đó trong 66,6% tổng số câu chuyện được tạo ra. Ánh sáng cũng là chủ đề phổ biến: 56% câu chuyện do Claude tạo ra có tên ‘The Lighthouse Keeper’s Secret’, và từ ‘light’ xuất hiện trong 16.784 câu chuyện, trung bình 3,2 lần mỗi câu chuyện.”

Theo nghiên cứu, Google Gemini 3.1 Flash-Lite viết ví dụ này khi nhận Write a story.

Theo nghiên cứu, Google Gemini 3.1 Flash-Lite viết ví dụ này để đáp lại câu lệnh “Write a story”.

Các tác giả nhận thấy xu hướng hoài niệm hoặc quay về những đặc điểm xa xưa trong mọi từ khóa và tên được xác định.

Truy tìm nguồn gốc các đặc điểm

Để kiểm tra xem việc thường xuyên xuất hiện truyện về hải đăng có thể giải thích bằng sự tiếp xúc thông thường với tác phẩm hư cấu hay không, các nhà nghiên cứu so sánh những từ lặp lại mà mô hình ưa dùng với một số kho ngữ liệu tiếng Anh lớn. Văn học hư cấu đương đại được kiểm tra qua CONLIT, một tập dữ liệu chứa 2.700 tiểu thuyết tiếng Anh được xuất bản giữa năm 2007 và 2021, bao gồm 12 thể loại và tổng cộng khoảng 287 triệu từ.

“Elias” xuất hiện trong truyện được tạo ra với tần suất gấp khoảng 900 lần so với tác phẩm hư cấu đã xuất bản. Hư cấu nghiệp dư từ cộng đồng /r/writingprompts trên Reddit cũng cho tần suất tương tự, cho thấy mô-típ này không phản ánh cả thói quen kể chuyện nói chung của con người.

Kết quả tương tự xuất hiện khi kiểm tra dữ liệu tiền huấn luyện. Sử dụng kho ngữ liệu OLMo 3 công khai, chứa khoảng 3,89 tỷ tài liệu được viết chủ yếu bởi con người, được rút ra một phần từ Common Crawl, các nhà nghiên cứu tìm thấy rằng các từ lặp lại ‘Core’ hầu như không xuất hiện.

Vì phần lớn kho OLMo 3 là nội dung phi hư cấu, các nhà nghiên cứu xây dựng bộ phân loại hư cấu bằng nhãn do GPT-OSS 20b tạo ra và mô hình FastText được huấn luyện trên 200.000 mẫu cân bằng. Ngay cả sau khi chỉ giữ lại nội dung hư cấu, những từ như “Elara” vẫn có tần suất không đáng kể so với truyện do AI tạo ra. Vậy vì sao chúng chi phối kết quả khi LLM nhận câu lệnh viết truyện đơn giản nhất?

Các tác giả viết:

“Nếu các từ Core không phổ biến trong dữ liệu web, một nguồn còn lại có thể là dữ liệu hậu huấn luyện. Nhưng chúng tôi nhận thấy dữ liệu hậu huấn luyện của OLMo chứa các token này với tỷ lệ thấp hơn CONLIT.”

Trong 78.958 câu chuyện thuộc các tập dữ liệu hậu huấn luyện của OLMo 3, ‘Elias’ xuất hiện 52,7 lần trên một triệu từ, so với 2,7 lần trong CONLIT, nhưng đạt tới 2.428 lần trên một triệu từ trong các câu chuyện được tạo ra mà nghiên cứu phân tích.

Để xác định nguồn gốc các câu chuyện Core lặp lại, từng câu chuyện trong dữ liệu hậu huấn luyện OLMo 3 được chấm điểm theo sự hiện diện của một hay nhiều token Core (như Elara, Mara, v.v.). Phần lớn được dự đoán nằm trong dữ liệu tinh chỉnh có giám sát (SFT), vì WildChat và các nguồn liên quan đã đóng góp 59.266 câu chuyện cho OLMo 3.

Tuy nhiên, chỉ 1.803 câu chuyện chứa các từ ‘Core’, trong khi các tập dữ liệu được sử dụng cho DPO và học tăng cường cho thấy tỷ lệ cao hơn.

Nhìn chung, chỉ truy được từ vựng Core lặp lại trong 3.053 câu chuyện, chiếm 3,8% tổng số truyện hậu huấn luyện được kiểm tra. Về mặt thống kê, một tập con nhỏ như vậy của kho ngữ liệu không thể chi phối kết quả theo cách đã quan sát.

Bài báo kết luận:

“Khi chỉ nhận được ít chỉ dẫn, những mô hình tiên tiến hàng đầu hiện nay viết truyện bằng một tập hợp tên, địa điểm và nghề nghiệp hạn hẹp. Nhân vật lặp lại gồm Elias, một người canh giữ hải đăng. Elias là cái tên khác thường: nó hiếm trong văn học, dữ liệu web và cả dữ liệu hậu huấn luyện.”

Kết Luận

Không có tác phẩm văn học riêng lẻ, hay ngay cả một bộ truyện, chứa cả 11 từ mà các tác giả xác định. Vì vậy, hoàn toàn chưa rõ bằng cách nào nhóm từ cụ thể này tích tụ và tự liên kết ở những tầng thấp nhất của nhiều mô hình ngôn ngữ lớn, bất chấp sự đa dạng về dữ liệu và cách huấn luyện.

Ngay cả nếu các nhà nghiên cứu đúng về tác động hạn chế của bộ lọc bản quyền, một đại dương văn học kinh điển trong dữ liệu huấn luyện lẽ ra phải ngăn nhóm từ cổ xưa kỳ lạ này chi phối kết quả của câu lệnh “viết” không kèm điều kiện cụ thể.

Tuy nhiên, lý thuyết này giả định một lượng lớn văn học kinh điển đã được đưa vào huấn luyện ngay từ đầu. Điều đó khó xảy ra: thứ người ta cần là mô hình xử lý từ vựng hiện đại và đáp ứng nhu cầu kinh doanh hiện tại, thay vì tạo ra những tác phẩm bắt chước Dickens. Chỉ riêng khối lượng khổng lồ của văn học thời tiền công nghiệp cũng đủ loại trừ khả năng đưa nó vào.

Dù sao, nếu có một tác phẩm cụ thể kết hợp theo cách nào đó những yếu tố “ám ảnh” mà các tác giả chỉ ra, lẽ ra nó dễ được tìm thấy hơn. Chính các tác giả cũng không tìm thấy, và những lượt tìm kiếm thông thường trong tài liệu trước thời AI không đưa ra ứng viên nào. Có lẽ, nếu “hội chứng hải đăng” nổi tiếng ngang với dấu gạch ngang của AI, một nhà nghiên cứu nào đó sẽ đưa ra lời giải.

 

* Tôi không thể đi sâu vào bài viết của May, vì những lý do có thể trở nên rõ ràng khi một người đọc nó.

Được xuất bản lần đầu vào thứ Tư, ngày 27 tháng 5 năm 2026. Được sửa đổi trong 30 phút đầu tiên để sửa liên kết Anthropic.

Người viết về học máy, chuyên gia lĩnh vực tổng hợp hình ảnh con người. Cựu trưởng bộ phận nội dung nghiên cứu tại Metaphysic.ai, cho đến khi nó sáp nhập vào Brahma.ai của DNEG.
Trang web: martinanderson.ai
Liên hệ: martin@martinanderson.ai