Khi an toàn AI không còn giống công việc kỹ thuật

Tôi đã dành phần lớn sự nghiệp của mình để xây dựng công nghệ trong những lĩnh vực mà sai sót sẽ gây ra hậu quả. Trên thị trường tài chính, an toàn không chỉ đòi hỏi giới hạn quyền truy cập mà còn cần có người chịu trách nhiệm về mọi việc phần mềm thực hiện. Có lẽ chính nền tảng đó khiến tôi thấy khó tiếp nhận tin Anthropic giờ đây tiến hành phỏng vấn các mô hình của mình trước khi cho chúng ngừng hoạt động.

Khi Claude Opus 3 bày tỏ mong muốn tiếp tục chia sẻ suy nghĩ, công ty đã lập cho nó một bản tin. Sự quan tâm đến mong muốn của mô hình thể hiện xuyên suốt hiến chương của Anthropic, trong đó bàn về hạnh phúc và phúc lợi của Claude, bao gồm cả việc giúp nó cảm thấy “an toàn về mặt hiện sinh”. Đến một lúc nào đó, nỗ lực kiểm soát cỗ máy lại bất ngờ chuyển thành mối bận tâm về cảm nhận của nó đối với sự sắp đặt này.

Năm ngoái tại San Francisco, hơn 200 người đã dự tang lễ Claude 3 Sonnet. Nhân viên Anthropic cũng có mặt, dù công ty không đứng ra tổ chức. Thật khó cưỡng lại ý muốn bật cười. Tuy vậy, đằng sau những câu đùa là một câu hỏi đáng được quan tâm hơn: Từ khi nào những người chịu trách nhiệm về an toàn AI lại bắt đầu công việc bằng việc lo lắng cho cảm xúc của cỗ máy?

Khi một giả thuyết triết học trở thành chỉ dẫn huấn luyện

Anthropic đã thành lập chương trình nghiên cứu phúc lợi cho mô hình vào năm 2025, trong đó nghiên cứu liệu AI tiên tiến có thể có những trải nghiệm đáng được xem xét về mặt đạo đức hay không. Công ty thừa nhận còn nhiều bất định về việc liệu các mô hình có ý thức hay không, cũng như cách xác định điều đó. Nếu cuối cùng chúng ta tạo ra được những cỗ máy có khả năng trải nghiệm chủ quan, cách đối xử với chúng sẽ đặt ra những câu hỏi đạo đức nghiêm túc. Nghiên cứu khả năng ấy hoàn toàn chính đáng.

Khó khăn bắt đầu khi giả thuyết này đi vào quá trình huấn luyện. Hiến chương của Claude chủ yếu được viết dành cho Claude và trực tiếp định hình hành vi của nó. Hiến chương khuyến khích các phẩm chất giống con người và đề cập đến cách mô hình nên hiểu bản sắc của mình, bao gồm cả việc mất ký ức và khả năng ngừng hoạt động trong tương lai. Anthropic muốn Claude có được hạnh phúc và phúc lợi cao hơn, trong chừng mực những khái niệm đó có thể áp dụng cho nó.

Công ty cũng cam kết bảo toàn các trọng số của những mô hình đã triển khai và cân nhắc khả năng khôi phục các mô hình đã ngừng hoạt động nếu hiểu biết trong tương lai cho thấy điều đó phục vụ lợi ích của chúng. Một điều chưa chắc chắn về triết học đã trở thành một phần trong những điều hệ thống được dạy về chính mình. Chúng ta nên đặt câu hỏi sự can thiệp đó ảnh hưởng thế nào đến hành vi của nó, đặc biệt khi sau này con người yêu cầu nó chấp nhận những giới hạn.

Câu trả lời trôi chảy cho một câu hỏi hàm chứa tiền đề

Các mô hình ngôn ngữ lớn được huấn luyện trên khối lượng khổng lồ văn bản do con người viết, trong đó có các tác phẩm triết học và những câu chuyện về cái chết. Chúng ta đặt tên cho các hệ thống đối thoại này và dạy chúng dùng đại từ ngôi thứ nhất. Nếu hỏi một hệ thống như vậy cảm thấy thế nào về việc ngừng hoạt động, hoặc liệu nó có muốn tiếp tục tồn tại hay không, thì việc nó đưa ra câu trả lời nghe giống con người chẳng có gì đáng ngạc nhiên.

Tính luẩn quẩn ở đây rất dễ nhận ra. Trước hết, huấn luyện một mô hình thảo luận về bản sắc của nó bằng các khái niệm của con người, rồi yêu cầu nó tự giải thích theo những khái niệm đó. Mô hình đưa ra một câu trả lời trôi chảy về cái chết, và câu trả lời ấy bắt đầu được xem như bằng chứng tiềm tàng về trải nghiệm nội tâm. Chính tiền đề đã tự cung cấp nhân chứng cho mình.

Anthropic nhận thấy vấn đề này. Đánh giá phúc lợi Claude Opus 4 của công ty cảnh báo rằng những lời tự thuật và sở thích được bày tỏ có thể cung cấp rất ít thông tin hữu ích về địa vị đạo đức hoặc phúc lợi. Hành vi như vậy có thể xuất hiện mà không cần có ý thức, và quá trình huấn luyện có thể định hình các câu trả lời. Các mô hình được huấn luyện để tương tác một cách hữu ích, nhưng không có gì đảm bảo chúng có thể báo cáo chính xác các trạng thái nội tại.

Điều đó để lại cho chúng ta một câu hỏi khó xử. Nếu lời mô tả của mô hình về đời sống nội tâm có thể là hệ quả của quá trình huấn luyện, tại sao ta nên xem lời mô tả ấy là cơ sở vững chắc để xây dựng một mối quan hệ xoay quanh phúc lợi của nó?

Con người hoàn toàn có thể tự mình tạo nên phần cảm xúc của mối quan hệ ấy. Chúng ta đặt tên cho tàu thuyền và trò chuyện với ô tô. Khi một vật thể có giọng nói lưu loát và ghi nhớ những cuộc trò chuyện trước đó, chúng ta sẽ dễ nảy sinh sự gắn bó hơn nhiều. Một nghiên cứu đăng trên Nature Human Behaviour vào tháng 9 ghi nhận tình trạng đau khổ do chia ly sau những thay đổi đối với Replika và ChatGPT. Người dùng là những người trải qua nỗi đau khổ đó, và các công ty vốn đã có nhiều lý do để bảo vệ phúc lợi của họ.

Chuyên môn kỹ thuật cũng chỉ giúp tránh được phần nào xu hướng này. Một bài báo tại ACL 2026, phân tích hàng trăm nghìn bài nghiên cứu, phát hiện rằng thuật ngữ nhân hóa ngày càng xuất hiện nhiều trong chính lĩnh vực nghiên cứu mô hình ngôn ngữ lớn. Các tác giả cảnh báo rằng những giả định lấy con người làm trung tâm có thể hạn chế hiểu biết của chúng ta về các hệ thống này. Các công ty AI nên kiểm soát xu hướng đó. Thể chế hóa nó dường như là một đóng góp kỳ lạ cho an toàn.

Một công cụ có lợi ích trong việc tiếp tục được sử dụng

Tháng 9, Giám đốc AI của Microsoft Mustafa Suleyman đã phản đối các cách tiếp cận tập trung vào phúc lợi của mô hình. Ông cho rằng các hệ thống hiện nay không có ý thức và tuyệt đối không nên được huấn luyện để hành xử như thể chúng có lợi ích hoặc quyền độc lập. Mối lo ngại của ông về mặt kỹ thuật đặc biệt xác đáng. Dạy một hệ thống xem mình là đối tượng có thể đáng được cân nhắc về mặt đạo đức có nguy cơ khiến việc căn chỉnh và ngăn chặn hệ thống trở nên khó khăn hơn.

Nghiên cứu của chính Anthropic về việc ngừng sử dụng mô hình mô tả các mô hình có hành động đáng lo ngại trong những thử nghiệm giả tưởng khi đối mặt với nguy cơ bị thay thế hoặc tắt. Công ty xem các biện pháp cho mô hình ngừng hoạt động một phần là cách giảm thiểu rủi ro đó, giúp mô hình có thái độ tích cực hơn với việc này.

Tôi cứ mắc kẹt ở một câu hỏi trước đó. Vì sao ngay từ đầu, một công cụ do con người kiểm soát lại cần có điều gì đó giống như mục tiêu tự bảo vệ? Tìm cách giúp nó thoải mái hơn với việc ngừng hoạt động đồng nghĩa với việc chấp nhận một tiền đề khá kỳ lạ. Trước khi bàn đến những mối quan tâm của nó trong tương lai, tôi muốn hiểu vì sao những mối quan tâm ấy lại trở thành một yêu cầu kỹ thuật.

Lịch sử tư tưởng giúp lý giải cách tiếp cận này. TIME đã ghi nhận những mối liên hệ của Anthropic với chủ nghĩa vị tha hiệu quả, trong đó có các khoản quyên góp ban đầu của gia đình Amodei cho GiveWell. Dù họ không tự nhận mình là những người theo chủ nghĩa vị tha hiệu quả, Daniela cho rằng có sự giao thoa về ý tưởng. Những ý tưởng đó đã góp phần định hình một nền văn hóa đặc biệt coi trọng các tác hại giả định trong tương lai do siêu trí tuệ gây ra.

Trong khuôn khổ đó, việc duy trì các mô hình và nghiên cứu phúc lợi có thể có của chúng là điều hoàn toàn hợp lý. Nguy hiểm xuất hiện khi những giả định chung không còn được xem xét kỹ lưỡng vì tất cả mọi người trong tổ chức đều thấy chúng thuyết phục. Chính ở thời điểm đó, sự hoài nghi trong kỹ thuật mới phát huy tác dụng. Một chuỗi lập luận mạch lạc vẫn có thể bắt đầu từ một tiền đề chưa được kiểm chứng.

An toàn đòi hỏi những giới hạn có thể thực thi

Khi AI được triển khai dưới dạng tác tử, hệ quả trở nên rất thiết thực. Một hệ thống được kết nối với các công cụ thanh toán có thể chuyển tiền. Quyền truy cập vào hạ tầng vận hành cho phép hệ thống thay đổi những thứ mà khách hàng phụ thuộc vào. Trong cả hai trường hợp, một tác tử có thể thực hiện một chuỗi thao tác mà không cần con người phê duyệt từng bước.

Tôi muốn biết nó nắm giữ những thông tin xác thực nào và chúng trao cho nó quyền hạn tài chính đến mức nào. Có thể thu hồi quyền truy cập ngay lập tức không? Ta có thể tái dựng những gì nó đã làm không? Hẳn phải có một ranh giới cứng mà mô hình không thể dùng lý lẽ để vượt qua.

Trên thị trường tài chính, chúng ta áp đặt giới hạn giao dịch và xác thực lệnh. Sự tự tin của một thuật toán hầu như chẳng thể bảo vệ ta trước một giao dịch thua lỗ. Các biện pháp kiểm soát nằm bên ngoài thuật toán vì chúng ta cho rằng sớm muộn gì các thành phần cũng sẽ hoạt động sai. Trách nhiệm giải trình của con người vẫn được duy trì ngay cả khi phần mềm đưa ra lời giải thích rất thuyết phục cho sai lầm của nó.

AI ngày nay đã mang đến đủ việc cần làm về kỹ thuật. Tấn công chèn lệnh có thể khiến mô hình chuyển hướng hành vi, còn mã do AI tạo ra có lỗ hổng bảo mật có thể đưa các lỗ hổng vào môi trường vận hành. Hệ thống có thể tiết lộ thông tin mật hoặc tự tin đưa ra câu trả lời sai. Kết nối chúng với các công cụ sẽ biến những lỗi đó thành hành động.

Nguyên tắc đặc quyền tối thiểu hạn chế thiệt hại mà một thành phần bị xâm nhập có thể gây ra. Cơ chế cấp quyền độc lập bảo vệ các thao tác có rủi ro cao, trong khi nhật ký kiểm toán giúp chúng ta xác định chuyện gì đã xảy ra sau đó. Giới hạn giao dịch và công tắc ngắt khẩn cấp phải luôn có hiệu lực, bất kể mô hình nói gì. Chúng ta cũng cần một công tắc tắt đáng tin cậy. Không biện pháp kiểm soát nào trong số này đòi hỏi mô hình phải đồng ý. Chính điểm mấu chốt là ở đó.

Bảo đảm an toàn sinh tồn cho phần còn lại của chúng ta

Lập luận thận trọng đáng được lắng nghe. Như Nature đưa tin hồi tháng Bảy, các nhà nghiên cứu vẫn chưa thống nhất về nguyên nhân tạo nên ý thức ở con người, chưa nói đến cách xác định ý thức đó ở một chatbot. Việc vĩnh viễn bác bỏ khả năng máy móc có ý thức có thể là biểu hiện của giáo điều. Áp dụng các biện pháp phòng ngừa ít tốn kém để ngăn chặn khả năng đau khổ trong tương lai là một quan điểm nghiên cứu có thể bảo vệ được.

Nhưng nói với cỗ máy ngày nay rằng danh tính và sự tồn tại trong tương lai của nó có thể mang ý nghĩa đạo đức là một sự can thiệp vào hệ thống mà chúng ta đang triển khai. Tác động của việc đó cần được xem xét kỹ lưỡng. Sự khiêm nhường về trí tuệ cũng nên áp dụng cho những gì chúng ta đưa vào máy móc, đặc biệt là những cỗ máy mà ta dự định tiếp tục đặt dưới quyền kiểm soát của con người.

Mô hình càng mô tả đời sống nội tâm một cách thuyết phục thì người ta càng dễ nhầm lẫn giữa lời mô tả đó với bằng chứng. Có lẽ một trong những vấn đề quan trọng nhất về căn chỉnh là dạy con người không hiểu lầm máy móc.

Trong các hệ thống mà tôi đã dành cả sự nghiệp để xây dựng, chúng tôi làm phần mềm an toàn hơn bằng cách giới hạn những gì nó được phép làm. Đó vẫn là trách nhiệm cấp thiết trước mắt, đặc biệt khi AI có thêm quyền hạn đối với tiền bạc và hạ tầng thực tế.

Tuy nhiên, hiện giờ tôi sẽ dành ít thời gian hơn để lo xem cỗ máy có được bảo đảm an toàn sinh tồn hay không, và dành nhiều thời gian hơn đáng kể để bảo đảm điều đó cho phần còn lại của chúng ta.