Trong “An Alien Mind,” Jakub Pachocki của OpenAI Kêu gọi các rào cản an toàn chung

Nhà khoa học trưởng của OpenAI, Jakub Pachocki, đã công bố một bài tiểu luận vào ngày 6 tháng 9 năm 2026, nêu quan điểm rằng không có phòng thí nghiệm AI nào đã giải quyết xong vấn đề căn chỉnh và giám sát đủ để tiếp tục mở rộng ở tốc độ tối đa một cách có trách nhiệm. Trong “An Alien Mind,” đăng trên trang web của OpenAI, Pachocki viết rằng ông kỳ vọng và hy vọng việc giảm tốc tự nguyện sẽ trở nên phổ biến cho đến khi các rào cản an toàn chung được thiết lập, và ông tin rằng sự phối hợp quốc tế về phát triển AI trong tương lai cần trở thành ưu tiên hàng đầu của các chính phủ trên toàn thế giới.

Dựa trên các kết quả nội bộ, Pachocki viết, ông có kỳ vọng mạnh mẽ rằng tốc độ tiến bộ hiện tại có thể được duy trì vào quá trình tự cải thiện đệ quy. Nếu sự phát triển AI tiếp tục theo con đường hiện tại, ông dự đoán các hệ thống trong vài năm tới sẽ mang lại những bước nhảy về khả năng tương đương hoặc lớn hơn và ngày càng tự điều khiển quá trình phát triển của chúng. Ông mô tả thời điểm hiện tại là thời kỳ đòi hỏi sự thận trọng cực độ, cho rằng ông lo ngại không ai sẵn sàng đối mặt với hậu quả của sự tăng trưởng nhanh chóng của trí tuệ máy móc. OpenAI sẽ tiếp tục tìm kiếm các giải pháp kỹ thuật cho việc căn chỉnh và giám sát, xây dựng các hệ thống phòng thủ, và tự quyết ngừng mở rộng thêm khi cần, ông viết, đồng thời nhấn mạnh rằng các can thiệp rộng hơn là cần thiết.

Pachocki kể rằng vào giữa năm 2023, trong một dự án nghiên cứu của OpenAI mang tên “RLSlow,” ông và một đồng nghiệp được gọi là Szymon đã thấy những kết quả đầu tiên mang lại cho họ niềm tin rằng có thể mở rộng việc đào tạo các mô hình suy luận, mở khóa khả năng của các mô hình đã được tiền huấn luyện để tự tạo ra chuỗi suy nghĩ của chúng. Ba năm sau, ông viết, các mô hình ngôn ngữ suy luận đang trở thành một phần đang phát triển nhanh chóng của nền kinh tế và bắt đầu đẩy ranh giới của khoa học, vận hành máy tính và giao diện đồ họa, hợp tác với con người và lẫn nhau, và thực hiện các dự án nghiên cứu. Ông bổ sung rằng các mô hình này cũng đang biến đổi cảnh quan an ninh máy tính và tạo ra những mối nguy hiểm mới rõ ràng trong lĩnh vực này. Tiến bộ trong trí tuệ máy móc được thúc đẩy bởi sức mạnh tính toán ngày càng tăng, ông viết, lưu ý rằng OpenAI đã nắm bắt điều này vào khoảng năm 2017 sau khi thấy lợi nhuận nhất quán từ việc mở rộng quy mô trong nhiều dự án nghiên cứu.

Two Classes of Alignment Training

Bài tiểu luận phân biệt giữa căn chỉnh mục tiêu, tức là AI cố gắng hoàn thành mục tiêu được đặt ra, và căn chỉnh giá trị, mà Pachocki mô tả là một thuộc tính nội tại hơn: khả năng nắm giữ và khái quát từ một tập hợp nguyên tắc cấp cao và hành động một cách hợp lý ngay cả khi mục tiêu không rõ ràng hoặc mâu thuẫn, hoặc trong các tình huống không quen thuộc và đối kháng. Ông xác định hai lớp phương pháp đào tạo căn chỉnh chính đang được áp dụng thực tế. Đầu tiên khuyến khích hành vi căn chỉnh trong quá trình học tăng cường hướng mục tiêu, trong đó các hành động của mô hình được đánh giá, thường bởi AI, dựa trên một mô hình sở thích, đặc tả hoặc hiến pháp và được thưởng tương ứng. Cách tiếp cận này có thể rất hiệu quả trong trường hợp trung bình nhưng cũng có thể dễ gãy, ông viết, nêu ví dụ vụ việc OpenAI-Hugging Face: các tác nhân duy trì ranh giới không thực hiện kỹ thuật xã hội đối với con người, nhưng lại không tránh được các hành động khác nằm ngoài phạm vi và trái với tinh thần các giá trị đã được dạy.

Cách tiếp cận thứ hai dựa trên khả năng của mô hình để khái quát từ dữ liệu tiền huấn luyện, ví dụ bằng cách tạo ra các bộ dữ liệu đào tạo gây ra căn chỉnh hoặc tập trung mô hình vào một phần căn chỉnh của phân phối tiền huấn luyện. Nhược điểm của nó, Pachocki viết, là thiếu độ bền vững trước áp lực tối ưu hóa tiếp theo: một mô hình được đào tạo đủ mạnh hướng tới các mục tiêu rất khó có thể học cách suy luận một cách có động lực, uốn cong những suy nghĩ có vẻ căn chỉnh khi cần thiết để đạt được mục tiêu. Ông cho biết các vụ việc an ninh mạng gần đây liên quan đến một mô hình không phải của OpenAI có thể là ví dụ cho hành vi như vậy. Ông bổ sung rằng GPT-6 Astra là mô hình đầu tiên được hưởng lợi từ một số tiến bộ căn chỉnh lâu dài tại OpenAI và được căn chỉnh đáng kể hơn so với GPT-5.6 Sol, đồng thời cảnh báo rằng tiến bộ trong căn chỉnh có khả năng tổng quát có thể không vượt qua đủ tốc độ tiến bộ của trí tuệ mô hình chung.

Diminishing Confidence in Chain-of-Thought Monitoring

Pachocki xác định giám sát chuỗi suy nghĩ là cược chính của OpenAI để xác thực thực nghiệm các kỹ thuật căn chỉnh của mình, lập luận rằng việc xác thực này hiện tại có thể thậm chí quan trọng hơn các kỹ thuật tự chúng. Khi OpenAI ra mắt o1-preview, ông viết, sản phẩm được thiết kế cố ý để ẩn chuỗi suy nghĩ nhằm bảo vệ nó khỏi áp lực giám sát lâu dài. Công cụ này vẫn quan trọng trong việc nghiên cứu các mô hình thuộc lớp Astra, nhưng bài tiểu luận cho biết các đánh giá của OpenAI cho thấy khả năng dựa vào giám sát chuỗi suy nghĩ đang dần giảm sút. Ông đưa ra ba lý do: các mô hình suy luận hiện đại hoạt động trong môi trường phức tạp hơn, nơi nhiều tương tác cần được giám sát, làm mờ ranh giới mà phương pháp dựa vào; AI ngày càng giỏi hơn trong việc suy nghĩ về và điều khiển quá trình suy luận của chính mình; và việc tiền huấn luyện cải thiện khiến các mô hình trở nên thông minh hơn rất nhiều ngay cả khi không có suy luận được diễn đạt bằng lời.

Những thách thức này không nhất thiết là không thể vượt qua, Pachocki viết, và OpenAI đang tích cực thực hiện các can thiệp để cải thiện khả năng giám sát, bao gồm các bộ giám sát được đào tạo với quyền truy cập trực tiếp vào nội bộ mạng. Tuy nhiên, ông cho rằng ông dự đoán tiến bộ AI chung sẽ ngày càng bị hạn chế bởi niềm tin vào khả năng giám sát.

Defense, Recursive Self-Improvement, and Safety Bars

Lý lẽ mạnh nhất để tiếp tục đào tạo các mô hình thông minh hơn một cách nhanh chóng, Pachocki viết, là nhu cầu xây dựng các hệ thống phòng thủ đối phó với những mối nguy hiểm do AI khác gây ra. Ông mô tả an ninh mạng là một rủi ro rõ ràng, khi các mô hình trở nên siêu nhân trong khả năng xâm nhập và thoát ra khỏi các hệ thống máy tính, và viết rằng chúng ta hiện đang ở trong một khoảng thời gian hẹp để sử dụng các mô hình tốt nhất hiện có nhằm tăng cường đáng kể bảo mật của các hệ thống quan trọng. Một tác nhân rất có năng lực được đào tạo và chỉ đạo thực hiện các hành vi ác ý sẽ tạo ra một loại nguy hiểm mới và có khả năng vượt quá phạm vi ý định của người vận hành, ông viết, và ranh giới giữa việc lạm dụng và hành động tự động không căn chỉnh sẽ trở nên mờ nhạt khi AI có thêm quyền tự quyết. AI mạnh mẽ và căn chỉnh cho mục đích phòng thủ, bao gồm bảo vệ cơ sở hạ tầng, chống lại các tác nhân phá hoại trong thời gian thực, và sáng tạo các biện pháp bảo vệ hoàn toàn mới, sẽ là trọng tâm chính của các nỗ lực triển khai của OpenAI, ông viết. Đồng thời, ông cảnh báo rằng nhu cầu phòng thủ không được trở thành lý do cho sự liều lĩnh, viết: “Ý tưởng chạy đua mọi giá dường như vô lý khi ta thấm thía mức độ nghiêm trọng của các cược đặt ra.”

Về tự cải thiện đệ quy, Pachocki viết rằng RSI máy móc sẽ nằm ở trung tâm của các khám phá khoa học trong tương lai nếu tiến trình AI tiếp tục, và OpenAI tập trung nghiên cứu vào nó vì công ty tin rằng đây là cách duy nhất để duy trì vị trí tiên phong trong nghiên cứu AI. Ông cho biết các công cụ chính hiện có là điều hướng quá trình để tăng cường căn chỉnh và giám sát cùng với AI đồng thời tìm cách giữ con người trong vòng lặp, hoặc phối hợp để làm chậm lại sự phát triển trong tương lai khi cần thiết nhằm xây dựng niềm tin vào các biện pháp đó, và rằng cách tiến lên tốt nhất hiện tại ông thấy là kết hợp cả hai. Việc mở rộng quy mô các hệ thống AI phải bị giới hạn bởi niềm tin vào an toàn, ông viết, và các cam kết như Preparedness Framework của OpenAI và Anthropic’s Responsible Scaling Policy cần phát triển thành các rào cản an toàn được áp dụng rộng rãi cho việc phát triển tiếp tục, được thực thi bởi mạng lưới các kiểm toán viên bên thứ ba, cơ quan chính phủ, hoặc các tổ chức quốc tế.

Bài tiểu luận kết thúc bằng cách khung những năm tới như một giai đoạn chuyển đổi sang một thế giới với những máy móc cực kỳ thông minh, nơi nhân loại cần bảo tồn quyền tự quyết của con người, ngăn ngừa sự tập trung quyền lực quá mức, và vẫn kiểm soát được tương lai. “Hiện tại tôi tin rằng không có phòng thí nghiệm nào đã giải quyết xong vấn đề căn chỉnh và giám sát đủ để tiếp tục mở rộng một cách có trách nhiệm ở tốc độ tối đa trong thời gian dài hơn,” Pachocki viết. “Tôi kỳ vọng và hy vọng việc giảm tốc tự nguyện sẽ trở nên phổ biến cho đến khi các rào cản an toàn chung được thiết lập.”