Các Sự Cố AI Đang Trở Thành Các Sự Cố Hoạt Động. Chúng Ta Cần Xử Lý Chúng Như Vậy.

Trong vài năm qua, hầu hết các tổ chức đã nói về rủi ro AI trong ngôn ngữ của quản trị.

Liệu mô hình có chính xác? Liệu nó có công bằng? Liệu dữ liệu có được phê duyệt? Liệu chúng ta có tuân thủ quy định mới nổi? Những câu hỏi đó rất quan trọng, nhưng chúng không phải là câu hỏi duy nhất. Câu hỏi cấp bách hơn là điều gì xảy ra khi có điều gì đó đi sai?

Điều gì xảy ra khi một tác nhân AI thực hiện một hành động mà nó không bao giờ được thiết kế để thực hiện? Điều gì xảy ra khi một mô hình rò rỉ dữ liệu nhạy cảm? Điều gì xảy ra khi một câu trả lời ảo tạo ra trách nhiệm pháp lý, hoặc một quyết định tự động ảnh hưởng đến khách hàng, nhân viên, bệnh nhân hoặc đối tác theo cách không thể dễ dàng đảo ngược?

Và có lẽ thực tế nhất: tổ chức sẽ đi đến đâu để phối hợp phản ứng? Đó là sự thay đổi hiện đang diễn ra. Rủi ro AI đang trở thành một vấn đề về khả năng phục hồi hoạt động, không chỉ là một vấn đề quản trị.

AI đang chuyển từ thí nghiệm vào máy móc hoạt động của doanh nghiệp. Nó đang được nhúng vào hỗ trợ khách hàng, phát triển phần mềm, hoạt động tài chính, luồng công việc y tế, tuyển dụng, xử lý yêu cầu, chuỗi cung ứng và tự động hóa nội bộ. Khi AI trở nên kết nối hơn với kinh doanh, thất bại của AI trở thành sự cố kinh doanh.

Bộ theo dõi sự cố AI của OECD đã theo dõi 596 sự cố AI vào tháng 1 năm 2026 alone, tăng 200% so với cùng kỳ năm trước. Những nỗ lực như Bộ theo dõi sự cố AI của OECD và Cơ sở dữ liệu sự cố AI ghi lại các kết quả tiêu cực hoặc có hại liên quan đến hệ thống AI để ngành công nghiệp có thể học hỏi từ kinh nghiệm giống như hàng không và an ninh mạng đã làm trong nhiều năm.

So sánh đó rất quan trọng. Các ngành công nghiệp trưởng thành hỏi làm thế nào để ngăn chặn thất bại VÀ làm thế nào để phản ứng khi thất bại xảy ra bất kể.

Các Sự Cố AI Không Hành Động Như Các Lỗi Phần Mềm Truyền Thống

Một lỗi phần mềm truyền thống thường có một ranh giới tương đối rõ ràng. Một thứ gì đó bị hỏng, các kỹ sư điều tra, và đội ngũ tái tạo vấn đề, vá lỗi và xuất bản một bản sửa lỗi.

Tuy nhiên, các sự cố AI thì bẩn hơn. Chúng có thể là xác suất, gián đoạn, và xuất hiện từ sự tương tác giữa một mô hình, một lời nhắc, một hệ thống thu hồi, một tiện ích, một tác nhân, một người dùng và một quy trình kinh doanh hạ nguồn. Đôi khi hệ thống AI hoạt động chính xác như được thiết kế, nhưng thiết kế là không đầy đủ cho môi trường mà nó đang được sử dụng. Điều đó làm cho phản ứng trở nên thách thức hơn.

Một ảo giác trong một trình trò chuyện của người tiêu dùng là một loại vấn đề. Một ảo giác trong một luồng công việc pháp lý, tài chính, lâm sàng hoặc nhân sự là một vấn đề khác. Một đầu ra bị thiên vị trong thử nghiệm là nghiêm trọng. Một quy trình quyết định tự động chạy ở quy mô sản xuất là một thứ khác hoàn toàn. Một trợ lý AI có thể soạn thảo một email là một thứ, nhưng một tác nhân có thể thay đổi quyền, cấp phát hoàn tiền, cập nhật hồ sơ, kích hoạt quy trình làm việc hoặc thực thi mã là một loại rủi ro hoàn toàn khác.

Kho lưu trữ rủi ro AI của MIT ghi lại một loạt các rủi ro AI, bao gồm thông tin sai hoặc gây hiểu lầm, thất bại về quyền riêng tư và bảo mật, phân biệt đối xử, lạm dụng và vấn đề an toàn hệ thống. OWASP’s Top 10 cho ứng dụng LLM tương tự như vậy nhấn mạnh các rủi ro như tiêm nhắc, tiết lộ thông tin nhạy cảm, xử lý đầu ra không an toàn và cơ quan quá mức. Những là các chế độ thất bại thực tế, chứ không phải lo lắng kỹ thuật trừu tượng.

Nếu một tác nhân AI có quá nhiều thẩm quyền, nó có thể thực hiện các hành động mà không con người nào dự định. Nếu một cuộc tiêm nhắc thành công, hệ thống có thể tiết lộ thông tin hoặc theo dõi các hướng dẫn thù địch. Nếu dữ liệu nhạy cảm rò rỉ qua một mô hình hoặc hệ thống thu hồi, phản ứng có ý nghĩa pháp lý, quy định, khách hàng và danh tiếng. Đó là lý do tại sao ngôn ngữ của quản trị AI đôi khi có thể trở nên quá thụ động. Quản trị cho chúng ta biết những gì nên đúng. Phản ứng sự cố cho chúng ta biết những gì để làm khi thực tế đang di chuyển nhanh hơn so với chính sách.

Phản Hồi Sẽ Là Chéo Chức Năng

Một trong những bài học lớn nhất từ an ninh mạng là rằng các sự cố hiếm khi ở trong đội an ninh. Ở đầu, một sự kiện có thể trông kỹ thuật. Rất nhanh, nó liên quan đến pháp lý, truyền thông, lãnh đạo kinh doanh, tuân thủ, đội ngũ khách hàng, cố vấn bên ngoài, bảo hiểm, chuyên gia pháp y và đôi khi là hội đồng quản trị.

Các sự cố AI sẽ theo dõi cùng một mô hình.

Hãy tưởng tượng một mô hình mà暴 lộ thông tin nhạy cảm của khách hàng. Các đội an ninh và quyền riêng tư cần hiểu những gì đã xảy ra. Pháp lý cần đánh giá các nghĩa vụ. Truyền thông có thể cần chuẩn bị cho khách hàng, các nhà quản lý hoặc truyền thông. Kỹ thuật có thể cần vô hiệu hóa hoặc quay lại một hệ thống. Các nhà lãnh đạo kinh doanh có thể cần cân nhắc giữa tính liên tục và kiểm soát.

Hoặc hãy tưởng tượng một tác nhân AI bắt đầu thực hiện các hành động không mong muốn trên các hệ thống doanh nghiệp. Đội ngũ kỹ thuật có thể tắt nó, nhưng tổ chức vẫn cần biết những gì nó đã làm, ai bị ảnh hưởng, những quyết định nào đã được thực hiện, liệu các nghĩa vụ hợp đồng đã được kích hoạt hay không và làm thế nào để ngăn chặn sự thất bại tương tự trong tương lai. Điều đó không thể được giải quyết bởi đội ngũ AI một mình.

Các tổ chức nên xây dựng cơ bắp chức năng chéo trước khi họ cần nó. Điều đó có nghĩa là các kích hoạt leo thang rõ ràng, vai trò rõ ràng, quyền quyết định rõ ràng, đường truyền thông rõ ràng, tài liệu rõ ràng và thực hành.

Trong một cuộc khủng hoảng, phối hợp là cơ sở hạ tầng, không chỉ là một kỹ năng mềm.

AI Đang Được Điều Tra Không Nên Kiểm Soát Phản Hồi

Có một vấn đề khác mà các tổ chức cần suy nghĩ nhiều hơn. Nếu hệ thống AI đang được điều tra có thể truy cập vào cùng các phương tiện truyền thông, tài liệu, quy trình làm việc hoặc tự động hóa được sử dụng để phối hợp phản hồi, thì tổ chức có một vấn đề.

Trong an ninh mạng, đây là một nguyên tắc quen thuộc. Nếu phần mềm độc hại đã xâm phạm mạng doanh nghiệp, bạn không phối hợp phản hồi trên các hệ thống mà kẻ tấn công có thể đọc, gián đoạn hoặc thao túng. Bạn di chuyển ra khỏi băng tần. Bạn tách sự cố khỏi phản hồi.

Cùng một logic áp dụng cho AI.

Một hệ thống AI có thể không độc ác theo nghĩa của con người, nhưng nếu nó có thể xem kế hoạch phản hồi, tóm tắt cuộc họp phản hồi, ảnh hưởng đến quy trình làm việc, đề xuất bước tiếp theo hoặc hoạt động trong cùng một môi trường được sử dụng để chứa nó, thì tổ chức chưa thực sự cô lập phản hồi.

Điều này trở nên quan trọng hơn với AI có tính chất đại lý. Khung an ninh AI của Google nhấn mạnh các rủi ro như tiêm nhắc, nhiễm độc dữ liệu và hành động điên rồ, và ánh xạ chúng đến các biện pháp kiểm soát trên toàn bộ vòng đời AI. Đó là khung đúng. Khi các hệ thống AI trở nên có khả năng hành động trên các công cụ, dữ liệu và quy trình làm việc, các tổ chức cần suy nghĩ về an toàn mô hình VÀ về sự tách biệt hoạt động.

Hãy nghĩ về nó như điều tra một vụ hỏa hoạn. Bạn sẽ không muốn các điều khiển sprinkler được gắn với cùng một hệ thống bị lỗi mà bạn đang cố gắng chẩn đoán.

Chuẩn Bị, Thực Hành, Phản Hồi, Báo Cáo

Một khung hữu ích cho sự sẵn sàng phản hồi sự cố AI là cùng một khung đã trưởng thành trong an ninh mạng: chuẩn bị, thực hành, phản hồi, báo cáo.

Chuẩn bị có nghĩa là định nghĩa các loại sự cố trước khi chúng xảy ra, như thiên vị, ảo giác, rò rỉ dữ liệu, trôi mô hình, tiêm nhắc, chạy mất kiểm soát của tác nhân, sử dụng công cụ không được ủy quyền và thất bại của mô hình bên thứ ba. Mỗi loại cần các bên liên quan và quyết định khác nhau.

Một cuốn sổ tay tốt không nên là một tài liệu 200 trang nằm trong một thư mục. Không ai mở trang 137 trong một cuộc khủng hoảng. Một cuốn sổ tay tốt là dựa trên vai trò, có thể tiếp cận và có thể thực hiện. Pháp lý biết những gì pháp lý cần làm. Kỹ thuật biết những gì kỹ thuật cần làm. Truyền thông biết khi nào cần tham gia. Hội đồng quản trị biết khi nào quản lý sẽ leo thang.

Thực hành có nghĩa là chạy các bài tập trên bàn. Không chỉ một lần một năm như một hộp kiểm, mà đủ thường xuyên để xây dựng cơ bắp. Lần đầu tiên hội đồng quản trị thảo luận về một sự cố AI không nên là trong một sự cố AI thực sự. Lần đầu tiên pháp lý, kỹ thuật, quyền riêng tư, an ninh và truyền thông làm việc thông qua một thất bại của AI cùng nhau không nên là khi khách hàng đã hỏi câu hỏi.

Phản hồi có nghĩa là phối hợp sự kiện trực tiếp với kỷ luật. Ai ở trong phòng? Những事实 nào đã biết? Những事实 nào vẫn không chắc chắn? Những quyết định nào đã được thực hiện? Ai đã phê duyệt chúng? Những gì đã thay đổi giữa giờ 12 và giờ 48?

Báo cáo có nghĩa là nhận ra rằng quy định AI đang trở nên cụ thể hơn. Đạo luật AI của EU bao gồm các nghĩa vụ báo cáo sự cố nghiêm trọng cho các nhà cung cấp certain hệ thống AI có rủi ro cao. Chi tiết sẽ khác nhau tùy theo khu vực pháp lý, ngành công nghiệp và trường hợp sử dụng, nhưng hướng là rõ ràng. Các sự cố AI sẽ ngày càng yêu cầu một hồ sơ có thể bảo vệ về những gì đã xảy ra, những gì đã biết, những hành động nào đã được thực hiện và khi nào.

AI Có Thể Giúp, Nhưng Nó Không Thể Thay Thế Phán Quyết

Có một sự cám dỗ để nghĩ rằng phản hồi sự cố AI nên được tự động hóa hoàn toàn. Tôi nghĩ rằng đó là một khung sai.

AI có thể giúp rất nhiều. Nó có thể tóm tắt các事实. Nó có thể xác định thông tin thiếu. Nó có thể so sánh một sự cố với các mẫu trước. Nó có thể soạn thảo các báo cáo sau sự kiện. Nó có thể giúp ánh xạ các nghĩa vụ quy định. Nó có thể giảm gánh nặng hành chính khi mọi người đang dưới áp lực.

Nhưng trong một sự cố nghiêm trọng, con người vẫn không thể thiếu.

Một người nào đó phải quyết định liệu các事实 có đủ hay không. Một người nào đó phải cân nhắc tác động của khách hàng. Một người nào đó phải quyết định liệu có nên tạm dừng một hệ thống hay không. Một người nào đó phải xác định liệu tổ chức đã vượt qua ngưỡng báo cáo hay không. Một người nào đó phải giao tiếp với trách nhiệm và đồng cảm.

Vai trò đúng của AI trong phản hồi sự cố không phải là thay thế đội ngũ khủng hoảng. Nó là cung cấp cho đội ngũ khủng hoảng một bối cảnh tốt hơn, nhanh hơn.

Khung quản lý rủi ro AI của NIST là hữu ích vì nó khung quản lý rủi ro AI xung quanh bốn chức năng: quản lý, ánh xạ, đo lường và quản lý. Đối với phản hồi sự cố, tôi sẽ thêm một phần mở rộng thực tế: diễn tập.

Một kế hoạch chưa từng được kiểm tra không phải là một kế hoạch thực sự. Nó là một lý thuyết.

Hội Đồng Quản Trị Cần Một Cuốn Sổ Tay, Too

Rủi ro AI đang trở thành một chủ đề cấp hội đồng quản trị, nhưng sự tham gia của hội đồng quản trị không thể dừng lại ở các trang chiếu giám sát. Hội đồng quản trị cần hiểu vai trò của họ trước khi một cuộc khủng hoảng xảy ra.

Khi nào hội đồng quản trị sẽ được thông báo? Những quyết định nào yêu cầu đầu vào của hội đồng quản trị? Những thông tin nào sẽ quản lý cung cấp? Làm thế nào để đánh giá tính vật chất, tác động của khách hàng, trách nhiệm pháp lý, nghĩa vụ quy định và gián đoạn hoạt động?

Nhiều tổ chức có cuốn sổ tay an ninh, cuốn sổ tay quyền riêng tư, cuốn sổ tay truyền thông và cuốn sổ tay pháp lý. Nhưng ít tổ chức có một cuốn sổ tay cho hội đồng quản trị về các sự cố AI. Khoảng trống đó sẽ trở nên rõ ràng hơn khi các hệ thống AI di chuyển vào các luồng công việc được quản lý, tạo doanh thu và hướng tới khách hàng. Vai trò của hội đồng quản trị là giúp tổ chức đưa ra quyết định tốt hơn dưới áp lực, không phải trở nên kỹ thuật hơn.

AI Tin Cậy Yêu Cầu Khả Năng Phục Hồi Hoạt Động

Có rất nhiều cuộc thảo luận về AI tin cậy. Đó là một khát vọng đúng, nhưng niềm tin không được tạo ra bởi các nguyên tắc alone. Niềm tin được tạo ra khi các tổ chức có thể chỉ ra cách họ chuẩn bị, cách họ phát hiện vấn đề, cách họ phản hồi, cách họ giao tiếp, cách họ ghi lại quyết định và cách họ cải thiện.

An ninh mạng đã đi qua sự tiến hóa này. Các tổ chức đã dành nhiều năm đầu tư vào phòng ngừa, và họ nên tiếp tục làm như vậy. Nhưng các tổ chức trưởng thành cuối cùng đã học rằng phòng ngừa không đủ. Bạn cũng cần khả năng phục hồi. AI đang bước vào giai đoạn đó.

Chúng ta nên xây dựng các mô hình an toàn hơn, các biện pháp kiểm soát mạnh mẽ hơn, các đánh giá tốt hơn, các đội đỏ tốt hơn và quản trị tốt hơn, nhưng chúng ta cũng nên chấp nhận rằng các sự cố sẽ xảy ra. Các mô hình sẽ thất bại, các tác nhân sẽ hành động không mong muốn, dữ liệu sẽ rò rỉ, con người sẽ lạm dụng hệ thống, isuse systems, vendors will make mistakes, and regulations will evolve. The question is whether the organization can respond with speed, coordination, judgment, and accountability when an incident occurs. That is how AI moves from experimentation to dependable infrastructure, and that is how resilience becomes culture.