Kế hoạch quản trị AI của bạn có vấn đề trong ca đêm

Hãy tưởng tượng một quy trình AI phát hiện một ngoại lệ vào lúc 2:13 sáng. Hệ thống đã thực hiện chính xác những gì kế hoạch quản trị yêu cầu: nó dừng lại và kêu gọi sự can thiệp của con người. Chỉ có một vấn đề duy nhất. Người đủ điều kiện đưa ra quyết định bắt đầu làm việc lúc chín giờ.

Khoảng trống đó quan trọng trong bất kỳ hoạt động nào kéo dài ngoài giờ hành chính. Một chính sách có thể chỉ định người chịu trách nhiệm và vạch ra một đường leo thang rõ ràng. Vào lúc 2 giờ sáng, cả hai đều không hữu ích nếu người duy nhất hiểu yêu cầu, hoặc có quyền thực hiện, đang ngoại tuyến.

Vì vậy, tính sẵn sàng phải được tích hợp trong chính kiểm soát. Đối với một hệ thống hoạt động qua đêm, các câu hỏi thực tiễn rất thẳng thắn: ai đang chịu trách nhiệm, họ có thể quyết định gì, họ cần nhìn thấy gì, và sẽ xảy ra gì nếu không có ai trả lời? Câu trả lời cũng phải tồn tại qua việc thay đổi ca làm việc.

Quy định có thời gian cố định. Hoạt động có nhiều thời gian

Lịch trình pháp lý mang lại cho vấn đề một lợi thế về thời gian. Vào ngày 2 tháng 8 năm 2026, văn phòng AI của Ủy ban Châu Âu và các cơ quan quốc gia bắt đầu thực thi các quy định áp dụng của Đạo luật AI, và các quy tắc minh bạch mới có hiệu lực.

Ngày đó không nên được kéo dài thành một khẳng định rằng mọi nghĩa vụ AI có rủi ro cao đã trở nên có thể thi hành ngay lập tức. Lịch trình hiện tại của Ủy ban đặt các quy tắc cho các hệ thống có rủi ro cao trong Phụ lục III vào ngày 2 tháng 12 năm 2027, và các quy tắc cho AI có rủi ro cao được nhúng trong các sản phẩm được quy định sẽ có hiệu lực vào ngày 2 tháng 8 năm 2028.

Điểm vận hành hẹp hơn vẫn hữu ích hơn. Các yêu cầu quản trị đang chuyển từ công việc chính sách sang thực thi, trong khi các hệ thống đang được quản trị đã vận hành qua đêm, cuối tuần và các múi giờ. Một kiểm soát được thiết kế dựa trên sơ đồ tổ chức từ thứ Hai đến thứ Sáu cuối cùng sẽ gặp phải một ngoại lệ vào sáng thứ Bảy.

Nhiều kế hoạch quản trị không mô tả tình huống đó. Chúng chỉ ra ai sở hữu hệ thống, ai phê duyệt trường hợp sử dụng và ủy ban nào xem xét rủi ro. Đó là những quyết định cần thiết. Tuy nhiên chúng không cho người vận hành ban đêm biết liệu giao dịch nên được giữ lại trong bảy giờ, liệu nhà phân tích trực có thể giải phóng nó hay ai sẽ chấp nhận rủi ro nếu hàng đợi tiếp tục tăng.

Chính sách có một tên trong hộp. Hoạt động cần một người luôn sẵn sàng.

Con người trong vòng lặp yêu cầu một danh sách ca

Unite.AI đã đưa ra lập luận rằng một cổng xác thực thực sự cần có khả năng quan sát và kiểm soát có ý nghĩa. Người xem xét cần nhìn thấy hành động đề xuất và lý do hệ thống dừng lại. Quan trọng hơn, màn hình phải cho phép họ thực hiện một việc hữu ích: phê duyệt, thay đổi, từ chối hoặc tắt quy trình.

Phạm vi là vấn đề thiết kế tiếp theo. Một màn hình xem xét được thiết kế tốt không thể giúp đỡ khi người xem xét duy nhất đủ điều kiện đang ngủ, nghỉ phép hoặc làm việc ở khu vực khác mà không có sự chuyển giao chính thức.

Đây là nơi cụm từ “human in the loop” trở nên quá mơ hồ. Nó có thể che giấu nhiều công việc khác nhau. Chủ sở hữu quy trình chịu trách nhiệm về cách thức hoạt động của quy trình, trong khi người xem xét trong ca giải thích ngoại lệ và thu thập ngữ cảnh còn thiếu. Chuyên gia nội dung đánh giá rủi ro trong lĩnh vực. Người phê duyệt có thẩm quyền cho phép, thay đổi hoặc dừng hành động đề xuất. Khi ngoại lệ báo hiệu một sự cố rộng hơn, người chịu trách nhiệm sự cố sẽ điều phối phản hồi.

Kết hợp các vai trò không tự động là một vấn đề. Trong một quy trình có rủi ro thấp, nó có thể là cách sắp xếp gọn gàng nhất. Tuy nhiên, hãy ghi lại. Nhà phân tích hiểu đầu ra của mô hình vẫn có thể thiếu quyền cho phép giải phóng một khoản thanh toán lớn, vượt qua giới hạn an toàn hoặc phê duyệt một hành động ảnh hưởng đến khách hàng.

Khung NIST AI Risk Management Framework hữu ích ở đây vì nó coi quản trị như một cấu trúc vận hành. Chức năng Govern của nó yêu cầu các vai trò, trách nhiệm và đường truyền thông rõ ràng, với những người phù hợp được trao quyền, chịu trách nhiệm và được đào tạo. Nó cũng yêu cầu các quy trình giám sát con người được định nghĩa, đánh giá và ghi chép. “Một con người sẽ xem xét nó” không đáp ứng tiêu chuẩn rõ ràng đó.

Xác định nghĩa của ‘đủ điều kiện’ trước khi cảnh báo xuất hiện

Làm việc trong ca không đồng nghĩa với việc ai đó sẵn sàng đưa ra quyết định. Họ có thể hiểu rõ quy trình kinh doanh nhưng vẫn không có cơ sở để đánh giá ngoại lệ cụ thể của mô hình này.

Tiêu chuẩn đủ điều kiện nên được định nghĩa dựa trên quyết định, không phải dựa trên một chức danh công việc rộng rãi. Một tổ chức có thể yêu cầu người xem xét hiểu mục đích của quy trình, bằng chứng mà hệ thống hiển thị, giới hạn của mô hình, ngưỡng chính sách liên quan và hậu quả của mỗi hành động khả dụng. Một số vai trò cũng có thể cần đào tạo hiện tại, chứng chỉ hoặc thực hành có giám sát gần đây.

Tính mới mẻ là quan trọng. Một người đã hoàn thành đào tạo hai năm trước có thể vẫn được xem là đủ điều kiện trong một bảng tính tĩnh mặc dù mô hình, giao diện và quy tắc leo thang đã thay đổi hai lần kể từ đó. Câu hỏi quản trị là liệu bằng chứng về sự sẵn sàng còn phù hợp với quy trình hiện tại hay không.

Quyền hạn phải được ghi lại riêng biệt. Hãy xem xét một nhà phân tích gian lận có thể giải thích lý do giao dịch bị đánh dấu. Nhà phân tích đó có thể hoàn toàn đủ điều kiện để đánh giá bằng chứng nhưng không thể giải phóng thanh toán vượt quá một mức nhất định. Quyết định ban đêm sau đó phụ thuộc vào hai loại phạm vi: người có khả năng đưa ra phán đoán và người được phép ủy quyền thực hiện hành động.

Sự phân biệt này ngăn ngừa một lỗi thường gặp. Các đội tìm được một người có kiến thức, coi sự sẵn có của người đó là bao phủ đầy đủ và phát hiện trong một sự cố rằng người ấy không thể thực hiện bước cần thiết. Quy trình leo thang tiếp tục lên trên cho đến khi đạt tới người vừa có đủ năng lực vừa được ủy quyền, thường là sau khi thời hạn vận hành đã hết.

Một định nghĩa về phạm vi bao phủ có thể sử dụng bắt đầu bằng bốn câu hỏi. Người xem xét cần biết gì? Bằng chứng nào chứng minh điều đó? Người xem xét cũng cần một giới hạn quyết định được xác định. Cuối cùng, quyền này hết hạn khi nào hoặc cần được đánh giá lại? Nếu các câu trả lời này nằm trong các hệ thống khác nhau, quy trình leo thang cần hòa giải chúng trước khi giao vụ việc.

Cấp Quyền cho Người Xem xét và Đặt Mặc định An toàn cho Hệ thống

Một người xem xét ngoài giờ cần nhiều hơn một thông báo. Cảnh báo phải kèm theo hành động đề xuất, các nguồn hoặc hồ sơ liên quan, ngoại lệ đã kích hoạt việc xem xét, thời gian khả dụng và hậu quả của việc trì hoãn. Nó cũng cần hiển thị những gì người xem xét được phép thực hiện.

Các quyền này cần có ranh giới. Người xem xét có được phép phê duyệt hành động như đề xuất hay chỉnh sửa nó? Việc từ chối có thể là vĩnh viễn, hoặc chỉ trả lại vụ việc vào hàng đợi. Một số ngoại lệ tương tự cũng có thể biện minh cho việc dừng quy trình làm việc rộng hơn. Ranh giới cuối cùng là thời điểm phải gọi người phê duyệt thứ hai.

Những câu hỏi này thuộc về thiết kế của các kiểm soát thời gian chạy cho các tác nhân AI, chứ không phải trong một cuộc thảo luận khẩn cấp sau khi hàng đợi đã được hình thành. Các trạng thái tạm dừng, cách ly và quyền hạn hạn chế cung cấp cho các đội vận hành một nơi an toàn để đặt công việc không chắc chắn. Dữ liệu đo lường và hồ sơ kiểm toán cho thấy những gì đã xảy ra trong khi quy trình đang chờ.

Trường hợp khó nhất là không có phản hồi. Mọi quy trình được quản lý đều cần một câu trả lời đã được phê duyệt trước cho tình huống đó. Tùy thuộc vào mức độ rủi ro, hệ thống có thể giữ lại hành động, đưa nó vào hàng đợi cho ca làm việc tiếp theo có đủ tiêu chuẩn, tiếp tục ở chế độ giảm thiểu hoặc dừng quy trình bị ảnh hưởng. Hệ thống hỗ trợ khách hàng có thể tạm dừng một khoản hoàn tiền bất thường lớn trong khi vẫn xử lý các yêu cầu thường xuyên. Quy trình kiểm soát chất lượng sản xuất có thể cách ly một lô hàng nghi ngờ thay vì để dây chuyền coi im lặng là sự chấp thuận.

Im lặng không thể được tính là sự chấp thuận.

Ủy quyền chỉ hoạt động khi có các rào chắn bảo vệ. Ghi lại người đã chuyển giao quyền, người nhận, các cuộc gọi mà nó bao phủ, thời gian hết hạn và bất kỳ giới hạn nào. Nếu không có dấu vết này, quy trình ngoài giờ chỉ là một chuỗi tin nhắn sẽ không thể ghép lại được sau này.

Việc Bàn Giao Ca Là Một Phần Của Kiểm Soát

Một số ngoại lệ sẽ kéo dài hơn một ca. Người xem xét rời đi có thể đã thu thập bằng chứng, liên hệ chuyên gia và loại bỏ một lựa chọn mà chưa đưa ra quyết định cuối cùng. Một số vé và một ghi chú vội vàng không đủ để bàn giao. Người xem xét tiếp theo sẽ lãng phí thời gian quý báu để tái tạo công việc đã được thực hiện.

Đây không phải là một vấn đề mới. Các hoạt động an toàn quan trọng từ lâu đã coi việc bàn giao như một công việc riêng. Cơ quan An toàn và Sức khỏe nghề nghiệp Vương quốc Anh mô tả bàn giao ca hiệu quả là một quy trình ba phần: chuẩn bị bởi nhân viên rời đi, trao đổi thông tin liên quan đến nhiệm vụ và kiểm tra chéo bởi nhân viên đến nhận khi họ nhận trách nhiệm. Hướng dẫn của họ ưu tiên giao tiếp hai chiều được hỗ trợ bởi thông tin bằng văn bản và lời nói, với đủ thời gian và nguồn lực để thực hiện công việc.

Việc bàn giao ngoại lệ AI cần cùng một kỷ luật, được điều chỉnh cho quy trình làm việc. Hồ sơ cần chứa hành động đề xuất, bằng chứng do hệ thống cung cấp, lý do leo thang, các bước đã thực hiện, các lựa chọn đã loại bỏ, thời gian còn lại và mức rủi ro hiện tại. Nó cũng cần chỉ định người sở hữu rõ ràng ở cả hai phía của quá trình chuyển giao.

Phần quan trọng nhất là sự xác nhận. Một nhật ký có thể cho thấy thông tin đã được ghi lại. Nó không thể chứng minh người xem xét tiếp nhận đã hiểu trạng thái của vụ việc hoặc chấp nhận trách nhiệm cho quyết định tiếp theo. Kiểm tra chéo cung cấp cho người tiếp nhận cơ hội thách thức các bằng chứng thiếu sót, xác nhận thời hạn và nêu lại hành động tiếp theo được phép.

Thiết kế giao diện rất quan trọng ở đây. Màn hình bàn giao không nên giấu lý do của mô hình, ghi chú của con người và trạng thái quyền hạn trong các tab riêng biệt. Người xem xét tiếp nhận cần thấy những gì đã thay đổi trong ca làm việc trước và những dữ liệu nào còn cần kiểm tra. Nếu không, mỗi lần bàn giao sẽ tạo ra một cơ hội mới cho ngữ cảnh biến mất.

Lập Bản Đồ Phạm Vi Đủ Trình Độ Theo Các Ca

Hầu hết các đội có thể tạo danh sách những người liên quan đến quy trình AI. Ít hơn nữa có thể chứng minh rằng mỗi giai đoạn hoạt động đều có sự kết hợp phù hợp giữa kiến thức và quyền hạn.

Điểm khởi đầu thực tiễn là một góc nhìn theo vai trò‑theo ca. Xây dựng góc nhìn dựa trên các quyết định thực tế, không phải tên trên danh sách. Đối với mỗi khả năng leo thang, ghi lại kiến thức cần thiết, cách chứng minh năng lực hiện tại và quyền hạn cần có để hành động. Sau đó so sánh với những người chịu trách nhiệm vào ban đêm, cuối tuần và ngày lễ.

Một ma trận kỹ năng hoặc năng lực có thể làm cho rủi ro về nhân sự trở nên hiện hữu bằng cách đánh giá phạm vi bao phủ đủ tiêu chuẩn qua các ca, vai trò và địa điểm trước khi có ngoại lệ xảy ra. Ma trận có thể tiết lộ rằng một người duy nhất hiện có bằng cấp cho một đánh giá quan trọng, rằng một chứng chỉ sẽ hết hạn trong quá trình triển khai đã lên kế hoạch hoặc rằng ca cuối tuần có chuyên môn kỹ thuật nhưng không có người phê duyệt cuối cùng.

Những khoảng trống trở nên cụ thể. Tuy nhiên, sự hiện hữu đó không chứng minh rằng bất kỳ ai có thể thực hiện công việc, vì thực hành đã chứng minh, đào tạo hiện tại và các quyết định quan sát vẫn quan trọng, và một ma trận không thể cấp quyền pháp lý hay tổ chức. Nhiệm vụ của nó hẹp hơn: cho thấy mô hình bao phủ dựa vào giả định, hồ sơ lỗi thời hoặc một cá nhân duy nhất.

Khi các khoảng trống đã được nhìn thấy, các đội có các lựa chọn. Họ có thể đào tạo chéo cho một người xem xét khác, điều chỉnh phạm vi hỗ trợ khi gọi, thu hẹp quyền hạn của quy trình làm việc qua đêm hoặc thay đổi phương án dự phòng an toàn cho đến khi phạm vi bao phủ được cải thiện. Phản hồi phù hợp phụ thuộc vào hậu quả của sự chậm trễ và hậu quả của quyết định sai. Một hàng đợi rủi ro thấp có thể chờ. Một ngoại lệ liên quan đến an toàn có thể cần sự bao phủ chuyên gia ngay lập tức hoặc dừng cứng.

Phạm vi bao phủ cũng nên được kiểm tra, không chỉ ghi chép. Thực hiện một bài tập sau giờ làm. Kích hoạt một ngoại lệ đại diện, theo dõi đường escalations và đo lường liệu người được chỉ định có nhận đủ ngữ cảnh để hành động trong thời gian cho phép hay không. Sau đó lặp lại bài kiểm tra qua một thay đổi ca. Phạm vi bao phủ trên giấy thường trông yên tâm cho đến khi tin nhắn đầu tiên được gửi tới một số điện thoại đã lỗi thời hoặc đến người có giới hạn phê duyệt quá thấp.

Thực hiện Kiểm tra Ca Đêm

Quản trị doanh nghiệp đã dựa vào các chủ sở hữu và đường escalations được xác định. Kiểm tra ca đêm kiểm tra xem các cấu trúc đó có vẫn khả dụng khi những người thường xuyên không có mặt tại bàn làm việc.

Bắt đầu với một quy trình thực tế và một ngoại lệ có thể xảy ra. Hỏi ai nhận cảnh báo vào giờ ít thuận tiện nhất. Xác nhận rằng người đó có đủ năng lực cho phán quyết chính xác đó, sau đó kiểm tra những gì họ có thể phê duyệt, thay đổi, dừng hoặc ủy quyền. Theo dõi đường không phản hồi. Cuối cùng, đưa trường hợp chưa giải quyết qua việc chuyển ca và xem liệu người xem xét mới có thể giải thích trạng thái mà không cần xây dựng lại cuộc điều tra.

Bài kiểm tra thường sẽ bộc lộ các vấn đề tầm thường: một vai trò không có lịch trực, một hồ sơ năng lực không khớp với mô hình hiện tại, một người phê duyệt có giới hạn quá thấp hoặc một chuyển giao ghi chú mà không chuyển giao quyền sở hữu. Tầm thường là tốt. Đây là những vấn đề vận hành có thể khắc phục, miễn là chúng được phát hiện trước khi một ngoại lệ thực tế đưa chúng vào thời hạn.

Một quy trình AI có thể chạy suốt đêm. Quản trị của nó cũng phải như vậy.