Tại sao mua sắm lại trở thành công cụ quy định mạnh mẽ nhất của AI

Trong khi mọi người đang tập trung vào luật pháp về AI, một số quy tắc quan trọng nhất điều chỉnh công nghệ này có thể sẽ xuất phát từ một nơi thực sự bất ngờ: các phòng mua sắm.

Giống như nhiều khởi đầu quy định ở Hoa Kỳ, California đưa ra một ví dụ sớm: tiểu bang đã xây dựng các yêu cầu cụ thể cho việc mua các sản phẩm và dịch vụ sử dụng AI sinh tạo. Các cơ quan nhà nước phải đánh giá rủi ro liên quan đến các khoản mua GenAI, trong đó các trường hợp rủi ro trung bình và cao sẽ nhận được sự thẩm định thêm từ Sở Công nghệ Thông tin California (CDT). Các đề nghị mua hàng yêu cầu có ngôn ngữ tiết lộ GenAI, và các nhà cung cấp có thể phải tiết lộ việc sử dụng công nghệ này ngay cả khi AI chỉ là phụ trợ cho sản phẩm hoặc dịch vụ được mua.

Thậm chí còn thú vị hơn là những gì xảy ra sau khi giao dịch hoàn tất. hướng dẫn mua sắm GenAI mở rộng giám sát vượt ra ngoài việc mua hàng ban đầu. Các nhà quản lý hợp đồng được kỳ vọng sẽ giám sát công nghệ GenAI theo thời gian vì một số thay đổi đối với công nghệ có thể kích hoạt một đánh giá rủi ro khác.

Điều này thay đổi cục diện cho các nhà cung cấp vì việc vượt qua quy trình mua sắm không còn chỉ là trả lời một bảng câu hỏi bảo mật và nộp một số tài liệu nữa. Quản trị AI đang bắt đầu trở thành một phần của chi phí tham gia kinh doanh tại California. Và trong khi đây là tình hình hiện tại ở California, nó thường dẫn dắt các tiểu bang khác khi không có luật liên bang, có nghĩa là các công ty sẽ ngắn hạn nếu chỉ xem đây là vấn đề mua sắm của California.

Khi Người Mua Bắt Đầu Đặt Ra Các Quy Tắc

Làm sao các phòng mua sắm trở thành điểm xuất phát cho quản trị AI? Các chính phủ có thể mất nhiều năm để tranh luận về luật pháp, nhưng các quy tắc mua sắm có thể linh hoạt hơn vì chúng có khán giả ngay lập tức: bất kỳ ai muốn ký hợp đồng.

Trong bối cảnh không có luật AI toàn diện, người mua đã tìm ra một cách khác để thiết lập các kỳ vọng của riêng mình về AI. Họ có thể quyết định những gì cần biết về việc nhà cung cấp sử dụng công nghệ, bằng chứng nào họ mong muốn thấy, và mức độ rủi ro nào họ sẵn sàng chấp nhận trước khi ký hợp đồng. Đối với những người mua lớn, đặc biệt là các chính phủ và doanh nghiệp lớn, những yêu cầu này có thể mang trọng lượng đáng kể.

Các đội mua sắm khu vực tư nhân có những lý do riêng để bắt đầu đặt câu hỏi về những nơi AI được sử dụng hoặc bằng chứng nào chứng minh có các kiểm soát thích hợp. Các doanh nghiệp đã dành đáng kể thời gian để kiểm tra các thực tiễn bảo mật và quyền riêng tư của nhà cung cấp. Việc giới thiệu AI mang lại một loạt rủi ro mới mà người mua ngày càng cần hiểu trước khi giao dữ liệu cho nhà cung cấp, đưa công nghệ của họ vào quy trình quan trọng hoặc cho phép nó đưa ra quyết định ảnh hưởng đến khách hàng và nhân viên.

Rủi Ro AI Của Bạn Có Thể Thuộc Về Người Khác

Một trong những điểm quan trọng về cách tiếp cận của California là nó nhận thức được mức độ khó khăn trong việc vẽ một ranh giới rõ ràng quanh việc một tổ chức sử dụng AI. Dù tổ chức đã mua giải pháp AI riêng, hợp tác với các công ty tư vấn cung cấp dịch vụ, hay chỉ đơn giản là sử dụng các dịch vụ dựa trên đám mây, AI đã được nhúng trong các tổ chức hoặc chuỗi cung ứng của họ.

Quy trình mua sắm của California tính đến một phần của điều này. Nó bao gồm các khoản mua IT và phi IT liên quan đến GenAI, bao gồm cả các nhà tư vấn sử dụng công nghệ, và yêu cầu đánh giá rủi ro khi GenAI được xác định trong quá trình mua sắm.

Quy trình này tương tự như khi các đội an ninh mạng nhận ra rằng việc bảo vệ hệ thống của chính họ không đủ nếu một nhà cung cấp có quyền truy cập vào dữ liệu hoặc hạ tầng của họ lại có các kiểm soát yếu. Sự nhận thức đó đã biến an ninh mạng bên thứ ba thành một phần quan trọng của quản lý rủi ro nhà cung cấp, một xu hướng mà AI dường như cũng đang hướng tới.

Nó cũng tạo ra một vấn đề khó xử cho các tổ chức đã xây dựng các chương trình riêng biệt cho bảo mật, quyền riêng tư, quản trị AI và mọi nghĩa vụ tuân thủ mới xuất hiện. Rủi ro không tôn trọng những ranh giới tổ chức đó. Một ứng dụng AI có thể đồng thời tạo ra các câu hỏi về quyền riêng tư, lỗ hổng bảo mật và nghĩa vụ pháp lý.

Xây dựng một silo khác để quản lý nó chỉ thêm một nơi nữa cho việc rơi vào khoảng trống.

Khó Khăn Khi Chứng Minh Tuân Thủ Một Lần

Một phức tạp bổ sung cho một vấn đề đã phức tạp là AI luôn thay đổi. Các mô hình được cập nhật, nhà cung cấp triển khai tính năng mới, nhân viên tìm ra các cách sử dụng công cụ mà không ai dự đoán khi mua, và dữ liệu cũng thay đổi. Tính linh hoạt này đồng nghĩa với việc quy định cũng phải thay đổi.

Tuy nhiên, nhiều hoạt động tuân thủ vẫn được xây dựng quanh một thời điểm cụ thể. Khi có cuộc kiểm toán, bằng chứng được thu thập. Khi khách hàng gửi bảng câu hỏi, ai đó sẽ tìm câu trả lời. Khi một yêu cầu mới xuất hiện, một dự án tuân thủ khác lại bắt đầu.

Cách tiếp cận này đã gây khó khăn, nhưng với AI, nó trở nên ngày càng khó bảo vệ hơn. Một đánh giá rủi ro được thực hiện khi mua sản phẩm có thể hoàn toàn chính xác vào thời điểm đó, nhưng sẽ lỗi thời nghiêm trọng sau một năm.

California dường như nhận ra điều này, vì hướng dẫn giám sát hợp đồng yêu cầu đánh giá liên tục các sản phẩm GenAI, bao gồm đầu ra không chính xác, nội dung bịa đặt và thiên lệch. Các thay đổi hoặc bổ sung công nghệ GenAI trong hợp đồng mà trước đây yêu cầu tư vấn CDT cũng có thể yêu cầu đánh giá lại.

Khung Khung Quản lý Rủi ro AI của NIST có quan điểm tương tự về quản lý rủi ro AI, coi nó là một quá trình liên tục xuyên suốt vòng đời AI. Việc này sẽ yêu cầu các tổ chức thay đổi tư duy so với việc đã quen với việc chuẩn bị cho cuộc kiểm toán tiếp theo và thở phào nhẹ nhõm khi nó kết thúc.

Mua sắm muốn bằng chứng, không phải một cuộc hỗn loạn

Đã có rất nhiều sự hào hứng xung quanh việc tuân thủ tự động, đặc biệt khi các công ty cố gắng bắt kịp với số lượng ngày càng tăng các yêu cầu về bảo mật, quyền riêng tư và AI. Sự thu hút là dễ hiểu, nhưng nguy hiểm xuất hiện khi hiệu quả bị nhầm lẫn với quản trị.

Hoàn thành một quy trình không cho bạn biết liệu rủi ro tiềm ẩn đã thay đổi hay chưa. Ví dụ, một nhà cung cấp mà sáu tháng trước không sử dụng AI cho một dịch vụ cụ thể có thể đang sử dụng nó hiện nay. Đó là lý do tại sao việc tuân thủ cần hoạt động giống như một vòng lặp chứ không phải là đích cuối. Các tổ chức cần biết họ đang quản lý gì, kiểm tra rằng các kiểm soát vẫn thực hiện đúng chức năng của chúng, và đưa các rủi ro và yêu cầu mới vào quy trình ngay khi chúng xuất hiện.

Nếu thực hiện đúng, điều đó cũng làm cho việc mua sắm trở nên ít đau đớn hơn đáng kể. Khi khách hàng hỏi cách AI được quản lý, câu trả lời không phải nằm trong một tài liệu ai đó viết năm ngoái cho một cuộc kiểm toán. Có một bộ bằng chứng hiện tại, đang diễn ra, cho thấy cách các rủi ro đang được quản lý trong thực tế, điều này đang trở nên quan trọng về mặt thương mại.

California đang cho thấy cách mua sắm có thể biến các nguyên tắc quản trị AI thành các yêu cầu mà các nhà cung cấp thực sự phải đáp ứng nếu họ muốn có kinh doanh. Các bên mua công sector công cộng khác cũng có thể làm tương tự, trong khi các đội mua sắm doanh nghiệp có rất nhiều động lực để đặt câu hỏi khó hơn cho các nhà cung cấp của họ.

Các công ty cuối cùng có thể nhận ra rằng quản trị AI không phải chỉ là việc họ thực hiện vì một cơ quan quản lý yêu cầu. Họ sẽ quản trị AI vì một đội mua sắm quyết định yêu cầu họ chứng minh, và họ sẽ sẵn sàng làm điều đó để giành được hợp đồng.