Rob Feldman, Chief Legal Officer tại EnterpriseDB – Phỏng vấn

Rob Feldman, Chief Legal Officer, chịu trách nhiệm về các chức năng pháp lý và tuân thủ trên toàn thế giới tại EnterpriseDB. Là một nhà điều hành và luật sư giàu kinh nghiệm, ông xây dựng các đội pháp lý hiệu suất cao để hỗ trợ các công ty công nghệ đang phát triển trong môi trường kinh doanh và quy định động. Gần đây nhất, ông đã lãnh đạo một đội pháp lý gồm 45 người tại Citrix Systems, Inc. với tư cách là Tổng cố vấn, bao gồm cả giao dịch mua lại trị giá hơn 16 tỷ đô la vào năm 2022. Trước khi đến Citrix, ông đã dành hơn một thập kỷ trong lĩnh vực tư nhân với tư cách là luật sư tranh tụng cho các công ty công nghệ, tập trung vào việc bảo vệ gian lận chứng khoán, tranh chấp về quyền sở hữu trí tuệ và điều tra của chính phủ và nội bộ. Rob cũng là thành viên của Hội đồng Pháp lý Toàn cầu của Liên Hợp Quốc, cung cấp hướng dẫn chiến lược về môi trường quy định toàn cầu để giúp các doanh nghiệp đạt được tác động chuyển đổi, lâu dài.

EnterpriseDB là một công ty phần mềm cung cấp các giải pháp cơ sở dữ liệu cấp doanh nghiệp dựa trên PostgreSQL mã nguồn mở, giúp các tổ chức chạy các khối lượng công việc quan trọng với hiệu suất, bảo mật và độ tin cậy cao hơn. Được thành lập vào năm 2004, EnterpriseDB cung cấp các nền tảng dựa trên đám mây và tại chỗ, hỗ trợ toàn cầu và các công cụ tương thích với Oracle (ORCL ), đồng thời ngày càng tập trung vào các nền tảng dữ liệu và AI sẵn sàng với các dịch vụ Postgres AI của mình.

Với kinh nghiệm lâu dài của bạn trong lĩnh vực lãnh đạo pháp lý doanh nghiệp và sự tập trung của EnterpriseDB vào Postgres và các nền tảng dữ liệu chủ quyền, bạn nhìn thấy trách nhiệm pháp lý của các công ty đang thay đổi như thế nào khi họ triển khai AI có tính chủ động trong cơ sở hạ tầng dữ liệu quan trọng

Thế giới của AI và dữ liệu vẫn phụ thuộc vào các nguyên tắc cốt lõi mà nên đã được áp dụng cho các doanh nghiệp từ lâu trước khi các hệ thống chủ động xuất hiện: trách nhiệm, kiềm chế và sự rõ ràng về trách nhiệm.

Trong quá khứ, những nguyên tắc đó đã được áp dụng cho con người và các hệ thống tương đối tĩnh, bảng điều khiển, báo cáo và công cụ tự động không tự khởi xướng hành động. AI chủ động giới thiệu các hệ thống hành xử giống như những người tham gia hơn là công cụ. Chúng có thể hành động độc lập, thích nghi theo thời gian và ngày càng tương tác với cả con người và các tác nhân khác.

Nếu một tổ chức thiếu các kỷ luật quản lý và kiểm soát mạnh mẽ, họ sẽ gặp khó khăn trong môi trường này. AI chủ động không tạo ra các vấn đề trách nhiệm mới mà nhiều hơn là暴露 các vấn đề hiện có. Đối với các doanh nghiệp có nền tảng vững chắc, sự thay đổi này thực sự củng cố các thực tiễn mà họ đã theo đuổi, những gì chúng tôi mô tả là “sự kiềm chế kỹ thuật số.” Đối với những người khác, đó là một tín hiệu rõ ràng rằng các rào cản thực tế cần được thiết lập trước khi triển khai AI chủ động trên quy mô lớn.

Chỉ khoảng 13% doanh nghiệp đã đạt đến điểm này về quy mô chủ động. Họ làm gấp đôi số lượng chủ động so với tất cả các doanh nghiệp khác và nhận được 5 lần ROI. Nhưng càng có nhiều tự chủ, các tổ chức càng sớm phải đối mặt với trách nhiệm. Khi một tác nhân AI định tuyến một yêu cầu, di chuyển tiền hoặc xử lý sai dữ liệu nhạy cảm, trách nhiệm sẽ theo doanh nghiệp đã xác định môi trường, đặt các quyền và quyết định mức độ tự do mà hệ thống đó có.

Đây là lý do tại sao các công ty cần đưa ra sự giám sát rõ ràng cho các trường hợp sử dụng AI chủ động của họ và tại sao các tổ chức được khuyến khích tập trung vào các rào cản và chương trình quản trị của họ. Sự tương tự giữa việc sở hữu chó và sự kiềm chế kỹ thuật số là hữu ích. Chó có một mức độ tự chủ nhất định, hành động độc lập, mặc dù đôi khi không thể đoán trước, nhưng chúng không phải là những người có trách nhiệm pháp lý. Sự kết hợp đó, tự chủ mà không có tính cách pháp lý, tương tự như vị trí của các hệ thống AI chủ động ngày nay, và chủ sở hữu phải hiểu rằng nếu không có sự giám sát và quản lý, họ sẽ phải chịu trách nhiệm về các kết quả tiêu cực.

Làm thế nào các doanh nghiệp nên phân biệt giữa AI hỗ trợ và AI chủ động từ góc độ pháp lý và hoạt động trước khi triển khai?

Ở mức độ đơn giản, sự khác biệt nằm ở quyền lực. AI hỗ trợ hỗ trợ việc ra quyết định của con người, trong khi AI chủ động khởi xướng hành động và thực hiện quyết định. Cả hai đều có thể ảnh hưởng đến các quy trình làm việc và hình thành hành vi (ví dụ, trong dịch vụ khách hàng hoặc ưu tiên hoạt động) nhưng chỉ có các hệ thống chủ động mới hành động trên sự ảnh hưởng đó một cách độc lập.

Nếu một hệ thống có thể kích hoạt các quy trình làm việc, phê duyệt kết quả, thay đổi trạng thái hệ thống hoặc thực hiện hành động mà không cần sự phê duyệt của con người theo thời gian thực, nó nên được coi là chủ động. Việc xác định đó cần phải xảy ra trước khi triển khai, vì một khi quyền lực được trao cho một tác nhân, trách nhiệm pháp lý và hoạt động sẽ thay đổi cùng với nó. Các tổ chức phải chú ý đến sự khác biệt này để họ không phát hiện quá muộn rằng họ đã vô tình ủy quyền cho quyền ra quyết định, và cùng với đó, trách nhiệm.

Các học thuyết pháp lý đã được thiết lập như việc ủy quyền bất cẩn và trách nhiệm cao hơn có thể được áp dụng một cách thực tế cho các hệ thống AI tự chủ, và các khuôn khổ đó bắt đầu bị phá vỡ ở đâu?

Chúng áp dụng trực tiếp hơn nhiều người giả định. Những học thuyết này tồn tại để giải quyết các tình huống trong đó quyền lực được ủy quyền và thiệt hại xảy ra, điều này chính xác là một trong những thách thức tiềm năng mà AI chủ động giới thiệu.

Vấn đề không nằm ở học thuyết pháp lý, mà là liệu các tổ chức có hiểu rõ trách nhiệm họ giả định khi triển khai AI tự chủ, và cần phải quản lý những hệ thống đó một cách phù hợp.

Khi các tổ chức không xác định phạm vi, quyền và giám sát, họ tạo ra trách nhiệm pháp lý. Vấn đề không phải là luật không thể xử lý AI chủ động, mà là các doanh nghiệp đã không xác định rõ ràng những gì các hệ thống của họ được ủy quyền làm hoặc cách chúng sẽ được quản lý.

Các bước thực tế nào mà các CIO và các nhóm pháp lý nên thực hiện ngày nay để xác định và giảm thiểu trách nhiệm khi các quy trình làm việc AI tiếp tục học hỏi và thích nghi trong môi trường sản xuất?

Bước đầu tiên là coi kiểm soát chủ quyền đối với AI và dữ liệu là nhiệm vụ quan trọng. Các tổ chức không thể quản lý trách nhiệm một cách có ý nghĩa nếu các hệ thống AI và dữ liệu của họ bị phân mảnh trên các môi trường mà họ không thể quan sát hoặc quản lý đầy đủ. 13% doanh nghiệp thành công với AI chủ động trên quy mô lớn bắt đầu với nền tảng này.

Trong thực tế, điều đó có nghĩa là hạn chế quyền truy cập dữ liệu, xác định rõ các hành động mà các tác nhân có thể thực hiện tự chủ và đặt sự giám sát của con người xung quanh các quyết định có tác động cao. Điều đó cũng yêu cầu việc ghi nhật ký và khả năng theo dõi, để hành vi có thể được xem xét khi và nếu cần. Các tổ chức áp dụng những biện pháp này sớm sẽ giảm cả trách nhiệm pháp lý và ma sát hoạt động xuống dòng.

Bạn khuyên các doanh nghiệp nên kiểm soát hoặc quản lý AI chủ động thông qua chính sách, kiểm soát kỹ thuật hoặc biện pháp bảo vệ hợp đồng để giảm rủi ro của thiệt hại không mong muốn như thế nào?

Điểm xuất phát là chủ quyền. Các doanh nghiệp cần có môi trường nơi các hệ thống AI, dữ liệu và ngữ cảnh thực hiện của họ có thể quan sát và thực thi được trên quy mô lớn. Quản lý không thể dựa vào chính sách alone. Chính sách đặt ra các kỳ vọng, nhưng các kiểm soát kỹ thuật quyết định những gì hệ thống có thể thực sự làm, cho dù dữ liệu đang nghỉ ngơi hay di chuyển, và cách các mô hình được phép hoạt động.

Một số tác nhân thuộc về các môi trường được ngăn chặn với không có quyền truy cập sản xuất. Những tác nhân khác có thể hoạt động với các quyền hạn và ngưỡng phê duyệt hạn chế. Các tác nhân hoàn toàn tự chủ nên hiếm và được giám sát cẩn thận. Các hợp đồng có thể giúp làm rõ trách nhiệm, nhưng chúng không thay thế sự cần thiết của kiểm soát và trách nhiệm nội bộ.

Sự thay đổi hướng tới các môi trường AI được kiểm soát bởi doanh nghiệp có thay đổi ai sẽ phải chịu rủi ro khi một tác nhân AI gây ra thiệt hại tài chính hoặc vận hành không?

Nó không thay đổi ai sẽ phải chịu rủi ro. Nó làm cho trách nhiệm rõ ràng hơn và theo nhiều cách, giảm rủi ro. Khi các doanh nghiệp kiểm soát dữ liệu, cơ sở hạ tầng và ngữ cảnh thực hiện, họ loại bỏ các biến số được giới thiệu khi dữ liệu và công cụ nằm trong tay của các bên thứ ba.

Kiểm soát dữ liệu và công cụ AI là một điểm mạnh. Chủ quyền cung cấp cho các tổ chức khả năng hiển thị và quyền lực cần thiết để quản lý rủi ro một cách có trách nhiệm. Không có sự kiểm soát đó, các doanh nghiệp sẽ mở rộng hồ sơ rủi ro của họ.

Trước góc độ của bạn, vai trò của tính minh bạch và khả năng kiểm toán trong việc giảm thiểu trách nhiệm pháp lý khi chạy các ứng dụng AI tự chủ là gì?

Chúng là nền tảng. Khả năng kiểm toán biến các hệ thống tự chủ thành các hệ thống có thể bảo vệ.

Khi các sự cố xảy ra, các cơ quan quản lý và tòa án đặt ra các câu hỏi thực tế: hệ thống biết gì, nó được ủy quyền làm gì, và tại sao nó lại hành động? Các doanh nghiệp có thể chứng minh sự giám sát và khả năng kiểm toán sẽ ở vị thế rất mạnh hơn so với đối thủ của họ không có tay.

Làm thế nào các công ty nên chuẩn bị cho các nghĩa vụ pháp lý khác nhau về trách nhiệm pháp lý của AI tại cấp độ tiểu bang khi hướng dẫn AI của liên bang tiếp tục phát triển?

Các tổ chức không thể chờ đợi các cơ quan quản lý đưa ra một tập hợp các quy tắc chi tiết cụ thể cho AI. Luật hiện hành của tiểu bang và liên bang cung cấp cho chúng tôi 95% sự rõ ràng mà chúng tôi cần để sử dụng AI một cách có trách nhiệm và tránh các sự kiện trách nhiệm pháp lý đáng kể.

Đó là sự rõ ràng bao gồm việc thiết kế các hệ thống để đáp ứng các tiêu chuẩn trách nhiệm sản phẩm đòi hỏi nhất, điều này sẽ bao gồm các điều như phát triển có trách nhiệm các khả năng AI, thử nghiệm trước khi phát hành, minh bạch và tiết lộ rủi ro, kiểm toán sau khi phát hành, giám sát của con người và đào tạo cho người dùng các khả năng AI. Những bước cơ bản và quen thuộc này quan trọng hơn việc dự đoán các kết quả quy định cụ thể.

Các câu hỏi quan trọng nhất mà người mua công nghệ nên hỏi nhà cung cấp về tính tự chủ, giám sát và trách nhiệm trước khi áp dụng các hệ thống AI chủ động là gì?

Với AI chủ động, trách nhiệm cuối cùng nằm ở bên ủy quyền cho tính tự chủ. Vì vậy, bốn câu hỏi chính bạn nên trả lời là:

1. Ai kiểm soát hệ thống trong sản xuất?
2. Làm thế nào để kiểm tra và thực thi các quyền?
3. Làm thế nào để hạn chế việc học?
4. Bằng chứng kiểm toán nào có sẵn nếu có điều gì đó sai?

Nếu một nhà cung cấp không thể cung cấp các câu trả lời rõ ràng, các doanh nghiệp nên thận trọng. Quay lại sự tương tự về việc nuôi chó: những người gây giống quan trọng, nhưng nếu có điều gì đó sai, trách nhiệm có thể nằm ở chủ sở hữu.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập EnterpriseDB.