Rob Feldman, Chief Legal Officer tại EnterpriseDB – Interview Series

Rob Feldman, Chief Legal Officer, chịu trách nhiệm về các chức năng pháp lý và tuân thủ trên toàn thế giới tại EnterpriseDB. Là một nhà điều hành và luật sư có kinh nghiệm, ông xây dựng các đội pháp lý có hiệu suất cao để hỗ trợ các công ty công nghệ đang phát triển trong môi trường kinh doanh và pháp lý năng động. Gần đây nhất, ông đã lãnh đạo một đội pháp lý gồm 45 người tại Citrix Systems, Inc. với tư cách là Tổng cố vấn, bao gồm cả giao dịch mua lại trị giá hơn 16 tỷ USD vào năm 2022. Trước khi đến Citrix, ông đã dành hơn một thập kỷ trong lĩnh vực tư nhân với tư cách là luật sư của các công ty công nghệ, tập trung vào việc bảo vệ các vụ lừa đảo chứng khoán, tranh chấp về quyền sở hữu trí tuệ và các cuộc điều tra của chính phủ và nội bộ. Rob cũng là thành viên của Hội đồng Pháp lý của Liên Hợp Quốc, cung cấp hướng dẫn chiến lược về môi trường pháp lý toàn cầu để giúp các doanh nghiệp đạt được tác động chuyển đổi, lâu dài.

EnterpriseDB là một công ty phần mềm cung cấp các giải pháp cơ sở dữ liệu cấp doanh nghiệp dựa trên PostgreSQL mã nguồn mở, giúp các tổ chức chạy các khối lượng công việc quan trọng với hiệu suất, bảo mật và độ tin cậy cao hơn. Được thành lập vào năm 2004, EnterpriseDB cung cấp các nền tảng dựa trên đám mây và tại chỗ, hỗ trợ toàn cầu và các công cụ tương thích với Oracle (ORCL ), đồng thời ngày càng tập trung vào các nền tảng dữ liệu và AI sẵn sàng cho doanh nghiệp thông qua các dịch vụ Postgres AI của mình.

Với kinh nghiệm lâu dài của bạn trong lĩnh vực lãnh đạo pháp lý doanh nghiệp và sự tập trung của EnterpriseDB vào cơ sở dữ liệu Postgres và các nền tảng dữ liệu và AI chủ quyền, bạn nhìn thấy sự phát triển của trách nhiệm pháp lý cho các công ty triển khai AI tự động trong cơ sở hạ tầng dữ liệu quan trọng như thế nào

Thế giới của AI và dữ liệu vẫn phụ thuộc vào các nguyên tắc cốt lõi mà nên đã được áp dụng cho các doanh nghiệp từ trước khi các hệ thống tự động đến: trách nhiệm, kiềm chế và sự rõ ràng về trách nhiệm.

Trong quá khứ, những nguyên tắc đó đã được áp dụng cho con người và các hệ thống tương đối tĩnh, bảng điều khiển, báo cáo và công cụ tự động không tự khởi xướng hành động. AI tự động giới thiệu các hệ thống hành xử giống như những người tham gia hơn là công cụ. Chúng có thể hành động độc lập, thích nghi theo thời gian và ngày càng tương tác với cả con người và các tác nhân khác.

Nếu một tổ chức thiếu các kỷ luật quản lý và kiểm soát mạnh mẽ, họ sẽ gặp khó khăn trong môi trường này. AI tự động không tạo ra các vấn đề trách nhiệm mới mà nhiều hơn là暴露 các vấn đề hiện có. Đối với các doanh nghiệp có nền tảng vững chắc, sự thay đổi này thực sự củng cố các thực tiễn mà họ đã theo đuổi, những gì chúng tôi mô tả là “sự kiềm chế kỹ thuật số”. Đối với những người khác, đó là một tín hiệu rõ ràng rằng các rào cản thực tế cần được thiết lập trước khi triển khai AI tự động trên quy mô lớn.

Chỉ có khoảng 13% doanh nghiệp đã đạt đến điểm này của quy mô AI tự động thành công. Họ làm được gấp đôi số lượng AI tự động so với tất cả các doanh nghiệp khác và nhận được 5 lần ROI. Nhưng càng nhiều tự chủ mà một hệ thống AI có, càng sớm các tổ chức phải đối mặt với trách nhiệm. Khi một tác nhân AI định tuyến một yêu cầu, di chuyển tiền hoặc xử lý sai dữ liệu nhạy cảm, trách nhiệm sẽ theo doanh nghiệp đã định nghĩa môi trường, thiết lập các quyền và quyết định mức độ tự do mà hệ thống đó có.

Đây là lý do tại sao các công ty cần mang lại sự giám sát rõ ràng cho các trường hợp sử dụng AI tự động của họ, và tại sao các tổ chức được khuyến khích tập trung vào các rào cản và chương trình quản lý của họ. Sự tương tự về việc sở hữu chó và sự kiềm chế kỹ thuật số là hữu ích. Chó có một mức độ tự chủ nhất định, hành động độc lập, mặc dù đôi khi không thể đoán trước, nhưng chúng không phải là những người có trách nhiệm pháp lý. Sự kết hợp đó, tự chủ mà không có nhân cách, tương tự như vị trí của các hệ thống AI tự động ngày nay, và chủ sở hữu phải hiểu rằng nếu không có sự giám sát và quản lý, họ sẽ phải chịu trách nhiệm về các kết quả tiêu cực.

Làm thế nào các doanh nghiệp nên phân biệt giữa AI hỗ trợ và AI tự động từ góc độ pháp lý và hoạt động trước khi triển khai?

Ở mức độ đơn giản, sự khác biệt nằm ở thẩm quyền. AI hỗ trợ hỗ trợ việc ra quyết định của con người, trong khi AI tự động khởi xướng hành động và thực hiện quyết định. Cả hai đều có thể ảnh hưởng đến các quy trình làm việc và hình thành hành vi (ví dụ, trong dịch vụ khách hàng hoặc ưu tiên hoạt động) nhưng chỉ có hệ thống tự động mới hành động trên sự ảnh hưởng đó một cách độc lập.

Nếu một hệ thống có thể kích hoạt các quy trình làm việc, phê duyệt kết quả, sửa đổi trạng thái hệ thống hoặc thực hiện hành động mà không cần sự phê duyệt của con người theo thời gian thực, nó nên được coi là tự động. Việc xác định đó cần phải xảy ra trước khi triển khai, vì một khi thẩm quyền được trao cho một tác nhân, trách nhiệm pháp lý và hoạt động sẽ thay đổi cùng với nó. Các tổ chức phải chú ý đến sự khác biệt này để họ không vô tình ủy quyền cho việc ra quyết định và cùng với đó, trách nhiệm.

Các học thuyết pháp lý đã được thiết lập như việc ủy quyền bất cẩn và respondeat superior có thể được áp dụng một cách thực tế cho các hệ thống AI tự động, và các khuôn khổ đó bắt đầu bị phá vỡ ở đâu?

Chúng áp dụng trực tiếp hơn nhiều người giả định. Những học thuyết này tồn tại để giải quyết các tình huống mà thẩm quyền được ủy quyền và thiệt hại xảy ra, điều này chính xác là một trong những thách thức tiềm năng mà AI tự động đưa ra.

Vấn đề không nằm ở học thuyết pháp lý, mà liệu các tổ chức có hiểu rõ trách nhiệm mà họ giả định khi triển khai AI tự động và cần phải quản lý những hệ thống đó một cách phù hợp.

Khi các tổ chức không xác định phạm vi, quyền và giám sát, họ tạo ra trách nhiệm pháp lý. Vấn đề không phải là luật không thể xử lý AI tự động, mà là các doanh nghiệp đã không xác định rõ ràng những gì hệ thống của họ được ủy quyền để làm hoặc cách chúng sẽ được quản lý.

Các bước thực tế nào mà các CIO và các đội pháp lý nên thực hiện ngày nay để định nghĩa và giảm thiểu trách nhiệm khi các quy trình làm việc AI tiếp tục học hỏi và thích nghi trong môi trường sản xuất?

Bước đầu tiên là coi kiểm soát chủ quyền đối với AI và dữ liệu là nhiệm vụ quan trọng. Các tổ chức không thể quản lý trách nhiệm một cách có ý nghĩa nếu các hệ thống AI và dữ liệu của họ bị phân mảnh trên các môi trường mà họ không thể quan sát hoặc quản lý đầy đủ. 13% doanh nghiệp thành công với AI tự động trên quy mô lớn bắt đầu với nền tảng này.

Trên thực tế, điều đó có nghĩa là giới hạn quyền truy cập dữ liệu, xác định rõ các hành động mà các tác nhân có thể thực hiện tự động và đặt sự giám sát của con người xung quanh các quyết định có tác động cao. Điều đó cũng đòi hỏi việc ghi nhật ký và khả năng theo dõi, để hành vi có thể được xem xét khi và nếu cần. Các tổ chức áp dụng những biện pháp này sớm sẽ giảm cả trách nhiệm pháp lý và ma sát hoạt động xuống dòng.

Bạn khuyên các doanh nghiệp nên kiểm soát hoặc quản lý AI tự động thông qua chính sách, kiểm soát kỹ thuật hoặc biện pháp bảo vệ hợp đồng để giảm rủi ro của thiệt hại không mong muốn như thế nào?

Điểm xuất phát là chủ quyền. Các doanh nghiệp cần có môi trường nơi các hệ thống AI, dữ liệu và ngữ cảnh thực hiện của họ có thể quan sát và thực thi được trên quy mô lớn. Quản lý không thể dựa vào chính sách alone. Chính sách đặt ra kỳ vọng, nhưng các kiểm soát kỹ thuật quyết định những gì hệ thống có thể thực sự làm, liệu dữ liệu có đang nghỉ ngơi hay di chuyển, và cách các mô hình được phép hoạt động.

Các tác nhân thuộc về các môi trường được ngăn cách với không có quyền truy cập sản xuất. Những người khác có thể hoạt động với các quyền và ngưỡng phê duyệt hạn chế. Các tác nhân tự động hoàn toàn nên hiếm và được giám sát cẩn thận. Các hợp đồng có thể giúp làm rõ trách nhiệm, nhưng chúng không thay thế sự cần thiết của kiểm soát và trách nhiệm nội bộ.

Sự thay đổi hướng tới các môi trường AI chủ quyền hoặc được kiểm soát bởi doanh nghiệp có thay đổi ai sẽ phải chịu rủi ro khi một tác nhân AI gây ra thiệt hại tài chính hoặc hoạt động không?

Nó không thay đổi ai sẽ phải chịu rủi ro. Nó làm cho trách nhiệm rõ ràng hơn và theo nhiều cách, giảm rủi ro. Khi các doanh nghiệp kiểm soát dữ liệu, cơ sở hạ tầng và ngữ cảnh thực hiện, họ loại bỏ các biến số được giới thiệu khi dữ liệu và công cụ nằm trong tay của các bên thứ ba.

Khả năng kiểm soát dữ liệu và công cụ AI là một điểm mạnh. Chủ quyền cung cấp cho các tổ chức khả năng hiển thị và thẩm quyền cần thiết để quản lý rủi ro một cách có trách nhiệm. Không có sự kiểm soát đó, các doanh nghiệp sẽ mở rộng hồ sơ rủi ro của họ.

Từ quan điểm của bạn, minh bạch và khả năng kiểm toán đóng vai trò gì trong việc giảm thiểu trách nhiệm pháp lý khi chạy các ứng dụng AI tự động?

Chúng là nền tảng. Khả năng kiểm toán biến các hệ thống tự động thành các hệ thống có thể bảo vệ.

Khi các sự cố xảy ra, các cơ quan quản lý và tòa án đặt ra các câu hỏi thực tế: hệ thống biết gì, nó được ủy quyền để làm gì và tại sao nó lại hành động? Các doanh nghiệp có thể chứng minh sự giám sát và khả năng kiểm toán sẽ ở vị thế rất mạnh mẽ so với đối thủ của họ những người đến tay không.

Làm thế nào các công ty nên chuẩn bị cho các nghĩa vụ pháp lý khác nhau về trách nhiệm pháp lý của AI tại cấp độ tiểu bang khi các hướng dẫn AI liên bang tiếp tục phát triển?

Các tổ chức không thể chờ đợi các cơ quan quản lý đưa ra một bộ các quy tắc chi tiết cụ thể cho AI. Luật hiện hành của tiểu bang và liên bang cung cấp cho chúng ta 95% sự rõ ràng mà chúng ta cần để sử dụng AI một cách có trách nhiệm và tránh các sự kiện trách nhiệm pháp lý đáng kể.

Sự rõ ràng đó bao gồm việc thiết kế các hệ thống để đáp ứng các tiêu chuẩn trách nhiệm sản phẩm đòi hỏi nhất, điều này sẽ bao gồm các điều khoản như phát triển có trách nhiệm các khả năng AI, thử nghiệm trước khi phát hành, minh bạch và tiết lộ rủi ro, kiểm toán sau khi phát hành, giám sát của con người và đào tạo cho người dùng các khả năng AI. Những bước cơ bản và quen thuộc này quan trọng hơn việc cố gắng dự đoán các kết quả quy định cụ thể.

Các câu hỏi quan trọng nhất mà người mua công nghệ nên hỏi nhà cung cấp về tự chủ, giám sát và trách nhiệm trước khi áp dụng các hệ thống AI tự động là gì?

Với AI tự động, trách nhiệm cuối cùng nằm ở bên ủy quyền cho tự chủ. Vì vậy, bốn câu hỏi chính bạn nên trả lời là:

1. Ai kiểm soát hệ thống trong sản xuất?
2. Làm thế nào các quyền được kiểm tra và thực thi?
3. Làm thế nào việc học được hạn chế?
4. Bằng chứng kiểm toán nào có sẵn nếu có điều gì đó sai?

Nếu một nhà cung cấp không thể cung cấp các câu trả lời rõ ràng, các doanh nghiệp nên thận trọng. Quay lại với sự tương tự về việc nuôi chó: những người nuôi chó quan trọng, nhưng nếu có điều gì đó sai, trách nhiệm có thể nằm ở người chủ.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, những người đọc muốn tìm hiểu thêm nên truy cập EnterpriseDB.