Συνεντεύξεις
Rob Feldman, Chief Legal Officer tại EnterpriseDB – Interview Series
Rob Feldman, Chief Legal Officer, chịu trách nhiệm về các chức năng pháp lý và tuân thủ trên toàn thế giới tại EnterpriseDB. Là một nhà điều hành và luật sư giàu kinh nghiệm, ông xây dựng các đội pháp lý hiệu suất cao để hỗ trợ các công ty công nghệ đang phát triển trong môi trường kinh doanh và quy định động. Gần đây nhất, ông đã lãnh đạo một đội pháp lý 45 người tại Citrix Systems, Inc. với tư cách là Tổng cố vấn, bao gồm cả giao dịch mua lại trị giá hơn 16 tỷ đô la vào năm 2022. Trước khi đến Citrix, ông đã dành hơn một thập kỷ trong lĩnh vực tư nhân với tư cách là một luật sư tranh tụng công ty công nghệ, tập trung vào việc bảo vệ gian lận chứng khoán, tranh chấp quyền sở hữu trí tuệ và điều tra của chính phủ và nội bộ. Rob cũng phục vụ trong Hội đồng Pháp lý Compact Toàn cầu của Liên Hợp Quốc, cung cấp hướng dẫn chiến lược về môi trường quy định toàn cầu để giúp các doanh nghiệp thúc đẩy tác động chuyển đổi, lâu dài.
EnterpriseDB là một công ty phần mềm cung cấp các giải pháp cơ sở dữ liệu cấp doanh nghiệp dựa trên PostgreSQL mã nguồn mở, giúp các tổ chức chạy các khối lượng công việc quan trọng với hiệu suất, bảo mật và độ tin cậy cao hơn. Được thành lập vào năm 2004, EnterpriseDB cung cấp các nền tảng dựa trên đám mây và tại chỗ, hỗ trợ toàn cầu và các công cụ tương thích với Oracle, đồng thời ngày càng tập trung vào các nền tảng dữ liệu và AI sẵn sàng thông qua các dịch vụ Postgres AI của mình.
Với kinh nghiệm lâu dài trong lãnh đạo pháp lý doanh nghiệp và sự tập trung của EnterpriseDB vào Postgres và các nền tảng dữ liệu chủ quyền và AI, bạn nhìn thấy trách nhiệm pháp lý của các công ty đang vận hành AI chủ động trong cơ sở hạ tầng dữ liệu quan trọng sẽ thay đổi như thế nào
Thế giới của AI và dữ liệu vẫn phụ thuộc vào các nguyên tắc cốt lõi mà nên đã điều chỉnh các doanh nghiệp từ lâu trước khi các hệ thống chủ động đến: trách nhiệm, kiềm chế và rõ ràng về trách nhiệm.
Trong quá khứ, những nguyên tắc đó được áp dụng cho con người và chủ yếu là các hệ thống không hoạt động, bảng điều khiển, báo cáo và công cụ tự động không tự khởi xướng hành động. AI chủ động giới thiệu các hệ thống hành xử giống như người tham gia hơn là công cụ. Chúng có thể hành động độc lập, thích nghi theo thời gian và ngày càng tương tác với cả con người và các tác nhân khác.
Nếu một tổ chức thiếu các kỷ luật quản lý và kiểm soát mạnh mẽ, nó sẽ gặp khó khăn trong môi trường này. AI chủ động không tạo ra các vấn đề trách nhiệm mới mà nhiều như暴 lộ những vấn đề hiện có. Đối với các doanh nghiệp có nền tảng vững chắc, sự thay đổi này thực sự củng cố các thực tiễn mà họ đã theo đuổi, những gì chúng tôi mô tả là “đồng bộ hóa số”.
Chỉ có khoảng 13% doanh nghiệp đã đạt đến điểm này của quy mô chủ động thành công. Họ thực hiện 2X số lượng chủ động hơn tất cả các doanh nghiệp khác và nhận được 5X ROI. Nhưng càng có nhiều quyền tự chủ mà một hệ thống AI có, càng sớm các tổ chức phải đối mặt với trách nhiệm. Khi một tác nhân AI định tuyến một yêu cầu, di chuyển tiền hoặc xử lý sai dữ liệu nhạy cảm, trách nhiệm sẽ theo doanh nghiệp đã định nghĩa môi trường, thiết lập các quyền và quyết định mức độ tự do mà hệ thống đó có.
Đây là lý do tại sao các công ty cần đưa ra sự giám sát rõ ràng cho các trường hợp sử dụng AI chủ động của họ và tại sao các tổ chức được khuyến khích tập trung vào các rào cản và chương trình quản trị của họ. Sự tương tự giữa việc sở hữu chó và “đồng bộ hóa số” là hữu ích. Chó có một mức độ tự chủ nhất định, hành động độc lập, mặc dù đôi khi không thể đoán trước, nhưng chúng không phải là những người có pháp lý. Sự kết hợp đó, tự chủ mà không có tư cách pháp nhân, tương tự như nơi các hệ thống AI chủ động ngày nay đang ngồi, và chủ sở hữu phải hiểu rằng nếu không có sự giám sát và quản trị, họ sẽ chịu trách nhiệm về các kết quả tiêu cực.
Làm thế nào các doanh nghiệp nên phân biệt giữa AI hỗ trợ và AI chủ động từ góc độ pháp lý và hoạt động trước khi triển khai
Ở mức độ đơn giản, sự phân biệt này phụ thuộc vào quyền hạn. AI hỗ trợ hỗ trợ việc ra quyết định của con người, trong khi AI chủ động khởi xướng hành động và thực hiện quyết định. Cả hai đều có thể ảnh hưởng đến các quy trình làm việc và hình thành hành vi (ví dụ, trong dịch vụ khách hàng hoặc ưu tiên hoạt động) nhưng chỉ có các hệ thống chủ động mới hành động độc lập theo ảnh hưởng đó.
Nếu một hệ thống có thể kích hoạt các quy trình làm việc, phê duyệt kết quả, sửa đổi trạng thái hệ thống hoặc thực hiện hành động mà không cần phê duyệt của con người theo thời gian thực, nó nên được coi là chủ động. Việc xác định này cần phải xảy ra trước khi triển khai, vì một khi quyền hạn được cấp cho một tác nhân, trách nhiệm pháp lý và hoạt động sẽ thay đổi cùng với nó. Các tổ chức phải chú ý đến sự phân biệt này để họ không vô tình ủy quyền cho quyền ra quyết định và cùng với đó, trách nhiệm.
Các học thuyết pháp lý đã được thiết lập như việc ủy quyền bất cẩn và respondeat superior có thể được áp dụng một cách thực tế cho các hệ thống AI tự chủ, và các khuôn khổ đó bắt đầu bị phá vỡ ở đâu
Họ áp dụng trực tiếp hơn nhiều so với những gì mọi người giả định. Những học thuyết này tồn tại để giải quyết các tình huống mà quyền hạn được ủy quyền và thiệt hại xảy ra, điều này chính xác là một trong những thách thức tiềm năng mà AI chủ động giới thiệu.
Vấn đề không nằm ở học thuyết pháp lý, mà là liệu các tổ chức có hiểu rõ về trách nhiệm mà họ giả định khi triển khai AI tự chủ và sự cần thiết phải quản lý các hệ thống đó một cách phù hợp.
Khi các tổ chức không xác định phạm vi, quyền và giám sát, họ tạo ra trách nhiệm pháp lý. Vấn đề hiếm khi là luật không thể xử lý AI chủ động, mà là các doanh nghiệp đã không xác định rõ ràng những gì các hệ thống của họ được ủy quyền để làm hoặc cách chúng sẽ được quản lý.
Các bước thực tế nào mà các CIO và các nhóm pháp lý nên thực hiện ngay hôm nay để định nghĩa và giảm thiểu trách nhiệm khi các quy trình làm việc AI tiếp tục học hỏi và thích nghi trong môi trường sản xuất
Bước đầu tiên là coi kiểm soát chủ quyền đối với AI và dữ liệu là nhiệm vụ quan trọng. Các tổ chức không thể quản lý trách nhiệm một cách có ý nghĩa nếu các hệ thống AI và dữ liệu của họ bị phân mảnh trên các môi trường mà họ không thể quan sát hoặc quản lý đầy đủ. 13% doanh nghiệp thành công với AI chủ động ở quy mô bắt đầu với nền tảng này.
Trong thực tế, điều đó có nghĩa là hạn chế quyền truy cập dữ liệu, xác định rõ các hành động mà các tác nhân có thể thực hiện tự động và đặt giám sát của con người xung quanh các quyết định có tác động cao. Điều đó cũng đòi hỏi phải ghi nhật ký và khả năng theo dõi, để hành vi có thể được xem xét khi và nếu cần. Các tổ chức áp dụng những biện pháp này sớm sẽ giảm cả trách nhiệm pháp lý và ma sát hoạt động sau này.
Bạn khuyên các doanh nghiệp nên “đồng bộ hóa” hoặc quản lý AI chủ động thông qua chính sách, kiểm soát kỹ thuật hoặc biện pháp bảo vệ hợp đồng như thế nào để giảm rủi ro của thiệt hại không mong muốn
Điểm xuất phát là chủ quyền. Các doanh nghiệp cần có môi trường nơi các hệ thống AI, dữ liệu và ngữ cảnh thực hiện của họ có thể quan sát và thực thi được ở quy mô. Quản trị không thể dựa vào chính sách alone. Chính sách đặt ra kỳ vọng, nhưng các kiểm soát kỹ thuật quyết định những gì các hệ thống có thể thực sự làm, liệu dữ liệu có đang nghỉ ngơi hay di chuyển và các mô hình được phép hoạt động như thế nào.
Một số tác nhân thuộc về các môi trường được bao quanh với không có quyền truy cập sản xuất. Những tác nhân khác có thể hoạt động với các quyền hạn chế và ngưỡng phê duyệt. Các tác nhân tự động hoàn toàn nên hiếm và được giám sát cẩn thận. Các hợp đồng có thể giúp làm rõ trách nhiệm, nhưng chúng không thay thế nhu cầu kiểm soát và trách nhiệm nội bộ.
Liệu sự chuyển đổi sang các môi trường AI được kiểm soát bởi doanh nghiệp hoặc chủ quyền có thay đổi ai cuối cùng sẽ gánh chịu rủi ro khi một tác nhân AI gây ra thiệt hại tài chính hoặc hoạt động
Nó không thay đổi ai sẽ gánh chịu rủi ro. Nó làm cho trách nhiệm rõ ràng hơn và theo nhiều cách, giảm rủi ro. Khi các doanh nghiệp kiểm soát dữ liệu, cơ sở hạ tầng và ngữ cảnh thực hiện, họ loại bỏ các biến số được giới thiệu khi dữ liệu và công cụ nằm trong tay của các bên thứ ba.
Kiểm soát dữ liệu và công cụ AI là một điểm mạnh. Chủ quyền cung cấp cho các tổ chức khả năng hiển thị và quyền hạn cần thiết để quản lý rủi ro một cách có trách nhiệm. Không có quyền kiểm soát đó, các doanh nghiệp mở rộng hồ sơ rủi ro của họ.
Từ quan điểm của bạn, vai trò của tính minh bạch và khả năng kiểm toán trong việc giảm thiểu trách nhiệm pháp lý khi chạy các ứng dụng AI tự động là gì
Họ là nền tảng. Khả năng kiểm toán biến các hệ thống tự động thành các hệ thống có thể bảo vệ.
Khi các sự cố xảy ra, các cơ quan quản lý và tòa án đặt ra các câu hỏi thực tế: hệ thống biết gì, nó được ủy quyền để làm gì và tại sao nó lại hành động? Các doanh nghiệp có thể chứng minh sự giám sát và khả năng kiểm toán đang ở trong một đosition mạnh hơn so với đối thủ của họ, những người đến tay trắng.
Khi hướng dẫn AI của liên bang tiếp tục phát triển, các công ty nên chuẩn bị cho các nghĩa vụ pháp lý khác nhau của tiểu bang liên quan đến trách nhiệm của AI như thế nào
Các tổ chức không thể chờ đợi các nhà quản lý đưa ra một bộ quy tắc chi tiết cụ thể cho AI. Luật hiện hành của tiểu bang và liên bang cung cấp cho chúng tôi 95% sự rõ ràng mà chúng tôi cần để sử dụng AI một cách có trách nhiệm và tránh các sự kiện trách nhiệm pháp lý đáng kể.
Sự rõ ràng đó bao gồm việc thiết kế các hệ thống để đáp ứng các tiêu chuẩn trách nhiệm sản phẩm đòi hỏi cao nhất, điều này sẽ bao gồm các điều như phát triển có trách nhiệm các khả năng AI, kiểm tra trước khi phát hành, minh bạch và tiết lộ rủi ro, kiểm toán sau khi phát hành, giám sát của con người và đào tạo cho người dùng các khả năng AI. Những bước cơ bản và quen thuộc này quan trọng hơn việc cố gắng dự đoán các kết quả quy định cụ thể.
Các câu hỏi quan trọng nhất mà người mua công nghệ nên hỏi các nhà cung cấp về tự chủ, giám sát và trách nhiệm trước khi áp dụng các hệ thống AI chủ động là gì
Với AI chủ động, trách nhiệm cuối cùng nằm ở bên ủy quyền tự chủ. Vì vậy, bốn câu hỏi chính bạn nên trả lời là:
- Ai kiểm soát hệ thống trong sản xuất?
- Làm thế nào để kiểm tra và thực thi các quyền?
- Làm thế nào để hạn chế việc học?
- Bằng chứng kiểm toán nào có sẵn nếu có điều gì đó đi sai?
Nếu một nhà cung cấp không thể cung cấp câu trả lời rõ ràng, các doanh nghiệp nên thận trọng. Quay lại sự tương tự về chó: những người nhân giống quan trọng, nhưng nếu có điều gì đó đi sai, trách nhiệm có thể nằm ở chủ sở hữu.
Cảm ơn vì cuộc phỏng vấn tuyệt vời, người đọc muốn tìm hiểu thêm nên truy cập EnterpriseDB.
