Rowan Stewart, Giám đốc sản phẩm cao cấp, An toàn AI và Nền tảng tại Transcend – Loạt phỏng vấn

Rowan Stewart, Giám đốc sản phẩm cao cấp, An toàn AI và Nền tảng tại Transcend, dẫn đầu các sáng kiến sản phẩm tập trung vào việc giúp các tổ chức khám phá, quản lý và sử dụng dữ liệu an toàn trong các hệ thống trí tuệ nhân tạo. Cô có hơn một thập kỷ kinh nghiệm trong việc phát triển sản phẩm trí tuệ nhân tạo và học máy, phần mềm doanh nghiệp, xử lý ngôn ngữ tự nhiên, chiến lược dữ liệu và lãnh đạo sản phẩm từ đầu. Trước khi gia nhập Transcend, Stewart đã dành gần sáu năm tại BCG X, nơi cô giúp các doanh nghiệp lớn phát triển chiến lược trí tuệ nhân tạo, tái tạo các quy trình nội bộ và xây dựng các sản phẩm nhằm mang lại kết quả kinh doanh có thể đo lường được. Sớm trong sự nghiệp của mình, cô đã quản lý việc phát triển các API xử lý ngôn ngữ tự nhiên cho trí tuệ ảnh hưởng, bao gồm phân tích cảm xúc, đồ thị kiến thức, đánh giá tính cách, phát hiện bot và khả năng an toàn thương hiệu.

Transcend là nền tảng quyết định dữ liệu tự động duy nhất trả lời câu hỏi “liệu tôi có thể sử dụng dữ liệu này không?” để mở rộng sự tăng trưởng của khách hàng. Các công ty Fortune 500 và các nhà lãnh đạo danh mục mới nổi tận dụng Transcend để mã hóa các quyền sử dụng dữ liệu hoàn chỉnh trực tiếp vào các hệ thống doanh nghiệp xử lý dữ liệu khách hàng, cung cấp một nguồn thông tin thực sự về sự đồng ý, sở thích và quy tắc kinh doanh. Kết quả là chất lượng dữ liệu vượt trội, sử dụng có đạo đức bảo vệ thương hiệu và tuân thủ quy định sẵn sàng kiểm toán với quy mô lớn. Với Transcend, các công ty có thể mở khóa doanh thu từ trí tuệ nhân tạo, cá nhân hóa và các sáng kiến dữ liệu đầu tiên khác với sự tự tin. Được thành lập vào năm 2017 bởi Ben Brook (CEO) và Mike Farrell (CTO), Transcend có trụ sở tại khu vực Vịnh San Francisco.

Bạn đã dành gần sáu năm tại BCG X giúp các tổ chức lớn nhất thế giới triển khai các giải pháp trí tuệ nhân tạo và học máy trước khi chuyển sang an toàn và quản lý trí tuệ nhân tạo tại Transcend. Những sai sót quản lý và điểm mù lặp đi lặp lại mà bạn quan sát được là gì, điều gì đã thuyết phục bạn rằng quản lý trí tuệ nhân tạo cần được xây dựng vào các hệ thống từ ngày đầu tiên chứ không phải được thêm vào sau?

Tại BCG, tôi đã làm việc với các công ty trên mọi giai đoạn trưởng thành của trí tuệ nhân tạo, và một mẫu vẫn còn với tôi: quản lý luôn xuất hiện muộn. Các đội di chuyển nhanh để vận chuyển một mô hình hoặc sản phẩm, và cuộc trò chuyện về các quyền dữ liệu, đồng ý hoặc giám sát thực sự trở nên rõ ràng ngay trước khi sản xuất và cảm thấy như một ‘cái bẫy’. Bất cứ điều gì được xây dựng vào thời điểm đó đều là một miếng vá trên một hệ thống không bao giờ được thiết kế với quản lý trong tâm trí.

Đó là một phần lý do tại sao tôi rất hào hứng khi gia nhập Transcend. Tư vấn cho các công ty về những gì họ nên làm chỉ đi đến một mức độ nhất định. Tôi muốn giúp xây dựng cơ sở hạ tầng khiến quản lý trở thành lựa chọn dễ dàng.

Nhiều tổ chức đang chạy đua để triển khai các tác nhân trí tuệ nhân tạo trên toàn bộ hỗ trợ khách hàng, hoạt động và công việc tri thức. Làm thế nào để quản lý các tác nhân trí tuệ nhân tạo tự động khác với quản lý các hệ thống phần mềm truyền thống hoặc thậm chí các thế hệ mô hình trí tuệ nhân tạo trước đó?

Hầu hết kiến trúc bảo mật doanh nghiệp đều giả định rằng có một con người ở phía bên kia của mọi hành động, và con người đó có thể được xác định, tin cậy và khi điều gì đó sai sót, có thể bị trách nhiệm. Nhưng các tác nhân không phải là con người. Họ hành động theo ý mình, ủy quyền nhiệm vụ cho các tác nhân khác và tạo chuỗi quyết định cùng nhau theo những cách hiếm khi tương ứng với một người có trách nhiệm duy nhất.

Việc cấp cho một tác nhân các quyền tĩnh giống như những gì bạn sẽ cấp cho một nhân viên tạo ra sự không phù hợp vì các tác nhân thiếu cảm giác chung. Quản lý phải đánh giá hành động cụ thể mà một tác nhân sắp thực hiện, vào thời điểm đó, với dữ liệu cụ thể đó. Hầu hết các công ty vẫn đang chạy cuốn sách quản lý danh tính và truy cập mà họ đã xây dựng cho con người, và nhiều công ty sẽ phát hiện ra khoảng trống khi triển khai tác nhân vượt quá quản lý được xây dựng để xử lý nó.

Bạn đã làm việc trên nhiều làn sóng đổi mới trí tuệ nhân tạo, từ các sản phẩm NLP và các nền tảng trí tuệ ảnh hưởng đến các sáng kiến chuyển đổi trí tuệ nhân tạo doanh nghiệp. Làm thế nào để cuộc trò chuyện xung quanh an toàn trí tuệ nhân tạo tiến hóa trong thập kỷ qua, và điều gì vẫn khiến bạn lo lắng nhất?

So sánh trí tuệ nhân tạo ngày nay (và ngày mai!) với các thế hệ trước là thú vị vì đó là một không gian di chuyển nhanh chóng. Những tiến hóa quan trọng nhất trong năm hoặc hai năm qua rõ ràng là sự trỗi dậy của các tác nhân và tầm quan trọng của quản lý bộ nhớ dài hạn (OpenClaw, ai đó?). Những tác nhân này có thể làm được nhiều việc hơn với chất lượng cao hơn, điều này khiến chúng trở nên có giá trị và rủi ro hơn.

Làm thế nào để các hệ thống trí tuệ nhân tạo ngày càng đưa ra quyết định bằng cách sử dụng dữ liệu khách hàng và doanh nghiệp, những sai lầm lớn nhất mà các công ty có về đồng ý, quyền và quản lý dữ liệu trong các môi trường được thúc đẩy bởi trí tuệ nhân tạo?

Sai lầm phổ biến nhất là đối xử với đồng ý như một điều gì đó bạn thu thập một lần và lưu trữ. Một khách hàng đồng ý với một tập hợp các điều khoản khi đăng ký, và các công ty giả định rằng thỏa thuận đó sẽ tồn tại mãi mãi, bất kể dữ liệu di chuyển sau đó như thế nào hoặc hệ thống nào nó sẽ kết thúc. Đồng ý cần đi cùng với dữ liệu. Nếu ai đó cập nhật sở thích của mình, hoặc một quy định mới thay đổi những gì được cho phép, thay đổi đó phải xuất hiện ở mọi nơi dữ liệu tồn tại, không chỉ trong hệ thống mà đồng ý ban đầu được thu thập.

Sai lầm thứ hai là đối xử với quyền như một chi tiết kỹ thuật mà IT hoặc pháp lý xử lý im lặng ở hậu trường. Khi các hệ thống trí tuệ nhân tạo bắt đầu đưa ra quyết định dựa trên dữ liệu đó, việc cấp phép trở thành một câu hỏi sản phẩm và kinh doanh, và bất kỳ khoảng trống nào trong đó sẽ được kế thừa trực tiếp bởi bất kỳ sáng kiến trí tuệ nhân tạo nào nằm trên đầu.

Nhiều doanh nghiệp vẫn phụ thuộc vào các chính sách tĩnh và các cuộc xem xét tuân thủ định kỳ. Tại sao những cách tiếp cận đó gặp khó khăn trong một thời đại mà các hệ thống trí tuệ nhân tạo có thể liên tục học hỏi, thích nghi và tương tác với các tác nhân khác?

Một chính sách tĩnh ghi lại những gì một hệ thống trông như thế nào, và những gì được coi là có thể chấp nhận được, vào thời điểm ai đó viết nó xuống. Trí tuệ nhân tạo không ngồi yên đủ lâu để bức tranh đó vẫn chính xác. Mô hình mà chính sách của bạn được viết có thể không phải là mô hình bạn đang chạy sáu tháng sau, và một cuộc xem xét tuân thủ hàng quý hoặc hàng năm không thể theo kịp một hệ thống đang đưa ra quyết định và thích nghi trong suốt thời gian.

Quản lý một thứ gì đó di chuyển nhanh như vậy đòi hỏi phải có chính sách di chuyển với tốc độ tương tự. Điều đó có nghĩa là thực thi quản lý tại điểm mà dữ liệu thực sự được sử dụng, trong thời gian thực, thay vì kiểm tra nó sau khi thực tế chống lại một tài liệu đã lỗi thời ngay từ ngày nó được xuất bản.

Quản lý hiệu quả trông như thế nào khi các tổ chức bắt đầu triển khai các mạng tác nhân trí tuệ nhân tạo cộng tác với nhau và truy cập vào nhiều hệ thống nội bộ?

Đây là nơi mà giới hạn của kiểm soát truy cập truyền thống trở nên rõ ràng. Một tác nhân có thể được ủy quyền để đọc một bản ghi, gọi một công cụ và chuyển kết quả cho một tác nhân khác, và mỗi bước đó có thể trông hợp lý khi xem riêng. Hành động tổng hợp (điều thực sự xảy ra khi bạn kết hợp các bước lại với nhau) thường là một điều gì đó không có người nào phê duyệt rõ ràng. Kiểm soát truy cập truyền thống có thể xác nhận liệu một tác nhân có quyền truy cập hệ thống hay không, mặc dù nó có ít điều để nói về việc liệu dữ liệu mà nó chạm vào có được thu thập dưới sự đồng ý bao gồm việc sử dụng này hay không, hoặc liệu chuỗi hành động kết quả có phải là một điều gì đó một người thực sự đã ký tên.

Transcend tập trung vào việc nhúng các quyền sử dụng dữ liệu trực tiếp vào các quy trình làm việc doanh nghiệp. Quản lý cơ sở hạ tầng thời gian thực quan trọng như thế nào khi các tổ chức chuyển từ thử nghiệm trí tuệ nhân tạo sang triển khai sản xuất?

Trong quá trình thử nghiệm, một nhóm có thể thường xuyên vượt qua các cuộc xem xét thủ công và các cuộc kiểm toán định kỳ, vì các ставки thấp. Trong sản xuất, đặc biệt là với trí tuệ nhân tạo tự động, điều đó bị phá vỡ vì quy mô chỉ đơn giản là khổng lồ. Hệ thống hiện tại của các danh sách kiểm tra và các cuộc họp là một tình huống thua-thắng. Các nhóm tuân thủ và bảo mật cơ bản nhận được một lời hứa hẹn với không có thực thi liên tục, trong khi nhóm sản phẩm bây giờ cam kết với các cuộc xem xét thủ công cồng kềnh không cung cấp giá trị thực sự cho người dùng cuối. Đó là khi cơ sở hạ tầng thời gian thực trở thành cách tiếp cận duy nhất hoạt động. Thực thi các quyền tại thời điểm dữ liệu di chuyển hoặc một quyết định được đưa ra, thay vì xây dựng lại những gì đã xảy ra sau khi điều gì đó đã sai, là điều làm cho quản lý có ý nghĩa đối với tuân thủ, và có giá trị cho người dùng

Trong tầm nhìn của bạn, những rủi ro quan trọng nhất liên quan đến trí tuệ nhân tạo tự động trong ba đến năm năm tới là gì, và những rủi ro nào trong số đó hiện đang được đánh giá thấp bởi các nhà lãnh đạo kinh doanh?

Tôi nghĩ rằng mô hình cho phép các tác nhân kế thừa quyền của người dùng rủi ro hơn chúng ta nhận ra. Con người có phán xét, nhưng một trí tuệ nhân tạo sẽ tuân theo các hướng dẫn của bạn ngay cả khi bạn đi sai.

Làm thế nào để các nhóm sản phẩm cân bằng áp lực để vận chuyển các tính năng trí tuệ nhân tạo nhanh chóng với nhu cầu thiết lập các khuôn khổ quản lý, minh bạch và trách nhiệm?

Tôi nghĩ một điều cụ thể là sửa chữa những gì tôi gọi là “Thuế Slop.”

Chúng ta đã nhanh chóng hiệu chỉnh lại phản ứng của mình để giảm giá trị và tính hợp lệ của đầu ra trí tuệ nhân tạo. Đó là lý do tại sao mọi người khuyên bạn nên loại bỏ các dấu gạch nối (ngay cả khi chúng là phù hợp) và lý do tại sao một trang web sử dụng bảng màu Claude tiêu chuẩn trông rẻ (ngay cả khi nó trông đẹp). Đó cũng là lý do tại sao thông tin được phục vụ bởi trí tuệ nhân tạo được coi là đáng ngờ (ngay cả khi nó là đúng sự thật). Điều đó thực sự ảnh hưởng đến giá trị nhận thức của sản phẩm của bạn.

Sửa chữa Thuế Slop thực sự là quản lý và minh bạch tốt hơn. Ví dụ, chúng tôi vừa vận chuyển một tính năng gọi là Sử dụng trí tuệ nhân tạo của Nhà cung cấp, nó kéo thông tin có sẵn công khai về các tính năng trí tuệ nhân tạo và tư thế quản lý của các công ty hàng đầu, để giúp các nhóm kích hoạt trí tuệ nhân tạo, bảo mật và mua sắm làm việc nhanh hơn. Chúng tôi phát hiện ra rằng sử dụng một khuôn khổ dàn xếp đa tác nhân, cùng với việc thu thập và trình bày bằng chứng với các liên kết nguồn và trích dẫn cho các phát hiện của họ, đã dẫn đến sự cải thiện lớn về chất lượng kết quả của chúng tôi. Thực tiễn thu thập bằng chứng và kiểm tra chất lượng tác nhân là một chiến thắng kép vì kết quả thực sự cho người dùng tốt hơn, và tuân thủ tốt hơn.

Nhìn về phía trước, bạn có tin rằng quản lý trí tuệ nhân tạo cuối cùng sẽ trở thành một lợi thế cạnh tranh thay vì chỉ là một yêu cầu tuân thủ, và điều gì sẽ phân biệt các tổ chức thực hiện đúng với những tổ chức thất bại?

Tôi có, và nó quay trở lại cùng một mẫu mà tôi đã theo dõi khi còn ở BCG. Các công ty coi quản lý như một điều gì đó để thêm vào một sản phẩm đã có trên thị trường luôn bị bắt vào phút cuối trước khi mở rộng quy mô, và có xu hướng bị kẹt trong “Địa ngục thí điểm”. Các công ty xây dựng quản lý vào hệ thống từ ngày đầu tiên có thể di chuyển với một loại tự tin mà nhóm kia không có, vì họ không phải lúc nào cũng tự hỏi những gì họ sẽ tìm thấy khi cuối cùng họ nhìn kỹ vào cách trí tuệ nhân tạo của họ thực sự đang sử dụng dữ liệu.

Khoảng cách đó chỉ sẽ rộng ra khi việc triển khai tác nhân tăng tốc. Các tổ chức đang chạy nhanh nhất để triển khai các tác nhân mà không thay đổi cách các tác nhân được cấp phép là những tổ chức có nhiều khả năng gặp rắc rối, và vào thời điểm họ làm như vậy, các công ty đã nhận được cơ sở hạ tầng đúng sẽ sẽ đã được hoạt động với một tốc độ mà những người đến muộn không thể dễ dàng theo kịp. Quản lý ngừng trở thành một mục tuân thủ khi nó là điều cho phép bạn triển khai trí tuệ nhân tạo nhanh hơn và với sự tự tin hơn so với mọi người vẫn làm thủ công.

Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm nên truy cập Transcend.