Sean Blanchfield, Đồng sáng lập và CEO của Jentic – Loạt phỏng vấn

Sean Blanchfield, Đồng sáng lập và CEO của Jentic, là một doanh nhân công nghệ hàng loạt với nhiều thập kỷ kinh nghiệm xây dựng các công ty phần mềm và cơ sở hạ tầng quy mô lớn. Đặt trụ sở tại Dublin, ông hiện đang lãnh đạo Jentic đồng thời cũng phục vụ trong Hội đồng Cố vấn Trí tuệ Nhân tạo của Ireland, tư vấn cho chính phủ về chính sách trí tuệ nhân tạo. Trước đây trong sự nghiệp của mình, ông đã đồng sáng lập DemonWare, một nền tảng dịch vụ trực tuyến quy mô lớn cho các nhà xuất bản trò chơi điện tử lớn, sau đó được Activision Blizzard (ATVI ) mua lại, và PageFair, một công ty khởi nghiệp được hỗ trợ bởi vốn đầu tư mạo hiểm tập trung vào phân tích chặn quảng cáo, sau đó được Blockthrough mua lại. Ông cũng đã thành lập hoặc lãnh đạo nhiều công ty khởi nghiệp và tiếp tục hỗ trợ hệ sinh thái khởi nghiệp của Ireland thông qua các sáng kiến như Techpreneurs.

Jentic đang phát triển một lớp tích hợp phổ quát được thiết kế để giúp các tác nhân trí tuệ nhân tạo tương tác an toàn với các hệ thống và API của doanh nghiệp. Nền tảng này cho phép các tổ chức kết nối các mô hình trí tuệ nhân tạo với các công cụ nội bộ, dịch vụ bên ngoài và các quy trình hoạt động trong khi duy trì quản trị, xác thực và giám sát. Bằng cách biến các API phân mảnh thành các giao diện cấu trúc mà các tác nhân trí tuệ nhân tạo có thể sử dụng đáng tin cậy, Jentic nhằm mục đích giúp các doanh nghiệp triển khai tự động hóa dựa trên trí tuệ nhân tạo trên quy mô lớn trên các môi trường phần mềm phức tạp.

Bạn đã thành lập và lãnh đạo nhiều công ty công nghệ, từ DemonWare (được Activision Blizzard mua lại) đến PageFair và bây giờ là Jentic, và bạn cũng phục vụ trong Hội đồng Cố vấn Trí tuệ Nhân tạo của Ireland. Điều gì đã thu hút bạn trở lại xây dựng tại lớp cơ sở hạ tầng một lần nữa với Jentic, và bạn đã thấy khoảng trống nào trong hệ sinh thái tác nhân trí tuệ nhân tạo mới nổi mà những người khác đang bỏ lỡ?

Khi bạn nhận thấy một mẫu lần thứ ba, bạn phải coi nó nghiêm túc. Tại DemonWare, mọi người đều nói về nhiều người chơi trực tuyến – nhưng vấn đề khó khăn là cơ sở hạ tầng mạng bên dưới nó. Điều tương tự đang xảy ra với các tác nhân trí tuệ nhân tạo. Các mô hình rất đáng chú ý. Vấn đề là lớp tích hợp – luôn luôn như vậy. Các tác nhân trí tuệ nhân tạo chạy trên API, và những API đó được xây dựng cho con người: được ghi lại cho con người, được bảo mật cho con người và được cấu trúc cho con người. Đặt một tác nhân tự động vào cơ sở hạ tầng đó, và nó sẽ bị phá vỡ nhanh chóng. Các dự án thí điểm trí tuệ nhân tạo của doanh nghiệp không thất bại vì mô hình hiểu lầm nhiệm vụ; chúng thất bại vì tác nhân không thể kết nối đáng tin cậy với các hệ thống nó cần. Trí tuệ nhân tạo sinh ra một cách mới để giải quyết vấn đề này – bằng cách coi tích hợp là một vấn đề kiến thức, không phải là một vấn đề mã hóa. Sự hiểu biết đó đã thu hút tôi.

Khi bạn bắt đầu Jentic vào năm 2024, liệu bảo mật tác nhân có phải là luận điểm chính từ ngày đầu tiên, hay sự tập trung đã trở nên sắc nét hơn khi bạn quan sát cách các tổ chức thực sự triển khai các tác nhân tự động trong sản xuất?

Chủ đề đầu tiên tôi kéo là thông tin xác thực. Tôi tưởng tượng các tác nhân nhân rộng, mỗi tác nhân cần thông tin xác thực cho hàng chục hệ thống, tất cả các bí mật đó chảy vào các cửa sổ ngữ cảnh LLM, bị đánh cắp – một tình huống hỗn loạn. Câu trả lời giống như nó sẽ như 20 năm trước: tập trung xác thực và ủy quyền. Nhưng kéo chủ đề đó dẫn thẳng đến vấn đề tiếp theo: nếu bạn tập trung bằng cách sử dụng công cụ tích hợp truyền thống, bạn sẽ trở lại vùng đất của các kết nối tĩnh, và các tác nhân không tĩnh. Điều gì đã củng cố tầm nhìn là nhận ra rằng việc khám phá khả năng nên được gắn chặt với kiểm soát truy cập – rằng một tác nhân chỉ nên được cung cấp một khả năng nếu nó thực sự được ủy quyền để sử dụng nó, và hệ thống cung cấp khám phá cũng có thể là điểm duy nhất của việc thực thi và quan sát.

Việt lộ gần đây của số lượng lớn các thể hiện tác nhân trên internet đã làm nổi bật cách điều phối và thông tin xác thực thường chia sẻ cùng một ranh giới tin cậy. Từ quan điểm của bạn, lỗi kiến trúc cốt lõi trong mô hình đó là gì?

Lỗi là đơn giản: tác nhân – một hệ thống chạy các lệnh từ LLM – cũng là hệ thống nắm giữ thông tin xác thực và thực hiện các cuộc gọi API. Vi phạm tác nhân và bạn sẽ nhận được mọi thứ nó có thể làm. Đó là lỗi tương tự mà chúng ta đã mắc phải trong kỷ nguyên web đầu tiên – máy chủ ứng dụng với quyền truy cập cơ sở dữ liệu siêu người dùng vì nó tiện lợi. Jentic nằm giữa tác nhân và các API mà nó gọi. Tác nhân không bao giờ nắm giữ thông tin xác thực. Nó đưa ra các yêu cầu thông qua lớp thực thi được quản lý của chúng tôi, lớp này tiêm thông tin xác thực phía máy chủ, thực thi chính sách và ghi lại mọi cuộc gọi. Và khi điều gì đó đi sai, có một công tắc tắt duy nhất – một hành động dừng truy cập của tác nhân vào mọi hệ thống kết nối đồng thời.

Bạn đã nói về việc tách điều phối khỏi thực thi để chứa bán kính vụ nổ. Bạn có thể giải thích bằng cách thực tế về việc tách này thay đổi hồ sơ rủi ro khi một thể hiện bị xâm phạm không?

Trong mô hình phẳng, LLM suy luận về việc phải làm và trực tiếp gọi API bằng thông tin xác thực mà nó nắm giữ. Vi phạm lớp suy luận, và bạn kiểm soát lớp thực thi. Với sự tách biệt, LLM phát ra một ý định – “gọi API thanh toán Stripe với các tham số này” – một lớp thực thi được quản lý xác thực yêu cầu đó chống lại chính sách, tiêm thông tin xác thực phía máy chủ và thực hiện cuộc gọi. LLM không bao giờ chạm vào thông tin xác thực. Trong thực tế: việc di chuyển ngang trở nên khó khăn hơn, bán kính vụ nổ bị giới hạn bởi những gì lớp thực thi cho phép đối với danh tính tác nhân cụ thể đó, và bạn nhận được một công tắc tắt. Một công tắc và truy cập của tác nhân sẽ ngừng trên mọi hệ thống kết nối. Tác nhân vẫn có thể bị thao túng – nhưng thao túng không còn tự động có nghĩa là vi phạm thông tin xác thực hoàn toàn.

Trong các triển khai doanh nghiệp thực tế, quản lý thông tin xác thực tập trung và thu hồi tức thời thực sự trông như thế nào, và nó khác như thế nào so với cách mà hầu hết các nhóm đang xử lý các khóa API và mã thông báo cho các tác nhân?

Hôm nay, hầu hết các nhóm đều có một nhà phát triển cấp phát các khóa API, lưu trữ chúng trong tệp .env và tải chúng khi khởi động tác nhân – thường trực tiếp vào cửa sổ ngữ cảnh LLM. Không ai có một bức tranh hoàn chỉnh về các tác nhân nào nắm giữ thông tin xác thực nào. Khi ai đó rời đi, các khóa mà họ cấp phát không được quay vòng. Khi một tác nhân hành xử kỳ lạ, không có đường dẫn kiểm toán để tái tạo lại những gì đã xảy ra. Với Jentic, nhà phát triển không bao giờ xử lý thông tin xác thực thô. Họ tuyên bố truy cập mà một tác nhân cần, nền tảng cấp phát truy cập có phạm vi và tác nhân gọi thông qua lớp thực thi của chúng tôi mà không bao giờ nhìn thấy khóa cơ bản. Điều đó có nghĩa là bạn nhận được thu hồi tức thời cho mỗi tác nhân, khả năng tạm dừng truy cập trong khi bạn điều tra và một đường dẫn kiểm toán có thời gian戳 cho mọi cuộc gọi API. Sự khác biệt giữa điều đó và “khóa API trong tệp .env” là đáng kể.

Nhiều nhóm đang thử nghiệm với các khung tác nhân trên bán hàng, kỹ thuật và khoa học dữ liệu. Những sai lầm bảo mật phổ biến nhất bạn đang thấy khi các tổ chức chuyển từ thử nghiệm sang sản xuất là gì?

Những mẫu tương tự lặp lại: các tác nhân quá đặc quyền vẫn chạy trên thông tin xác thực quản trị mà chúng được nguyên mẫu với; thông tin xác thực được truyền trong các lệnh hoặc cửa sổ ngữ cảnh mà chúng kết thúc trong nhật ký, telemetry và có thể là dữ liệu đào tạo; thông tin xác thực được chia sẻ trên nhiều thể hiện tác nhân để bạn không thể cô lập một tác nhân xấu; không có công tắc tắt để dừng một tác nhân mà không tắt toàn bộ hệ thống; không có đường dẫn kiểm toán đáng kể; và việc tiêm lệnh không được coi trọng – ngay cả khi một tác nhân nào đó đọc email, xử lý tài liệu hoặc duyệt web sẽ gặp phải nội dung được tạo ra một cách đối thủ. Chủ đề chung là những nhóm này đã xây dựng cho con đường hạnh phúc và hiện đang phát hiện ra rằng sản xuất chủ yếu là những con đường không hạnh phúc.

Jentic tự định vị mình là một lớp thực thi được quản lý nằm giữa các khung tác nhân và các hệ thống bên ngoài. Làm thế nào lớp trung gian này thực thi quản trị mà không làm chậm các nhà phát triển hoặc giảm tính linh hoạt của tác nhân?

Thay vì nối dây một tác nhân với năm mươi API khác nhau – mỗi API có sơ đồ xác thực riêng, giới hạn tỷ lệ và các đặc điểm riêng – nhà phát triển kết nối với một điểm cuối. Điểm cuối đó暴露 các công cụ để tìm kiếm toàn bộ danh mục khả năng API của chúng tôi, tải chi tiết và thực hiện bất kỳ cuộc gọi nào. Điều này tối đa hóa tính linh hoạt thông qua một giao diện thống nhất cho các API không giới hạn, đồng thời cho phép quản trị – những tác nhân nào truy cập vào các API nào, dưới những điều kiện nào, với những giới hạn nào – tất cả được quản lý trên nền tảng, không phải trong mã khách hàng. Lớp thực thi là một lớp truyền qua; các tác nhân vẫn có thể tạo thành các quy trình công việc đa bước, chuỗi cuộc gọi và xử lý lỗi động. Quản trị mà không có ma sát là khó. Đường tắt là đẩy gánh nặng lên các nhà phát triển. Cơ sở hạ tầng nên làm điều ngược lại – hấp thụ sự phức tạp đó để các nhà phát triển không phải làm như vậy.

Với phần mềm độc hại infostealer hiện đang nhắm vào các tệp cấu hình tác nhân và thông tin xác thực được lưu trữ, bạn có thấy các kẻ tấn công đang chuyển sự tập trung của họ vào cơ sở hạ tầng trí tuệ nhân tạo như một bề mặt có giá trị mới không?

Tuyệt đối – và logic là rõ ràng. Một tệp cấu hình tác nhân hiệu quả là một siêu khóa đa dịch vụ: thông tin xác thực cho các hệ thống email, CRM, nền tảng thanh toán, API nội bộ và tài khoản GitHub. Một lần chạy infostealer thành công mang lại quyền truy cập trong nhiều tháng vào các hệ thống bên ngoài của toàn bộ công ty. Đó là một lợi nhuận đáng kể hơn so với nhắm vào một dịch vụ riêng biệt. Chiều thứ hai là các tác nhân chạy liên tục trong sản xuất là những sự hiện diện được ủy quyền vĩnh viễn – không phải là người dùng đăng nhập và đăng xuất. Một tác nhân bị xâm phạm có thể phục vụ như một điểm chân dài, hoạt động dưới ngưỡng phát hiện. Hiện thực không thoải mái là bề mặt tấn công đang phát triển nhanh hơn công cụ phòng thủ. Jentic có thể giảm đáng kể bề mặt tấn công thông tin xác thực, nhưng chúng tôi không thể ngăn chặn một tác nhân lạm dụng các phạm vi mà nó đã được cấp. Vấn đề khó khăn hơn cần được giải quyết ở cấp độ mô hình, với các rào cản và phát hiện tiêm lệnh.

Ngoài bất kỳ khung nào, những nguyên tắc bảo mật rộng hơn nào mà các tổ chức nên áp dụng nếu họ muốn triển khai trí tuệ nhân tạo tác nhân một cách an toàn trên quy mô lớn?

Hầu hết các tổ chức được quản lý không thể triển khai các hệ thống không xác định vào các quy trình kinh doanh có giá trị nhất của họ. Một ngân hàng hoặc công ty bảo hiểm không thể chỉ trỏ một tác nhân tự động vào hệ thống thanh toán của họ và nói “hãy tìm hiểu”. Vậy làm thế nào để bạn đổi mới mà không có tư thế rủi ro trở thành phanh tay? Câu trả lời là sandbox. Tạo một bản sao kỹ thuật số của tài sản API với cùng một cấu trúc và quy trình làm việc, nhưng không có thông tin xác thực sản xuất hoặc hậu quả. Triển khai các tác nhân ở đó, để chúng khám phá, xem những gì xảy ra. Các đường dẫn thành công được bắt giữ dưới dạng tự động hóa quy trình công việc có cấu trúc, có thể xác minh, lặp lại và xem xét được bởi bất kỳ nhóm tuân thủ nào sử dụng Arazzo, thông số kỹ thuật quy trình công việc mở được phát triển trong Sáng kiến Mở API – có thể kiểm toán, lặp lại và xem xét được bởi bất kỳ nhóm tuân thủ nào. Điều này có nghĩa là bạn có thể di chuyển với tốc độ trí tuệ nhân tạo trong sandbox và với tốc độ doanh nghiệp trong sản xuất, và hai chế độ đó cùng tồn tại. Những nguyên tắc khác vẫn áp dụng – đặc quyền tối thiểu, đường dẫn kiểm toán, công tắc tắt, tách điều phối khỏi thực thi. Nhưng sandbox là câu trả lời cấu trúc cho câu hỏi mà các nhóm doanh nghiệp thực sự gặp phải: làm thế nào để chúng tôi thử nghiệm với trí tuệ nhân tạo không xác định mà không đặt tư thế tuân thủ của chúng tôi vào đó? Bạn không triển khai sự không xác định. Bạn trích xuất giá trị từ nó trong điều kiện được kiểm soát và chỉ triển khai đầu ra xác định.

Cảm ơn bạn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm nên truy cập Jentic.