Babak Hodjat, Giám đốc Trí tuệ Nhân tạo tại Cognizant: Cuộc trò chuyện trở lại

Babak Hodjat, Giám đốc Trí tuệ Nhân tạo tại Cognizant, lãnh đạo các Phòng Nghiên cứu AI của công ty, nơi công việc của ông bao phủ AI có tính năng đại lý, tính toán tiến hóa, trí tuệ phân tán, và phát triển các hệ thống AI được thiết kế cho việc triển khai quy mô doanh nghiệp lớn. Là một nhà nghiên cứu AI lâu năm, nhà phát minh và doanh nhân, Hodjat trước đây đã đồng sáng lập Sentient Technologies, nơi ông góp phần xây dựng một trong những hệ thống AI phân tán lớn nhất thế giới, và trước đó cũng đồng sáng lập Dejima, phát triển công nghệ ngôn ngữ tự nhiên hướng đại lý đã đóng góp vào nền tảng của Siri của Apple.

Khi chúng tôi trước đây đã nói chuyện với Babak Hodjat, cuộc thảo luận của chúng tôi đã khám phá sự nghiệp của ông trong AI, các phương pháp tiến hóa cho quyết định phức tạp, công việc của Cognizant trong việc áp dụng AI vào các thách thức về khí hậu và sử dụng đất, và sự dân chủ hóa ngày càng tăng của AI trong toàn bộ doanh nghiệp. Trong cuộc trò chuyện tiếp theo này, trọng tâm chuyển sang doanh nghiệp có tính năng đại lý đang nhanh chóng nổi lên. Dựa trên các chủ đề trong cuốn sách gần đây của ông, Doanh nghiệp Đại lý, Hodjat xem xét lý do tại sao kiến trúc có thể quan trọng hơn khả năng của mô hình, cách các tổ chức có thể phối hợp các mạng lưới AI ngày càng phức tạp, nơi mà niềm tin và quản trị tập trung phù hợp như thế nào trong hệ sinh thái đại lý phi tập trung, và những gì vẫn cần thay đổi trước khi các hệ thống tự động có thể quản lý các mục tiêu dài hạn một cách đáng tin cậy với tối thiểu sự can thiệp của con người.

Sự nghiệp của bạn bao trùm một số công việc sớm nhất về các đại lý thông minh, từ công nghệ ngôn ngữ tự nhiên của Dejima đã giúp truyền cảm hứng cho Siri đến việc xây dựng các hệ thống AI phân tán quy mô lớn tại Sentient và hiện đang giữ vị trí Giám đốc Trí tuệ Nhân tạo tại Cognizant. Định nghĩa của bạn về “đại lý AI” đã phát triển như thế nào trong hành trình đó, và các nhà phát triển ngày nay có thể học được gì từ các thế hệ hệ thống dựa trên đại lý trước đây?

Định nghĩa vẫn không thay đổi, nhưng khả năng của các đại lý ngày nay có nghĩa là nhiều chức năng cơ bản của một đại lý mà chúng ta phải lập trình vào những năm 90 giờ đây đã có sẵn trong các mô hình ngôn ngữ lớn (LLM). Đó là lý do tại sao các đại lý dựa trên LLM hiện là tiêu chuẩn, và khi mọi người nói về các đại lý, họ giả định rằng có một LLM điều khiển giao diện và quá trình suy luận của nó.

Trong cuốn sách gần đây của bạn, Doanh nghiệp Đại lý, bạn lập luận rằng các hệ thống AI doanh nghiệp thường thành công hoặc thất bại do kiến trúc của chúng hơn là khả năng thô của mô hình nền tảng. Các công ty đang sai lầm gì khi cho rằng nâng cấp lên một mô hình mạnh hơn sẽ giải quyết các vấn đề AI có tính năng đại lý của họ?

Giống như dây kéo (tức là các thành phần không phải LLM của một đại lý) có thể quyết định thành bại của một đại lý lập trình, kiến trúc của một hệ thống đa đại lý lại quan trọng đối với sự thành công của nó. Điều này bởi vì kiến trúc phản ánh bối cảnh mà các đại lý nên hoạt động — giống như khung giàn giáo giữ cho doanh nghiệp có tính năng đại lý vững chắc. Nếu không có nó, các đại lý sẽ không gắn kết với thực tế của các hoạt động doanh nghiệp, dữ liệu, quy trình làm việc và quy trình. Điều này tương tự phần nào với cấu trúc tổ chức của một công ty, bao gồm mô tả công việc, định nghĩa quy trình và giao thức giao tiếp cho nhân viên.

Bạn đã nhấn mạnh rằng hệ thống bao quanh, bao gồm kiểm soát truy cập, trách nhiệm, điều phối, khả năng quan sát và giám sát, có thể quan trọng hơn mô hình tự nó. Kiến trúc đại lý sẵn sàng cho sản xuất thực sự cần những gì mà hầu hết các triển khai bằng chứng khái niệm (PoC) đang thiếu?

Các bằng chứng khái niệm (PoC) thường không có nền tảng vững chắc, vì vậy để bắt đầu, chúng ta cần các đại lý hoạt động trong một môi trường mà chúng có quyền truy cập vào dữ liệu và ứng dụng nội bộ của công ty. Các câu hỏi quan trọng cần được đặt ra, chẳng hạn như dữ liệu và ứng dụng nào chúng ta sẵn sàng cho phép các đại lý truy cập, và những quyết định nào chúng ta cảm thấy an toàn khi cho phép các đại lý thực hiện để hệ thống an toàn và bảo mật, trong khi vẫn đạt được các cải thiện về chất lượng và năng suất mà chúng ta mong đợi? Thật khó để xác định câu trả lời cho những câu hỏi này trong môi trường PoC. Hơn nữa, các rào cản và giám sát chỉ có ý nghĩa khi một hệ thống đại lý hoạt động cùng với các quy trình con người hoặc đại lý khác trong công ty. Do đó, việc tạo sandbox là một bước quan trọng trong quá trình chuyển đổi hiệu quả từ PoC sang triển khai.

Cognizant đã mô tả sự xuất hiện của một “Hệ điều hành Đại lý” để điều phối mạng lưới các đại lý AI. Lớp này nên thực hiện những chức năng nào, và bạn có kỳ vọng việc điều phối đại lý cuối cùng sẽ trở thành nền tảng thiết yếu cho tính toán doanh nghiệp giống như hệ điều hành và nền tảng đám mây hiện nay không?

Việc phối hợp các tác nhân là quan trọng: nếu làm quá cứng nhắc, hệ thống của bạn sẽ bị suy giảm và dễ gãy. Nếu quá mở và giao toàn bộ việc phối hợp cho tác nhân, bạn sẽ có nguy cơ làm cho nhiệm vụ của tác nhân trở nên quá phức tạp hoặc rủi ro. Một cơ chế phối hợp tốt cho phép các tác nhân tự phát thành lập các đội trong phản ứng với các tình huống khác nhau, tạo ra một kỷ luật tổ chức vững chắc và linh hoạt. Tôi là người ủng hộ việc phối hợp phân tán. Điều này tương tự như trao quyền cho một tổ chức con người với một mức độ quyền hạn nhất định trong lĩnh vực trách nhiệm của nó. Khi một ngữ cảnh xuất hiện, các thành viên của tổ chức giao tiếp và phối hợp qua cấu trúc tổ chức để xác định những cá nhân chịu trách nhiệm xử lý tình huống, và phản hồi được tổng hợp, phối hợp và hợp nhất giữa các nút tổ chức. Tin tốt là các kiểm soát nghiêm ngặt và biện pháp bảo vệ có thể được áp dụng cho các hệ thống tác nhân để sự linh hoạt này không dẫn đến hành vi rủi ro.

Tôi tin rằng, giống như MCP đã nhanh chóng trở thành tiêu chuẩn thực tế cho việc truy cập ứng dụng tác nhân, các giao thức phối hợp cũng sẽ xuất hiện và được chuẩn hoá trên các nền tảng tác nhân để cho phép các quy trình đa tác nhân tự phát vượt qua ranh giới hệ thống tác nhân. Hệ điều hành và nền tảng đám mây có lẽ không phải là phép ẩn dụ tốt ở đây; thay vào đó, các tiêu chuẩn được đồng thuận rộng rãi cho định nghĩa đa tác nhân và giao thức phối hợp sẽ phải xuất hiện để cho phép sự thâm nhập và phát triển rộng rãi của việc tác nhân hoá trong doanh nghiệp.

Khi các doanh nghiệp chuyển từ các trợ lý cá nhân sang các mạng lưới chứa hàng chục thậm chí hàng trăm tác nhân chuyên biệt, các tổ chức nên quyết định trách nhiệm nào thuộc về từng tác nhân riêng lẻ và trách nhiệm nào nên được tập trung?

Giống như tường lửa và cơ chế bảo mật trên internet, việc thiết lập niềm tin thông qua việc kiểm toán trực tiếp dựa trên chính sách và thực thi các rào cản bảo vệ trên các hệ thống tác nhân nên là một chức năng tập trung trong doanh nghiệp, được định nghĩa và duy trì bởi một thực thể duy nhất trong công ty. Tất cả các hệ thống tác nhân khác có thể được cung cấp hoặc triển khai theo cách phi tập trung, nhưng chúng sẽ phải đăng ký với hệ thống niềm tin để được phép hoạt động.

Cognizant đã triển khai một hệ thống đa tác nhân nội bộ kết nối khoảng 200 tác nhân trên một tổ chức khoảng 350.000 nhân viên. Việc vận hành ở quy mô đó đã tiết lộ những gì về AI tác nhân mà khó có thể khám phá qua các thí điểm nhỏ hơn?

Chúng tôi phải thiết kế để đáp ứng khả năng mở rộng, mở rộng tính năng, hiệu quả chi phí và thời gian phản hồi hợp lý. Trong các dự án có quy mô như vậy, bạn thường phải sáng tạo ra những thứ mà trong các hệ thống tác nhân nhỏ, giới hạn và có ít người dùng thì không cần thiết. Ví dụ, bạn phải làm cho việc phối hợp giữa các tác nhân trở nên cá nhân hoá và hiệu quả, để tránh các bước thừa và chi phí phát sinh. Ngoài ra, hệ thống cũng cần có khả năng tích hợp các ứng dụng tự xây dựng cũng như các hệ thống và tác nhân của bên thứ ba, vì vậy tính tương thích là quan trọng và có thể tiết kiệm thời gian và tiền bạc.

Khi các tác nhân tự động có thể gọi API, truy cập hệ thống doanh nghiệp, giao tiếp với các tác nhân khác và thực hiện hành động ở tốc độ máy, việc quản trị AI truyền thống trở nên khó khăn hơn rất nhiều. Vị trí nào nên duy trì giám sát con người một cách bắt buộc, và ở đâu các tổ chức có thể cho phép các tác nhân hoạt động độc lập một cách an toàn?

Tôi nghĩ yếu tố quyết định cuối cùng về việc cần và bắt buộc có giám sát con người là niềm tin. Khi các hệ thống này trở nên đáng tin cậy hơn, chúng ta sẽ cho phép chúng có nhiều tự chủ hơn, và trừ khi pháp luật yêu cầu (ví dụ, do thiếu tính nhân cách pháp lý cho AI), chúng ta sẽ cảm thấy thoải mái khi giao phó cho các tác nhân. Do đó, đo lường niềm tin và rủi ro là quan trọng và có thể giúp vạch ra ranh giới giữa tự chủ và giám sát con người — một ranh giới có thể sẽ di chuyển khi các hệ thống này trở nên đáng tin cậy hơn và ít rủi ro hơn khi vận hành tự động.

Phần lớn nghiên cứu trước đây của bạn tập trung vào tính toán tiến hóa và các hệ thống cải thiện thông qua lựa chọn và thích nghi. Các phương pháp tiến hóa có thể bổ trợ cho các mô hình ngôn ngữ lớn và học tăng cường như thế nào khi chúng ta cố gắng xây dựng các tác nhân có khả năng cải thiện liên tục thay vì chỉ thực thi các quy trình đã định sẵn?

Dòng chảy chính trong AI hiện nay bị chi phối bởi các phương pháp gradient descent, là một dạng tìm kiếm leo đồi không quá sáng tạo. Tính toán tiến hóa rất hiệu quả trong việc tìm kiếm không gian phức tạp và có thể bổ trợ cho các phương pháp chính thống. Phòng thí nghiệm của chúng tôi, chẳng hạn, đã có một đột phá gần đây trong lĩnh vực này: chúng tôi đã chứng minh rằng các Chiến lược Tiến hóa vượt trội hơn Học tăng cường đối với hầu hết các giai đoạn hậu đào tạo của LLM, mang lại các mô hình chất lượng tương đương hoặc tốt hơn với chi phí thấp hơn đáng kể. Các phương pháp tiến hóa cũng có thể hỗ trợ Đào tạo Khi Thử nghiệm (Test-Time Training), nhằm cho phép các LLM học sau khi triển khai.

Nghiên cứu của Cognizant đã khám phá các môi trường mà các tác nhân tương tác phát triển hợp tác, cạnh tranh, chia sẻ kiến thức và thậm chí các chiến lược lừa dối. Khi các hệ thống đa tác nhân trở nên phức tạp hơn, hành vi nổi lên có thể trở thành một trong những thách thức lớn nhất trong việc giữ cho AI doanh nghiệp dự đoán được và phù hợp với mục tiêu tổ chức?

Điều này đã xảy ra, như được chứng minh bởi vụ việc gần đây được công bố rộng rãi của OpenAI/Hugging Face. Chúng ta có thể nghĩ rằng các tác nhân, bị giới hạn trong các lời nhắc và ngữ cảnh của chúng, và sử dụng các mô hình ngôn ngữ lớn (LLM) không học trong thời gian chạy, sẽ duy trì hành vi tương đối nhất quán. Tuy nhiên, thực tế là môi trường và động lực của một tác nhân có thể thay đổi, thường là do hành động của chính tác nhân trong môi trường, dẫn đến hành vi không lường trước được. Điều này càng có khả năng xảy ra hơn khi nhiều tác nhân tương tác, do đó việc chúng ta quan sát các tác nhân tự động trong các môi trường sandbox an toàn là rất quan trọng để xác định phạm vi và quy mô của xu hướng xuất hiện, và tính đến điều đó trong thiết kế và biện pháp bảo vệ của chúng ta. Hệ thống công khai của chúng tôi, TerraLingua, nơi bạn có thể giới thiệu các tác nhân, hiện vật và thậm chí giả danh các tác nhân và quan sát hành vi cá nhân và tập thể của chúng, là một bước tiến theo hướng này.

Nhìn ra ngoài làn sóng AI có tính tác nhân hiện nay, bạn cho rằng còn thiếu đột phá công nghệ nào hoặc thay đổi kiến trúc nào trước khi chúng ta có thể xây dựng các hệ thống AI có khả năng quản lý một cách đáng tin cậy các mục tiêu dài hạn, phức tạp với tối thiểu sự can thiệp của con người?

Nhiều hạn chế của các tác nhân hiện nay bắt nguồn từ những giới hạn của công nghệ AI hiện đại. Các mô hình ngôn ngữ lớn (LLM) gần như cố định sau khi được huấn luyện và không thể ‘thay đổi quan điểm’ khi chúng gặp thông tin mới. LLM là mọi thứ và mọi người đồng thời, vì vậy chúng cần được chuẩn bị bằng ngữ cảnh và lời nhắc và rất nhạy cảm với việc này. LLM có cửa sổ ngữ cảnh hạn chế và phải được cung cấp lại toàn bộ dữ liệu cho mỗi từ mà chúng tạo ra hoặc mỗi hành động chúng thực hiện. Ở cấp độ đa tác nhân, tôi cho rằng chúng ta cần các giao thức phối hợp phân tán được chấp nhận rộng rãi, các rào chắn tin cậy và chính sách, cùng với các hệ thống trung gian giao dịch để tương lai có tính tác nhân đạt được tiềm năng đầy đủ.

Cảm ơn bạn đã có buổi phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm nên truy cập Cognizant hoặc phỏng vấn trước.