Rebecca Qian, đồng sáng lập kiêm Giám đốc công nghệ của Patronus AI – Loạt bài phỏng vấn

Rebecca Qian là đồng sáng lập kiêm Giám đốc Công nghệ (CTO) của Patronus AI, với gần một thập kỷ kinh nghiệm xây dựng các hệ thống học máy sản xuất tại giao điểm của xử lý ngôn ngữ tự nhiên (NLP), trí tuệ nhân tạo thể hiện (embodied AI) và cơ sở hạ tầng. Tại Facebook AI, cô đã làm việc trong các lĩnh vực nghiên cứu và triển khai, huấn luyện FairBERTa, một mô hình ngôn ngữ quy mô lớn được thiết kế với các mục tiêu công bằng, phát triển mô hình nhiễu loạn nhân khẩu học để viết lại nội dung Wikipedia, và dẫn đầu việc phân tích ngữ nghĩa cho các trợ lý robot. Cô cũng đã xây dựng các quy trình có sự tham gia của con người cho các tác nhân thể hiện và tạo ra các công cụ cơ sở hạ tầng như Khai thác Tập hợp Tương phản Liên tục (Continuous Contrast Set Mining), được áp dụng trên khắp các nhóm cơ sở hạ tầng của Facebook và được trình bày tại ICSE. Cô đã đóng góp cho các dự án mã nguồn mở bao gồm FacebookResearch/fairo và các sổ tay phân tích ngữ nghĩa Droidlet. Là một nhà sáng lập, hiện tại cô tập trung vào giám sát có khả năng mở rộng, học tăng cường và triển khai các tác nhân AI an toàn, nhận biết môi trường.

Thần hộ mệnh AI Patronus là một công ty có trụ sở tại San Francisco, cung cấp nền tảng dựa trên nghiên cứu để đánh giá, giám sát và tối ưu hóa các mô hình ngôn ngữ lớn (LLM) và các tác nhân AI, giúp các nhà phát triển tự tin đưa ra thị trường các sản phẩm AI tạo sinh đáng tin cậy. Nền tảng này cung cấp các công cụ đánh giá tự động, so sánh hiệu năng, phân tích, bộ dữ liệu tùy chỉnh và môi trường dành riêng cho tác nhân, giúp xác định các vấn đề về hiệu năng như ảo giác, rủi ro bảo mật hoặc lỗi logic, cho phép các nhóm liên tục cải thiện và khắc phục sự cố hệ thống AI trong các trường hợp sử dụng thực tế. Patronus phục vụ khách hàng doanh nghiệp và các đối tác công nghệ bằng cách trao quyền cho họ chấm điểm hành vi mô hình, phát hiện lỗi trên quy mô lớn và nâng cao độ tin cậy cũng như hiệu năng trong các ứng dụng AI sản xuất.

Bạn có kinh nghiệm sâu rộng trong việc xây dựng các hệ thống học máy tại Facebook AI, bao gồm cả công việc trên FairBERTa và các quy trình có sự tham gia của con người. Kinh nghiệm đó đã định hình quan điểm của bạn như thế nào về việc triển khai và an toàn AI trong thế giới thực?

Làm việc tại Meta AI đã giúp tôi tập trung vào những yếu tố cần thiết để xây dựng các mô hình đáng tin cậy trong thực tế—đặc biệt là về xử lý ngôn ngữ tự nhiên (NLP) có trách nhiệm. Tôi đã làm việc với mô hình ngôn ngữ hướng đến sự công bằng, chẳng hạn như huấn luyện các mô hình ngôn ngữ logic (LLM) với các mục tiêu công bằng, và tôi đã tận mắt chứng kiến ​​​​sự khó khăn trong việc đánh giá và diễn giải kết quả đầu ra của mô hình. Điều đó đã định hình cách tôi suy nghĩ về sự an toàn. Nếu bạn không thể đo lường và hiểu hành vi của mô hình, rất khó để triển khai AI một cách tự tin trong thế giới thực.

Điều gì đã thúc đẩy bạn chuyển từ kỹ sư nghiên cứu sang lĩnh vực kinh doanh, đồng sáng lập Patronus AI, và vấn đề nào bạn cảm thấy cấp bách nhất cần giải quyết vào thời điểm đó?

Việc đánh giá đã trở thành một rào cản trong lĩnh vực AI vào thời điểm đó. Tôi rời Meta AI vào tháng Tư để thành lập Patronus cùng với Anand vì tôi đã tận mắt chứng kiến ​​việc đánh giá và diễn giải kết quả đầu ra của AI khó khăn như thế nào. Và một khi AI tạo sinh bắt đầu được ứng dụng vào quy trình làm việc của doanh nghiệp, rõ ràng đây không còn chỉ là vấn đề trong phòng thí nghiệm nữa. 

Chúng tôi liên tục nghe thấy điều tương tự từ các doanh nghiệp. Họ muốn áp dụng LLM (Logistics Learning Module), nhưng họ không thể kiểm tra, giám sát chúng một cách đáng tin cậy, hoặc hiểu được các chế độ lỗi như ảo giác, đặc biệt là trong các ngành công nghiệp được quản lý chặt chẽ, nơi mà sai sót không được phép xảy ra. 

Vì vậy, vấn đề cấp bách ban đầu là xây dựng một phương pháp để tự động hóa và mở rộng quy mô đánh giá mô hình—chấm điểm mô hình trong các tình huống thực tế, tạo ra các trường hợp thử nghiệm đối kháng và so sánh hiệu năng—để các nhóm có thể triển khai một cách tự tin thay vì dựa vào phỏng đoán.

Gần đây, Patronus đã giới thiệu các trình mô phỏng tạo sinh như môi trường thích ứng cho các tác nhân AI. Những hạn chế nào trong các phương pháp đánh giá hoặc đào tạo hiện có đã dẫn bạn đến hướng đi này?

Chúng tôi liên tục nhận thấy sự chênh lệch ngày càng lớn giữa cách đánh giá các tác nhân AI và kỳ vọng về hiệu suất của chúng trong thế giới thực. Các tiêu chuẩn truyền thống đo lường khả năng riêng lẻ tại một thời điểm cố định, nhưng công việc thực tế lại năng động. Nhiệm vụ bị gián đoạn, yêu cầu thay đổi giữa chừng và các quyết định tích lũy theo thời gian dài. Các tác nhân có thể hoạt động tốt trong các bài kiểm tra tĩnh nhưng vẫn thất bại thảm hại khi được triển khai. Khi các tác nhân được cải thiện, chúng cũng đạt đến giới hạn của các tiêu chuẩn cố định, dẫn đến quá trình học tập bị chững lại. Các trình mô phỏng tạo sinh nổi lên như một cách để thay thế các bài kiểm tra tĩnh bằng các môi trường sống động, thích ứng khi tác nhân học hỏi.

Theo bạn, các trình mô phỏng tạo sinh sẽ thay đổi cách huấn luyện và đánh giá các tác nhân AI như thế nào so với các tiêu chuẩn tĩnh hoặc tập dữ liệu cố định?

Sự thay đổi nằm ở chỗ các bài kiểm tra chuẩn không còn chỉ là những bài thử nghiệm mà trở thành môi trường. Thay vì đưa ra một tập hợp câu hỏi cố định, trình mô phỏng sẽ tự động tạo ra nhiệm vụ, các điều kiện xung quanh và logic đánh giá. Khi tác nhân hoạt động và cải thiện, môi trường sẽ thích ứng. Điều này phá vỡ ranh giới truyền thống giữa huấn luyện và đánh giá. Bạn không còn hỏi liệu một tác nhân có vượt qua bài kiểm tra chuẩn hay không, mà là liệu nó có thể hoạt động đáng tin cậy theo thời gian trong một hệ thống năng động hay không.

Về mặt kỹ thuật, những ý tưởng kiến ​​trúc cốt lõi đằng sau các trình mô phỏng tạo sinh là gì, đặc biệt là về việc tạo nhiệm vụ, động lực môi trường và cấu trúc phần thưởng?

Ở cấp độ cao, các trình mô phỏng tạo sinh kết hợp học tăng cường với việc tạo môi trường thích ứng. Trình mô phỏng có thể tạo ra các nhiệm vụ mới, cập nhật các quy tắc của thế giới một cách năng động và đánh giá hành động của tác nhân trong thời gian thực. Một thành phần quan trọng là cái mà chúng ta gọi là bộ điều chỉnh chương trình học, phân tích hành vi của tác nhân và sửa đổi độ khó và cấu trúc của các kịch bản để giữ cho việc học tập hiệu quả. Cấu trúc phần thưởng được thiết kế để có thể kiểm chứng và đặc thù theo lĩnh vực, do đó các tác nhân được hướng dẫn đến hành vi đúng đắn thay vì các lối tắt hời hợt.

Trong bối cảnh thị trường công cụ đánh giá AI và phát triển tác nhân ngày càng cạnh tranh, điều gì tạo nên sự khác biệt rõ rệt nhất trong cách tiếp cận của Patronus?

Trọng tâm của chúng tôi là tính xác thực sinh thái. Chúng tôi thiết kế các môi trường phản ánh quy trình làm việc thực tế của con người, bao gồm cả sự gián đoạn, chuyển đổi ngữ cảnh, sử dụng công cụ và suy luận nhiều bước. Thay vì tối ưu hóa các tác nhân để hoạt động tốt trong các bài kiểm tra được xác định trước, chúng tôi tập trung vào việc phát hiện ra những loại lỗi quan trọng trong môi trường sản xuất. Trình mô phỏng đánh giá hành vi theo thời gian, chứ không chỉ là các kết quả đầu ra riêng lẻ.

Những loại nhiệm vụ hoặc chế độ lỗi nào được hưởng lợi nhiều nhất từ ​​việc đánh giá dựa trên mô phỏng so với phương pháp thử nghiệm truyền thống?

Các nhiệm vụ dài hạn, nhiều bước sẽ được hưởng lợi nhiều nhất. Ngay cả tỷ lệ lỗi nhỏ trong mỗi bước cũng có thể tích lũy thành tỷ lệ lỗi lớn trong các nhiệm vụ phức tạp, điều mà các tiêu chuẩn tĩnh không thể nắm bắt được. Đánh giá dựa trên mô phỏng giúp phát hiện ra các lỗi liên quan đến việc duy trì tiến độ theo thời gian, xử lý gián đoạn, phối hợp sử dụng công cụ và thích ứng khi điều kiện thay đổi giữa chừng nhiệm vụ.

Việc học tập dựa trên môi trường thay đổi cách bạn suy nghĩ về an toàn AI như thế nào, và liệu các trình mô phỏng tạo sinh có tạo ra những rủi ro mới như gian lận phần thưởng hay các chế độ lỗi phát sinh hay không?

Việc học tập dựa trên môi trường thực sự giúp phát hiện nhiều vấn đề an toàn dễ dàng hơn. Việc lợi dụng phần thưởng thường phát triển mạnh trong môi trường tĩnh, nơi các tác nhân có thể khai thác các lỗ hổng cố định. Trong các trình mô phỏng tạo sinh, bản thân môi trường là một mục tiêu luôn thay đổi, điều này khiến cho những lối tắt đó khó duy trì hơn. Tuy nhiên, vẫn cần thiết kế cẩn thận về phần thưởng và sự giám sát. Ưu điểm của môi trường là chúng cung cấp cho bạn nhiều quyền kiểm soát và khả năng quan sát hành vi của tác nhân hơn so với các tiêu chuẩn tĩnh.

Nhìn về tương lai 5 năm tới, bạn thấy Patronus AI sẽ như thế nào về tham vọng kỹ thuật và tầm ảnh hưởng đến ngành công nghiệp?

Chúng tôi tin rằng môi trường đang trở thành cơ sở hạ tầng nền tảng cho trí tuệ nhân tạo (AI). Khi các tác nhân chuyển từ việc trả lời câu hỏi sang thực hiện công việc thực tế, môi trường mà chúng học tập sẽ định hình khả năng và độ tin cậy của chúng. Tham vọng dài hạn của chúng tôi là biến các quy trình làm việc thực tế thành các môi trường có cấu trúc mà các tác nhân có thể học hỏi liên tục. Sự phân tách truyền thống giữa đánh giá và đào tạo đang dần biến mất, và chúng tôi nghĩ rằng sự thay đổi đó sẽ định hình làn sóng tiếp theo của các hệ thống AI.

Cảm ơn bạn về cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm hãy truy cập Thần hộ mệnh AI.