Rebecca Qian, Đồng sáng lập và CTO của Patronus AI – Loạt phỏng vấn

Rebecca Qian là Đồng sáng lập và CTO của Patronus AI, với gần một thập kỷ kinh nghiệm xây dựng hệ thống máy học sản xuất tại giao điểm của NLP, AI thể hiện và cơ sở hạ tầng. Tại Facebook AI, cô đã làm việc trên cả nghiên cứu và triển khai, đào tạo FairBERTa, một mô hình ngôn ngữ lớn được thiết kế với các mục tiêu công bằng, phát triển một mô hình perturbation dân tộc để viết lại nội dung Wikipedia, và dẫn đầu phân tích ngữ nghĩa cho các trợ lý robot. Cô cũng xây dựng các đường ống human-in-the-loop cho các tác nhân thể hiện và tạo ra các công cụ cơ sở hạ tầng như Continuous Contrast Set Mining, đã được áp dụng trên các đội cơ sở hạ tầng của Facebook và được trình bày tại ICSE. Cô đã đóng góp vào các dự án mã nguồn mở bao gồm FacebookResearch/fairo và các notebook phân tích ngữ nghĩa Droidlet. Là một người sáng lập, cô hiện tập trung vào việc giám sát có thể mở rộng, học tăng cường và triển khai các tác nhân AI an toàn, nhận thức môi trường.

Patronus AI là một công ty có trụ sở tại San Francisco cung cấp một nền tảng nghiên cứu để đánh giá, giám sát và tối ưu hóa các mô hình ngôn ngữ lớn (LLM) và các tác nhân AI để giúp các nhà phát triển giao các sản phẩm AI tạo ra đáng tin cậy với sự tự tin. Nền tảng này cung cấp các công cụ đánh giá tự động, benchmarking, phân tích, tập dữ liệu tùy chỉnh và môi trường tác nhân cụ thể để xác định các vấn đề về hiệu suất như ảo giác, rủi ro bảo mật hoặc lỗi logic, cho phép các đội liên tục cải thiện và khắc phục các vấn đề của hệ thống AI trên các trường hợp sử dụng thực tế. Patronus phục vụ khách hàng doanh nghiệp và đối tác công nghệ bằng cách trao quyền cho họ để đánh giá hành vi mô hình, phát hiện lỗi ở quy mô lớn và tăng cường độ tin cậy và hiệu suất trong các ứng dụng AI sản xuất.

Bạn có một nền tảng sâu về xây dựng hệ thống ML tại Facebook AI, bao gồm công việc trên FairBERTa và các đường ống human-in-the-loop. Làm thế nào kinh nghiệm đó đã định hình quan điểm của bạn về việc triển khai và an toàn AI trong thế giới thực?

Làm việc tại Meta AI đã khiến tôi tập trung vào những gì cần thiết để làm cho các mô hình đáng tin cậy trong thực tế – đặc biệt là xung quanh NLP có trách nhiệm. Tôi đã làm việc trên các mô hình ngôn ngữ tập trung vào công bằng, và tôi đã thấy rõ ràng nó khó khăn như thế nào để đánh giá và giải thích đầu ra của mô hình. Đó đã định hình cách tôi nghĩ về an toàn. Nếu bạn không thể đo lường và hiểu hành vi của mô hình, thì rất khó để triển khai AI một cách tự tin trong thế giới thực.

Điều gì đã thúc đẩy bạn chuyển từ kỹ sư nghiên cứu sang doanh nhân, đồng sáng lập Patronus AI, và vấn đề nào cảm thấy cấp thiết nhất để giải quyết vào thời điểm đó?

Đánh giá đã trở thành một chướng ngại vật trong AI vào thời điểm đó. Tôi rời Meta AI vào tháng 4 để bắt đầu Patronus với Anand vì tôi đã thấy rõ ràng nó khó khăn như thế nào để đánh giá và giải thích đầu ra của AI. Và khi AI tạo ra bắt đầu di chuyển vào các quy trình công việc doanh nghiệp, thì rõ ràng đây không còn là một vấn đề trong phòng thí nghiệm. 

Chúng tôi đã nghe thấy điều tương tự từ các doanh nghiệp. Họ muốn áp dụng các mô hình ngôn ngữ lớn, nhưng họ không thể kiểm tra chúng một cách đáng tin cậy, giám sát chúng, hoặc hiểu các chế độ thất bại như ảo giác, đặc biệt là trong các ngành công nghiệp được quy định nơi có rất ít dung thứ cho lỗi. 

Vì vậy, vấn đề cấp thiết nhất vào thời điểm bắt đầu là xây dựng một cách để tự động hóa và mở rộng đánh giá mô hình – đánh giá mô hình trong các kịch bản thế giới thực, tạo ra các trường hợp kiểm tra đối抗, và benchmarking – để các đội có thể triển khai với sự tự tin thay vì đoán mò

Patronus gần đây đã giới thiệu các mô拟 tạo ra như môi trường thích ứng cho các tác nhân AI. Những hạn chế nào trong các phương pháp đánh giá hoặc đào tạo hiện có đã dẫn bạn đến hướng này?

Chúng tôi đã tiếp tục thấy một sự không phù hợp ngày càng tăng giữa cách các tác nhân AI được đánh giá và cách chúng được mong đợi để thực hiện trong thế giới thực. Các tiêu chuẩn truyền thống đo lường các khả năng bị cô lập tại một thời điểm nhất định, nhưng công việc thực tế là động. Các nhiệm vụ bị gián đoạn, yêu cầu thay đổi giữa chừng, và quyết định tích lũy theo thời gian. Các tác nhân có thể trông mạnh mẽ trên các kiểm tra tĩnh và vẫn thất bại nghiêm trọng một khi được triển khai. Khi các tác nhân cải thiện, chúng cũng bão hòa các tiêu chuẩn cố định, điều này khiến việc học bị đình trệ. Các mô拟 tạo ra đã xuất hiện như một cách để thay thế các kiểm tra tĩnh bằng các môi trường sống mà thích ứng khi tác nhân học.

Làm thế nào bạn thấy các mô拟 tạo ra thay đổi cách các tác nhân AI được đào tạo và đánh giá so với các tiêu chuẩn tĩnh hoặc tập dữ liệu cố định?

Sự thay đổi là các tiêu chuẩn ngừng trở thành các kiểm tra và bắt đầu trở thành các môi trường. Thay vì trình bày một tập hợp cố định các câu hỏi, mô拟 tạo ra nhiệm vụ, điều kiện xung quanh, và logic đánh giá trên máy bay. Khi tác nhân hành động và cải thiện, môi trường thích ứng. Điều đó làm sụp đổ ranh giới truyền thống giữa đào tạo và đánh giá. Bạn không còn hỏi liệu một tác nhân có vượt qua một tiêu chuẩn hay không, mà liệu nó có thể hoạt động đáng tin cậy theo thời gian trong một hệ thống động.

Từ quan điểm kỹ thuật, những ý tưởng kiến trúc cốt lõi đằng sau các mô拟 tạo ra là gì, đặc biệt là xung quanh việc tạo nhiệm vụ, động lực học môi trường và cấu trúc phần thưởng?

Ở mức cao, các mô拟 tạo ra kết hợp học tăng cường với việc tạo môi trường thích ứng. Mô拟 có thể tạo ra các nhiệm vụ mới, cập nhật các quy tắc của thế giới động, và đánh giá hành động của tác nhân trong thời gian thực. Một thành phần quan trọng là điều chỉnh chương trình, phân tích hành vi của tác nhân và sửa đổi độ khó và cấu trúc của các kịch bản để giữ cho việc học sản xuất. Cấu trúc phần thưởng được thiết kế để có thể kiểm chứng và cụ thể theo lĩnh vực, để tác nhân được hướng dẫn đến hành vi chính xác thay vì các捷径 bề mặt.

Khi không gian công cụ và đánh giá AI trở nên đông đúc hơn, điều gì rõ ràng nhất phân biệt cách tiếp cận của Patronus?

Sự tập trung của chúng tôi là vào tính hợp lệ sinh thái. Chúng tôi thiết kế các môi trường phản ánh các quy trình công việc của con người, bao gồm cả gián đoạn, chuyển đổi ngữ cảnh, sử dụng công cụ và lý luận đa bước. Thay vì tối ưu hóa các tác nhân để trông tốt trên các kiểm tra được định nghĩa trước, chúng tôi tập trung vào việc暴露 các loại thất bại quan trọng trong sản xuất. Mô拟 đánh giá hành vi theo thời gian, không chỉ là đầu ra trong cô lập.

Loại nhiệm vụ hoặc chế độ thất bại nào được hưởng lợi nhiều nhất từ việc đánh giá dựa trên mô拟 so với kiểm tra thông thường?

Các nhiệm vụ đa bước, theo thời gian dài được hưởng lợi nhiều nhất. Ngay cả tỷ lệ lỗi nhỏ theo từng bước cũng có thể tích lũy thành tỷ lệ thất bại lớn trên các nhiệm vụ phức tạp, điều mà các tiêu chuẩn tĩnh không thể nắm bắt. Đánh giá dựa trên mô拟 cho phép phát hiện thất bại liên quan đến việc duy trì trên đường ray theo thời gian, xử lý gián đoạn, sử dụng công cụ và thích ứng khi điều kiện thay đổi giữa chừng.

Làm thế nào việc học dựa trên môi trường thay đổi cách bạn nghĩ về an toàn AI, và liệu các mô拟 tạo ra có giới thiệu các rủi ro mới như hacking phần thưởng hoặc thất bại xuất hiện?

Việc học dựa trên môi trường thực sự làm cho nhiều vấn đề an toàn trở nên dễ dàng phát hiện hơn. Việc hacking phần thưởng có xu hướng phát triển mạnh trong các môi trường tĩnh nơi các tác nhân có thể khai thác các lỗ hổng cố định. Trong các mô拟 tạo ra, môi trường chính là mục tiêu di động, điều này khiến cho các捷径 trở nên khó bền vững. Tuy nhiên, thiết kế cẩn thận vẫn được yêu cầu xung quanh phần thưởng và giám sát. Ưu điểm của môi trường là chúng cung cấp cho bạn nhiều quyền kiểm soát và khả năng hiển thị vào hành vi của tác nhân hơn so với các tiêu chuẩn tĩnh.

Nhìn năm năm tới, bạn thấy Patronus AI ở đâu về cả tham vọng kỹ thuật và tác động ngành?

Chúng tôi tin rằng các môi trường đang trở thành cơ sở hạ tầng cơ bản cho AI. Khi các tác nhân chuyển từ trả lời câu hỏi sang thực hiện công việc thực tế, các môi trường mà chúng học sẽ định hình khả năng và độ tin cậy mà chúng trở nên. Mục tiêu lâu dài của chúng tôi là biến các quy trình công việc thực tế thành các môi trường có cấu trúc mà các tác nhân có thể học liên tục. Sự tách biệt truyền thống giữa đánh giá và đào tạo đang sụp đổ, và chúng tôi nghĩ rằng sự thay đổi đó sẽ định hình làn sóng tiếp theo của các hệ thống AI.

Cảm ơn vì cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm có thể truy cập Patronus AI.