Crux Labs huy động hơn 6 triệu USD để biến kinh nghiệm phán đoán trong doanh nghiệp thành các tác nhân AI tốt hơn

Một tác nhân AI có thể hoàn thành nhiệm vụ nhưng vẫn đưa ra quyết định mà một nhân viên giàu kinh nghiệm sẽ bác bỏ. Khó khăn thường nằm ở việc hiểu những quy tắc bất thành văn: khi nào cần hỏi thêm, khi nào cần chuyển cấp xử lý và thế nào là kết quả tốt đối với một doanh nghiệp cụ thể.

Crux Labs đang xây dựng một nền tảng giúp biến kinh nghiệm phán đoán của chuyên gia thành quy trình đánh giá và cải thiện liên tục dành cho các tác nhân AI trong doanh nghiệp. Công ty khởi nghiệp có trụ sở tại New York vừa ra mắt sau thời gian hoạt động kín tiếng, với hơn 6 triệu USD huy động được trong vòng gọi vốn vượt mức đăng ký, do Benchstrength và Misneach đồng dẫn dắt, cùng sự tham gia của Analog Ventures và Pareto Holdings.

Công ty dự định dùng số vốn này để mở rộng hoạt động nghiên cứu và kỹ thuật, đồng thời đẩy nhanh việc triển khai tại doanh nghiệp. Luận điểm cốt lõi của công ty là doanh nghiệp cần các hệ thống đánh giá được hiệu chỉnh theo chuyên môn của chính đội ngũ mình, cùng một vòng phản hồi kết nối hành vi trong môi trường thực tế với những thay đổi đối với bản thân các tác nhân AI.

Vì sao dấu vết hoạt động của tác nhân AI mới chỉ là điểm khởi đầu

Khả năng quan sát tác nhân AI giúp các nhóm kiểm tra những gì hệ thống đã làm: trình tự thông điệp, các lần gọi công cụ và những bước khác trong một lượt tương tác. Hồ sơ này rất hữu ích khi có sự cố. Tuy nhiên, để quyết định liệu lượt tương tác có đạt yêu cầu hay không, cần có các tiêu chí phản ánh nhiệm vụ và đặc thù doanh nghiệp.

Crux cho rằng việc rà soát thủ công không thể theo kịp các đợt triển khai quy mô lớn. Thông báo của công ty cho biết các nhóm chỉ lấy mẫu 1% dấu vết hoạt động của tác nhân AI, khiến phần lớn lưu lượng còn lại không được kiểm tra trực tiếp. Con số này là mô tả của công ty về vấn đề, chứ không phải kết quả khảo sát toàn ngành đã được công bố.

Việc lấy mẫu có thể đặc biệt hạn chế khi những lỗi đáng quan tâm lại hiếm gặp. Một tác nhân AI có thể hoạt động khá tốt trong các tình huống phổ biến nhưng lại gặp khó khăn trước một trường hợp ngoại lệ mà nhân viên giàu kinh nghiệm nhận ra ngay lập tức. Thách thức là chuyển khả năng nhận biết đó thành một quy trình đánh giá có thể áp dụng nhất quán cho tập hợp lượt tương tác lớn hơn nhiều.

Theo Crux, cơ hội nằm ở điểm giao giữa những người am hiểu lĩnh vực và các kỹ sư xây dựng tác nhân AI. Chuyên gia lĩnh vực có thể giải thích một lượt tương tác thành công trông như thế nào, nhưng hiểu biết đó cần trở thành một phần có thể lặp lại trong cách đo lường và cải thiện hệ thống.

Thu thập kinh nghiệm phán đoán và hiệu chỉnh quy trình đánh giá

Crux mô tả một quy trình bắt đầu ngay trong các công cụ và quy trình mà công ty đang sử dụng. Các tác nhân AI của Crux thu thập nhận định của chuyên gia và dùng chúng để hiệu chỉnh các quy trình đánh giá tùy chỉnh. Sau đó, những quy trình đánh giá này hỗ trợ việc giám sát trong môi trường thực tế và phát cảnh báo; kết quả thu được sẽ được dùng để tiếp tục cải thiện các tác nhân AI.

Bước hiệu chỉnh rất quan trọng. Một quy trình đánh giá chung có thể chấm điểm cao cho câu trả lời trôi chảy nhưng lại bỏ sót yêu cầu riêng của doanh nghiệp. Quy trình đánh giá dựa trên nhận định của chuyên gia nhằm nhận ra sự khác biệt giữa câu trả lời nghe có vẻ đúng và câu trả lời đáp ứng kỳ vọng của tổ chức.

Julie Kheyfets, đồng sáng lập kiêm CEO của Crux, cho biết: “Các tác nhân AI rất giỏi đạt được mục tiêu, nhưng lại không tiếp cận được những kinh nghiệm và nguyên tắc thực tiễn mà con người chúng ta đã tích lũy trong đầu suốt nhiều năm.” Bà nói thêm: “Crux giúp mọi doanh nghiệp đúc kết kinh nghiệm phán đoán này và sử dụng nó để nhanh chóng cải thiện các tác nhân AI của mình.”

Mục tiêu là xây dựng một quy trình đánh giá luôn được điều chỉnh để phản ánh những gì chuyên gia học hỏi từ các lượt tương tác thực tế. Khi xuất hiện những dạng lỗi mới, tổ chức có cách đưa kiến thức đó vào việc đánh giá hành vi trong tương lai, thay vì để chúng nằm rải rác trong các yêu cầu hỗ trợ và nhận định của từng người rà soát.

Giám sát toàn bộ luồng lưu lượng trong môi trường thực tế

Crux cho biết các quy trình đánh giá tùy chỉnh của công ty được tối ưu hóa để giám sát và phát cảnh báo theo thời gian thực trên 100% lưu lượng trong môi trường thực tế. Đây là tuyên bố về phạm vi bao phủ: áp dụng quy trình đánh giá trên toàn bộ luồng lưu lượng. Điều đó không có nghĩa là các quy trình đánh giá phát hiện được mọi lỗi có thể xảy ra hoặc luôn hoàn toàn đồng thuận với chuyên gia con người.

Sự khác biệt này rất quan trọng vì đánh giá tự động cũng đặt ra thách thức riêng về đo lường. Một hệ thống rà soát mọi lượt tương tác vẫn có thể bỏ sót hành vi quan trọng nếu các tiêu chí chưa đầy đủ. Vì vậy, việc hiệu chỉnh tiêu chí dựa trên chuyên môn trong lĩnh vực là trọng tâm trong đề xuất của Crux, chứ không phải một bước tùy chọn trước khi bắt đầu giám sát.

Công ty cũng cho biết kết quả đánh giá thúc đẩy những cải tiến được đưa vào môi trường thực tế. Thông báo của công ty không nêu chi tiết những phần nào trong quy trình sẽ làm thay đổi câu lệnh, chính sách, mô hình hay thành phần khác, cũng như cách xử lý việc phê duyệt của khách hàng. Đề xuất được công bố là một dịch vụ đánh giá và cải thiện toàn diện, chứ không phải một kỹ thuật huấn luyện mô hình cụ thể.

Đội ngũ sáng lập giàu kinh nghiệm về AI doanh nghiệp

Kheyfets và đồng sáng lập kiêm CTO Krishna Kulkarni gặp nhau tại Princeton University. Kheyfets có 10 năm kinh nghiệm triển khai AI trong các ngành công nghiệp phức tạp, trong đó có thời gian lãnh đạo hoạt động tại Bắc Mỹ của Tractable AI và giữ chức CEO của Block Renovation.

Theo công ty, trước đây Kulkarni phụ trách kỹ thuật thương hiệu tại Meta, phát triển các sản phẩm AI tại Checkr và góp phần mở rộng Healthify từ con số 0 lên 20 triệu bệnh nhân. Crux đang xây dựng một đội ngũ nghiên cứu và kỹ sư tập trung vào việc đánh giá và cải thiện các tác tử AI.

“Các đội ngũ kỹ thuật biết cách xây dựng tác tử AI, còn chuyên gia trong từng lĩnh vực biết thế nào là thành công, nhưng doanh nghiệp lại thiếu cầu nối giữa hai bên”, Kulkarni cho biết. “Crux đưa chuyên môn trong từng lĩnh vực vào quy trình cải thiện tác tử liên tục, giúp các kỹ sư xây dựng những tác tử thực sự phù hợp với mục tiêu kinh doanh.”

Công ty cho biết đã sớm thu hút được sự quan tâm từ các doanh nghiệp Fortune 500 và những doanh nghiệp tăng trưởng nhanh trong lĩnh vực y tế, an ninh mạng, dịch vụ tài chính cùng các ngành phức tạp khác. Trong thông báo, công ty chưa nêu tên khách hàng hay công bố doanh thu, số lượng triển khai hoặc mức cải thiện được đo lường.

Luận điểm kinh doanh về việc đánh giá riêng cho từng công ty

Crux định vị mình như một đội ngũ chuyên trách đánh giá và cải thiện tác tử AI ngay bên trong doanh nghiệp. Luận điểm thương mại của công ty là nhân viên sản phẩm và kỹ thuật nên dành ít thời gian hơn cho việc thiết lập quy trình đánh giá và chẩn đoán các lỗi lặp đi lặp lại, trong khi các chuyên gia có được một cách thiết thực để tác động đến những hệ thống đại diện cho hoạt động kinh doanh của họ.

Nhu cầu về chuyên môn trong từng lĩnh vực cũng thể hiện ở nền tảng của iMerit dành cho hoạt động huấn luyện và đánh giá AI do chuyên gia thực hiện, nơi việc tổ chức phản hồi từ các chuyên gia là một phần trong quy trình cải thiện mô hình.

Đối với các nhà đầu tư, cơ hội gắn liền với những gì diễn ra sau khi các tác tử AI được đưa vào vận hành thực tế. Việc xây dựng một tác tử tạo ra nhu cầu mới: liên tục đo lường cách tác tử hoạt động, xác định những điểm chưa đạt yêu cầu và cải thiện nó mà không làm mất đi các tiêu chuẩn của tổ chức.

Nguồn vốn Crux huy động được sẽ giúp kiểm chứng liệu quy trình này có thể được triển khai một cách đáng tin cậy cho các khách hàng với những tiêu chí thành công khác nhau hay không. Đề xuất của công ty rất rõ ràng: nhận định của những nhân sự xuất sắc nhất trong công ty nên trở thành một phần trong cách đánh giá các tác tử AI, và những đánh giá đó cần giúp chúng hoạt động tốt hơn trong môi trường thực tế. Có thể tìm hiểu thêm tại Crux Labs.