iMerit ra mắt nền tảng Scholars nhằm mở rộng quy mô đào tạo và đánh giá AI do chuyên gia dẫn dắt

Một mô hình có thể đưa ra lời giải thích y khoa đầy thuyết phục hoặc lời giải trôi chảy cho một bài toán toán học mà vẫn mắc lỗi chỉ chuyên gia mới nhận ra. Nhu cầu về sự đánh giá của chuyên gia là động lực đằng sau việc iMerit ra mắt nền tảng Scholars của iMerit, một hệ thống được thiết kế để tổ chức đội ngũ tham gia huấn luyện, đánh giá và thử thách các mô hình AI tiên tiến.

Công ty thuộc sở hữu của EXL thông báo ra mắt nền tảng vào ngày 26 tháng 10, tích hợp hoạt động tuyển dụng, tiếp nhận nhân sự mới, kết nối chuyên gia phù hợp, phân công dự án, duy trì sự gắn kết và thanh toán trong một nền tảng thống nhất. Theo thông báo, chương trình Scholars hiện có hơn 30.000 chuyên gia được mời tham gia và thẩm định, tại 118 quốc gia và sử dụng 106 ngôn ngữ.

Nền tảng được thiết kế để quản lý hàng trăm nghìn chuyên gia khi nhu cầu tăng lên. Đây là tuyên bố về quy mô vận hành dự kiến, khác với quy mô hiện tại của cộng đồng theo số liệu được công bố. Mục tiêu trước mắt là giúp điều phối dễ dàng hơn đóng góp chuyên môn của con người trong suốt vòng đời phát triển và triển khai mô hình.

Xây dựng đội ngũ nhân lực đứng sau việc cải tiến mô hình

Cộng đồng Scholars quy tụ chuyên gia trong các lĩnh vực y học, toán học, nông nghiệp, ngôn ngữ học, hệ thống tự hành và những ngành chuyên môn khác. Họ đóng góp vào quá trình tinh chỉnh có giám sát, đánh giá mô hình, kiểm thử đối kháng và học tăng cường từ phản hồi của con người, thường được gọi là RLHF.

Mỗi hoạt động này đòi hỏi những hình thức đánh giá khác nhau. Quá trình tinh chỉnh có thể cần một ví dụ được xây dựng cẩn thận về câu trả lời mà mô hình nên đưa ra. Đánh giá xem xét liệu đầu ra có đáp ứng các tiêu chí đã xác định hay không. Kiểm thử đối kháng chủ động dò tìm lỗi của hệ thống, trong khi phản hồi của con người có thể cung cấp các ưu tiên và chỉnh sửa để định hướng cho những đợt huấn luyện tiếp theo.

Vì vậy, việc ghép đúng người với đúng nhiệm vụ cũng quan trọng không kém việc mở rộng đội ngũ. Một bác sĩ am hiểu chuyên ngành hẹp có thể phát hiện lỗi nghiêm trọng mà người đánh giá có kiến thức rộng hơn bỏ sót. Một nhà ngôn ngữ học có thể nhận ra sự mơ hồ biến mất khi dịch sát nghĩa.

Nền tảng ghép dự án với chuyên môn trong lĩnh vực và kỹ năng nhận thức phù hợp, đồng thời cung cấp cơ sở hạ tầng hành chính để duy trì sự gắn kết của các chuyên gia. iMerit cho biết mục tiêu là xây dựng mối quan hệ lâu dài với những chuyên gia ngày càng am hiểu công việc và tham gia vào các vòng phản hồi.

“Chúng ta cần những người đủ am hiểu không chỉ để huấn luyện mô hình mà còn để chứng minh mô hình sai và sửa lỗi cho chúng,” Radha Basu, phó chủ tịch điều hành kiêm người đứng đầu iMerit tại EXL, cho biết.

Ango Hub kết nối đánh giá của chuyên gia với dữ liệu huấn luyện

Công nghệ vận hành nền tảng Scholars là Ango Hub, nền tảng gán nhãn dữ liệu và đánh giá mô hình của iMerit. Nền tảng này chuyển công việc của chuyên gia thành các sản phẩm được sắp xếp và có thể rà soát, để đưa vào quy trình huấn luyện hoặc đánh giá.

Tài liệu sản phẩm hiện có của Ango Hub mô tả các quy trình làm việc có thể cấu hình, khả năng cho nhiều người gán nhãn cùng xử lý một tài sản dữ liệu, các tác vụ chuẩn đối chiếu và công cụ dành cho người đánh giá để chấp nhận, từ chối hoặc sửa nhãn. Hướng dẫn dự án và hệ thống theo dõi vấn đề giúp người đánh giá giải đáp thắc mắc, trong khi các biện pháp kiểm soát truy cập dựa trên vai trò quy định ai có thể làm việc với từng loại dữ liệu.

Nền tảng hỗ trợ nhiều loại dữ liệu, bao gồm hình ảnh, video, âm thanh, văn bản, PDF và dữ liệu y tế DICOM. Khả năng hỗ trợ đa dạng này rất quan trọng vì quá trình phát triển mô hình ngày càng kết hợp ngôn ngữ với thông tin thị giác, lâm sàng hoặc về thế giới vật lý. Giao diện và quy trình rà soát cần phù hợp với tài liệu mà chuyên gia đang xem xét.

Việc phân biệt hai nền tảng này rất hữu ích: Scholars điều phối đội ngũ chuyên gia và mối quan hệ giữa họ với các dự án, còn Ango Hub cung cấp công cụ và quy trình làm việc để biến đóng góp của chuyên gia thành dữ liệu AI có thể sử dụng.

Từ sửa câu trả lời đến đánh giá toàn bộ quy trình làm việc của tác nhân AI

Deep Reasoning Lab của iMerit giúp xem xét quy trình này chi tiết hơn. Công ty cho biết các chuyên gia thiết kế những tình huống gồm nhiều bước, xem xét đầu ra của mô hình, phân loại lỗi và đưa ra bản sửa kèm lời giải thích. Những ví dụ có cấu trúc này có thể giúp nhà phát triển xác định câu trả lời sai ở đâu và tạo tài liệu huấn luyện có mục tiêu.

Các dấu vết suy luận như vậy là những sản phẩm được tuyển chọn, tạo ra và rà soát cho một tác vụ cụ thể. Không nên mặc định rằng chúng cho thấy mọi phép tính nội bộ tạo nên câu trả lời của mô hình. Giá trị thực tiễn của chúng nằm ở việc thể hiện rõ lộ trình đánh giá và các chỉnh sửa để có thể kiểm tra và tái sử dụng.

Dịch vụ đánh giá tác nhân AI của công ty mở rộng phạm vi rà soát, không chỉ dừng ở câu trả lời cuối cùng mà còn bao gồm các bước lập kế hoạch, lời gọi công cụ, trạng thái trung gian và kết quả. Công ty mô tả việc sử dụng các tiêu chí đánh giá có cấu trúc và chuyên gia phân xử để xử lý những vấn đề như hoàn thành tác vụ, lựa chọn công cụ, mức độ bám sát căn cứ và ranh giới chính sách.

Điều này trở nên quan trọng khi AI có thể thực hiện hành động. Một tác nhân có thể tạo ra bản tóm tắt trau chuốt nhưng lại dùng sai công cụ hoặc bỏ dở tác vụ. Rà soát chuỗi hành động giúp chuyên gia xác định những lỗi đó và gửi phản hồi có cấu trúc cho nhà phát triển.

Thanh toán và tính liên tục của dự án trở thành một phần của cơ sở hạ tầng

Buổi ra mắt cũng tích hợp Trolley để thực hiện các khoản thanh toán trên toàn cầu. iMerit cho biết việc tích hợp này hỗ trợ thanh toán an toàn và các quy trình tuân thủ dành cho cộng đồng chuyên gia quốc tế của công ty.

Hoạt động thanh toán có vẻ không liên quan đến hiệu suất mô hình, nhưng lại ảnh hưởng đến khả năng tham gia ổn định của chuyên gia. Khi dự án cần đến chuyên gia ở nhiều quốc gia, tuyển dụng, tiếp nhận nhân sự mới, cấp quyền truy cập nhiệm vụ và trả thù lao đều trở thành những yếu tố phụ thuộc trong vận hành.

Nền tảng tích hợp các chức năng này cùng với việc kết nối chuyên gia và thúc đẩy sự tham gia, thay vì để từng nhóm dự án tự thu xếp riêng. Khách hàng được kỳ vọng sẽ có lực lượng lao động và quy trình đánh giá nhất quán hơn; còn các chuyên gia sẽ có lộ trình rõ ràng hơn, từ lúc tham gia dự án đến khi hoàn thành công việc và nhận thanh toán.

“Bạn không chỉ gắn nhãn dữ liệu mà còn góp phần định hình cách các hệ thống này suy luận và hành xử trong lĩnh vực của mình,” Pavel Kopach, bác sĩ y khoa, chuyên gia giải phẫu bệnh tại Beth Israel Deaconess Medical Center và học giả iMerit về AI trong lĩnh vực y tế, phát biểu trong thông báo.

EXL Mang Đến Bối Cảnh Triển Khai Trong Doanh Nghiệp

Buổi ra mắt diễn ra sau khi EXL hoàn tất việc mua lại iMerit, được công bố vào ngày 3 tháng 8. EXL định vị sự kết hợp này xoay quanh việc kết hợp chuyên môn về huấn luyện và đánh giá mô hình với dữ liệu doanh nghiệp, bối cảnh vận hành và năng lực triển khai AI của công ty.

Điều này mở rộng con đường tiếp cận thị trường cho Scholars. Basu cho biết iMerit đang mở rộng từ phát triển các mô hình tiên phong sang những quy trình nghiệp vụ trong lĩnh vực ngân hàng, y tế và bảo hiểm, nơi khả năng tùy chỉnh theo lĩnh vực, độ tin cậy và an toàn quyết định liệu AI có thể vận hành thành công trong môi trường thực tế hay không.

Bản thân nền tảng mới không chứng minh rằng một mô hình đáng tin cậy trong mọi môi trường chuyên biệt. Nền tảng giải quyết một điều kiện tiên quyết cụ thể hơn: tổ chức đội ngũ nhân sự, công cụ và phản hồi cần thiết để kiểm thử một hệ thống theo yêu cầu của môi trường đó. Khi AI ngày càng được ứng dụng sâu vào quy trình nghiệp vụ chuyên môn, khả năng tìm đúng chuyên gia, ghi nhận một chỉnh sửa hữu ích và đưa kiến thức đó trở lại quá trình phát triển ngày càng trở thành một phần quan trọng của hệ thống công nghệ.