Olga Megorskaya, Người sáng lập và Giám đốc điều hành của Toloka – Loạt phỏng vấn

Olga Megorskaya, người sáng lập và Giám đốc điều hành của Toloka, đã lãnh đạo công ty từ năm 2020, điều hướng nó từ gốc gác nhãn mác đám đông vào một người chơi chính trong dịch vụ dữ liệu AI. Trước khi thành lập và lãnh đạo Toloka, cô đã dành hơn một thập kỷ tại Yandex, kết thúc với vai trò Trưởng bộ phận Crowdsourcing và Nền tảng, nơi cô xây dựng và mở rộng cơ sở hạ tầng nhãn mác dữ liệu đám đông cho các sản phẩm học máy bao gồm tìm kiếm, giọng nói, tiếng nói, tự lái, kiểm duyệt nội dung và nhiều hơn nữa. Dưới sự lãnh đạo của cô tại Toloka, công ty đã định vị mình như một đối tác dữ liệu toàn cầu cho AI – kết hợp công nghệ học máy với chuyên môn của con người để hỗ trợ đào tạo, đánh giá và an toàn cho các mô hình và tác nhân AI quy mô lớn.

Toloka là một công ty có trụ sở tại Hà Lan, đặt trụ sở tại Amsterdam, cung cấp dữ liệu chất lượng cao, được biên tập chuyên nghiệp cho phát triển AI, từ chú thích và nhãn mác đến tập dữ liệu tùy chỉnh cho tinh chỉnh giám sát (SFT) và học tăng cường từ phản hồi của con người (RLHF). Công ty hỗ trợ nhiều loại phương thức – văn bản, hình ảnh, âm thanh, video – và huy động chuyên gia lĩnh vực cùng với đám đông toàn cầu để cung cấp tập dữ liệu có thể mở rộng, chính xác cho đào tạo và đánh giá các tác nhân AI tiên tiến và mô hình ngôn ngữ lớn. Dịch vụ của họ giúp cải thiện khả năng như lý luận, hiểu biết đa ngôn ngữ, tạo hình ảnh/âm thanh và an toàn AI trên các ngành và ứng dụng.

Bạn đã dành nhiều năm xây dựng hệ thống con người trong vòng lặp tại Yandex trước khi đồng sáng lập Toloka vào năm 2020. Điều gì đã thuyết phục bạn rằng đây cần trở thành một công ty độc lập, và kinh nghiệm đó đã định hình tầm nhìn của bạn cho vai trò của Toloka trong phát triển AI như thế nào?

Ở một thời điểm nhất định, chúng tôi nhận ra rằng Toloka đã vượt quá công ty gốc của nó. Các nhà nghiên cứu AI từ khắp thế giới đang sử dụng nền tảng, và chúng tôi nhận ra rằng công ty có thể đạt được nhiều hơn như một thực thể độc lập. Do đó, Toloka đã có thể dựa vào kinh nghiệm tích lũy của hàng trăm đội AI thu thập dữ liệu đào tạo cho toàn bộ phổ các giải pháp AI – từ tìm kiếm web và trợ lý giọng nói đến rô-bốt trò chuyện GenAI và Tác nhân AI. Chúng tôi đã kết hợp chuyên môn của mình trong việc quản lý nỗ lực của con người với việc xây dựng và đào tạo Tác nhân AI để tạo ra sản phẩm mới của chúng tôi, Tendem.

Bạn đã nói rằng sự gián đoạn thực sự sắp tới sẽ không đến từ các tác nhân tự động hoàn toàn. Điều gì đã dẫn bạn đến kết luận rằng các tác nhân lai – kết hợp tự động hóa AI với phán quyết của con người – là mô hình sẽ cuối cùng chiến thắng?

Mặc dù tôi tin rằng các giải pháp chỉ dựa trên AI trong nhiều lĩnh vực sẽ sớm đạt được mức chất lượng tuyệt vời để đáp ứng đầy đủ nhu cầu của khách hàng, nhưng sẽ luôn có một đuôi dài các trường hợp sử dụng mà các mô hình cơ bản sẽ không bao giờ được tối ưu hóa. Đây là nơi mà phương pháp tiếp cận lai sẽ vượt trội so với cả giải pháp chỉ dựa trên AI và chỉ dựa trên con người trong tương lai có thể dự đoán được. Chúng tôi đã thấy cùng một mô hình lặp lại nhiều lần trong thập kỷ qua: AI có thể mở rộng các nhiệm vụ một cách đẹp, nhưng nó gặp khó khăn với sự tinh tế, ngữ cảnh và các quyết định phán xét mà quan trọng trong các thiết lập kinh doanh thực sự. Các chuyên gia muốn tốc độ, nhưng họ cũng cần độ tin cậy – các tác nhân tự động hoàn toàn không thể đảm bảo điều đó ngày nay. Các hệ thống lai chiến thắng vì chúng giải quyết cả hai mặt của phương trình. AI xử lý những gì nó giỏi nhất: tốc độ, cấu trúc và khả năng lặp lại. Chuyên môn của con người lấp đầy khoảng trống: sự mơ hồ, các trường hợp ngoại lệ và diễn giải. Khi bạn kết hợp cả hai một cách bản địa, bạn sẽ có một quy trình làm việc nhanh và đáng tin cậy. Đó là mô hình mà các chuyên gia sẽ cuối cùng dựa vào.

Bạn đã lưu ý rằng AI bị hỏng trên sự mơ hồ và lý luận đa tài liệu. Những loại nhiệm vụ nào tiết lộ các hạn chế này rõ ràng nhất?

Các nhiệm vụ dài hạn – những nhiệm vụ đòi hỏi tổng hợp nhiều nguồn, điều hòa thông tin mâu thuẫn, hoặc diễn giải ngữ cảnh, và sẽ mất nhiều giờ hoặc thậm chí nhiều ngày để hoàn thành – có xu hướng暴 lộ các hạn chế hiện tại của AI. Các ví dụ bao gồm nghiên cứu thị trường, phân tích cạnh tranh, tóm tắt tài liệu dài, soạn thảo nội dung gốc từ các đầu vào hỗn hợp, hoặc trích xuất thông tin mà phụ thuộc vào sự tinh tế của con người so với nhận dạng mẫu. AI rất giỏi trong việc tạo ra một bản nháp đầu tiên. Nhưng ngay khi một nhiệm vụ đòi hỏi ưu tiên, phán quyết hoặc điều hòa sự mơ hồ, độ tin cậy giảm mạnh. Đó là nơi mà chuyên gia con người là rất quan trọng.

Nhiều chuyên gia sử dụng AI nhưng vẫn không hoàn toàn tin tưởng vào nó. Làm thế nào cách tiếp cận của bạn xây dựng lại sự tin tưởng trong việc ủy thác công việc thực sự cho các hệ thống được hỗ trợ bởi AI?

Sự tin tưởng được cải thiện khi mọi người không còn phải sửa đổi đầu ra của AI. Cách tiếp cận của chúng tôi xây dựng lại sự tin tưởng bằng cách tích hợp con người vào quy trình làm việc từ đầu, không phải như một đường dẫn khi AI thất bại. Mỗi nhiệm vụ trong Tendem đều chảy qua một người quản lý dự án AI quyết định những gì nên được tự động hóa và những gì đòi hỏi chuyên môn của con người. Sau đó, cả kiểm tra tự động và kiểm tra chất lượng của con người đều đảm bảo rằng đầu ra cuối cùng là chính xác, đầy đủ và sẵn sàng cho kinh doanh. Đối với các chuyên gia, điều này có nghĩa là họ có thể ủy thác công việc và thực sự mong đợi một kết quả đã được xác minh, không phải là một bản nháp họ phải sửa chữa.

Các cơ chế nào đảm bảo rằng các chuyên gia con người trong vòng lặp duy trì đầu ra chất lượng cao mà không làm chậm quy trình làm việc?

Hai điều làm cho điều này có thể xảy ra:

• Chuyên môn hóa ở quy mô. Các chuyên gia trong mạng lưới Tendem được kiểm tra, đào tạo và phù hợp dựa trên chuyên môn lĩnh vực. Họ không phải là những người làm việc tự do chung chung cố gắng thích nghi một cách linh hoạt – họ đã được chứng nhận cho các loại nhiệm vụ cụ thể.
• QA phân lớp và định tuyến thông minh. AI xử lý các bước cơ bản để các chuyên gia con người chỉ tập trung vào các phần đòi hỏi phán quyết. Sau đó, có một lớp QA tự động và xác minh của con người khi cần. Điều này giữ cho con người tham gia vào nơi họ thêm giá trị nhất, không phải nơi họ tạo ra các nút thắt.

Kết quả là tốc độ ngang với tự động hóa, với độ chính xác ngang với đánh giá của chuyên gia.

Trong các ngành đòi hỏi độ chính xác và tuân thủ, làm thế nào các hệ thống lai có thể cung cấp khả năng kiểm tra và khả năng kiểm toán mà các doanh nghiệp có thể dựa vào?

Các hệ thống lai vốn cho phép kiểm toán vì mỗi bước trong quy trình làm việc đều được theo dõi, quy cho và kiểm tra chất lượng. Bạn biết những phần nào được tự động hóa, những phần nào được thực hiện bởi các chuyên gia được chứng nhận và những bước QA nào đã xác thực đầu ra. Trong các ngành có quy định cao, quy trình này trở nên thiết yếu. Bạn không còn dựa vào quyết định của AI trong hộp đen; bạn có một chuỗi phán quyết, sửa đổi và phê duyệt có thể kiểm tra. Đó là điều làm cho các hệ thống lai phù hợp với các lĩnh vực mà độ chính xác và tuân thủ không thể là tùy chọn.

Loại công việc tri thức nào bạn dự đoán sẽ chuyển sang các tác nhân lai đầu tiên, và loại nào sẽ chậm nhất trong việc áp dụng mô hình này?

Tổng thể, tôi nghĩ rằng cách tiếp cận lai dễ áp dụng hơn so với cách tiếp cận chỉ dựa trên AI, vì vậy chúng tôi dự đoán gần như mọi lĩnh vực đều có thể được bao phủ bằng mô hình này – sự khác biệt chỉ là tỷ lệ tham gia của AI so với con người. Những người áp dụng sớm nhất là các vai trò mà cả tốc độ và độ chính xác đều quan trọng, nhưng công việc vẫn rất lặp đi lặp lại. Chúng tôi đã thấy sự kéo mạnh từ tư vấn, tiếp thị, vận hành bán hàng, nghiên cứu và tạo nội dung. Các lĩnh vực phức tạp nhất (và có thể thú vị nhất) để giải quyết là những lĩnh vực gần với thế giới vật lý, như kiến trúc và xây dựng. Nhưng tôi cũng thấy một con đường công nghệ rõ ràng để đạt được điều đó.

Từ góc độ hoạt động, các tổ chức lợi gì khi chuyển từ công việc được quản lý bởi người làm việc tự do sang các tác nhân lai?

Các tác nhân lai loại bỏ hai trong số những bất hiệu quả lớn nhất trong công việc được quản lý bởi người làm việc tự do: quản lý và chất lượng không nhất quán. Các tổ chức và chuyên gia không còn phải tuyển dụng, kiểm tra, hướng dẫn, quản lý hoặc sửa lỗi người làm việc tự do. Tác nhân lai tự động xử lý việc dàn xếp quy trình làm việc, phân bổ sự kết hợp phù hợp của AI và chuyên môn của con người cho mỗi bước. Điều này giảm thời gian quay vòng, tiêu chuẩn hóa chất lượng đầu ra và mở rộng công việc mà không cần mở rộng quy mô. Tóm lại: bạn có được tốc độ của tự động hóa với độ tin cậy của một đội chuyên gia, nhưng không cần quản lý bất kỳ điều nào trong số đó.

Khi các hệ thống lai đạt được sự phổ biến, điều gì bạn dự đoán sẽ là tác động của sự thay đổi này đối với nền kinh tế tự do và nền kinh tế làm việc theo nhiệm vụ?

Chúng tôi nghĩ rằng nó sẽ thay đổi nền kinh tế tự do, không phải thay thế nó. Thay vì người làm việc tự do dành thời gian cho các nhiệm vụ thấp cấp, lặp đi lặp lại, họ có thể cắm vào các hệ thống lai như các chuyên gia trong các lĩnh vực cụ thể. Công việc trở nên có cấu trúc hơn: có giá trị cao hơn, dự đoán được hơn và ổn định hơn. Thay vì theo đuổi các dự án không nhất quán, các chuyên gia có thể đóng góp ở quy mô thông qua các nền tảng như Tendem, nơi kỹ năng của họ được phù hợp với các nhiệm vụ phù hợp và được hỗ trợ bởi các hệ thống AI loại bỏ công việc bận rộn.

Nhìn về vài năm tới, “ủy thác cho AI” sẽ trông như thế nào khi các tác nhân lai trở thành tiêu chuẩn trên công việc kỹ thuật số?

Ủy thác sẽ cảm giác giống như trao công việc cho một đội có khả năng, không chỉ giống như sử dụng một công cụ. Bạn sẽ mô tả kết quả bạn muốn, và tác nhân lai sẽ phân chia nó, định tuyến các nhiệm vụ con, áp dụng sự kết hợp phù hợp của AI và chuyên môn của con người, xác minh kết quả và cung cấp một sản phẩm hoàn thiện – tất cả trong vài giờ. Sự thay đổi sẽ là từ việc sử dụng AI như một trợ lý soạn thảo, sang việc tin tưởng AI như một người quản lý dự án giám sát toàn bộ quy trình làm việc. Đó là khi sự ủy thác thực sự xảy ra: khi các chuyên gia có thể tin tưởng hệ thống sẽ cung cấp đầu ra cuối cùng, không chỉ là một điểm xuất phát.

Cảm ơn cuộc phỏng vấn tuyệt vời, độc giả muốn tìm hiểu thêm nên truy cập Toloka.