iMerit uruchamia platformę Scholars, aby zwiększyć skalę szkolenia i oceny modeli AI prowadzonych przez ekspertów

Model może przedstawić przekonujące wyjaśnienie medyczne lub płynnie odpowiedzieć na pytanie matematyczne, a mimo to popełnić błąd, który rozpozna tylko specjalista. Potrzeba eksperckiej oceny stoi za uruchomieniem przez iMerit platformy iMerit Scholars — systemu zaprojektowanego z myślą o organizacji pracy osób szkolących, oceniających i poddających próbom zaawansowane modele AI.

Należąca do EXL firma ogłosiła uruchomienie platformy 26 października. Łączy ona w jednym miejscu rekrutację, wdrażanie, dopasowywanie ekspertów, przydzielanie projektów, angażowanie współpracowników i płatności. Zgodnie z komunikatem istniejący program Scholars obejmuje ponad 30 000 zaproszonych i zweryfikowanych specjalistów ze 118 krajów, posługujących się 106 językami.

Platformę zaprojektowano tak, aby w miarę wzrostu zapotrzebowania mogła obsługiwać setki tysięcy ekspertów. To deklaracja dotycząca planowanej skali działania, odrębna od obecnej, podanej liczebności społeczności. Jej bezpośrednim celem jest ułatwienie koordynacji specjalistycznego wkładu ludzi na wszystkich etapach cyklu rozwoju i wdrażania modeli.

Budowanie kadry wspierającej doskonalenie modeli

Społeczność Scholars skupia specjalistów z dziedzin takich jak medycyna, matematyka, rolnictwo, językoznawstwo i systemy autonomiczne, a także z innych obszarów wymagających specjalistycznej wiedzy. Eksperci uczestniczą w nadzorowanym dostrajaniu modeli, ich ocenie, testach zespołu red team oraz uczeniu ze wzmocnieniem na podstawie informacji zwrotnych od ludzi, powszechnie określanym skrótem RLHF.

Każde z tych działań wymaga innego rodzaju oceny. Dostrajanie może wymagać starannie przygotowanego przykładu odpowiedzi, jakiej powinien udzielić model. Ocena polega na sprawdzeniu, czy wynik spełnia określone kryteria. Testy zespołu red team celowo badają system pod kątem błędów, natomiast informacje zwrotne od ludzi mogą dostarczać preferencji i korekt uwzględnianych w dalszym szkoleniu.

Dlatego dopasowanie odpowiedniej osoby do zadania jest równie ważne jak poszerzanie grona ekspertów. Lekarz znający wąską specjalizację może dostrzec istotny błąd, który umknie recenzentowi o szerokiej wiedzy. Lingwista może zauważyć niejednoznaczność, która znika w dosłownym tłumaczeniu.

Nowa platforma dopasowuje projekty do specjalizacji dziedzinowej i umiejętności poznawczych ekspertów, a jednocześnie zapewnia zaplecze administracyjne potrzebne do podtrzymywania ich zaangażowania. Jak opisuje iMerit, celem jest budowanie trwałych relacji ze specjalistami, którzy poznają specyfikę pracy i uczestniczą w cyklach informacji zwrotnej.

„Potrzebujemy osób, które mają na tyle dużą wiedzę, by nie tylko uczyć modele, lecz także wykazywać ich błędy i je korygować” — powiedziała Radha Basu, wiceprezes wykonawcza i szefowa iMerit w EXL.

Ango Hub łączy ekspercką ocenę z danymi treningowymi

Zapleczem technologicznym platformy Scholars jest Ango Hub — platforma iMerit do adnotacji danych i oceny modeli. Jej zadaniem jest przekształcanie pracy ekspertów w uporządkowane materiały, które można weryfikować, a następnie włączyć do procesu szkolenia lub oceny.

Dokumentacja istniejącego produktu Ango Hub opisuje konfigurowalne procesy pracy, możliwość przypisania wielu osób do adnotowania jednego zasobu, zadania wzorcowe oraz narzędzia dla recenzentów pozwalające zaakceptować, odrzucić lub poprawić etykiety. Wytyczne projektowe i system zgłaszania problemów pomagają recenzentom rozstrzygać wątpliwości, a kontrola dostępu oparta na rolach określa, kto może pracować z konkretnymi danymi.

Platforma obsługuje różne rodzaje danych, w tym obrazy, wideo, dźwięk, tekst, pliki PDF i medyczne dane DICOM. Szeroki zakres obsługiwanych formatów ma znaczenie, ponieważ rozwój modeli coraz częściej łączy język z informacjami wizualnymi, klinicznymi lub pochodzącymi ze świata fizycznego. Interfejs i proces weryfikacji powinny być dostosowane do materiału analizowanego przez eksperta.

Warto odróżnić te dwie platformy: Scholars koordynuje pracę ekspertów i ich współpracę przy projektach, natomiast Ango Hub zapewnia narzędzia i procesy, dzięki którym wkład ekspertów staje się użytecznymi danymi dla AI.

Od korygowania odpowiedzi po ocenę całych procesów pracy agentów

Narzędzie iMerit Deep Reasoning Lab pozwala dokładniej przyjrzeć się temu procesowi. Firma opisuje, jak eksperci projektują wieloetapowe scenariusze, weryfikują wyniki modeli, kategoryzują błędy oraz dostarczają korekty wraz z wyjaśnieniami. Tak uporządkowane przykłady mogą pomóc twórcom modeli ustalić, na którym etapie odpowiedź staje się błędna, i przygotować ukierunkowane materiały treningowe.

Takie ścieżki rozumowania to wyselekcjonowane materiały tworzone i weryfikowane na potrzeby konkretnego zadania. Nie należy zakładać, że ujawniają wszystkie wewnętrzne obliczenia, które doprowadziły model do danej odpowiedzi. Ich praktyczna wartość polega na tym, że przebieg oceny i wprowadzone korekty są przedstawione na tyle jasno, by można je było przeanalizować i ponownie wykorzystać.

Usługa iMerit do oceny agentów rozszerza weryfikację poza końcową odpowiedź, obejmując także etapy planowania, wywołania narzędzi, stany pośrednie i rezultaty. Firma opisuje ustrukturyzowane kryteria oceny oraz rozstrzyganie sporów przez ekspertów w kwestiach takich jak wykonanie zadania, wybór narzędzi, oparcie odpowiedzi na źródłach i przestrzeganie granic określonych przez zasady.

Ma to znaczenie, gdy AI może podejmować działania. Agent może przygotować dopracowane podsumowanie, a jednocześnie użyć niewłaściwego narzędzia lub nie ukończyć zadania. Analiza kolejnych działań pozwala specjalistom wykryć takie błędy i przekazać twórcom uporządkowane informacje zwrotne.

Płatności i ciągłość projektów stają się częścią infrastruktury

W ramach uruchomienia zintegrowano również Trolley, aby umożliwić realizację globalnych wypłat. iMerit informuje, że integracja ta obsługuje bezpieczne płatności i procesy związane z zapewnieniem zgodności z przepisami dla międzynarodowej społeczności ekspertów.

Obsługa płatności może wydawać się odległa od skuteczności modeli, ale wpływa na to, czy specjalista może regularnie uczestniczyć w projekcie. Rekrutacja, wdrożenie, dostęp do zadań i wynagrodzenie stają się zależnościami operacyjnymi, gdy projekt opiera się na ekspertach z wielu krajów.

Platforma łączy te funkcje z dopasowywaniem i angażowaniem ekspertów, zamiast pozostawiać poszczególnym zespołom projektowym konieczność organizowania ich osobno. Dla klientów zamierzonym efektem jest bardziej spójny zespół i proces weryfikacji, a dla ekspertów — prostsza droga od dołączenia do projektu przez wykonanie pracy po otrzymanie wynagrodzenia.

„Nie zajmujesz się tylko etykietowaniem danych — pomagasz kształtować sposób, w jaki te systemy rozumują i działają w twojej dziedzinie” — powiedział w komunikacie Pavel Kopach, lekarz i specjalista w dziedzinie patologii w Beth Israel Deaconess Medical Center oraz ekspert iMerit w obszarze AI w ochronie zdrowia.

EXL wnosi kontekst wdrażania rozwiązań w dużych przedsiębiorstwach

Uruchomienie platformy nastąpiło po sfinalizowaniu przez EXL przejęcia iMerit, ogłoszonym 3 sierpnia. EXL przedstawiła tę współpracę jako połączenie kompetencji w zakresie trenowania i oceny modeli z danymi przedsiębiorstw, kontekstem operacyjnym oraz możliwościami wdrażania AI.

Daje to platformie Scholars szersze możliwości dotarcia do rynku. Basu powiedział, że iMerit rozszerza działalność z obszaru rozwoju najnowocześniejszych modeli na procesy bankowe, opiekę zdrowotną i ubezpieczenia, w których dostosowanie do danej dziedziny, zaufanie i bezpieczeństwo wpływają na to, czy AI może skutecznie działać w środowisku produkcyjnym.

Sama nowa platforma nie dowodzi, że model jest niezawodny w każdym wyspecjalizowanym środowisku. Rozwiązuje bardziej konkretny problem wstępny: organizuje ludzi, narzędzia i informacje zwrotne potrzebne do sprawdzenia systemu pod kątem wymagań danego środowiska. W miarę jak AI coraz głębiej wkracza w procesy zawodowe, umiejętność znalezienia właściwego eksperta, uzyskania użytecznej korekty i uwzględnienia tej wiedzy w dalszym rozwoju staje się coraz ważniejszym elementem stosu technologicznego.