iMerit spouští platformu Scholars, která má rozšířit odborníky vedený trénink a hodnocení AI

Model může podat přesvědčivé lékařské vysvětlení nebo plynule odpovědět na matematickou otázku, a přesto udělat chybu, kterou rozpozná jen odborník. Právě potřeba odborného úsudku stojí za spuštěním platformy iMerit Scholars, systému navrženého k organizaci lidí, kteří trénují pokročilé modely AI, hodnotí je a prověřují.

Společnost vlastněná EXL oznámila spuštění 26. října. Nábor, zaškolení, přiřazování odborníků, zadávání projektů, spolupráci a platby sjednocuje do jedné platformy. Stávající program Scholars podle oznámení zahrnuje více než 30 000 pozvaných a prověřených odborníků ze 118 zemí, kteří ovládají 106 jazyků.

Platforma je navržena tak, aby s rostoucí poptávkou dokázala spravovat stovky tisíc odborníků. Jde o údaj vyjadřující zamýšlenou provozní kapacitu, nikoli o současnou uváděnou velikost komunity. Cílem je především usnadnit koordinaci specializovaných lidských vstupů v celém životním cyklu vývoje a nasazení modelů.

Budování pracovní síly, která stojí za zdokonalováním modelů

Komunitu Scholars tvoří odborníci z medicíny, matematiky, zemědělství, lingvistiky, autonomních systémů a dalších specializovaných oborů. Podílejí se na doladění modelů pod dohledem, jejich hodnocení, testování odolnosti (red teamingu) a posilovaném učení z lidské zpětné vazby, běžně označovaném zkratkou RLHF.

Každá z těchto činností vyžaduje jiný druh úsudku. Doladění může vyžadovat pečlivě sestavený příklad odpovědi, kterou by měl model vytvořit. Při hodnocení se zjišťuje, zda výstup splňuje stanovená kritéria. Red teaming záměrně prověřuje systém, aby odhalil jeho nedostatky, zatímco lidská zpětná vazba může nabídnout preference a opravy, které poslouží při následném tréninku.

Stejně důležité jako rozšiřovat okruh odborníků je proto přiřadit ke konkrétnímu úkolu toho správného člověka. Lékař se znalostí úzce vymezené specializace může odhalit závažnou chybu, kterou přehlédne hodnotitel s širšími, ale méně hlubokými znalostmi. Lingvista může rozpoznat nejednoznačnost, která se při doslovném překladu vytratí.

Nová platforma přiřazuje projekty podle oborové specializace a kognitivních schopností a zároveň poskytuje administrativní zázemí potřebné k tomu, aby odborníci zůstali zapojeni. iMerit popisuje svůj cíl jako dlouhodobou spolupráci se specialisty, kteří se do práce zasvětí a zapojují se do cyklů zpětné vazby.

„Potřebujeme lidi, kteří mají dostatečné znalosti nejen k tomu, aby modely učili, ale také aby prokázali, že se mýlí, a opravili je,“ uvedla Radha Basu, výkonná viceprezidentka a vedoucí iMerit ve společnosti EXL.

Ango Hub propojuje odborný úsudek s tréninkovými daty

Technologickým základem platformy Scholars je Ango Hub, platforma iMerit pro anotaci dat a hodnocení modelů. Jejím úkolem je převádět práci odborníků do uspořádaných, kontrolovatelných výstupů, které lze zařadit do procesu tréninku nebo hodnocení.

Stávající produktová dokumentace Ango Hub popisuje nastavitelné pracovní postupy, možnost zapojit k jednomu datovému souboru více anotátorů, referenční úlohy a nástroje pro kontrolory, kteří mohou štítky přijmout, zamítnout nebo opravit. Pokyny k projektům a systém pro řešení problémů pomáhají kontrolorům vyjasňovat otázky, zatímco přístupová práva založená na rolích určují, kdo může pracovat s konkrétními daty.

Platforma podporuje několik typů dat včetně obrázků, videa, zvuku, textu, souborů PDF a lékařských dat DICOM. Tato šíře je důležitá, protože vývoj modelů stále častěji propojuje jazykové informace s vizuálními, klinickými nebo informacemi z fyzického světa. Rozhraní i proces kontroly musí odpovídat materiálu, který odborník posuzuje.

Rozdíl mezi oběma platformami je užitečné mít na paměti: Scholars koordinuje odborníky a jejich spolupráci na projektech, zatímco Ango Hub poskytuje nástroje a pracovní postupy, díky nimž lze příspěvky odborníků využít jako data pro AI.

Od opravování odpovědí k hodnocení celých pracovních postupů agentů

Deep Reasoning Lab společnosti iMerit nabízí podrobnější pohled na tento proces. Společnost uvádí, že odborníci navrhují vícekrokové scénáře, kontrolují výstupy modelů, třídí chyby a dodávají opravy s vysvětlením. Tyto strukturované příklady mohou vývojářům pomoci určit, kde se odpověď pokazí, a vytvořit cílené tréninkové materiály.

Takové záznamy postupu uvažování jsou připravené artefakty, které vznikají a procházejí kontrolou v rámci konkrétní úlohy. Nelze předpokládat, že odhalují veškeré vnitřní výpočty, které vedly k odpovědi modelu. Jejich praktická hodnota spočívá v tom, že průběh hodnocení a související opravy zpřehledňují natolik, aby je bylo možné kontrolovat a znovu použít.

Služba hodnocení agentů společnosti rozšiřuje kontrolu nad rámec konečné odpovědi a zahrnuje také plánovací kroky, volání nástrojů, mezistavy a výsledky. Společnost uvádí strukturované hodnoticí rubriky a expertní posuzování problémů, jako je dokončení úkolu, výběr nástrojů, opora v podkladech a dodržování hranic stanovených zásadami.

To je důležité ve chvíli, kdy AI může jednat. Agent může vytvořit uhlazené shrnutí, a přitom použít nesprávný nástroj nebo nedokončit samotný úkol. Kontrola posloupnosti akcí dává odborníkům možnost tyto nedostatky odhalit a předat vývojářům strukturovanou zpětnou vazbu.

Platby a kontinuita projektů se stávají součástí infrastruktury

Spuštění platformy také integruje Trolley pro globální výplaty. Podle iMerit tato integrace podporuje bezpečné platby a procesy zajišťující soulad s předpisy pro její mezinárodní komunitu odborníků.

Platební operace se mohou zdát vzdálené výkonnosti modelů, ovlivňují však, zda se odborník může zapojovat soustavně. Nábor, zaškolení, přístup k úkolům i odměňování se stávají provozními předpoklady, pokud projekt spoléhá na odborníky z mnoha zemí.

Platforma tyto funkce propojuje s vyhledáváním vhodných odborníků a jejich zapojením, místo aby je každý projektový tým musel zajišťovat samostatně. Zákazníkům má přinést stabilnější pracovní sílu a proces kontroly, odborníkům pak jasnější cestu od zapojení do projektu přes dokončení práce až po obdržení platby.

„Nejde jen o označování dat, pomáháte utvářet způsob, jakým tyto systémy ve vašem oboru uvažují a chovají se,“ uvedl v oznámení Pavel Kopach, M.D., specialista na patologii v Beth Israel Deaconess Medical Center a odborník iMerit na zdravotnickou umělou inteligenci.

EXL přináší kontext podnikového nasazení

Spuštění platformy navazuje na dokončení akvizice společnosti iMerit ze strany EXL, oznámené 3. srpna. EXL představila toto spojení jako propojení odborných znalostí v oblasti trénování a vyhodnocování modelů se svými podnikovými daty, provozním kontextem a schopnostmi implementovat umělou inteligenci.

Tím se pro platformu Scholars otevírá širší cesta na trh. Basu uvedl, že iMerit rozšiřuje své působení od vývoje pokročilých modelů do bankovnictví, zdravotnictví a pojišťovnictví, kde přizpůsobení oboru, důvěra a bezpečnost ovlivňují, zda lze umělou inteligenci úspěšně využívat v produkčním prostředí.

Nová platforma sama o sobě nedokazuje, že je model spolehlivý v každém specializovaném prostředí. Řeší konkrétnější předpoklad: organizaci lidí, nástrojů a zpětné vazby potřebných k tomu, aby bylo možné systém testovat podle požadavků daného prostředí. S tím, jak umělá inteligence stále více proniká do profesních pracovních postupů, se schopnost najít správného odborníka, zachytit užitečnou opravu a promítnout tyto poznatky zpět do vývoje stává stále důležitější součástí technologického stacku.