iMerit lancerer Scholars-platformen for at skalere ekspertledet AI-træning og -evaluering

En model kan give en overbevisende medicinsk forklaring eller et flydende svar på et matematisk problem og stadig begå en fejl, som kun en specialist opdager. Behovet for ekspertvurdering ligger bag iMerits lancering af iMerit Scholars-platformen, et system, der er udviklet til at organisere de mennesker, som træner, evaluerer og udfordrer avancerede AI-modeller.

Virksomheden, der ejes af EXL, annoncerede lanceringen den 26. oktober. Den samler rekruttering, onboarding, matching af eksperter, projekttildeling, engagement og betalinger på én samlet platform. Ifølge annonceringen omfatter det eksisterende Scholars-program mere end 30.000 inviterede og godkendte fagfolk i 118 lande og med 106 sprog.

Platformen er udviklet til at håndtere hundredtusindvis af eksperter, efterhånden som efterspørgslen vokser. Det beskriver den planlagte driftskapacitet og skal ikke forveksles med den aktuelt rapporterede størrelse på fællesskabet. Det umiddelbare formål er at gøre det lettere at koordinere specialiserede menneskelige bidrag gennem hele modellens udviklings- og implementeringsforløb.

Opbygning af arbejdsstyrken bag forbedring af modeller

Scholars-fællesskabet spænder over medicin, matematik, landbrug, lingvistik, autonome systemer og andre specialiserede fagområder. Eksperterne bidrager til overvåget finjustering, modelevaluering, red teaming og forstærkningslæring baseret på menneskelig feedback, almindeligvis kaldet RLHF.

Disse aktiviteter kræver forskellige former for vurdering. Finjustering kan kræve et omhyggeligt udformet eksempel på det svar, en model bør give. Ved evaluering vurderes det, om et output opfylder de fastlagte kriterier. Red teaming undersøger bevidst et system for fejl, mens menneskelig feedback kan give præferencer og rettelser, der kan bruges i den efterfølgende træning.

Det er derfor lige så vigtigt at matche den rette person med opgaven som at udvide puljen af eksperter. En læge med kendskab til et snævert speciale kan opdage en alvorlig fejl, som en anmelder med bred viden overser. En lingvist kan få øje på en tvetydighed, der forsvinder i en ordret oversættelse.

Den nye platform matcher projekter med faglig specialisering og kognitive færdigheder og stiller samtidig den administrative infrastruktur til rådighed, der skal fastholde eksperterne. iMerit beskriver målet som et vedvarende samarbejde med specialister, der lærer opgaverne at kende og deltager i feedbackforløb.

»Vi har brug for mennesker, der har tilstrækkelig viden til ikke blot at undervise modeller, men også til at påvise, når de tager fejl, og rette dem«, sagde Radha Basu, koncerndirektør og chef for iMerit hos EXL.

Ango Hub forbinder ekspertvurderinger med træningsdata

Den operationelle teknologi bag Scholars-platformen er Ango Hub, iMerits platform til dataannotering og modelevaluering. Platformens rolle er at omdanne ekspertarbejde til strukturerede artefakter, der kan gennemgås og indgå i et trænings- eller evalueringsforløb.

Den eksisterende produktdokumentation for Ango Hub beskriver konfigurerbare arbejdsgange, flere annotatorer på samme dataelement, benchmarkopgaver og værktøjer, der gør det muligt for anmeldere at acceptere, afvise eller rette etiketter. Projektretningslinjer og et system til håndtering af problemer hjælper anmelderne med at afklare spørgsmål, mens rollebaseret adgangskontrol styrer, hvem der kan arbejde med bestemte data.

Platformen understøtter flere modaliteter, herunder billeder, video, lyd, tekst, PDF-filer og medicinske DICOM-data. Den brede understøttelse er relevant, fordi modeludvikling i stigende grad kombinerer sprog med visuel, klinisk eller fysisk information. Brugerfladen og gennemgangsprocessen skal passe til det materiale, eksperten undersøger.

Det er nyttigt at skelne mellem de to platforme: Scholars koordinerer ekspertarbejdsstyrken og dens relation til projekterne, mens Ango Hub stiller værktøjerne og arbejdsgangene til rådighed, som gør eksperternes bidrag til brugbare AI-data.

Fra rettelse af svar til evaluering af hele agentarbejdsgange

iMerits Deep Reasoning Lab giver et mere detaljeret indblik i processen. Virksomheden fortæller, at eksperter udformer scenarier i flere trin, gennemgår modeloutput, kategoriserer fejl og leverer rettelser med forklaringer. Disse strukturerede eksempler kan hjælpe udviklere med at finde ud af, hvor et svar går galt, og udarbejde målrettet træningsmateriale.

Sådanne ræsonnementsspor er kuraterede artefakter, der oprettes og gennemgås til en bestemt opgave. Man bør ikke gå ud fra, at de afslører alle de interne beregninger, der førte til modellens svar. Deres praktiske værdi ligger i at gøre et evalueringsforløb og de tilhørende rettelser tilstrækkeligt tydelige til, at de kan undersøges og genbruges.

Virksomhedens tjeneste til evaluering af agenter udvider gennemgangen fra det endelige svar til også at omfatte planlægningstrin, værktøjskald, mellemliggende tilstande og resultater. Virksomheden beskriver strukturerede vurderingskriterier og ekspertbedømmelse af spørgsmål som opgavefuldførelse, valg af værktøj, forankring i kilder og overholdelse af politikgrænser.

Det bliver vigtigt, når AI kan handle. En agent kan udarbejde en poleret opsummering, samtidig med at den bruger det forkerte værktøj eller ikke fuldfører den underliggende opgave. Ved at gennemgå handlingsforløbet kan specialister identificere sådanne fejl og give udviklerne struktureret feedback.

Betalinger og kontinuitet i projekter bliver en del af infrastrukturen

Lanceringen integrerer også Trolley til globale udbetalinger. iMerit oplyser, at integrationen understøtter sikre betalinger og compliance-processer for virksomhedens internationale ekspertfællesskab.

Betalingsadministration virker måske ikke umiddelbart forbundet med modellens ydeevne, men den har betydning for, om en specialist kan deltage kontinuerligt. Rekruttering, onboarding, adgang til opgaver og aflønning bliver alle operationelle forudsætninger, når et projekt er afhængigt af eksperter i mange lande.

Platformen samler disse funktioner med matching og engagement i stedet for at lade hvert projektteam tilrettelægge dem separat. For kunderne er den tilsigtede fordel en mere stabil arbejdsstyrke og evalueringsproces; for eksperterne er det en tydeligere vej fra deltagelse i et projekt til udførelse af arbejdet og modtagelse af betaling.

»Du mærker ikke bare data, du er med til at forme, hvordan disse systemer ræsonnerer og opfører sig inden for dit fagområde,« sagde Pavel Kopach, M.D., patologispecialist ved Beth Israel Deaconess Medical Center og iMerit Scholar inden for sundhedsrelateret AI, i meddelelsen.

EXL tilfører kontekst om implementering i virksomheder

Lanceringen følger EXL’s gennemførelse af opkøbet af iMerit, som blev annonceret den 3. august. EXL beskrev kombinationen som en sammenføring af ekspertise inden for træning og evaluering af modeller med virksomhedens data, operationelle kontekst og kompetencer inden for implementering af AI.

Det giver Scholars en bredere markedsvej. Basu sagde, at iMerit udvider sit fokus fra udvikling af frontier-modeller til arbejdsgange inden for bankvæsen, sundhedsvæsen og forsikring, hvor tilpasning til fagområdet, tillid og sikkerhed har betydning for, om AI kan fungere effektivt i produktionsmiljøer.

Den nye platform fastslår ikke i sig selv, at en model er pålidelig i alle specialiserede sammenhænge. Den imødekommer en mere konkret forudsætning: at organisere de mennesker, værktøjer og den feedback, der skal til for at teste et system op imod kravene i den pågældende sammenhæng. I takt med at AI bliver en stadig større del af professionelle arbejdsgange, bliver evnen til at finde den rette ekspert, indhente en brugbar rettelse og føre denne viden tilbage til udviklingen en stadig vigtigere del af teknologistakken.