iMerit lanserer Scholars-plattform for å skalere ekspertledet AI-trening og evaluering

En modell kan gi en overbevisende medisinsk forklaring eller et velformulert svar på et matematikkproblem og likevel gjøre en feil som bare en spesialist oppdager. Behovet for ekspertvurderinger ligger bak iMerits lansering av iMerit Scholars-plattformen, et system utviklet for å organisere menneskene som trener, evaluerer og utfordrer avanserte AI-modeller.

Selskapet, som eies av EXL, kunngjorde lanseringen 26. oktober. Plattformen samler rekruttering, introduksjon, matching med eksperter, prosjektoppdrag, engasjement og betalinger på ett sted. Ifølge kunngjøringen omfatter det eksisterende Scholars-programmet over 30 000 inviterte og godkjente fagpersoner i 118 land og med kompetanse i 106 språk.

Plattformen er utviklet for å håndtere flere hundre tusen eksperter etter hvert som etterspørselen øker. Dette beskriver plattformens planlagte kapasitet, som er noe annet enn størrelsen på fagmiljøet i dag. Det umiddelbare målet er å gjøre det enklere å samordne spesialisert menneskelig innsikt gjennom hele livssyklusen for utvikling og utrulling av modeller.

Bygger arbeidsstyrken bak modellforbedring

Scholars-fellesskapet omfatter fagpersoner innen medisin, matematikk, landbruk, lingvistikk, autonome systemer og andre spesialiserte fagområder. Ekspertene bidrar til veiledet finjustering, modelevaluering, red teaming og forsterkningslæring basert på menneskelig tilbakemelding, vanligvis kalt RLHF.

Disse aktivitetene krever ulike typer skjønn. Finjustering kan kreve et nøye utformet eksempel på svaret modellen bør gi. Evaluering undersøker om et resultat oppfyller fastsatte kriterier. Red teaming prøver bevisst å avdekke svakheter i et system, mens menneskelig tilbakemelding kan gi preferanser og korrigeringer som påvirker den videre treningen.

Det er derfor like viktig å matche riktig person med oppgaven som å utvide ekspertgruppen. En kliniker med kjennskap til et snevert spesialfelt kan oppdage en alvorlig feil som en fagfelle med bred kunnskap overser. En lingvist kan oppdage en tvetydighet som forsvinner i en ordrett oversettelse.

Den nye plattformen matcher prosjekter med fagspesialisering og kognitive ferdigheter, samtidig som den tilbyr den administrative infrastrukturen som trengs for å holde ekspertene engasjert. iMerit beskriver målet som å bygge varige relasjoner med spesialister som lærer arbeidet å kjenne og deltar i tilbakemeldingsrunder.

«Vi trenger folk som har nok kunnskap til ikke bare å lære opp modeller, men også til å påvise når de tar feil og korrigere dem», sa Radha Basu, konserndirektør og leder for iMerit i EXL.

Ango Hub knytter ekspertvurderinger til treningsdata

Den operative teknologien bak Scholars-plattformen er Ango Hub, iMerits plattform for dataannotering og modelevaluering. Plattformen gjør ekspertarbeidet om til strukturerte, kontrollerbare resultater som kan inngå i en trenings- eller evalueringsprosess.

Den eksisterende produktdokumentasjonen for Ango Hub beskriver konfigurerbare arbeidsflyter, flere annotatører per dataelement, referanseoppgaver og kontrollfunksjoner som lar fagfeller godta, avvise eller korrigere etiketter. Prosjektretningslinjer og et system for håndtering av problemer hjelper fagfellene med å avklare spørsmål, mens tilgangskontroller basert på roller styrer hvem som kan arbeide med bestemte data.

Plattformen støtter flere modaliteter, blant annet bilder, video, lyd, tekst, PDF-filer og medisinske DICOM-data. Denne bredden er relevant fordi modellutvikling i økende grad kombinerer språk med visuell informasjon, kliniske data eller informasjon fra den fysiske verden. Grensesnittet og gjennomgangsprosessen må være tilpasset materialet eksperten undersøker.

Det er nyttig å skille mellom de to plattformene: Scholars koordinerer ekspertgruppen og relasjonen mellom ekspertene og prosjektene, mens Ango Hub tilbyr verktøyene og arbeidsflytene som gjør ekspertbidrag om til brukbare AI-data.

Fra korrigering av svar til evaluering av komplette agentarbeidsflyter

iMerits Deep Reasoning Lab gir et mer detaljert innblikk i denne prosessen. Selskapet beskriver hvordan eksperter utformer scenarier med flere trinn, gjennomgår modellresultater, kategoriserer feil og kommer med korrigeringer og forklaringer. Slike strukturerte eksempler kan hjelpe utviklere med å finne ut hvor et svar går galt og lage målrettet treningsmateriale.

Slike resonnementsspor er kuraterte resultater som opprettes og gjennomgås for en bestemt oppgave. Man bør ikke gå ut fra at de viser alle de interne beregningene som førte til modellens svar. Den praktiske verdien ligger i at evalueringsforløpet og korrigeringene dokumenteres tydelig nok til at de kan undersøkes og brukes på nytt.

Selskapets tjeneste for evaluering av agenter utvider gjennomgangen fra det endelige svaret til planleggingstrinn, verktøykall, mellomliggende tilstander og resultater. Selskapet beskriver strukturerte vurderingskriterier og ekspertvurdering av spørsmål som oppgavefullføring, valg av verktøy, forankring i kilder og etterlevelse av retningslinjer.

Dette blir viktig når AI kan utføre handlinger. En agent kan lage et polert sammendrag samtidig som den bruker feil verktøy eller lar den underliggende oppgaven stå ufullført. Ved å gjennomgå handlingsforløpet kan spesialister identifisere slike feil og gi utviklerne strukturert tilbakemelding.

Betalinger og kontinuitet i prosjektene blir en del av infrastrukturen

Lanseringen integrerer også Trolley for globale utbetalinger. iMerit sier at integrasjonen støtter sikre betalinger og etterlevelsesprosesser for det internasjonale ekspertfellesskapet deres.

Betalingshåndtering kan virke fjernt fra modellytelse, men den påvirker om en spesialist kan delta på en stabil måte. Rekruttering, introduksjon, tilgang til oppgaver og godtgjørelse blir alle driftsmessige forutsetninger når et prosjekt er avhengig av eksperter i mange land.

Plattformen samler disse funksjonene med matching og engasjement, i stedet for å overlate til hvert prosjektteam å sette dem sammen separat. For kundene er målet en mer stabil arbeidsstyrke og gjennomgangsprosess. For ekspertene gir det en tydeligere vei fra de blir med i et prosjekt, til de fullfører arbeidet og mottar betaling.

«Du merker ikke bare data; du bidrar til å forme hvordan disse systemene resonnerer og oppfører seg innenfor fagfeltet ditt», sa Pavel Kopach, M.D., patologispesialist ved Beth Israel Deaconess Medical Center og iMerit Scholar innen helsetjenestenes KI, i kunngjøringen.

EXL tilfører kontekst for utrulling i store virksomheter

Lanseringen kommer etter at EXL fullførte oppkjøpet av iMerit, som ble kunngjort 3. august. EXL presenterte sammenslåingen som en måte å kombinere ekspertise innen modelltrening og evaluering med selskapets data fra store virksomheter, driftskontekst og evne til å implementere KI.

Dette gir Scholars en bredere vei ut i markedet. Basu sa at iMerit utvider virksomheten fra utvikling av frontier-modeller til arbeidsflyter innen bank, helsevesen og forsikring, der tilpasning til fagområdet, tillit og sikkerhet påvirker om KI kan fungere godt i produksjon.

Den nye plattformen fastslår ikke i seg selv at en modell er pålitelig i alle spesialiserte sammenhenger. Den tar for seg en mer konkret forutsetning: å organisere menneskene, verktøyene og tilbakemeldingene som trengs for å teste et system opp mot kravene i den aktuelle sammenhengen. Etter hvert som KI får en større plass i profesjonelle arbeidsflyter, blir evnen til å finne den rette eksperten, fange opp en nyttig korrigering og føre denne kunnskapen tilbake til utviklingen en stadig viktigere del av teknologistakken.