iMerit lanceert Scholars-platform om door experts aangestuurde AI-training en -evaluatie op te schalen

Een model kan een overtuigende medische uitleg geven of een vloeiend antwoord op een wiskundig vraagstuk formuleren en toch een fout maken die alleen een specialist opmerkt. De behoefte aan deskundig oordeel ligt ten grondslag aan de lancering van iMerit: het iMerit Scholars-platform, een systeem dat is ontworpen om de mensen te organiseren die geavanceerde AI-modellen trainen, evalueren en kritisch toetsen.

Het bedrijf, dat eigendom is van EXL, kondigde de lancering aan op 26 oktober. Het brengt werving, onboarding, het koppelen van experts, projecttoewijzingen, betrokkenheid en betalingen samen in één platform. Volgens de aankondiging omvat het bestaande Scholars-programma meer dan 30.000 uitgenodigde en doorgelichte professionals in 118 landen en 106 talen.

Het platform is ontworpen om honderdduizenden experts te beheren naarmate de vraag groeit. Dit verwijst naar de beoogde operationele capaciteit en staat los van de huidige, gerapporteerde omvang van de community. Het platform moet het makkelijker maken om gespecialiseerde menselijke inbreng gedurende de volledige levenscyclus van modelontwikkeling en -implementatie te coördineren.

De beroepsgroep achter modelverbetering opbouwen

De Scholars-community omvat experts op het gebied van geneeskunde, wiskunde, landbouw, taalkunde, autonome systemen en andere gespecialiseerde vakgebieden. Deze experts dragen bij aan gesuperviseerd finetunen, modelevaluatie, red-teaming en reinforcement learning op basis van menselijke feedback, doorgaans aangeduid als RLHF.

Voor die activiteiten zijn verschillende soorten deskundig oordeel nodig. Bij finetuning kan een zorgvuldig opgesteld voorbeeld nodig zijn van het antwoord dat een model zou moeten geven. Bij evaluatie wordt nagegaan of een uitvoer aan vastgestelde criteria voldoet. Bij red-teaming wordt een systeem doelbewust op tekortkomingen getest, terwijl menselijke feedback voorkeuren en correcties kan opleveren die richting geven aan vervolgtraining.

Daarom is de juiste persoon aan de juiste taak koppelen net zo belangrijk als het uitbreiden van de groep. Een arts met kennis van een nauw gespecialiseerd vakgebied kan een belangrijke fout opmerken die een beoordelaar met brede kennis over het hoofd ziet. Een taalkundige kan een dubbelzinnigheid herkennen die in een letterlijke vertaling verdwijnt.

Het nieuwe platform koppelt projecten aan vakinhoudelijke expertise en cognitieve vaardigheden, en biedt tegelijk de administratieve infrastructuur om die experts betrokken te houden. iMerit omschrijft het doel als een duurzame samenwerking met specialisten die het werk leren kennen en deelnemen aan feedbackcycli.

‘We hebben mensen nodig die genoeg kennis hebben om modellen niet alleen iets te leren, maar ook aan te tonen waar ze het mis hebben en ze te corrigeren’, aldus Radha Basu, executive vicepresident en hoofd van iMerit bij EXL.

Ango Hub verbindt deskundig oordeel met trainingsdata

De operationele technologie achter het Scholars-platform is Ango Hub, het platform van iMerit voor data-annotatie en modelevaluatie. Het zet het werk van experts om in geordende, controleerbare resultaten die in een trainings- of evaluatieproces kunnen worden opgenomen.

In de bestaande productdocumentatie van Ango Hub worden configureerbare workflows, meerdere annotatoren per gegevensbestand, benchmarktaken en beoordelaarsfuncties beschreven waarmee labels kunnen worden geaccepteerd, afgewezen of gecorrigeerd. Projectrichtlijnen en een systeem voor het melden van problemen helpen beoordelaars vragen op te lossen, terwijl toegangsrechten op basis van rollen bepalen wie met specifieke gegevens mag werken.

Het platform ondersteunt verschillende modaliteiten, waaronder afbeeldingen, video, audio, tekst, pdf’s en medische DICOM-gegevens. Die breedte is relevant omdat modelontwikkeling taal steeds vaker combineert met visuele, klinische of informatie uit de fysieke wereld. De interface en het beoordelingsproces moeten aansluiten op het materiaal dat een expert onderzoekt.

Het onderscheid tussen de twee platforms is nuttig: Scholars coördineert de groep experts en hun samenwerking aan projecten, terwijl Ango Hub de tools en workflows biedt waarmee bijdragen van experts worden omgezet in bruikbare AI-data.

Van antwoorden corrigeren tot volledige workflows van AI-agenten evalueren

Het Deep Reasoning Lab van iMerit biedt een gedetailleerder inzicht in dat proces. Het bedrijf beschrijft hoe experts scenario’s met meerdere stappen ontwerpen, modeluitvoer beoordelen, fouten categoriseren en correcties met uitleg aanleveren. Deze gestructureerde voorbeelden kunnen ontwikkelaars helpen vast te stellen waar een antwoord ontspoort en gericht trainingsmateriaal te maken.

Dergelijke redeneertrajecten zijn zorgvuldig samengestelde resultaten die voor een taak worden gemaakt en beoordeeld. Je mag er niet van uitgaan dat ze alle interne berekeningen blootleggen die tot het antwoord van een model hebben geleid. Hun praktische waarde is dat ze het evaluatieproces en de bijbehorende correcties expliciet genoeg maken om ze te kunnen inspecteren en hergebruiken.

De dienst voor evaluatie van AI-agenten van het bedrijf gaat bij beoordelingen verder dan het eindantwoord en omvat ook planningsstappen, toolaanroepen, tussentijdse toestanden en uitkomsten. Het bedrijf beschrijft gestructureerde beoordelingsrubrieken en beoordeling door experts voor kwesties als het voltooien van taken, de keuze van tools, de onderbouwing en beleidsgrenzen.

Dat wordt belangrijk wanneer AI acties kan uitvoeren. Een agent kan een verzorgde samenvatting geven, maar daarbij de verkeerde tool gebruiken of de onderliggende taak onafgerond laten. Door de reeks acties te beoordelen, kunnen specialisten zulke fouten opsporen en gestructureerde feedback aan ontwikkelaars teruggeven.

Betalingen en continuïteit van projecten worden onderdeel van de infrastructuur

De lancering omvat ook een integratie met Trolley voor wereldwijde uitbetalingen. Volgens iMerit ondersteunt de integratie veilige betalingen en complianceprocessen voor de internationale gemeenschap van experts.

Betalingsverwerking lijkt misschien ver af te staan van modelprestaties, maar bepaalt mede of een specialist consistent kan deelnemen. Werving, onboarding, toegang tot taken en beloning worden allemaal operationele afhankelijkheden wanneer een project steunt op experts uit veel verschillende landen.

Het platform brengt deze functies samen met matching en betrokkenheid, in plaats van elk projectteam ze afzonderlijk te laten organiseren. Voor klanten is het beoogde voordeel een consistenter personeelsbestand en beoordelingsproces; voor experts biedt het een duidelijker traject van deelname aan een project tot het afronden van werk en het ontvangen van een betaling.

‘Je labelt niet alleen data, je helpt ook vorm te geven aan de manier waarop deze systemen redeneren en zich gedragen binnen jouw vakgebied’, zei Pavel Kopach, M.D., pathologiespecialist bij Beth Israel Deaconess Medical Center en iMerit Scholar op het gebied van AI in de gezondheidszorg, in de aankondiging.

EXL biedt context voor implementatie bij bedrijven

De lancering volgt op de afronding van de overname van iMerit door EXL, die op 3 augustus werd aangekondigd. EXL presenteerde de combinatie als een bundeling van expertise in modeltraining en -evaluatie met zijn bedrijfsdata, operationele kennis en mogelijkheden voor AI-implementatie.

Hierdoor ontstaat een breder markttraject voor Scholars. Basu zei dat iMerit zijn activiteiten uitbreidt van de ontwikkeling van geavanceerde modellen naar workflows in de bankensector, de gezondheidszorg en de verzekeringsbranche, waar maatwerk op domeinniveau, vertrouwen en veiligheid mede bepalen of AI succesvol in productie kan worden ingezet.

Het nieuwe platform toont op zichzelf niet aan dat een model in elke gespecialiseerde omgeving betrouwbaar is. Het richt zich op een concretere voorwaarde: het organiseren van de mensen, hulpmiddelen en feedback die nodig zijn om een systeem te testen aan de hand van de eisen die in die omgeving gelden. Naarmate AI steeds meer professionele workflows binnendringt, wordt het vermogen om de juiste expert te vinden, een bruikbare correctie vast te leggen en die kennis terug te koppelen aan de ontwikkeling een steeds belangrijker onderdeel van de technologiestack.