iMerit lanserar Scholars-plattform för att skala upp expertledd AI-träning och utvärdering

En modell kan ge en övertygande medicinsk förklaring eller ett flytande svar på ett matematiskt problem och ändå göra ett misstag som bara en specialist upptäcker. Behovet av expertbedömningar ligger bakom iMerits lansering av plattformen iMerit Scholars, ett system utformat för att organisera de personer som tränar, utvärderar och utmanar avancerade AI-modeller.

Det EXL-ägda företaget tillkännagav lanseringen den 26 oktober och samlar rekrytering, introduktion, matchning med experter, projektuppdrag, engagemang och betalningar i en och samma plattform. Enligt tillkännagivandet omfattar företagets befintliga Scholars-program fler än 30 000 inbjudna och granskade yrkespersoner i 118 länder och med kunskaper i 106 språk.

Plattformen är utformad för att kunna hantera hundratusentals experter i takt med att efterfrågan växer. Det avser plattformens planerade driftskapacitet och är inte detsamma som den nuvarande, rapporterade storleken på expertgruppen. Det omedelbara målet är att göra det enklare att samordna specialiserade mänskliga insatser under hela livscykeln för utveckling och driftsättning av modeller.

Att bygga arbetsstyrkan bakom modellförbättringar

Scholars-gruppen omfattar experter inom medicin, matematik, jordbruk, lingvistik, autonoma system och andra specialområden. De bidrar till övervakad finjustering, modelutvärdering, aktiv testning av system för att hitta brister och förstärkningsinlärning från mänsklig återkoppling, vanligen kallad RLHF.

De här aktiviteterna kräver olika slags bedömningar. Finjustering kan kräva ett noggrant utformat exempel på det svar modellen bör ge. Vid utvärdering undersöker man om ett resultat uppfyller fastställda kriterier. Vid aktiv testning försöker man medvetet få ett system att fallera, medan mänsklig återkoppling kan ge preferenser och korrigeringar som vägleder den fortsatta träningen.

Därför är det lika viktigt att matcha rätt person med rätt uppgift som att utöka expertgruppen. En läkare med kunskap inom ett smalt specialistområde kan upptäcka ett allvarligt fel som en granskare med breda kunskaper missar. En lingvist kan upptäcka en tvetydighet som försvinner vid en ordagrann översättning.

Den nya plattformen matchar projekt med relevant ämneskompetens och kognitiva färdigheter, samtidigt som den tillhandahåller den administrativa infrastrukturen som behövs för att behålla experternas engagemang. iMerit beskriver målet som en fortlöpande relation med specialister som lär sig arbetet och deltar i återkopplingscykler.

”Vi behöver personer med tillräckliga kunskaper för att inte bara lära modeller, utan också visa att de har fel och korrigera dem”, sade Radha Basu, vice vd och chef för iMerit på EXL.

Ango Hub kopplar samman expertbedömningar och träningsdata

Den operativa tekniken bakom Scholars-plattformen är Ango Hub, iMerits plattform för dataannotering och modelutvärdering. Den omvandlar experternas arbete till strukturerade, granskningsbara resultat som kan ingå i ett arbetsflöde för träning eller utvärdering.

Den befintliga produktdokumentationen för Ango Hub beskriver konfigurerbara arbetsflöden, flera annoterare för samma objekt, jämförelseuppgifter och granskningsfunktioner för att godkänna, avvisa eller korrigera etiketter. Projektriktlinjer och ett ärendehanteringssystem hjälper granskare att lösa frågor, medan rollbaserad åtkomstkontroll styr vem som får arbeta med specifika data.

Plattformen stöder flera format, däribland bilder, video, ljud, text, PDF-filer och medicinska DICOM-data. Den bredden är relevant eftersom modellutveckling i allt högre grad kombinerar språk med visuell information, klinisk information eller information om den fysiska världen. Gränssnittet och granskningsprocessen behöver vara anpassade efter det material som experten undersöker.

Det är användbart att skilja mellan plattformarna: Scholars samordnar expertgruppen och dess relation till projekten, medan Ango Hub tillhandahåller verktygen och arbetsflödena som gör experternas bidrag till användbara AI-data.

Från att korrigera svar till att utvärdera hela agentarbetsflöden

iMerits Deep Reasoning Lab ger en mer detaljerad bild av den processen. Företaget beskriver hur experter utformar scenarier i flera steg, granskar modellresultat, kategoriserar fel och bidrar med korrigeringar och förklaringar. De här strukturerade exemplen kan hjälpa utvecklare att identifiera var ett svar går fel och skapa riktat träningsmaterial.

Sådana resonemangsspår är utvalda artefakter som skapas och granskas för en specifik uppgift. Man bör inte utgå från att de visar alla interna beräkningar som ledde fram till modellens svar. Deras praktiska värde ligger i att utvärderingsförloppet och korrigeringarna dokumenteras så tydligt att de går att granska och återanvända.

Företagets tjänst för utvärdering av AI-agenter utvidgar granskningen från det slutliga svaret till planeringssteg, verktygsanrop, mellanliggande tillstånd och utfall. Företaget beskriver strukturerade bedömningskriterier och expertbedömningar av frågor som uppgiftsgenomförande, verktygsval, faktagrundning och policygränser.

Det blir viktigt när AI kan utföra handlingar. En agent kan skapa en välformulerad sammanfattning och samtidigt använda fel verktyg eller lämna den underliggande uppgiften ofullständig. Genom att granska handlingsförloppet kan specialister identifiera sådana fel och ge utvecklarna strukturerad återkoppling.

Betalningar och kontinuitet i projekten blir en del av infrastrukturen

Lanseringen integrerar också Trolley för globala utbetalningar. iMerit uppger att integrationen möjliggör säkra betalningar och arbetsflöden för regelefterlevnad för företagets internationella expertcommunity.

Betalningshantering kan verka avlägsen från modellernas prestanda, men den påverkar om en specialist kan delta kontinuerligt. Rekrytering, introduktion, tillgång till uppgifter och ersättning blir alla operativa förutsättningar när ett projekt är beroende av experter i många länder.

Plattformen samlar dessa funktioner med matchning och engagemang i stället för att låta varje projektteam sätta ihop dem separat. För kunderna är den avsedda fördelen en mer konsekvent bemanning och granskningsprocess. För experterna innebär det en tydligare väg från att gå med i ett projekt till att slutföra arbetet och få betalt.

”Du märker inte bara upp data, utan bidrar till att forma hur de här systemen resonerar och beter sig inom ditt område”, sade Pavel Kopach, läkare och patologispecialist vid Beth Israel Deaconess Medical Center samt iMerit Scholar inom AI i hälso- och sjukvården, i tillkännagivandet.

EXL tillför perspektivet på företagsimplementering

Lanseringen följer på att EXL slutförde förvärvet av iMerit, vilket tillkännagavs den 3 augusti. EXL beskrev kombinationen som ett sätt att förena expertis inom modellträning och utvärdering med företagets data, operativa kontext och kapacitet att implementera AI.

Det ger Scholars en bredare väg ut på marknaden. Basu sade att iMerit breddar sin verksamhet från utveckling av frontiermodeller till arbetsflöden inom bank, hälso- och sjukvård samt försäkring, där domänanpassning, tillit och säkerhet påverkar om AI kan fungera framgångsrikt i produktion.

Den nya plattformen fastställer inte i sig att en modell är tillförlitlig i alla specialiserade sammanhang. Den hanterar en mer konkret förutsättning: att organisera de människor, verktyg och den återkoppling som behövs för att testa ett system mot kraven i det aktuella sammanhanget. I takt med att AI får en allt större roll i professionella arbetsflöden blir förmågan att hitta rätt expert, fånga upp användbara korrigeringar och föra tillbaka den kunskapen till utvecklingen en allt viktigare del av teknikstacken.