iMerit lancia la piattaforma Scholars per ampliare la formazione e la valutazione dell’IA guidate da esperti

Un modello può fornire una spiegazione medica convincente o rispondere con disinvoltura a un problema di matematica e, allo stesso tempo, commettere un errore che solo uno specialista saprebbe riconoscere. È proprio questa esigenza di competenze specialistiche alla base del lancio di iMerit della piattaforma Scholars di iMerit, un sistema progettato per organizzare le persone che addestrano, valutano e mettono alla prova i modelli avanzati di IA.

La società, controllata da EXL, ha annunciato il lancio il 26 ottobre, riunendo in un’unica piattaforma il reclutamento, l’inserimento, l’abbinamento con gli esperti, l’assegnazione dei progetti, il coinvolgimento e i pagamenti. Secondo l’annuncio, il programma Scholars già esistente comprende oltre 30.000 professionisti invitati e selezionati, distribuiti in 118 paesi e con competenze in 106 lingue.

La piattaforma è progettata per gestire centinaia di migliaia di esperti con l’aumentare della domanda. Si tratta di un’indicazione della scala operativa prevista, distinta dalle dimensioni attuali della comunità dichiarate. L’obiettivo immediato è rendere più semplice coordinare il contributo umano specializzato durante tutto il ciclo di sviluppo e distribuzione dei modelli.

Creare la forza lavoro che rende possibili i miglioramenti dei modelli

La comunità Scholars comprende esperti di medicina, matematica, agricoltura, linguistica, sistemi autonomi e altri settori specialistici. Questi professionisti contribuiscono alla messa a punto supervisionata, alla valutazione dei modelli, alle attività di red teaming e all’apprendimento per rinforzo dal feedback umano, comunemente chiamato RLHF.

Queste attività richiedono forme diverse di giudizio. La messa a punto può richiedere un esempio costruito con cura della risposta che un modello dovrebbe fornire. La valutazione verifica se un risultato soddisfa criteri definiti. Il red teaming mette intenzionalmente alla prova un sistema per individuarne i malfunzionamenti, mentre il feedback umano può fornire preferenze e correzioni utili per l’addestramento successivo.

Abbinare la persona giusta all’attività è quindi importante quanto ampliare il bacino di esperti. Un medico con competenze in una specialità circoscritta può individuare un errore grave che sfugge a un revisore con conoscenze più ampie. Un linguista può riconoscere un’ambiguità che scompare in una traduzione letterale.

La nuova piattaforma abbina i progetti alle competenze specialistiche e alle capacità cognitive, fornendo al contempo l’infrastruttura amministrativa necessaria per mantenere il coinvolgimento degli esperti. iMerit descrive l’obiettivo come la creazione di un rapporto continuativo con specialisti che acquisiscono familiarità con il lavoro e partecipano ai cicli di feedback.

«Abbiamo bisogno di persone abbastanza competenti non solo da insegnare ai modelli, ma anche da dimostrare che sbagliano e correggerli», ha dichiarato Radha Basu, vicepresidente esecutiva e responsabile di iMerit presso EXL.

Ango Hub collega il giudizio degli esperti ai dati di addestramento

La tecnologia operativa alla base della piattaforma Scholars è Ango Hub, la piattaforma di iMerit per l’annotazione dei dati e la valutazione dei modelli. Il suo compito è trasformare il lavoro degli esperti in materiali organizzati e verificabili, che possano essere inseriti in un flusso di addestramento o di valutazione.

La documentazione esistente del prodotto Ango Hub descrive flussi di lavoro configurabili, la possibilità di assegnare più annotatori a un elemento, attività di riferimento e strumenti per consentire ai revisori di accettare, rifiutare o correggere le etichette. Le linee guida del progetto e un sistema di gestione dei problemi aiutano i revisori a risolvere eventuali dubbi, mentre i controlli di accesso basati sui ruoli stabiliscono chi può lavorare con determinati dati.

La piattaforma supporta diverse modalità, tra cui immagini, video, audio, testo, PDF e dati medici DICOM. Questa ampiezza è rilevante perché lo sviluppo dei modelli integra sempre più spesso il linguaggio con informazioni visive, cliniche o relative al mondo fisico. L’interfaccia e il processo di revisione devono essere adeguati ai materiali esaminati dagli esperti.

È utile distinguere le due piattaforme: Scholars coordina la forza lavoro degli esperti e il loro rapporto con i progetti, mentre Ango Hub fornisce gli strumenti e i flussi di lavoro che trasformano i contributi degli esperti in dati utilizzabili per l’IA.

Dalla correzione delle risposte alla valutazione di interi flussi di lavoro degli agenti

Il Deep Reasoning Lab di iMerit offre una visione più dettagliata di questo processo. L’azienda spiega che gli esperti progettano scenari articolati in più passaggi, esaminano i risultati dei modelli, classificano gli errori e forniscono correzioni corredate di spiegazioni. Questi esempi strutturati possono aiutare gli sviluppatori a individuare i punti in cui una risposta è errata e a creare materiale di addestramento mirato.

Queste tracce di ragionamento sono materiali curati, creati e revisionati per un’attività specifica. Non si deve presumere che rivelino tutti i calcoli interni che hanno prodotto la risposta di un modello. Il loro valore pratico consiste nel rendere il percorso di valutazione e le relative correzioni abbastanza espliciti da poter essere esaminati e riutilizzati.

Il servizio di valutazione degli agenti dell’azienda estende la revisione oltre la risposta finale, includendo le fasi di pianificazione, le chiamate agli strumenti, gli stati intermedi e i risultati. L’azienda descrive l’uso di rubriche strutturate e valutazioni da parte di esperti per esaminare aspetti come il completamento delle attività, la scelta degli strumenti, l’aderenza alle fonti e i limiti delle policy.

Questo aspetto diventa importante quando l’IA può agire. Un agente può produrre un riepilogo ben scritto pur utilizzando lo strumento sbagliato o lasciando incompiuta l’attività sottostante. Esaminare la sequenza delle azioni permette agli specialisti di individuare questi problemi e fornire agli sviluppatori feedback strutturati.

Pagamenti e continuità dei progetti diventano parte dell’infrastruttura

Il lancio integra anche Trolley per effettuare pagamenti in tutto il mondo. iMerit afferma che l’integrazione supporta pagamenti sicuri e procedure di conformità per la sua comunità internazionale di esperti.

Le operazioni di pagamento possono sembrare lontane dalle prestazioni dei modelli, ma incidono sulla possibilità che uno specialista possa partecipare con continuità. Quando un progetto coinvolge esperti di molti Paesi, il reclutamento, l’inserimento, l’accesso alle attività e la retribuzione diventano tutti aspetti operativi da cui dipende il progetto.

La piattaforma riunisce queste funzioni con l’abbinamento e il coinvolgimento, anziché lasciare che ogni team di progetto debba organizzarle separatamente. Per i clienti, il vantaggio previsto è una forza lavoro e un processo di revisione più coerenti; per gli esperti, un percorso più chiaro dall’ingresso nel progetto al completamento del lavoro e alla ricezione del pagamento.

«Non vi limitate ad annotare i dati: contribuite a plasmare il modo in cui questi sistemi ragionano e si comportano nel vostro campo», ha dichiarato nell’annuncio Pavel Kopach, M.D., specialista in anatomia patologica presso il Beth Israel Deaconess Medical Center e Scholar di iMerit nell’ambito dell’IA sanitaria.

EXL porta il contesto delle implementazioni aziendali

Il lancio segue il completamento dell’acquisizione di iMerit da parte di EXL, annunciato il 3 agosto. EXL ha presentato l’operazione come un’unione tra le competenze nella formazione e nella valutazione dei modelli e i propri dati aziendali, il contesto operativo e le capacità di implementazione dell’IA.

Questo offre agli Scholars un accesso più ampio al mercato. Basu ha dichiarato che iMerit sta estendendo la propria attività dallo sviluppo di modelli di frontiera ai flussi di lavoro nei settori bancario, sanitario e assicurativo, dove la personalizzazione per dominio, la fiducia e la sicurezza influiscono sulla possibilità di utilizzare con successo l’IA in produzione.

La nuova piattaforma, di per sé, non dimostra che un modello sia affidabile in ogni contesto specialistico. Risponde a un’esigenza preliminare più concreta: organizzare le persone, gli strumenti e i riscontri necessari per verificare un sistema rispetto alle esigenze di quel contesto. Man mano che l’IA si integra sempre più nei flussi di lavoro professionali, la capacità di trovare l’esperto giusto, raccogliere una correzione utile e riportare queste conoscenze nel processo di sviluppo diventa una componente sempre più importante dell’infrastruttura tecnologica.