iMerit lansează platforma Scholars pentru a extinde formarea și evaluarea modelelor de inteligență artificială coordonate de experți

Un model poate genera o explicație medicală convingătoare sau un răspuns fluent la o problemă de matematică și, totuși, poate face o greșeală pe care numai un specialist o va observa. Nevoia de judecată expertă stă la baza lansării de către iMerit a platformei Scholars de la iMerit, un sistem conceput pentru a organiza persoanele care antrenează, evaluează și testează modele avansate de inteligență artificială.

Compania deținută de EXL a anunțat lansarea pe 26 octombrie, reunind recrutarea, integrarea, potrivirea experților cu proiectele, repartizarea proiectelor, implicarea și plățile într-o singură platformă. Potrivit anunțului, programul Scholars existent numără peste 30.000 de profesioniști invitați și verificați, din 118 țări și vorbitori a 106 limbi.

Platforma este concepută pentru a gestiona sute de mii de experți pe măsură ce cererea crește. Această afirmație se referă la amploarea operațională urmărită și este distinctă de dimensiunea actuală raportată a comunității. Obiectivul imediat este facilitarea coordonării contribuției umane specializate pe parcursul întregului ciclu de dezvoltare și implementare a modelelor.

Dezvoltarea forței de muncă din spatele îmbunătățirii modelelor

Comunitatea Scholars reunește specialiști din medicină, matematică, agricultură, lingvistică, sisteme autonome și alte domenii specializate. Acești experți contribuie la ajustarea fină supravegheată, evaluarea modelelor, testarea adversarială și învățarea prin consolidare din feedback uman, cunoscută în mod obișnuit sub acronimul RLHF.

Aceste activități necesită tipuri diferite de judecată. Ajustarea fină poate presupune elaborarea atentă a unui exemplu de răspuns pe care ar trebui să-l dea modelul. Evaluarea urmărește să stabilească dacă un rezultat îndeplinește criteriile definite. Testarea adversarială pune în mod deliberat la încercare un sistem pentru a-i descoperi deficiențele, în timp ce feedbackul uman poate furniza preferințe și corecturi care să informeze antrenarea ulterioară.

Prin urmare, potrivirea persoanei potrivite cu sarcina contează la fel de mult ca extinderea grupului de experți. Un medic familiarizat cu o specializare restrânsă poate observa o eroare importantă pe care un evaluator cu cunoștințe generale vaste nu o sesizează. Un lingvist poate identifica o ambiguitate care dispare într-o traducere literală.

Noua platformă asociază proiectele cu specializările și aptitudinile cognitive relevante, oferind totodată infrastructura administrativă necesară pentru a menține implicarea experților. iMerit descrie obiectivul ca fiind dezvoltarea unei relații continue cu specialiști care se familiarizează cu activitatea și participă la cicluri de feedback.

„Avem nevoie de oameni suficient de bine pregătiți nu doar pentru a învăța modelele, ci și pentru a le demonstra că greșesc și a le corecta”, a declarat Radha Basu, vicepreședintă executivă și directoare a iMerit la EXL.

Ango Hub conectează judecata experților cu datele de antrenare

Tehnologia operațională care susține platforma Scholars este Ango Hub, platforma iMerit pentru adnotarea datelor și evaluarea modelelor. Rolul său este de a transforma munca experților în rezultate organizate și verificabile, care pot fi integrate într-un flux de antrenare sau de evaluare.

Documentația existentă a produsului Ango Hub descrie fluxuri de lucru configurabile, posibilitatea ca mai mulți adnotatori să lucreze la un element, sarcini-etalon și controale prin care evaluatorii pot accepta, respinge sau corecta etichetele. Ghidurile de proiect și un sistem de raportare a problemelor îi ajută pe evaluatori să clarifice întrebările, iar controalele de acces bazate pe roluri stabilesc cine poate lucra cu anumite date.

Platforma acceptă mai multe tipuri de conținut, inclusiv imagini, videoclipuri, materiale audio, text, PDF-uri și date medicale DICOM. Această varietate este relevantă deoarece dezvoltarea modelelor combină tot mai mult limbajul cu informații vizuale, clinice sau despre lumea fizică. Interfața și procesul de evaluare trebuie adaptate materialului examinat de expert.

Distincția dintre cele două platforme este utilă: Scholars coordonează comunitatea de experți și relația acesteia cu proiectele, în timp ce Ango Hub oferă instrumentele și fluxurile de lucru prin care contribuțiile experților devin date utilizabile de inteligența artificială.

De la corectarea răspunsurilor la evaluarea fluxurilor de lucru complete ale agenților

Laboratorul Deep Reasoning Lab al iMerit oferă o perspectivă mai detaliată asupra acestui proces. Compania descrie modul în care experții proiectează scenarii cu mai mulți pași, analizează rezultatele modelelor, clasifică erorile și furnizează corecturi însoțite de explicații. Aceste exemple structurate îi pot ajuta pe dezvoltatori să identifice unde greșește un răspuns și să creeze materiale de antrenare specifice.

Astfel de urme de raționament sunt artefacte atent selectate, create și revizuite pentru o anumită sarcină. Nu trebuie presupus că ele dezvăluie fiecare operație internă care a dus la răspunsul unui model. Valoarea lor practică constă în faptul că fac traseul evaluării și corecturile aferente suficient de explicite pentru a putea fi analizate și reutilizate.

Serviciul de evaluare a agenților al companiei extinde analiza dincolo de răspunsul final, incluzând pașii de planificare, apelurile către instrumente, stările intermediare și rezultatele. Acesta include grile de evaluare structurate și arbitrajul experților pentru aspecte precum finalizarea sarcinii, alegerea instrumentelor, fundamentarea răspunsurilor și respectarea limitelor politicilor.

Acest lucru devine important atunci când inteligența artificială poate acționa. Un agent poate genera un rezumat bine formulat, dar poate folosi instrumentul greșit sau poate lăsa sarcina propriu-zisă nefinalizată. Analizarea succesiunii acțiunilor le oferă specialiștilor o modalitate de a identifica aceste deficiențe și de a transmite dezvoltatorilor feedback structurat.

Plățile și continuitatea proiectelor devin parte a infrastructurii

Lansarea integrează și Trolley pentru plăți la nivel global. iMerit afirmă că integrarea susține plățile securizate și procesele de conformitate pentru comunitatea sa internațională de experți.

Operațiunile de plată pot părea deconectate de performanța modelului, însă influențează capacitatea unui specialist de a participa în mod constant. Recrutarea, integrarea, accesul la sarcini și remunerarea devin toate dependențe operaționale atunci când un proiect se bazează pe experți din numeroase țări.

Platforma reunește aceste funcții cu potrivirea experților și implicarea lor, în loc să lase fiecare echipă de proiect să le organizeze separat. Pentru clienți, beneficiul urmărit este o forță de muncă și un proces de evaluare mai uniforme; pentru experți, este un parcurs mai clar de la înscrierea într-un proiect până la finalizarea activității și primirea plății.

„Nu doar etichetați date, ci contribuiți la modelarea modului în care aceste sisteme raționează și se comportă în domeniul dumneavoastră”, a declarat Pavel Kopach, M.D., medic anatomopatolog la Beth Israel Deaconess Medical Center și expert iMerit în domeniul inteligenței artificiale aplicate sănătății, în anunț.

EXL aduce perspectiva implementării în companii

Lansarea vine după finalizarea de către EXL a achiziției iMerit, anunțată pe 3 august. EXL a prezentat această asociere ca pe o modalitate de a combina expertiza în antrenarea și evaluarea modelelor cu datele, contextul operațional și capacitățile sale de implementare a inteligenței artificiale în companii.

Astfel, se deschide o cale mai amplă de acces pe piață pentru Scholars. Basu a declarat că iMerit își extinde activitatea de la dezvoltarea modelelor de ultimă generație către fluxurile de lucru din domeniul bancar, al sănătății și al asigurărilor, unde personalizarea în funcție de domeniu, încrederea și siguranța influențează capacitatea inteligenței artificiale de a funcționa cu succes în mediul de producție.

Noua platformă nu demonstrează, prin ea însăși, că un model este fiabil în orice mediu specializat. Ea răspunde unei cerințe preliminare mai concrete: organizarea oamenilor, a instrumentelor și a feedbackului necesare pentru a testa un sistem în raport cu cerințele mediului respectiv. Pe măsură ce inteligența artificială pătrunde tot mai mult în fluxurile de lucru profesionale, capacitatea de a găsi expertul potrivit, de a capta o corecție utilă și de a readuce aceste cunoștințe în procesul de dezvoltare devine o componentă tot mai importantă a infrastructurii tehnologice.