Ali Ansari, fondator și director general al micro1 – Seria de interviuri

Ali Ansari este fondatorul și directorul general al micro1, unde se concentrează pe transformarea expertizei umane în date de antrenare și evaluări pentru sisteme AI avansate. Parcursul său antreprenorial include înființarea unei agenții de dezvoltare software și fondarea peerlinc, înainte de lansarea micro1 în 2022. A studiat informatica la UC Berkeley și Stanford, cu accent pe învățarea prin consolidare, iar acum lucrează la sistemele necesare pentru a găsi, evalua și coordona contribuțiile experților la dezvoltarea AI.

micro1 este un laborator de date care contribuie la antrenarea modelelor AI de frontieră și la evaluarea agenților AI, folosind contribuția experților umani și medii de lucru realiste. Platforma sa reunește recrutarea specialiștilor, producția de date, verificarea calității și evaluarea modelelor în domenii precum dreptul, sănătatea, finanțele, ingineria și știința. În acest interviu, Ansari vorbește despre motivele pentru care cererea de expertiză umană este în creștere, despre felul în care datele operaționale susțin învățarea prin consolidare și despre oportunitățile de carieră care apar în domeniul antrenării și evaluării AI.

Ați fondat micro1 în 2022, după ce ați înființat și vândut peerlinc. Ce problemă încercați inițial să rezolvați și cum a evoluat micro1, devenind o companie axată pe antrenarea și evaluarea modelelor AI de frontieră?

Inițial, era o problemă cu care mă confruntam în propria afacere. Conduceam o agenție de dezvoltare software, iar fiecare proiect nou însemna să găsesc și să intervievez mai mulți ingineri. Îmi petreceam o mare parte din timp cu asta. Așa că am construit un intervievator bazat pe AI, Zara, care să mă ajute, iar acesta a devenit, în cele din urmă, micro1.

Am început prin a vinde software de recrutare și a construi o platformă de talente verificate. Apoi, un client a venit la noi având nevoie de sute de ingineri pentru antrenarea modelelor AI. Am început să cercetăm de ce avea nevoie de atât de mulți oameni și ne-am dat seama că, în spatele dezvoltării modelelor, exista o cerere uriașă de expertiză umană.

Petrecuserăm deja ani de zile dezvoltând capacitatea de a găsi și evalua oameni la scară largă. Datele furnizate de oameni reprezentau o utilizare foarte valoroasă a acestei infrastructuri. Așa că ne-am dedicat pe deplin acestui domeniu, ne-am folosit recrutorul bazat pe AI pentru a găsi și evalua experți și am construit în jurul lui alte platforme de date și sisteme de control al calității. Astăzi, ajutăm laboratoarele să transforme această expertiză în capacități mai bune ale modelelor.

Ați susținut că, pe măsură ce modelele AI devin mai capabile, cererea de expertiză umană crește, în loc să dispară. Ce determină această relație?

Se întâmplă câteva lucruri. În primul rând, pe măsură ce modelele se îmbunătățesc, le cerem să facă lucruri mai dificile. Un model care poate răspunde la o întrebare este util. Un model care poate gestiona un flux de lucru complet este mult mai util, însă pentru a ajunge acolo este nevoie de mult mai multă contribuție din partea experților.

În al doilea rând, oamenii creează în continuare activități noi. Dacă un avocat poate folosi AI pentru o mare parte din sarcinile care îi ocupă ziua, are mai mult timp să abordeze probleme mai nuanțate sau să dezvolte un serviciu nou pentru clienți. Aceste funcții complet noi devin, la rândul lor, lucruri pe care vrem să le distilăm în modele. La asta ne referim când spunem că „nu există o ultimă etapă”. Munca evoluează încontinuu.

Datele sintetice fac lucrurile și mai interesante. Le poți folosi pentru a extinde sarcinile și feedbackul create de experți, ceea ce sporește utilitatea contribuției umane inițiale. Cred că această combinație explică de ce cererea de expertiză umană continuă să crească odată cu capacitățile modelelor.

micro1 colaborează cu experți în domenii precum dreptul, sănătatea, finanțele, ingineria și știința. Ce pot aduce acești profesioniști sistemelor AI, lucruri care nu pot fi învățate pur și simplu din datele online existente?

O mare parte din ceea ce face ca un medic, un avocat sau un inginer să fie foarte bun ține de discernământul pe care l-a dobândit practicându-și meseria. O parte din acesta este documentată, dar, de multe ori, se manifestă în felul în care gestionează un caz neobișnuit, identifică informațiile care lipsesc sau decide ce detaliu contează cu adevărat.

Acest lucru este extrem de valoros pentru antrenarea modelelor. Un expert poate crea o sarcină dificilă, poate explica cum ar trebui să arate un rezultat bun și poate identifica exact unde nu se ridică un model la nivelul așteptărilor. Un răspuns poate suna foarte convingător și, totuși, poate să nu surprindă aspectul care contează cel mai mult pentru cineva care practică acea meserie.

Avem nevoie de experți pentru a face aceste distincții. Avem nevoie și de perspective multiple și de un proces riguros de verificare, deoarece judecata unei singure persoane nu poate acoperi toate cazurile. Scopul este să transformăm această experiență într-un semnal din care modelul să poată învăța. În plus, fiecare domeniu cuprinde o cantitate uriașă de nuanțe. De exemplu, expertiza juridică nu este unitară: diferă în funcție de aria de practică, de stat sau de jurisdicție și de sistemele juridice ale diferitelor țări. Fiecare nivel necesită cunoștințe și discernământ mai specializate. Aceeași profunzime se regăsește în fiecare domeniu și în numeroasele sale subdomenii, motiv pentru care avem nevoie de experți care înțeleg ce înseamnă aceste distincții în practică.

Pe măsură ce industria acordă tot mai multă atenție etapelor de post-antrenare, învățării prin consolidare și evaluării, unde vedeți astăzi cele mai mari blocaje în îmbunătățirea modelelor AI de frontieră?

Cred că accesul la date realiste este unul dintre cele mai mari blocaje. Companiile au petrecut ani de zile rezolvând probleme, luând decizii și gestionând situații excepționale, iar această experiență este consemnată în documentele, sistemele și fluxurile lor de lucru. Este extrem de valoroasă dacă vrei ca un model să învețe să desfășoare activități reale.

De aceea am creat programul nostru Company Data Partnerships, sau CDP. Plătim companiile pentru a ne acorda licențe de utilizare a datelor lor operaționale. Acestea pot include documentație internă, istoricul proiectelor, înregistrări CRM și procesele pe care le urmează angajații pentru a-și duce munca la bun sfârșit. Pentru seturi de date valoroase ale companiilor, plătim peste 2 milioane de dolari, suma depinzând de date și de parteneriat.

Folosim aceste materiale pentru a crea medii realiste de antrenare și evaluare. Gândiți-vă la rezolvarea unei probleme a unui client: ar putea fi nevoie să consultați istoricul contului, să găsiți politica relevantă și să stabiliți ce măsură trebuie luată. Un mediu construit în jurul acestui flux de lucru oferă unui model un spațiu în care să exerseze acești pași. Experții definesc sarcina și modul de evaluare a reușitei îndeplinirii ei. Acest feedback face ca mediul să fie util pentru învățarea prin consolidare.

Companiile își păstrează dreptul de proprietate asupra datelor de bază. Stabilim de comun acord domeniul de utilizare și cerințele privind gestionarea acestora, inclusiv măsurile de protecție a confidențialității, apoi pregătim datele pentru utilizarea preconizată.

Valoarea constă în experiența reflectată de aceste înregistrări. CDP le oferă companiilor o modalitate de a obține venituri din această experiență, ajutând totodată modelele să învețe să funcționeze în contexte mult mai realiste.

Ce forme de judecată sau expertiză umană credeți că vor rămâne deosebit de dificil de reprodus pentru sistemele de inteligență artificială, chiar și pe măsură ce modelele devin mult mai capabile?

Cred că gustul și creativitatea umană sunt domenii în care modelele vor întâmpina dificultăți deosebite. Motivul ține de felul în care creăm datele de antrenare.

În cazul multor sarcini, putem reuni experți și îi putem ajuta să ajungă la un acord asupra a ceea ce înseamnă un rezultat bun. Astfel obținem un semnal util pentru antrenare. Însă, dacă îi întrebați pe oameni ce face ca o imagine să fie grozavă, un film să fie remarcabil sau un design să fie captivant, cu cât discută mai mult, cu atât opiniile lor pot să se îndepărteze mai mult unele de altele. Nu există întotdeauna un singur răspuns asupra căruia să se poată ajunge la un acord.

Inteligența artificială poate deveni totuși foarte utilă în aceste domenii. Dar decizia cu privire la ce vreți să creați, cui îi este destinat și dacă rezonează cu adevărat presupune multă judecată umană. Cred că această judecată devine și mai importantă pe măsură ce instrumentele facilitează producerea de lucruri.

Observați că tot mai mulți profesioniști consideră antrenarea și evaluarea inteligenței artificiale o activitate profesională în toată regula, nu o ocupație secundară. S-ar putea dezvolta aceasta într-o categorie cu totul nouă de locuri de muncă și cum ar putea arăta carierele din acest domeniu?

Cu siguranță. Acesta este deja un nou domeniu de activitate, cu o valoare de mai multe miliarde de dolari. Avem experți care își folosesc cunoștințele dobândite de-a lungul carierei pentru a contribui la antrenarea și evaluarea inteligenței artificiale. Pentru unii, aceasta devine o parte importantă a vieții profesionale.

Munca în sine poate fi foarte complexă. Un avocat ar putea crea un scenariu dificil și ar putea defini modul de evaluare a răspunsului modelului. Un inginer ar putea concepe o sarcină care să conducă un agent printr-un flux de lucru software complet. Apoi, sunt cei care verifică datele, îmbunătățesc criteriile de evaluare și coordonează echipe de experți. Această muncă le poate oferi, de asemenea, mai mult timp pentru a se concentra asupra lucrurilor care i-au atras inițial către domeniul lor. În majoritatea locurilor de muncă, o mare parte din timp este dedicată sarcinilor administrative și obligațiilor care nu țin de activitățile pe care oamenii le consideră cele mai importante. Antrenarea inteligenței artificiale în domeniul lor le poate pune expertiza în centrul activității: abordarea unor probleme dificile, aplicarea judecății proprii și împărtășirea lecțiilor învățate din experiență. Este o ocazie de a petrece mai mult timp făcând lucrurile care le plac și la care se pricep cel mai bine, contribuind totodată la definirea modului în care inteligența artificială abordează acea activitate.

Cred că vom vedea cum se conturează trasee profesionale reale în jurul tuturor acestor activități. Poți deveni foarte bun la transformarea expertizei din domeniul tău în date de antrenare sau la gestionarea unei conducte de date și identificarea domeniilor în care modelele au nevoie de ajutor. Acestea sunt competențe valoroase, iar noi abia începem să ne dăm seama cum vor arăta toate aceste roluri.

Pe măsură ce companiile recrutează medici, avocați, ingineri, oameni de știință și alți specialiști pentru a îmbunătăți modelele de inteligență artificială, cum verificați expertiza acestora și vă asigurați că datele de antrenare rezultate sunt corecte și consecvente?

Am construit un sistem complet în jurul acestui proces. Totul începe cu Zara, recrutorul nostru bazat pe inteligență artificială, care ne ajută să găsim și să verificăm experți cu competențele necesare pentru un proiect. Apoi, instrumentul nostru Merit ne ajută să urmărim în timp calitatea, viteza și fiabilitatea contribuțiilor lor. Trebuie să înțelegi atât expertiza unei persoane, cât și modul în care aceasta se reflectă în datele pe care le produce.

Platforma noastră flow reunește munca experților și modelele pe care le-am construit pentru a sprijini generarea și verificarea datelor. Experții definesc sarcinile și caracteristicile unui rezultat bun. Apoi, flow gen extinde punctul de plecare, generând exemple și variante noi. flow qc verifică datele pentru a depista probleme precum lipsa dovezilor sau neconcordanțele dintre o sarcină și criteriile de notare a acesteia. Iar flow grader evaluează performanța modelului în raport cu acele criterii.

Important este ce se întâmplă atunci când un expert depistează o greșeală. Corectarea acesteia poate îmbunătăți datele de antrenare, dar ne poate ajuta și să îmbunătățim generatoarele și verificările de calitate. Putem transforma greșelile care se repetă în teste pentru versiunea următoare.

Aceasta este bucla de accelerare a datelor sintetice pe care o construim. Expertiza umană ne oferă punctul de pornire și discernământul. Instrumentele noastre ne ajută să extindem procesul, iar feedbackul experților contribuie la îmbunătățirea ciclului următor. Apoi verificăm dacă aceste schimbări duc într-adevăr la o performanță mai bună a modelului. Asta dă valoare întregului proces.

Agenții IA trebuie tot mai des să îndeplinească sarcini complexe, în mai mulți pași, în loc să genereze pur și simplu răspunsuri. Prin ce diferă antrenarea și evaluarea acestor sisteme de activitatea necesară pentru a îmbunătăți modelele lingvistice mari tradiționale?

Marea diferență constă în durata sarcinii. Un agent poate fi nevoit să întreprindă numeroase acțiuni cu ajutorul unor instrumente diferite înainte de a ajunge la un rezultat util. Poate parcurge bine primii câțiva pași și totuși să nu ducă sarcina la bun sfârșit, deoarece erorile se acumulează.

Așadar, avem nevoie de medii în care modelul să poată exersa întregul flux de lucru și de evaluări care să ne arate unde se împotmolește. A găsit informațiile potrivite? A folosit corect instrumentul? A ajuns efectiv la rezultatul dorit?

Apoi, contează și contextul companiei în sine. Un agent care lucrează în cadrul unei companii trebuie să-i înțeleagă procesele și așteptările. Capacitățile generale te pot duce doar până la un punct.

Aici devin cu adevărat importanți experții în domeniu. Ei ne ajută să identificăm cauzele eșecurilor și să creăm datele necesare pentru a le remedia. Evaluezi, identifici lacunele, antrenezi modelul pentru a le acoperi și evaluezi din nou. Procesul continuă pe măsură ce agentul preia mai multe sarcini.

Pe măsură ce modelele de ultimă generație devin mai capabile, cum se schimbă tipul de date generate de oameni de care au nevoie și ce forme de expertiză sau evaluare credeți că vor deveni mult mai valoroase în următorii câțiva ani?

Două aspecte devin tot mai importante: durata sarcinii și măsura în care aceasta reflectă lumea reală. Pe măsură ce modelele se îmbunătățesc, datele de antrenare utile se concentrează tot mai mult pe fluxuri de lucru complexe, cu mai multe decizii, mai mult context și mai multe ocazii de a greși.

Astfel, expertiza operațională devine foarte valoroasă. Cineva care a petrecut ani întregi într-o anumită profesie înțelege excepțiile și dependențele care pot fi ușor trecute cu vederea atunci când proiectezi o sarcină din exterior. De asemenea, acea persoană îți poate spune dacă rezultatul unui agent ar funcționa cu adevărat în cadrul companiei.

Cred că, în timp, evaluarea sistemelor pentru companii va deveni o piață uriașă, care ar putea ajunge la 1.000 de miliarde de dolari pe an. Fiecare companie care implementează agenți va trebui să înțeleagă unde funcționează aceștia, unde dau greș și cum pot fi îmbunătățiți. Cei care își pot transforma cunoștințele în evaluări utile vor avea un rol esențial în acest sens. Nevoia va persista, deoarece companiile, modelele și activitatea se schimbă în permanență.

Unii profesioniști ar putea contribui, în esență, la antrenarea sistemelor IA pentru a prelua o parte din propriile sarcini. Cum priviți această tensiune și cum credeți că va arăta relația dintre expertiza umană și IA în următorii trei până la cinci ani?

Cred că subestimăm cât de multă muncă nouă vor crea oamenii atunci când vor avea la dispoziție aceste instrumente.

Să luăm recrutarea. Dacă un agent poate prelua o parte mai mare din etapa inițială de selecție, recrutorul poate petrece mai mult timp construind relații cu candidații sau găsind modalități de a atrage persoane la care compania nu putea ajunge înainte. Rolul său se schimbă, iar recrutorul poate face mai multe în același interval de timp.

Mă aștept să se întâmple ceva similar în multe profesii. În următorii trei până la cinci ani, agenții vor deveni tot mai mult colegi de lucru pe care oamenii îi coordonează, cărora le oferă context și pe care îi evaluează. Pe măsură ce se întâmplă acest lucru, oamenii își vor asuma responsabilități noi.

De aceea sunt optimist. Vedem deja cum apar noi activități în domeniul antrenării și evaluării IA și cred că vor urma multe altele, pe măsură ce oamenii descoperă ce pot construi și realiza cu ajutorul acesteia.

Vă mulțumesc pentru interviul excelent; cititorii care doresc să afle mai multe despre datele de antrenare coordonate de experți, evaluarea IA și oportunitățile de a contribui cu propriile cunoștințe de specialitate pot vizita micro1.