Ali Ansari, fondatore e CEO di micro1 – Serie di interviste

Ali Ansari è il fondatore e CEO di micro1, dove si occupa di trasformare le competenze umane in dati di addestramento e valutazioni per sistemi di IA avanzati. Il suo percorso imprenditoriale comprende la creazione di un’agenzia di sviluppo software e la fondazione di peerlinc, prima del lancio di micro1 nel 2022. Ha studiato informatica alla UC Berkeley e a Stanford, concentrandosi sull’apprendimento per rinforzo, e oggi lavora alla realizzazione dei sistemi necessari per reperire, valutare e coordinare i contributi di esperti allo sviluppo dell’IA.

micro1 è un laboratorio di dati che contribuisce all’addestramento dei modelli di IA più avanzati e alla valutazione degli agenti di IA, avvalendosi del contributo di esperti umani e di ambienti di lavoro realistici. La sua piattaforma integra il reclutamento di specialisti, la produzione di dati, il controllo della qualità e la valutazione dei modelli in settori quali diritto, sanità, finanza, ingegneria e scienze. In questa intervista, Ansari spiega perché la domanda di competenze umane è in crescita, in che modo i dati operativi supportano l’apprendimento per rinforzo e quali opportunità professionali stanno emergendo nell’ambito dell’addestramento e della valutazione dell’IA.

Nel 2022 hai fondato micro1, dopo aver creato e venduto peerlinc. Quale problema cercavi inizialmente di risolvere e come si è evoluta micro1 fino a diventare un’azienda specializzata nell’addestramento e nella valutazione dei modelli di IA più avanzati?

All’inizio, era un problema che avevo nella mia azienda. Gestivo un’agenzia di sviluppo software e ogni nuovo progetto comportava la ricerca e il colloquio di altri ingegneri. Ci dedicavo una parte enorme del mio tempo. Per questo abbiamo creato un intervistatore basato sull’IA, Zara, per semplificare il processo; da lì, alla fine, è nata micro1.

Abbiamo iniziato vendendo il software per il reclutamento e creando un mercato di professionisti selezionati. Poi si è rivolto a noi un cliente che aveva bisogno di centinaia di ingegneri per addestrare modelli di IA. Abbiamo cercato di capire perché gli servissero così tante persone e ci siamo resi conto che, dietro allo sviluppo dei modelli, c’era un’enorme domanda di competenze umane.

Avevamo già trascorso anni a sviluppare la capacità di reperire e selezionare persone su vasta scala. I dati prodotti da persone esperte rappresentavano un’applicazione molto efficace di quell’infrastruttura. Così ci siamo dedicati completamente a questo ambito: abbiamo usato il nostro strumento di reclutamento basato sull’IA per reperire e selezionare professionisti esperti, e abbiamo sviluppato altre piattaforme per i dati e sistemi di controllo della qualità. Oggi aiutiamo i laboratori a trasformare queste competenze in modelli più efficaci.

Hai sostenuto che, man mano che i modelli di IA diventano più capaci, la domanda di competenze umane cresce invece di scomparire. Quali fattori determinano questo rapporto?

Succedono un paio di cose. Primo, quando i modelli migliorano, chiediamo loro di svolgere compiti più difficili. Un modello capace di rispondere a una domanda è utile. Un modello in grado di gestire un intero flusso di lavoro è molto più utile, ma per arrivarci serve un contributo di esperti molto maggiore.

Secondo, gli esseri umani continuano a creare nuove attività. Se un avvocato può usare l’IA per svolgere gran parte del lavoro che occupa la sua giornata, ha più tempo per affrontare problemi più sfumati o sviluppare un nuovo servizio per i clienti. Queste nuove attività diventano a loro volta competenze che vogliamo trasferire anche ai modelli. È questo che intendiamo con «non esiste un ultimo miglio»: il lavoro continua a evolversi.

I dati sintetici rendono il quadro ancora più interessante. Si possono usare per ampliare le attività e i riscontri creati dagli esperti, aumentando così il valore del contributo umano iniziale. Credo che sia questa combinazione a far crescere la domanda di competenze umane di pari passo con le capacità dei modelli.

micro1 collabora con esperti di settore in ambiti quali diritto, sanità, finanza, ingegneria e scienze. Quale contributo possono offrire questi professionisti ai sistemi di IA che non si possa semplicemente ricavare dai dati online già disponibili?

Gran parte di ciò che rende un medico, un avvocato o un ingegnere bravo nel proprio lavoro è la capacità di giudizio maturata con l’esperienza. Una parte di queste conoscenze è documentata, ma spesso emerge nel modo in cui si gestisce un caso insolito, si riconoscono le informazioni mancanti o si decide quale dettaglio sia davvero importante.

Questo è estremamente prezioso per addestrare i modelli. Un esperto può creare un compito difficile, spiegare come dovrebbe essere un buon risultato e individuare esattamente i limiti del modello. Una risposta può sembrare molto convincente e tuttavia trascurare ciò che conta di più per chi svolge quel lavoro.

Abbiamo bisogno di esperti che sappiano cogliere queste distinzioni. Ci servono anche prospettive diverse e un solido processo di revisione, perché il giudizio di una sola persona non può tenere conto di ogni caso. L’obiettivo è trasformare questa esperienza in un segnale da cui il modello possa apprendere. Inoltre, ogni settore è caratterizzato da enormi sfumature. La competenza giuridica, per esempio, non è univoca: varia in base all’area di pratica, allo Stato o alla giurisdizione e ai sistemi giuridici dei diversi Paesi. Ogni livello richiede conoscenze e capacità di giudizio più specialistiche. La stessa profondità si ritrova in ogni ambito e nei suoi numerosi sottosettori: per questo ci servono esperti che capiscano il significato pratico di queste distinzioni.

Ora che il settore dedica sempre più attenzione al post-addestramento, all’apprendimento per rinforzo e alla valutazione, quali sono, secondo te, i principali ostacoli al miglioramento dei modelli di IA più avanzati?

Credo che l’accesso a dati realistici sia uno dei principali ostacoli. Le aziende hanno trascorso anni a risolvere problemi, prendere decisioni e gestire eccezioni, e questa esperienza è documentata nei loro documenti, sistemi e flussi di lavoro. È estremamente preziosa se si vuole insegnare a un modello a svolgere attività reali.

È per questo che abbiamo creato il programma Company Data Partnerships, o CDP. Paghiamo le aziende per ottenere in licenza i loro dati operativi. Questi possono includere documentazione interna, cronologie dei progetti, registrazioni CRM e i processi che le persone seguono per portare a termine il lavoro. Per i set di dati aziendali di valore paghiamo oltre 2 milioni di dollari; l’importo dipende dai dati e dalla partnership.

Utilizziamo questo materiale per creare ambienti realistici di addestramento e valutazione. Pensiamo alla risoluzione di un problema segnalato da un cliente: potrebbe essere necessario consultare la cronologia del suo account, individuare la policy pertinente e stabilire quale azione intraprendere. Un ambiente basato su questo flusso di lavoro offre a un modello uno spazio in cui esercitarsi a seguire questi passaggi. Gli esperti definiscono il compito e i criteri per valutare se è stato completato con successo. È questo riscontro a rendere l’ambiente utile per l’apprendimento per rinforzo.

Le aziende mantengono la proprietà dei dati di base. Concordiamo l’ambito e i requisiti per il trattamento, comprese le misure di tutela della privacy, e prepariamo i dati per l’uso previsto.

Il valore risiede nell’esperienza che questi dati documentano. CDP offre alle aziende un modo per generare ricavi da tale esperienza e, al tempo stesso, aiuta i modelli a imparare a operare in contesti molto più realistici.

Quali forme di giudizio o competenza umana ritieni che resteranno particolarmente difficili da replicare per i sistemi di IA, anche man mano che i modelli diventeranno molto più capaci?

Credo che il gusto e la creatività umani siano ambiti in cui i modelli faranno particolarmente fatica. Il motivo è legato al modo in cui creiamo i dati di addestramento.

Per molti compiti possiamo riunire gli esperti e portarli a concordare su cosa sia un buon risultato. Questo ci fornisce un segnale utile per l’addestramento. Ma se si chiede alle persone cosa renda eccellente un’immagine, un film o un progetto, più ne discutono, più le loro opinioni possono divergere. Non sempre esiste un’unica risposta su cui convergere.

L’IA può comunque diventare molto utile in questi ambiti. Ma decidere cosa si vuole creare, a chi è destinato e se riesce davvero a suscitare interesse richiede molto giudizio umano. Credo che questo giudizio diventi ancora più importante man mano che gli strumenti rendono più facile produrre contenuti.

Si vede sempre più spesso che i professionisti considerano l’addestramento e la valutazione dell’IA un vero lavoro professionale, anziché un’attività secondaria. Potrebbe nascere una categoria occupazionale completamente nuova? E come potrebbero essere queste professioni?

Assolutamente sì. È già una nuova categoria di lavoro dal valore di miliardi di dollari. Ci sono esperti che mettono a frutto le conoscenze maturate nel corso della loro carriera per contribuire all’addestramento e alla valutazione dell’IA. Per alcuni, questa attività sta diventando una parte consistente della vita lavorativa.

Il lavoro in sé può essere molto approfondito. Un avvocato potrebbe ideare uno scenario complesso e definire come valutare la risposta del modello. Un ingegnere potrebbe creare un compito che guidi un agente attraverso un intero flusso di lavoro software. Ci sono poi persone che esaminano i dati, migliorano i criteri di valutazione e guidano gruppi di esperti. Questo lavoro può anche offrire più spazio per concentrarsi su ciò che inizialmente ha attratto le persone verso il loro settore. Nella maggior parte dei lavori, molto tempo è dedicato a compiti amministrativi e obblighi estranei alle attività che le persone considerano più significative. Addestrare l’IA nel proprio ambito può mettere la loro competenza al centro del lavoro: affrontare problemi complessi, applicare il proprio giudizio e condividere ciò che l’esperienza ha insegnato loro. È un’opportunità per dedicare più tempo alle attività che stanno loro a cuore e che sanno svolgere meglio, contribuendo al contempo a plasmare il modo in cui l’IA affronta quel lavoro.

Credo che si svilupperanno veri e propri percorsi professionali in tutti questi ambiti. Si può diventare molto bravi a tradurre la propria competenza settoriale in dati di addestramento, oppure a gestire una pipeline di dati e capire dove i modelli hanno bisogno di aiuto. Sono competenze preziose e siamo ancora agli inizi nel capire quale forma assumeranno tutti questi ruoli.

Man mano che le aziende assumono medici, avvocati, ingegneri, scienziati e altri specialisti per migliorare i modelli di IA, come verificate le competenze e garantite che i dati di addestramento prodotti siano accurati e coerenti?

Abbiamo creato un intero sistema a questo scopo. Si parte da Zara, la nostra agente di selezione basata sull’IA, che ci aiuta a individuare e valutare gli esperti in base alle competenze richieste da un progetto. Poi il nostro strumento Merit ci aiuta a monitorare nel tempo la qualità, la rapidità e l’affidabilità dei loro contributi. È necessario comprendere sia la competenza di una persona, sia il modo in cui questa si riflette nei dati che produce.

La nostra piattaforma flow integra il lavoro degli esperti con i modelli che abbiamo sviluppato per supportare la generazione e la revisione dei dati. Gli esperti definiscono i compiti e le caratteristiche di un buon risultato. Poi flow gen amplia quel punto di partenza creando nuovi esempi e varianti. flow qc controlla che nei dati non ci siano problemi, come prove mancanti o discrepanze tra un compito e i relativi criteri di valutazione. Infine, flow grader valuta le prestazioni del modello rispetto a tali criteri.

L’aspetto fondamentale è ciò che accade quando un esperto individua un errore. La correzione può migliorare i dati di addestramento, ma può anche aiutarci a migliorare gli stessi sistemi di generazione e di controllo della qualità. Possiamo trasformare gli errori ricorrenti in test per la versione successiva.

È questo il circolo virtuoso dei dati sintetici che stiamo costruendo. L’esperienza umana ci fornisce il punto di partenza e la capacità di giudizio. I nostri strumenti ci aiutano a scalarlo e il feedback degli esperti contribuisce a migliorare il ciclo successivo. Poi verifichiamo se questi cambiamenti portano davvero a prestazioni migliori del modello. È questo che rende prezioso il ciclo.

Gli agenti di IA devono sempre più spesso svolgere attività complesse e articolate in più passaggi, anziché limitarsi a generare risposte. In che modo la formazione e la valutazione di questi sistemi differiscono dal lavoro necessario per migliorare i tradizionali modelli linguistici di grandi dimensioni?

La differenza principale è la durata dell’attività. Un agente potrebbe dover compiere molte azioni con strumenti diversi prima di arrivare a un risultato utile. Può svolgere bene i primi passaggi e comunque fallire nell’intero compito, perché gli errori si accumulano.

Perciò abbiamo bisogno di ambienti in cui il modello possa esercitarsi nell’intero flusso di lavoro e di valutazioni che ci indichino dove si blocca. Ha trovato le informazioni giuste? Ha usato correttamente lo strumento? È davvero arrivato al risultato desiderato?

C’è poi il contesto dell’azienda stessa. Un agente che opera all’interno di un’impresa deve comprenderne i processi e le aspettative. Le capacità generali, da sole, non bastano.

È qui che gli esperti del settore diventano davvero importanti. Ci aiutano a individuare le cause degli errori e a creare i dati necessari per correggerli. Si valuta il sistema, si individuano le lacune, lo si addestra per colmarle e poi lo si valuta di nuovo. Questo processo prosegue man mano che l’agente si assume più compiti.

Man mano che i modelli di frontiera diventano più capaci, come cambia il tipo di dati generati da esseri umani di cui hanno bisogno? E quali forme di competenza o valutazione ritiene che diventeranno molto più preziose nei prossimi anni?

Due aspetti diventano sempre più importanti: la durata del compito e quanto questo rispecchi il mondo reale. Con il miglioramento dei modelli, i dati di addestramento più utili riguardano flussi di lavoro complessi, con più decisioni, più contesto e più occasioni di commettere errori.

Questo rende molto preziosa l’esperienza operativa. Chi svolge un lavoro da anni conosce le eccezioni e le dipendenze che è facile trascurare quando si progetta un’attività dall’esterno. Può anche dirti se il risultato di un agente funzionerebbe davvero all’interno dell’azienda.

Penso che, col tempo, le valutazioni per le imprese diventeranno un mercato enorme, potenzialmente da un trilione di dollari all’anno. Ogni azienda che implementa agenti dovrà capire in quali ambiti funzionano, dove falliscono e come migliorarli. Le persone capaci di trasformare le proprie conoscenze in valutazioni utili avranno un ruolo centrale in questo processo. È un’esigenza costante, perché le aziende, i modelli e il lavoro continuano a cambiare.

Alcuni professionisti potrebbero, di fatto, contribuire ad addestrare sistemi di IA affinché svolgano una parte del loro stesso lavoro. Come considera questa tensione e quale pensa che sarà il rapporto tra competenze umane e IA nei prossimi tre-cinque anni?

Penso che sottovalutiamo quanto nuovo lavoro le persone creeranno grazie a questi strumenti.

Prendiamo il reclutamento. Se un agente può occuparsi di una parte maggiore della selezione iniziale, un recruiter può dedicare più tempo a costruire rapporti con i candidati o a capire come attrarre persone che prima l’azienda non riusciva a raggiungere. Il suo ruolo cambia e può fare di più nello stesso tempo.

Mi aspetto che accada qualcosa di simile in molte professioni. Nei prossimi tre-cinque anni, gli agenti diventeranno sempre più colleghi a cui le persone assegnano compiti, forniscono contesto e di cui valutano il lavoro. Di conseguenza, le persone assumeranno nuove responsabilità.

Ecco perché sono ottimista. Stanno già emergendo nuove attività legate all’addestramento e alla valutazione dell’IA e penso che ce ne saranno molte altre, man mano che le persone scopriranno cosa possono realizzare e ottenere grazie a essa.

Grazie per questa splendida intervista. I lettori che desiderano saperne di più sui dati di addestramento guidati da esperti, sulla valutazione dell’IA e sulle opportunità di contribuire con le proprie competenze di settore possono visitare micro1.