Olga Megorskaya, Fondatrice e Amministratore Delegato di Toloka – Serie di Interviste

Olga Megorskaya, fondatrice e amministratore delegato di Toloka, ha guidato l’azienda dal 2020, trasformandola dalle sue radici originali di crowd-labeling in un importante player nei servizi di dati per l’intelligenza artificiale. Prima di fondare e guidare Toloka, ha trascorso più di un decennio in Yandex, culminando in un ruolo di responsabile del crowdsourcing e delle piattaforme, dove ha costruito e scalato infrastrutture di dati etichettati da crowdsourcing per prodotti di apprendimento automatico, tra cui ricerca, voce, parlato, guida autonoma, moderazione dei contenuti e altro. Sotto la sua guida, Toloka si è posizionata come partner di dati globale per l’intelligenza artificiale – combinando tecnologia di apprendimento automatico con competenze umane per supportare la formazione, la valutazione e la sicurezza per modelli e agenti di intelligenza artificiale su larga scala.

Toloka è un’azienda con sede nei Paesi Bassi e quartier generale ad Amsterdam, che fornisce dati di alta qualità e curati per lo sviluppo dell’intelligenza artificiale, che vanno dall’annotazione e dall’etichettatura a set di dati personalizzati per il fine-tuning supervisionato (SFT) e l’apprendimento per rinforzo da feedback umano (RLHF). L’azienda supporta una vasta gamma di modalità – testo, immagine, audio, video – e coinvolge esperti di dominio insieme a una folla globale per fornire set di dati scalabili e precisi per la formazione e la valutazione di agenti e modelli linguistici avanzati. I loro servizi aiutano a migliorare le capacità come ragionamento, comprensione multilingue, generazione di immagini/audio e sicurezza dell’intelligenza artificiale in vari settori e applicazioni.

Ha trascorso anni costruendo sistemi human-in-the-loop in Yandex prima di co-fondare Toloka nel 2020. Qual è stato il momento che l’ha convinta che questo doveva diventare un’azienda indipendente, e come quell’esperienza ha plasmato la sua visione per il ruolo di Toloka nello sviluppo dell’intelligenza artificiale?

Ad un certo punto, ci siamo resi conto che Toloka era cresciuta oltre la sua azienda di origine. I ricercatori di intelligenza artificiale di tutto il mondo utilizzavano la piattaforma e abbiamo riconosciuto che l’azienda poteva raggiungere di più come entità indipendente. Di conseguenza, Toloka è stata in grado di fare affidamento sull’esperienza cumulativa di centinaia di team di intelligenza artificiale che raccoglievano dati di formazione per l’intero spettro di soluzioni di intelligenza artificiale – dalla ricerca web e dagli assistenti vocali ai chatbot GenAI e agli agenti di intelligenza artificiale. Abbiamo quindi combinato la nostra esperienza nella gestione dello sforzo umano con la costruzione e la formazione di agenti di intelligenza artificiale per creare il nostro nuovo prodotto, Tendem.

Ha detto che la vera disruption non verrà da agenti completamente autonomi. Cosa l’ha portata a concludere che gli agenti ibridi – che combinano l’automazione dell’intelligenza artificiale con il giudizio umano – sono il modello che alla fine vincerà?

Sebbene creda che le soluzioni di intelligenza artificiale solo in molte aree raggiungeranno presto un livello di qualità incredibile per soddisfare appieno le esigenze dei clienti, ci saranno sempre una lunga coda di casi d’uso che i modelli di base non saranno mai ottimizzati. È qui che l’approccio ibrido supererà sia le soluzioni di intelligenza artificiale solo che quelle umane solo per il prossimo futuro. Abbiamo visto lo stesso modello ripetersi ripetutamente nel corso dell’ultimo decennio: l’intelligenza artificiale può scalare i compiti in modo bellissimo, ma lotta con la sottigliezza, il contesto e i tipi di decisioni che contano in ambienti aziendali reali. I professionisti vogliono velocità, ma vogliono anche affidabilità – gli agenti completamente autonomi non possono garantire questo oggi. I sistemi ibridi vincono perché risolvono entrambi i lati dell’equazione. L’intelligenza artificiale gestisce ciò a cui è meglio: velocità, struttura e ripetibilità. L’esperienza umana riempie le lacune: ambiguità, casi limite ed interpretazione. Quando si combinano i due in modo nativo, si ottiene un flusso di lavoro che è sia veloce che affidabile. È questo il modello che i professionisti alla fine si affideranno.

Ha notato che l’intelligenza artificiale si rompe sull’ambiguità e il ragionamento tra più documenti. Quali tipi di compiti rivelano queste limitazioni più chiaramente?

I compiti a lungo orizzonte – quelli che richiedono la sintesi di più fonti, la riconciliazione di informazioni in conflitto o l’interpretazione del contesto, e che richiederebbero agli esseri umani ore o addirittura giorni per completare – tendono a esporre i limiti attuali dell’intelligenza artificiale. Esempi includono la ricerca di mercato, l’analisi competitiva, la sintesi di documenti a lungo termine, la stesura di contenuti originali da input misti o l’estrazione di informazioni che dipendono dalla sottigliezza umana rispetto al riconoscimento di modelli. L’intelligenza artificiale è eccellente nella produzione di una prima bozza. Ma nel momento in cui un compito richiede priorità, giudizio o riconciliazione dell’ambiguità, l’affidabilità cala bruscamente. È qui che gli esperti umani sono essenziali.

Molti professionisti utilizzano l’intelligenza artificiale ma non si fidano ancora completamente di essa. Come il suo approccio ricostruisce la fiducia nel delegare lavoro reale a sistemi assistiti dall’intelligenza artificiale?

La fiducia migliora quando le persone smettono di dover correggere l’output dell’intelligenza artificiale. Il nostro approccio ricostruisce la fiducia integrando gli esseri umani nel flusso di lavoro fin dall’inizio, non come un percorso di escalation quando l’intelligenza artificiale fallisce. Ogni compito in Tendem fluisce attraverso un project manager di intelligenza artificiale che decide cosa deve essere automatizzato e cosa richiede competenza umana. Dopo di che, sia i controlli automatizzati che la garanzia di qualità umana assicurano che il risultato finale sia preciso, completo e pronto per l’uso aziendale. Per i professionisti, ciò significa che possono delegare il lavoro e aspettarsi effettivamente un risultato verificato, non una bozza che devono riparare.

Quali meccanismi assicurano che gli esperti umani nel ciclo mantengano un output di alta qualità senza rallentare il flusso di lavoro?

Due cose rendono questo possibile:

• Specializzazione su larga scala. Gli esperti nella rete di Tendem sono stati pre-selezionati, addestrati e abbinati in base alla competenza di dominio. Non sono freelancer generici che cercano di adattarsi al volo – sono già qualificati per tipi specifici di compiti.
• QA stratificata e routing intelligente. L’intelligenza artificiale gestisce i passaggi basilari in modo che gli esperti umani si concentrino solo sulle parti che richiedono giudizio. Poi c’è un secondo livello di QA automatizzata e verifica umana dove necessario. Ciò mantiene gli esseri umani coinvolti laddove aggiungono il maggior valore, non dove creano collo di bottiglia.

Il risultato è una velocità che rivaleggia con l’automazione, con un’accuratezza che rivaleggia con la revisione degli esperti.

Nelle industrie che richiedono accuratezza e conformità, come i sistemi ibridi possono offrire verificabilità e tracciabilità che le aziende possono affidarsi?

I sistemi ibridi consentono intrinsecamente la tracciabilità perché ogni passaggio nel flusso di lavoro è tracciato, attribuito e verificato della qualità. Si sa quali parti sono state automatizzate, quali sono state eseguite da esperti selezionati e quali passaggi di QA hanno validato l’output. In settori altamente regolamentati, questo processo diventa essenziale. Non si affida più a una decisione di intelligenza artificiale in scatola nera; si ha una catena di giudizio verificabile, correzioni e approvazioni. È questo che rende i sistemi ibridi adatti a domini in cui l’accuratezza e la conformità non possono essere opzionali.

Quali categorie di lavoro della conoscenza si aspetta di spostare verso gli agenti ibridi per primi, e quali saranno i più lenti nell’adottare questo modello?

Nel complesso, credo che l’approccio ibrido sia molto più facile da adottare di un approccio di intelligenza artificiale solo, quindi ci aspettiamo che quasi ogni dominio possa essere coperto con questo modello – la differenza sarà solo nella proporzione di intelligenza artificiale rispetto al coinvolgimento umano. I primi adottanti sono ruoli in cui velocità e accuratezza contano entrambe, eppure il lavoro è ancora altamente ripetitivo. Stiamo già vedendo una forte richiesta da consulenza, marketing, operazioni di vendita, ricerca e creazione di contenuti. Le aree più complesse (e probabilmente le più interessanti) da risolvere sono quelle più vicine al mondo fisico, come l’architettura e la costruzione. Ma vedo anche un chiaro percorso tecnologico per arrivarci.

Da un punto di vista operativo, come le organizzazioni traggono beneficio spostandosi dal lavoro gestito da freelancer agli agenti ibridi?

Gli agenti ibridi eliminano due delle principali inefficienze nel lavoro gestito da freelancer: il sovraccarico di gestione e la qualità inconsistente. Le organizzazioni e i professionisti non devono più reclutare, selezionare, istruire, gestire o correggere i freelancer. L’agente ibrido gestisce l’orchestrazione del flusso di lavoro in modo automatico, assegnando la giusta combinazione di intelligenza artificiale e competenza umana per ogni passaggio. Ciò riduce il tempo di ritorno, standardizza la qualità dell’output e scala il lavoro senza aumentare il numero di dipendenti. In breve: si ottiene la velocità dell’automazione con l’affidabilità di un team di esperti, ma senza gestirli.

Man mano che i sistemi ibridi guadagnano trazione nel mainstream, quale impatto si aspetta che questo spostamento abbia sull’economia dei freelancer e del lavoro a progetto?

Crediamo che ridisegnerà l’economia dei freelancer. Invece di trascorrere il tempo in compiti ripetitivi di basso livello, i freelancer possono inserirsi nei sistemi ibridi come specialisti in domini specifici. Il lavoro diventa più strutturato: ad alto valore, più prevedibile e più stabile. Piuttosto che inseguire progetti inconsistenti, gli esperti possono contribuire su larga scala attraverso piattaforme come Tendem, dove le loro competenze sono abbinate ai compiti giusti e supportate da sistemi di intelligenza artificiale che rimuovono il lavoro ripetitivo.

Guardando avanti alcuni anni, cosa significa “delegare all’intelligenza artificiale” una volta che gli agenti ibridi diventano standard nel lavoro digitale?

La delega sembrerà meno “utilizzare uno strumento” e più come affidare il lavoro a un team capace. Si descriverà il risultato desiderato e l’agente ibrido lo scomporrà, instraderà i sottocompiti, applicherà la giusta miscela di intelligenza artificiale e competenza umana, verificherà i risultati e consegnerà un prodotto finito – tutto entro poche ore. Lo spostamento sarà dall’utilizzo dell’intelligenza artificiale come assistente di stesura a fidarsi dell’intelligenza artificiale come project manager che sovrintende a un intero flusso di lavoro. È qui che si verifica la vera delega: quando i professionisti possono fidarsi del sistema per consegnare l’output finale, non solo un punto di partenza.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Toloka.