Radha Basu, CEO e Fondatrice di iMerit – Serie di Interviste

Radha Basu, Fondatrice e CEO di iMerit ha costruito la sua carriera presso HP, trascorrendo 20 anni con il gigante tecnologico e dirigendo infine il suo gruppo di Soluzioni Aziendali. Successivamente, ha portato Support.com alla quotazione in borsa come sua CEO. Radha ha fondato la Fondazione Anudip nel 2007 con Dipak Basu e successivamente ha fondato iMerit nel 2012. È considerata un’imprenditrice e mentore tecnologica di spicco e una pioniera nel settore del software.

iMerit fornisce soluzioni di dati multimodali AI combinando automazione, annotazione umana esperta e analisi avanzate per supportare la qualità dei dati e la fine-tuning dei modelli a scala.

Ha avuto un percorso notevole – dalla costruzione delle operazioni di HP in India alla fondazione di iMerit con la missione di aiutare i giovani emarginati in Bhutan, India e New Orleans. Cosa l’ha ispirata a fondare iMerit e quali sfide ha affrontato nella creazione di una forza lavoro globale e inclusiva fin dall’inizio?

Prima di fondare iMerit, ero Presidente e CEO di SupportSoft, dove ho guidato l’azienda attraverso le sue offerte pubbliche iniziali e secondarie, stabilendola come leader globale nel software di automazione del supporto. Quell’esperienza mi ha mostrato il potere della combinazione di persone e tecnologia fin dall’inizio.

Mentre il boom tecnologico indiano creava nuove opportunità, notai che molti giovani talentuosi in aree sottoservite erano stati lasciati indietro. Credevo nel loro potenziale e nella loro voglia di imparare. Una volta che videro come il software potesse alimentare tecnologie avanzate come l’AI, abbracciarono con entusiasmo queste carriere.

Abbiamo lanciato iMerit con un team piccolo e diversificato, la metà del quale era composto da donne, e siamo cresciuti rapidamente da allora. L’adattabilità e la capacità di coaching del nostro team sono state fondamentali, soprattutto poiché i dati centrati sull’AI hanno aumentato la domanda a lungo termine di specialisti qualificati.

Oggi, iMerit è un fornitore globale di soluzioni di dati AI per settori critici come veicoli autonomi, AI medica e tecnologia. Il nostro lavoro garantisce che i modelli AI dei clienti siano costruiti su dati di alta qualità e affidabili, essenziali in ambienti ad alto rischio.

In ultima analisi, la nostra forza risiede in solide basi tecnologiche e in un team di dipendenti ben formati e motivati che prosperano in una cultura di supporto e apprendimento. Questo approccio ha alimentato la nostra crescita, ci ha mantenuti cash positivi e ci ha guadagnato alti punteggi NPS e clienti fedeli.

iMerit lavora ora con oltre 200 clienti, tra cui giganti tecnologici come eBay e Johnson & Johnson (JNJ ). Ci può guidare attraverso il percorso di crescita dell’azienda – dalle prime fasi alla leadership globale nei servizi di dati AI?

Abbiamo avuto un posto in prima fila per i viaggi AI dei nostri clienti, partecipando dalle prime sperimentazioni alla produzione su larga scala. Il nostro lavoro copre startup, leader globali dei veicoli autonomi e grandi aziende. Formando i loro modelli fin dall’inizio, abbiamo guadagnato una comprensione senza precedenti di cosa sia realmente necessario per scalare l’AI nel mondo reale.

Il settore è evoluto costantemente e rapidamente. Raramente ho visto una tecnologia avanzare in modo così drammatico in così poco tempo. Ci siamo trasformati da un fornitore di annotazione dei dati a una società di dati AI full-stack, offrendo soluzioni specializzate in tutta la vita del ciclo umano-nella-ciclo (HITL): annotazione, convalida, audit e red teaming. La gestione dei casi limite e delle eccezioni è vitale per il deploy nel mondo reale, richiedendo una profonda competenza e un giudizio sfumato in ogni fase.

Il nostro settore verticale più grande è la mobilità autonoma, dove gestiamo l’intero stack di percezione, compresa la fusione dei sensori su 15 sensori per veicoli passeggeri, consegna, trasporto e agricoltura. Nel settore sanitario, guidiamo l’AI clinica delle immagini. Nel settore high-tech, siamo all’avanguardia della regolazione e della convalida del GenAI, richiedendo una maggiore sofisticazione nei nostri flussi di lavoro e nel talento.

Il successo in questi domini non è solo questione di avere esperti – è questione di coltivare l’esperienza: la capacità cognitiva di sfidare, allenare e contestualizzare i modelli AI. È questo che distingue i nostri team.

La nostra crescita è alimentata da partnership a lungo termine e la maggior parte dei nostri primi dieci clienti è con noi da oltre cinque anni. Man mano che le loro esigenze crescono in complessità, continuiamo a elevare la nostra conoscenza del dominio, strumentazione, formazione e soluzioni. Sia la nostra pila tecnologica che le nostre persone devono costantemente evolversi.

La fusione di software, automazione, annotazione e analisi crea il modello per interventi umani-nella-ciclo molto flessibili, rapidi e precisi. Il 70% dei nuovi loghi è sulla nostra pila tecnologica, il che richiede una grande trasformazione interna. Ancora una volta, la nostra cultura garantisce che i team siano affamati di imparare e vogliano crescere costantemente.

Quali sono stati i momenti più cruciali nella storia di iMerit – sia milestone tecnologiche che decisioni strategiche – che hanno aiutato a plasmare la traiettoria dell’azienda?

In un momento in cui il lavoro sui dati AI era visto come un lavoro crowd-based, abbiamo fatto una scommessa precoce che questo sarebbe cresciuto come una carriera e avrebbe richiesto complessità e focus aziendale. Costruendo team interni dedicati a casi d’uso avanzati, abbiamo abilitato i nostri clienti a scalare rapidamente, culminando nel nostro primo accordo da 1 milione di dollari di ricavi mensili ricorrenti nei veicoli autonomi, una pietra miliare che ha validato il nostro approccio.

Il lockdown da COVID-19 ha testato la nostra agilità: siamo passati da un ambiente completamente in ufficio a uno completamente remoto quasi nel giro di una notte, investendo pesantemente in infrastrutture, sicurezza e cultura. Nel giro di settimane, le operazioni dei clienti sono tornate alla normalità e siamo cresciuti sia in termini di entrate che di numero di dipendenti quell’anno. Oggi, con il 70% del nostro team tornato sul posto, continuiamo a sfruttare il talento remoto, lanciando Scholars, la nostra rete globale di esperti di materia per la regolazione e la convalida del GenAI. Sia che si tratti di un cardiologo o di un matematico spagnolo, la nostra cultura ad alto tocco attrae e motiva i migliori talenti, elevando direttamente la qualità e la coerenza delle nostre soluzioni.

Nel 2023, abbiamo acquisito Ango.ai, una piattaforma di etichettatura dei dati AI alimentata da AI e automazione del flusso di lavoro, per guidare la prossima generazione di strumenti di dati AI. Questo passo cruciale ha fuso l’esperienza di dominio di iMerit con la strumentazione avanzata di Ango, ampliando le nostre capacità in radiologia, fusione dei sensori e regolazione del GenAI fine-tuning. Lavoriamo ancora con gli strumenti dei clienti, ma molti nuovi clienti sono ora integrati direttamente in Ango Hub, attirati dai suoi flussi di lavoro user-friendly e dalla robusta sicurezza, che sono requisiti essenziali nel nostro settore.

Le aziende ci dicono costantemente che stanno cercando il meglio di entrambi i mondi: insight umano esperto per garantire la qualità, combinato con una piattaforma sicura e scalabile che fornisce automazione e analisi. Combinare le forze con Ango consegna esattamente questo, posizionandoci in modo unico per soddisfare le esigenze complesse dei progetti AI più ambiziosi di oggi e scalare con fiducia.

iMerit è profondamente coinvolta in domini avanzati come veicoli autonomi, AI medica e GenAI. Quali sono alcune delle sfide di dati uniche che affronta in questi settori e come le affronta?

I compiti relativi ai dati rappresentano normalmente quasi l’80% del tempo speso sui progetti AI, rendendoli un componente critico della pipeline. La parte dei dati centrati sull’AI può essere lunga e costosa se non gestita in modo appropriato e scalabile.

La qualità dei dati, e in particolare l’evitamento di errori evidenti, è essenziale nei settori critici in cui operiamo. Sia che si tratti di un algoritmo di percezione o di un rilevatore di tumori, i dati puliti sono essenziali nel ciclo di formazione-convalida.

La gestione delle eccezioni è sproporzionatamente preziosa. L’insight umano sul perché qualcosa è al di fuori della norma o perché uno scenario ha rotto il modello crea un enorme valore nel rendere il modello più completo e robusto.

Inoltre, le finestre di contesto stanno diventando più grandi. Stiamo riassumendo le note cliniche di un’intera consultazione medico-paziente e analizzando le anomalie nelle MRI sulla base non solo dell’immagine, ma anche del contesto medico del paziente. Gli esperti di materia devono stabilire rubriche per analizzare i dati in modo accurato e garantire la qualità.

Sicurezza, privacy e riservatezza sono argomenti caldi. Il nostro Chief Security Officer deve proteggersi contro l’accesso non autorizzato, la cancellazione e l’archiviazione dei dati. I protocolli di sicurezza come SOC2, HIPAA e TISAX sono stati aree di investimento significative per noi.

Infine, i nostri ingegneri e gli architetti di soluzioni lavorano costantemente su integrazioni personalizzate e report in modo che le esigenze uniche dei clienti siano riflesse nell’ultimo miglio. Un approccio one-size-fits-all non funziona nell’AI.

Ha parlato di combinare robotica e intelligenza umana come percorso più sicuro per l’AI. Può approfondire cosa significa questo flusso di lavoro nella pratica – e perché crede che sia meglio che cercare di eliminare la divergenza creativa dell’AI?

L’AI fornisce scala, ovvero che le aziende stanno sviluppando strumenti per automatizzare processi lunghi tradizionalmente eseguiti dagli esseri umani. Ma gli esseri umani forniscono l’ultimo miglio di flessibilità, certezza e resilienza. Man mano che i servizi consegnati dal software continuano a proliferare nell’AI, le aziende più di successo combineranno efficacemente la robotica con le pratiche umane-nella-ciclo (HITL).

Vediamo HITL come uno strato coerente in ogni fase del ciclo di sviluppo e deploy dell’AI, e anche come un pilastro di fiducia e sicurezza. Di conseguenza, l’intelligenza umana sarà essenziale per correggere il corso se i modelli falliscono. Queste applicazioni critiche avranno bisogno della mente umana per determinare quali cambiamenti saranno necessari. È qui che i servizi HITL diventeranno ancora più importanti man mano che integriamo l’AI nella produzione e nelle operazioni sul campo.

La piattaforma Ango Hub combina l’automazione con l’esperienza umana-nella-ciclo. Come questo modello ibrido migliora la qualità dei dati e le prestazioni del modello nei sistemi AI di produzione?

L’AI e l’automazione forniscono scala e velocità, mentre gli esseri umani forniscono sfumature, insight e supervisione. HITL garantisce il coinvolgimento umano in momenti critici del ciclo di vita dell’AI – garantendo input di alta qualità, convalidando output, identificando casi limite ed eseguendo la fine-tuning dei modelli per i domini. Gli esseri umani aiutano a garantire l’accuratezza esaminando e verificando gli output, catturando allucinazioni o errori logici prima che causino danni. Forniscono anche una supervisione in contesti eticamente sensibili o ad alto rischio in cui i LLM non dovrebbero prendere decisioni finali. Ancora più importante, il feedback umano alimenta l’apprendimento continuo, aiutando i sistemi AI ad allinearsi più strettamente con gli obiettivi degli utenti nel tempo.

HITL assume molte forme. Gli esperti umani partecipano all’annotazione mirata, applicano ragionamento complesso ai casi limite e esaminano il contenuto generato dall’AI utilizzando interfacce QA strutturate. Piuttosto che valutare ogni decisione, vengono spesso implementati sistemi di escalation contestuale. Questi sistemi instradano solo output a bassa fiducia o anomalie contrassegnate agli revisori umani, bilanciando la supervisione con l’efficienza.

Un altro uso critico di HITL è la fine-tuning degli agenti AI tramite il feedback umano del Reinforcement Learning (RLHF). I revisori umani classificano, riscrivono o forniscono feedback sulle risposte degli agenti, il che è particolarmente importante in domini sensibili come la sanità, i servizi legali o il supporto clienti. In tandem, il test basato su scenari e il red teaming consentono ai valutatori umani di testare gli agenti in condizioni avverse o insolite per identificare e correggere le vulnerabilità prima del deploy.

Il potenziale completo dell’AI si realizza solo quando gli esseri umani rimangono nella ciclo, guidando, convalidando e migliorando ogni passaggio. Sia che si tratti di raffinare gli output degli agenti, formare loop di valutazione o curare pipeline di dati affidabili, la supervisione umana aggiunge la struttura e la responsabilità di cui l’AI ha bisogno per essere degna di fiducia ed efficace.

Con gli strumenti di Generative AI che evolvono rapidamente, come iMerit sta rimanendo al passo con la fornitura di servizi di valutazione, RLHF e fine-tuning?

Abbiamo recentemente lanciato il Laboratorio di Ragionamento Profondo Ango Hub (DRL), una piattaforma unificata per la regolazione e lo sviluppo interattivo della catena di ragionamento con insegnanti AI. Il nostro DRL consente processi e valutazioni in tempo reale basati sulle preferenze umane, portando a risposte dei modelli più coerenti e accurate a problemi complessi.

I progressi nei modelli e nell’applicazione del GenAI mettono in evidenza il valore dei dati puliti, creati dagli esperti e convalidati. Con il Laboratorio di Ragionamento Profondo Ango Hub, gli esperti possono testare i modelli, identificare le debolezze e generare dati puliti utilizzando la catena di ragionamento. Interagiscono con i modelli in tempo reale e inviano prompt e correzioni passo dopo passo in un’unica interfaccia.

Sfruttando iMerit Scholars, il Laboratorio di Ragionamento Profondo Ango Hub raffina i processi di ragionamento del modello. Sfrutta l’esperienza approfondita di iMerit con i flussi di lavoro HITL. Gli esperti progettano scenari multi-step per compiti complessi, come la creazione di prompt di catena di ragionamento per problemi matematici avanzati. I revisori di iMerit esaminano gli output, correggono gli errori e catturano le interazioni in modo trasparente. La magia non sta nell’arruolare un gran numero di persone indiscriminatamente. I migliori matematici non sono necessariamente i migliori insegnanti. Non si dovrebbe trattare un cardiologo come un lavoratore occasionale. La corrispondenza e la formazione degli esperti di materia per pensare nel modo che beneficia maggiormente il processo di formazione del modello, nonché l’impegno, fanno la differenza.

Cosa significa “esperto-nella-ciclo” nel contesto della regolazione della Generative AI? Può condividere esempi in cui l’esperienza umana ha migliorato significativamente gli output del modello?

L’esperto-nella-ciclo combina l’intelligenza umana con l’intelligenza robotica per avanzare l’AI nella produzione. Coinvolge esperti umani che convalidano, raffinano e migliorano gli output dei sistemi automatizzati.

In particolare, l’annotazione dei dati guidata dagli esperti garantisce che i dati di formazione siano etichettati con precisione con conoscenza specifica del dominio, migliorando così la precisione e l’affidabilità dei modelli AI predittivi. Riducendo i pregiudizi e le classificazioni errate, l’annotazione guidata dagli esperti migliora la capacità del modello di generalizzare efficacemente attraverso scenari del mondo reale. Ciò risulta in sistemi AI più affidabili, interpretabili e allineati con le esigenze specifiche del settore.

Ad esempio, dopo aver acquisito un grande corpus di dati medici, un’azienda tecnologica multinazionale americana aveva bisogno di valutare i dati per l’uso nel suo chatbot medico rivolto ai consumatori per garantire consigli medici sicuri e accurati per gli utenti. Rivolgendosi a iMerit, hanno sfruttato la nostra rete estesa di esperti sanitari statunitensi e hanno assemblato un team di infermiere per lavorare in un flusso di lavoro di consenso con escalation e arbitrato forniti da un medico certificato dalla Commissione Medica degli Stati Uniti. Le infermiere hanno iniziato valutando la base di conoscenza con definizioni per valutare l’accuratezza e il rischio.

Attraverso la discussione dei casi limite e la revisione delle linee guida, le infermiere potevano raggiungere un consenso nel 99% dei casi. Ciò ha consentito al team di rivedere il progetto per una struttura a voto singolo con un audit del 10%, riducendo così i costi del progetto di oltre il 72%. Lavorare con iMerit ha consentito a questa azienda di continuare a identificare modi per scalare l’annotazione dei dati medici in modo etico ed efficiente.

Con oltre 8.000 esperti full-time in tutto il mondo, come mantiene la qualità, le prestazioni e lo sviluppo dei dipendenti a scala?

La definizione di qualità è sempre adattata al caso d’uso specifico di ogni cliente. I nostri team collaborano strettamente con i clienti per definire e calibrare gli standard di qualità, impiegando processi personalizzati che garantiscono che ogni annotazione sia rapidamente convalidata da esperti di materia. La coerenza è importante per lo sviluppo di dati AI di alta qualità. Ciò è supportato da un’elevata rotazione dei dipendenti (90%) e da un forte focus sull’analisi della produzione, un fattore chiave nella progettazione di Ango Hub, plasmata dal feedback quotidiano degli utenti del nostro team.

Continuiamo a investire nell’automazione, nell’ottimizzazione e nella gestione delle conoscenze, sostenute dalla nostra piattaforma di formazione proprietaria iMerit One. Questo impegno per l’apprendimento e lo sviluppo non solo guida l’eccellenza operativa, ma supporta anche la crescita professionale a lungo termine per i nostri dipendenti, promuovendo una cultura di esperienza e crescita.

Quali consigli darebbe agli imprenditori AI aspiranti che desiderano costruire qualcosa di significativo – sia in tecnologia che in impatto sociale?

L’AI si sta muovendo a un ritmo vertiginoso. Vada oltre la pila tecnologica e ascolti i suoi clienti per capire cosa conta per il loro business. Comprenda il loro appetito per velocità, cambiamento e rischio. I primi clienti possono provare le cose. I clienti più grandi devono sapere che si è lì per rimanere e che si continuerà a dare loro la priorità. Metta loro a disposizione un approccio proattivo verso la trasparenza, la sicurezza e la responsabilità.

Inoltre, selezioni con attenzione gli investitori e i membri del consiglio di amministrazione per garantire l’allineamento dei valori e delle preoccupazioni condivise. A iMerit, abbiamo sperimentato un sostegno significativo da parte del nostro consiglio di amministrazione e degli investitori durante periodi difficili come il COVID-19, che attribuiamo a questo allineamento.

Le qualità chiave che contribuiscono al successo di un imprenditore nel settore tecnologico vanno oltre il rischio; coinvolgono la costruzione di un’azienda profittevole e inclusiva.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare iMerit.