Etienne Bernard, co-fondatore e CEO di NuMind – Serie di interviste

Etienne Bernard, è il co-fondatore e CEO di NuMind una società di software fondata nel giugno 2022 specializzata nello sviluppo di strumenti di machine learning. Etienne è un esperto di intelligenza artificiale e apprendimento automatico. Dopo un dottorato di ricerca (ENS) e un post-doc (MIT) in fisica statistica, Etienne è entrato in Wolfram Research dove è diventato capo del machine learning per 7 anni. Durante questo periodo, Etienne ha guidato lo sviluppo di strumenti di apprendimento automatico, un framework di deep learning intuitivo e varie applicazioni di machine learning.

Cosa ti ha attratto inizialmente del machine learning?

La prima volta che ho sentito il termine "machine learning" è stato nel 2009, credo, grazie al premio Netflix. Ho trovato affascinante e potente l'idea che le macchine possano imparare. Mi era già chiaro che questo avrebbe portato a molte applicazioni importanti, inclusa l'entusiasmante possibilità di creare IA. Ho deciso subito di tuffarmici dentro, e non sono più tornata.

Dopo aver ottenuto un dottorato di ricerca (ENS) e un postdoc (MIT) in fisica statistica, sei entrato a far parte di Wolfram Research dove sei diventato il capo del machine learning per 7 anni. Quali sono stati alcuni dei progetti più interessanti su cui hai lavorato?

Il mio tipo di progetto preferito in Wolfram era lo sviluppo di funzioni di apprendimento automatico automatico per Wolfram Language (alias Mathematica). Il primo era Classify, dove gli dai solo i dati e restituisce un classificatore. Per me, l'apprendimento automatico è sempre stato automatico. Non sintonizzi gli iperparametri del tuo studente umano, e non dovresti farlo nemmeno per la tua macchina! È stato piuttosto impegnativo dal punto di vista scientifico e dell'ingegneria del software creare funzioni di apprendimento automatico veramente robuste ed efficienti.

Anche la creazione di un framework di rete neurale di alto livello è stato un progetto molto interessante. Molte decisioni progettuali difficili su come rappresentare simbolicamente le reti neurali, come visualizzarle e come manipolarle (ad esempio essere in grado di tagliare alcuni pezzi, incollarne altri insieme, sostituire strati, ecc.) Penso che abbiamo fatto un buon lavoro a proposito, e se fosse open source, sono abbastanza sicuro che sarebbe molto usato 😉

Durante questo periodo di tempo hai anche scritto un libro fondamentale intitolato “Introduzione all'apprendimento automatico”, quali sono state alcune delle sfide alla base della scrittura di un libro così completo?

Oh, ce n'erano molti! Ci sono voluti due anni in totale per scrivere. Avrei potuto decidere di scrivere semplicemente un libro "how-to", che sarebbe stato più semplice, ma parte del mio viaggio in Wolfram ha riguardato l'apprendimento dell'apprendimento automatico e ho sentito il bisogno di trasmetterlo. Quindi la difficoltà principale è stata capire di cosa parlare esattamente, e in quale ordine, in modo da renderlo interessante e di facile comprensione. Poi c'erano i dettagli pedagogici: dovrei usare una formula matematica per questo concetto? O qualche codice? O solo una visualizzazione? Volevo rendere questo libro il più accessibile possibile e questo mi ha dato molti grattacapi. Nel complesso sono contento del risultato. Spero possa essere utile a molti!

Potresti condividere la storia della genesi di NuMind?

Va bene. Volevo creare una startup per un po', originariamente nel 2012 per creare uno strumento di machine learning automatico, ma il lavoro in Wolfram è stato troppo divertente. Poi, intorno al 2019-2020, hanno iniziato ad apparire i primi modelli linguistici di grandi dimensioni (LLM), come GPT-2 e poi GPT-3. È stato uno shock per me quanto bene potessero capire e generare testo. Allo stesso tempo, ho potuto vedere quanto fosse doloroso creare modelli di PNL: dovevi avere a che fare con un team di annotazioni, avere esperti che eseguissero molti esperimenti, ecc. Ho pensato che dovesse esserci un modo per utilizzare questi LLM attraverso un strumento per migliorare notevolmente l'esperienza di creazione di modelli di PNL. Il mio co-fondatore, Samuel (che guarda caso è mio cugino), condivideva la stessa visione e così abbiamo deciso di creare questo strumento.

L'obiettivo di NuMind è diffondere l'uso del machine learning – e dell'intelligenza artificiale in generale – creando strumenti semplici ma potenti. Quali sono alcuni degli strumenti attualmente disponibili?

Infatti. Il nostro primo strumento è per la creazione di modelli NLP personalizzati. Ad esempio, supponiamo che tu voglia analizzare il sentimento dei tuoi utenti dal loro feedback. L'utilizzo di un modello standard non è generalmente eccezionale, perché è stato addestrato su un diverso tipo di dati e per un'attività leggermente diversa (le attività di analisi del sentimento sono sorprendentemente diverse l'una dall'altra!). Invece, vuoi addestrare un modello personalizzato che funzioni bene sui tuoi dati. Il nostro strumento permette di fare proprio questo, in maniera estremamente semplice ed efficiente. Fondamentalmente carichi i tuoi dati, esegui una piccola quantità di annotazioni e ottieni un modello che puoi distribuire tramite un'API. Questo è possibile grazie all'uso di LLM, ma anche a questo nuovo paradigma di apprendimento che chiamiamo Interactive AI Development.

Quali sono alcuni dei modelli personalizzati che vedete sviluppati dal primo giro di clienti NuMind?

Ci sono stati alcuni analizzatori di sentimenti. Ad esempio, un cliente sta monitorando il sentimento delle chat di gruppo in cui le persone si aiutano a vicenda a combattere le proprie dipendenze. Questa analisi è necessaria per intervenire nel raro caso in cui il sentiment stia diminuendo. Un altro cliente ci usa per scoprire quali sono le migliori opportunità di lavoro per un determinato curriculum e, a proposito, credo che ci sia molto potenziale in questo tipo di IA di matchmaking. Abbiamo anche clienti che estraggono informazioni da documenti medici e legali.

Quanto risparmio di tempo possono vedere le aziende utilizzando gli strumenti NuMind?

Ovviamente dipende dall'applicazione, ma rispetto alle soluzioni tradizionali (etichettatura dei dati e addestramento di un modello separatamente), vediamo un miglioramento della velocità fino a 10 volte per ottenere un modello e metterlo in produzione. Mi aspetto che questo numero migliori man mano che continuiamo a sviluppare il prodotto. Alla fine, credo che i progetti che avrebbero richiesto mesi saranno completati in pochi giorni e con prestazioni migliori.

Potresti spiegare come funziona lo sviluppo AI interattivo di NuMind?

L'idea di Interactive AI Development deriva dal modo in cui gli esseri umani si insegnano a vicenda. Ad esempio, supponiamo che tu assuma uno stagista per classificare le tue e-mail. Dovresti prima descrivere l'attività e il suo scopo. Quindi potresti fornire alcuni buoni esempi, forse alcuni casi d'angolo. Quindi il tuo stagista inizierebbe a etichettare le e-mail e inizierebbe una conversazione. Il tuo stagista tornerebbe con domande come "Come dovrei etichettare questo?" o "Penso che dovremmo creare una nuova etichetta per questo", o anche chiederti "perché" dovremmo etichettare in un certo modo. Allo stesso modo potresti porre domande al tuo tirocinante per identificare e correggere le sue lacune di conoscenza. Questo modo di insegnare è molto naturale ed estremamente efficiente in termini di scambio di informazioni. Stiamo cercando di imitare questo flusso di lavoro affinché gli esseri umani possano insegnare in modo efficiente alle macchine.

In termini tecnici, questo flusso di lavoro è una comunicazione a bassa latenza, larghezza di banda elevata, multimodale e bidirezionale tra l'uomo e la macchina, e abbiamo deciso di chiamarlo Sviluppo AI interattivo per sottolineare gli aspetti di bidirezionalità e bassa latenza. Lo vedo come un terzo paradigma per insegnare alle macchine, dopo la programmazione classica e il classico apprendimento automatico (dove fornisci solo una serie di esempi del compito affinché il computer capisca cosa fare).

Questo nuovo paradigma è sbloccato dagli LLM. In effetti, è necessario disporre di qualcosa che sia già in qualche modo intelligente nella macchina per interagire in modo efficiente con essa. Credo che questo paradigma diventerà un luogo comune nel prossimo futuro e possiamo già intravederlo con LLM basati su chat e, ovviamente, con il nostro strumento.

Stiamo applicando questo paradigma per insegnare compiti di PNL, ma questo può - e sarà - utilizzato per molto di più, incluso lo sviluppo di software.

C'è qualcos'altro che vorresti condividere su NuMind?

Forse che è uno strumento che può essere utilizzato sia da esperti che da non esperti di machine learning, che è multilingue, che possiedi i tuoi modelli e che i dati possono rimanere sulla tua macchina!

Altrimenti siamo in una fase beta privata, quindi se hai bisogno di PNL, saremmo lieti di parlare e capire se/come possiamo aiutarti!

Grazie per l'ottima intervista, i lettori che desiderano saperne di più dovrebbero visitare NuMind.