Etienne Bernard, mede-oprichter en CEO van NuMind – Interviewreeks

Etienne Bernard is de mede-oprichter en CEO van NuMind, een softwarebedrijf dat in juni 2022 is opgericht en zich specialiseert in het ontwikkelen van machine learning-tools. Etienne is een expert in AI en machine learning. Na een PhD (ENS) en postdoc (MIT) in statistische fysica, trad Etienne toe tot Wolfram Research, waar hij zeven jaar lang het hoofd van machine learning werd. Tijdens deze periode leidde Etienne de ontwikkeling van automatische leer-tools, een gebruikersvriendelijke deep learning-framework en diverse machine learning-toepassingen.

Wat trok je aanvankelijk aan bij machine learning?

De eerste keer dat ik de term “machine learning” hoorde, was in 2009, geloof ik, dankzij de Netflix-prijs. Ik vond het idee dat machines kunnen leren fascinerend en krachtig. Het was al duidelijk voor me dat dit zou leiden tot veel belangrijke toepassingen, waaronder de spannende mogelijkheid om AIs te creëren. Ik besloot meteen om erin te duiken en ben nooit meer teruggekomen.

Na je PhD (ENS) en postdoc (MIT) in statistische fysica, trad je toe tot Wolfram Research, waar je zeven jaar lang het hoofd van machine learning werd. Wat waren enkele van de interessantste projecten waar je aan werkte?

Mijn favoriete soort projecten bij Wolfram was het ontwikkelen van automatische machine learning-functies voor de Wolfram Language (ook bekend als Mathematica). De eerste was Classify, waarbij je alleen de gegevens hoeft te geven en het een classificator retourneert. Voor mij is machine learning altijd al over automatisering gegaan. Je hoeft de hyperparameters van je menselijke student niet aan te passen, en dat zou je ook niet voor je machine moeten doen! Het was best een uitdaging vanuit wetenschappelijk en software-engineering-oogpunt om echt robuuste en efficiënte automatische machine learning-functies te creëren.

Het creëren van een high-level neurale netwerkframework was ook een heel interessant project. Er waren veel moeilijke ontwerpbeslissingen over hoe symbolische neurale netwerken te representeren, visualiseren en manipuleren (bijv. in staat zijn om stukjes te knippen, andere samen te voegen, lagen te vervangen, etc.). Ik denk dat we het redelijk goed hebben gedaan, en als het open source was, ben ik er vrij zeker van dat het veel gebruikt zou worden 😉

Tijdens deze periode schreef je ook een seminaal boek met de titel “Introduction to Machine Learning“, wat waren enkele van de uitdagingen bij het schrijven van zo’n omvattend boek?

O, er waren er veel! Het duurde twee jaar om te schrijven. Ik had kunnen besluiten om alleen een “how-to”-boek te schrijven, wat gemakkelijker zou zijn geweest, maar onderdeel van mijn reis bij Wolfram is het leren van machine learning, en ik voelde de behoefte om dat door te geven. Dus de belangrijkste moeilijkheid was om te bepalen waarover ik exact moest praten en in welke volgorde, om het interessant en gemakkelijk te maken. Toen waren er de pedagogische details: moest ik voor dit concept een wiskundige formule gebruiken? Of sommige code? Of gewoon een visualisatie? Ik wilde dit boek zo toegankelijk mogelijk maken, en dat gaf me veel hoofdpijn. Over het algemeen ben ik tevreden met het resultaat. Ik hoop dat het nuttig zal zijn voor velen!

Kun je het verhaal achter NuMind delen?

Oké. Ik wilde al een tijdje een startup oprichten, oorspronkelijk in 2012 om een auto ML-tool te creëren, maar het werk bij Wolfram was te leuk. Toen, rond 2019-2020, verschenen de eerste grote taalmodellen (LLM’s) zoals GPT-2 en vervolgens GPT-3. Het was een schok voor me hoe goed ze tekst konden begrijpen en genereren. Tegelijkertijd kon ik zien hoe pijnlijk het was om NLP-modellen te creëren: je moest te maken hebben met een annotatieteam, experts die veel experimenten uitvoerden, etc. Ik dacht dat er een manier moest zijn om deze LLM’s via een tool te gebruiken om de ervaring van het creëren van NLP-modellen drastisch te verbeteren. Mijn mede-oprichter, Samuel (die toevallig mijn neef is), deelde dezelfde visie, en dus besloten we om deze tool te creëren.

Het doel van NuMind is om het gebruik van machine learning en kunstmatige intelligentie in het algemeen te verspreiden door het creëren van eenvoudige maar krachtige tools. Wat zijn enkele van de tools die momenteel beschikbaar zijn?

Ja. Ons eerste tool is voor het creëren van aangepaste NLP-modellen. Stel dat je bijvoorbeeld de sentiment van je gebruikers van hun feedback wilt analyseren. Het gebruik van een standaardmodel is meestal niet goed, omdat het is getraind op een ander type gegevens en voor een iets andere taak (sentiment-analysetaken zijn verrassend verschillend van elkaar!). In plaats daarvan wil je een aangepast model trainen dat goed werkt op je gegevens. Ons tool maakt het mogelijk om dat te doen op een extreem eenvoudige en efficiënte manier. Je laadt je gegevens, voert een kleine hoeveelheid annotatie uit en krijgt een model dat je via een API kunt implementeren. Dit is mogelijk dankzij het gebruik van LLM’s, maar ook deze nieuwe leerparadigma dat we Interactive AI Development noemen.

Wat zijn enkele van de aangepaste modellen die je ziet ontwikkeld worden door de eerste groep NuMind-klanten?

Er zijn een paar sentiment-analyzers. Bijvoorbeeld, een klant bewaakt de sentiment van groepsgesprekken waar mensen elkaar helpen om hun verslaving te overwinnen. Deze analyse is nodig om in te grijpen in de zeldzame gevallen waarin het sentiment daalt. Een andere klant gebruikt ons om te bepalen welke vacatures het beste zijn voor een bepaald cv – en ik geloof dat er veel potentieel zit in dit soort matchmaking-AI’s. We hebben ook klanten die informatie uit medische en juridische documenten extraheren.

Hoeveel tijdswinst kunnen bedrijven zien door het gebruik van NuMind-tools?

Dit hangt natuurlijk af van de toepassing, maar in vergelijking met traditionele oplossingen (gegevens labelen en een model trainen) zien we een verbetering van de snelheid tot 10 keer om een model te verkrijgen en in productie te nemen. Ik verwacht dat dit aantal zal verbeteren naarmate we het product verder ontwikkelen. Uiteindelijk denk ik dat projecten die maanden zouden duren, binnen enkele dagen kunnen worden voltooid, en met betere prestaties.

Kun je uitleggen hoe NuMind’s Interactive AI Development werkt?

Het idee van Interactive AI Development komt voort uit hoe mensen elkaar lesgeven. Stel bijvoorbeeld dat je een stagiair inhuurt om je e-mails te classificeren. Je zou eerst de taak en het doel beschrijven. Vervolgens zou je een paar goede voorbeelden geven, misschien enkele uitzonderingsgevallen. Vervolgens zou je stagiair beginnen met het labelen van e-mails, en een gesprek zou beginnen. Je stagiair zou terugkomen met vragen zoals “Hoe moet ik deze labelen?” of “Ik denk dat we een nieuwe label moeten maken voor deze”, of zelfs vragen waarom we op een bepaalde manier moeten labelen. Op dezelfde manier zou je vragen stellen aan je stagiair om hun kennislacunes te identificeren en te corrigeren. Deze manier van lesgeven is heel natuurlijk en extreem efficiënt in termen van informatie-uitwisseling. We proberen deze workflow na te bootsen om mensen in staat te stellen machines efficiënt te leren.

In technische termen is deze workflow een lage-latentie-, hoge-bandbreedte-, multimodale en bidirectionele communicatie tussen de mens en de machine, en we hebben besloten om het Interactive AI Development te noemen om de bidirectionele en lage-latentie-aspecten te benadrukken. Ik zie dit als een derde paradigma om machines te leren, na klassieke programmering en klassieke machine learning (waarbij je de computer alleen een aantal voorbeelden van de taak geeft om te laten zien wat hij moet doen).

Dit nieuwe paradigma wordt mogelijk gemaakt door LLM’s. Je hebt namelijk al iets nodig dat een beetje slim is in de machine om efficiënt met het te communiceren. Ik geloof dat dit paradigma in de nabije toekomst algemeen zal worden, en we kunnen al glimpen zien van het met chat-gebaseerde LLM’s en met onze tool.

We passen dit paradigma toe op het leren van NLP-taken, maar het kan – en zal – voor veel meer worden gebruikt, waaronder software-ontwikkeling.

Is er nog iets anders dat je over NuMind wilt delen?

Misschien dat het een tool is die zowel door experts als niet-experts in machine learning kan worden gebruikt, dat het meertalig is, dat je je eigen modellen bezit, en dat de gegevens op je machine kunnen blijven!

Anders zitten we in een private bètaversie, dus als je NLP-behoeften hebt, zouden we graag met je willen praten en uitzoeken of/hoe we je kunnen helpen!

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten NuMind bezoeken.