Ali Ansari, oprichter en CEO van micro1 – interviewserie

Ali Ansari is de oprichter en CEO van micro1. Hij richt zich daar op het omzetten van menselijke expertise in trainingsdata en evaluaties voor geavanceerde AI-systemen. Zijn ondernemerservaring omvatte onder meer de oprichting van een softwareontwikkelingsbureau en van peerlinc, voordat hij in 2022 micro1 lanceerde. Hij studeerde informatica aan UC Berkeley en Stanford, met een focus op reinforcement learning, en werkt nu aan de systemen die nodig zijn om bijdragen van experts aan AI-ontwikkeling te werven, te beoordelen en te coördineren.

micro1 is een datalab dat helpt bij het trainen van de meest geavanceerde AI-modellen en het evalueren van AI-agenten met behulp van input van menselijke experts en realistische werkomgevingen. Het platform brengt specialistische werving, dataproductie, kwaliteitscontrole en modelevaluatie samen in vakgebieden als rechten, gezondheidszorg, financiën, techniek en wetenschap. In dit interview bespreekt Ansari waarom de vraag naar menselijke expertise groeit, hoe operationele data reinforcement learning ondersteunt en welke carrièremogelijkheden ontstaan rond het trainen en evalueren van AI.

Je hebt micro1 in 2022 opgericht, nadat je eerder peerlinc had opgebouwd en verkocht. Welk probleem wilde je aanvankelijk oplossen, en hoe ontwikkelde micro1 zich tot een bedrijf dat zich richt op het trainen en evalueren van de meest geavanceerde AI-modellen?

Oorspronkelijk was het een probleem waar ik in mijn eigen bedrijf tegenaan liep. Ik had een softwareontwikkelingsbureau en voor elk nieuw project moest ik meer engineers vinden en interviewen. Dat kostte me ontzettend veel tijd. Daarom bouwden we Zara, een AI-interviewer, om daarbij te helpen. Uiteindelijk groeide dat uit tot micro1.

We begonnen met de verkoop van wervingssoftware en bouwden een marktplaats met vooraf gescreend talent. Vervolgens kwam een klant bij ons die honderden engineers nodig had om AI-modellen te trainen. We gingen onderzoeken waarom die klant zoveel mensen nodig had en realiseerden ons dat er achter de modelontwikkeling een enorme vraag naar menselijke expertise schuilging.

We hadden al jaren geïnvesteerd in het vermogen om op grote schaal mensen te werven en te screenen. Menselijke data was een zeer krachtige toepassing van die infrastructuur. Daarom zetten we er vol op in, gebruikten we onze AI-recruiter om deskundig talent te werven en te screenen, en bouwden we daarnaast andere dataplatforms en kwaliteitssystemen. Tegenwoordig helpen we labs die expertise om te zetten in betere modelmogelijkheden.

Je hebt betoogd dat de vraag naar menselijke expertise juist toeneemt naarmate AI-modellen meer kunnen, in plaats van te verdwijnen. Waardoor wordt dat verband veroorzaakt?

Er spelen een paar dingen. Ten eerste vragen we modellen om moeilijkere dingen te doen naarmate ze beter worden. Een model dat een vraag kan beantwoorden is nuttig. Een model dat een volledige workflow kan uitvoeren is veel nuttiger, maar daarvoor is veel meer input van experts nodig.

Ten tweede blijven mensen nieuw werk creëren. Als een advocaat AI kan gebruiken voor veel van de taken die een groot deel van de werkdag in beslag nemen, houdt die meer tijd over om complexere problemen aan te pakken of een nieuwe dienst voor cliënten te ontwikkelen. Die geheel nieuwe taken willen we vervolgens ook in modellen verwerken. Dat bedoelen we met ‘geen laatste kilometer’. Het werk blijft zich ontwikkelen.

Synthetische data maakt dit nog interessanter. Je kunt die gebruiken om taken en feedback van experts uit te breiden, waardoor de oorspronkelijke menselijke input meer oplevert. Ik denk dat die combinatie verklaart waarom de vraag naar menselijke expertise blijft groeien naarmate modellen meer kunnen.

micro1 werkt samen met vakexperts uit onder meer de rechtspraktijk, de gezondheidszorg, de financiële sector, de techniek en de wetenschap. Wat kunnen deze professionals bijdragen aan AI-systemen dat niet simpelweg uit bestaande online data kan worden geleerd?

Veel van wat iemand tot een uitstekende arts, advocaat of engineer maakt, is het beoordelingsvermogen dat diegene door het werk heeft ontwikkeld. Een deel daarvan is gedocumenteerd, maar veel ervan blijkt uit de manier waarop iemand een ongebruikelijke zaak behandelt, ontbrekende informatie herkent of bepaalt welk detail er echt toe doet.

Dat is ontzettend waardevol voor het trainen van modellen. Een expert kan een moeilijke taak opstellen, uitleggen hoe een goed resultaat eruit moet zien en precies aangeven waar een model tekortschiet. Een antwoord kan heel overtuigend klinken en toch voorbijgaan aan wat het belangrijkst is voor iemand die dat werk doet.

We hebben experts nodig om die onderscheidingen te maken. Ook hebben we verschillende perspectieven en een grondig beoordelingsproces nodig, want het oordeel van één persoon is niet representatief voor alle gevallen. Het doel is om die ervaring om te zetten in een signaal waaruit het model kan leren. Binnen elk vakgebied bestaat bovendien enorm veel nuance. Juridische expertise is bijvoorbeeld niet één geheel: die verschilt per rechtsgebied, per staat of jurisdictie en per rechtsstelsel van een land. Elke laag vereist meer gespecialiseerde kennis en beoordelingsvermogen. Diezelfde diepgang vind je in elk domein en de vele subdomeinen ervan. Daarom hebben we experts nodig die begrijpen wat die verschillen in de praktijk betekenen.

Nu de sector meer aandacht besteedt aan post-training, reinforcement learning en evaluatie, waar ziet u momenteel de grootste knelpunten bij het verbeteren van de meest geavanceerde modellen?

Ik denk dat toegang tot realistische data een van de grootste knelpunten is. Bedrijven hebben jarenlang problemen opgelost, beslissingen genomen en uitzonderingen afgehandeld. Die ervaring ligt vast in hun documenten, systemen en workflows. Ze is ongelooflijk waardevol als je een model wilt leren hoe het echt werk moet uitvoeren.

Daarom hebben we ons programma Company Data Partnerships (CDP) opgezet. We betalen bedrijven voor een licentie op hun operationele gegevens. Het kan daarbij gaan om interne documentatie, projectgeschiedenissen, CRM-gegevens en de processen die mensen volgen om hun werk gedaan te krijgen. Voor waardevolle datasets van bedrijven betalen we meer dan $ 2 miljoen; het bedrag hangt af van de gegevens en de samenwerking.

We gebruiken dat materiaal om realistische omgevingen voor training en evaluatie op te zetten. Denk bijvoorbeeld aan het oplossen van een klantprobleem: daarvoor moet je mogelijk de accountgeschiedenis bekijken, het relevante beleid vinden en bepalen welke actie je moet ondernemen. Een omgeving die rond die workflow is opgebouwd, biedt een model een plek om die stappen te oefenen. Experts bepalen de taak en hoe wordt beoordeeld of die succesvol is uitgevoerd. Dankzij die feedback is de omgeving bruikbaar voor reinforcement learning.

Bedrijven blijven eigenaar van hun onderliggende gegevens. We spreken af wat de reikwijdte is en welke vereisten gelden voor de verwerking, waaronder privacybescherming, en maken de gegevens geschikt voor het beoogde gebruik.

De waarde zit in de ervaring die in die gegevens is vastgelegd. Met CDP kunnen bedrijven daar inkomsten mee genereren en tegelijk modellen helpen om in veel realistischere omgevingen te leren werken.

Welke vormen van menselijk oordeelsvermogen of expertise zullen volgens jou voor AI-systemen bijzonder moeilijk te evenaren blijven, zelfs wanneer modellen aanzienlijk capabeler worden?

Ik denk dat modellen het vooral moeilijk zullen hebben met menselijke smaak en creativiteit. Dat heeft te maken met de manier waarop we trainingsgegevens maken.

Bij veel taken kunnen we experts bij elkaar brengen en het eens laten worden over wat kwaliteit inhoudt. Dat levert een bruikbaar signaal op waarop we modellen kunnen trainen. Maar vraag mensen wat een geweldige afbeelding, een geweldige film of een overtuigend ontwerp maakt, en hoe meer ze erover praten, hoe meer hun opvattingen uiteen kunnen lopen. Er is niet altijd één antwoord waarover iedereen het eens kan worden.

AI kan op die gebieden nog steeds heel nuttig worden. Maar bepalen wat je wilt maken, voor wie het bedoeld is en of het daadwerkelijk aanslaat, vergt veel menselijk oordeelsvermogen. Ik denk dat dit oordeelsvermogen nog belangrijker wordt naarmate de hulpmiddelen het gemakkelijker maken om dingen te produceren.

Je ziet dat professionals AI-training en -evaluatie steeds vaker als serieus professioneel werk beschouwen in plaats van als een bijverdienste. Kan dit uitgroeien tot een geheel nieuwe categorie banen, en hoe zouden die loopbanen eruit kunnen zien?

Absoluut. Dit is nu al een nieuwe werkcategorie van meerdere miljarden dollars. Experts zetten de kennis die ze tijdens hun loopbaan hebben opgebouwd in om AI te trainen en te evalueren. Voor sommigen wordt dit een aanzienlijk deel van hun werkzame leven.

Het werk zelf kan zeer inhoudelijk zijn. Een advocaat kan een ingewikkelde situatie bedenken en vaststellen hoe de reactie van het model moet worden beoordeeld. Een ingenieur kan een taak ontwikkelen waarbij een agent een volledige softwareworkflow doorloopt. Daarnaast zijn er mensen die de gegevens beoordelen, de evaluatiecriteria verbeteren en teams van experts aansturen. Het werk kan mensen ook meer ruimte bieden om zich te richten op wat hen aanvankelijk naar hun vakgebied trok. In de meeste banen gaat veel tijd op aan administratieve taken en verplichtingen die losstaan van het werk dat mensen het meest betekenisvol vinden. Door AI op hun vakgebied te trainen, kunnen ze hun expertise centraal stellen in hun werk: ingewikkelde problemen oplossen, hun oordeelsvermogen inzetten en delen wat ze door ervaring hebben geleerd. Zo kunnen ze meer tijd besteden aan de dingen die ze belangrijk vinden en waar ze goed in zijn, terwijl ze helpen vormgeven aan de manier waarop AI dat werk benadert.

Ik denk dat er rond dit alles echte loopbaanpaden zullen ontstaan. Je kunt heel goed worden in het vertalen van je vakkennis naar trainingsgegevens, of in het beheren van een datapijplijn en begrijpen waar modellen hulp nodig hebben. Dat zijn waardevolle vaardigheden, en we staan nog maar aan het begin van het ontdekken hoe al deze functies eruit zullen zien.

Bedrijven werven artsen, advocaten, ingenieurs, wetenschappers en andere specialisten om AI-modellen te verbeteren. Hoe controleer je hun expertise en zorg je ervoor dat de daaruit voortkomende trainingsgegevens nauwkeurig en consistent zijn?

We hebben hiervoor een volledig systeem ontwikkeld. Het begint met Zara, onze AI-recruiter, die ons helpt experts te vinden en te screenen op de vaardigheden die voor een project nodig zijn. Vervolgens helpt onze Merit-tool ons om de kwaliteit, snelheid en betrouwbaarheid van hun bijdragen in de loop van de tijd bij te houden. Je moet zowel iemands expertise begrijpen als weten hoe die tot uiting komt in de gegevens die die persoon produceert.

Ons flow-platform brengt het werk van experts samen met de modellen die we hebben ontwikkeld om het genereren en beoordelen van gegevens te ondersteunen. Experts bepalen de taken en wat een goed resultaat inhoudt. Vervolgens helpt flow gen om vanuit dat startpunt nieuwe voorbeelden en variaties te genereren. flow qc controleert de gegevens op problemen, zoals ontbrekend bewijs of een verschil tussen een taak en de bijbehorende beoordelingscriteria. En flow grader beoordeelt hoe het model op basis van die criteria presteert.

Het belangrijkste is wat er gebeurt wanneer een expert een fout ontdekt. Die correctie kan de trainingsgegevens verbeteren, maar kan ons ook helpen de generatoren en kwaliteitscontroles zelf te verbeteren. Terugkerende fouten kunnen we omzetten in tests voor de volgende versie.

Dat is het vliegwiel voor synthetische data dat we aan het opbouwen zijn. Menselijke expertise biedt ons het uitgangspunt en het beoordelingsvermogen. Onze tools helpen ons dit op te schalen, en feedback van experts helpt de volgende cyclus te verbeteren. Vervolgens testen we of die veranderingen daadwerkelijk tot betere modelprestaties leiden. Dat maakt deze kringloop waardevol.

AI-agenten moeten steeds vaker complexe taken in meerdere stappen uitvoeren, in plaats van alleen antwoorden te genereren. Hoe verschilt het trainen en evalueren van deze systemen van het werk dat nodig is om traditionele grote taalmodellen te verbeteren?

Het grote verschil is de duur van de taak. Een agent moet mogelijk veel handelingen uitvoeren met verschillende tools voordat die een bruikbaar resultaat oplevert. De eerste paar stappen kunnen goed gaan, maar toch kan de agent de hele taak niet voltooien, omdat fouten zich opstapelen.

Daarom hebben we omgevingen nodig waarin het model de volledige workflow kan oefenen, en evaluaties die laten zien waar het misgaat. Heeft het de juiste informatie gevonden? Heeft het de tool correct gebruikt? Heeft het daadwerkelijk het gewenste resultaat bereikt?

Daarnaast speelt de context van het bedrijf zelf een rol. Een agent die binnen een bedrijf werkt, moet de processen en verwachtingen van dat bedrijf begrijpen. Met algemene vaardigheden kom je maar tot op zekere hoogte.

Daarom zijn domeinexperts zo belangrijk. Zij helpen ons de fouten vast te stellen en de gegevens te creëren waarmee we de agenten kunnen verbeteren. Je evalueert, brengt de hiaten in kaart, traint op die hiaten en evalueert opnieuw. Dat proces gaat door naarmate de agent meer werk op zich neemt.

Naarmate geavanceerde modellen steeds capabeler worden, hoe verandert het soort door mensen gegenereerde gegevens dat ze nodig hebben, en welke vormen van expertise of evaluatie zullen volgens u de komende jaren aanzienlijk waardevoller worden?

Twee dingen worden steeds belangrijker: hoe lang de taak duurt en hoe nauw die aansluit bij de echte wereld. Naarmate modellen beter worden, verschuiven bruikbare trainingsgegevens naar complexe workflows met meer beslissingen, meer context en meer mogelijkheden om fouten te maken.

Daardoor is operationele expertise erg waardevol. Iemand die een beroep jarenlang heeft uitgeoefend, begrijpt de uitzonderingen en afhankelijkheden die je gemakkelijk over het hoofd ziet wanneer je een taak van buitenaf ontwerpt. Diegene kan je ook vertellen of het resultaat van een agent in de praktijk binnen het bedrijf daadwerkelijk bruikbaar zou zijn.

Ik denk dat evaluaties voor bedrijven op termijn een enorme markt worden, mogelijk goed voor een biljoen dollar per jaar. Elk bedrijf dat agenten inzet, moet begrijpen waar ze goed functioneren, waar ze tekortschieten en hoe ze kunnen worden verbeterd. De mensen die hun kennis kunnen omzetten in bruikbare evaluaties, zullen daarin een centrale rol spelen. Het blijft een voortdurende behoefte, omdat bedrijven, modellen en werkzaamheden voortdurend veranderen.

Sommige professionals helpen mogelijk in feite AI-systemen te trainen om delen van hun eigen werk uit te voeren. Hoe kijkt u tegen die spanning aan, en hoe denkt u dat de verhouding tussen menselijke expertise en AI er de komende drie tot vijf jaar uit zal zien?

Ik denk dat we onderschatten hoeveel nieuw werk mensen zullen creëren wanneer ze over deze tools beschikken.

Neem werving en selectie. Als een agent meer van de eerste selectie kan afhandelen, kan een recruiter meer tijd besteden aan het opbouwen van relaties met kandidaten of aan het bedenken hoe die mensen kan aantrekken die het bedrijf eerder niet kon bereiken. Hun rol verandert, en ze kunnen in dezelfde hoeveelheid tijd meer doen.

Ik verwacht iets soortgelijks in veel beroepen. De komende drie tot vijf jaar zullen agenten steeds vaker collega’s worden die mensen aansturen, context meegeven en evalueren. Daardoor krijgen mensen er nieuwe verantwoordelijkheden bij.

Daarom ben ik optimistisch. We zien nu al nieuw werk ontstaan rond het trainen en evalueren van AI, en ik denk dat er nog veel meer zal volgen naarmate mensen ontdekken wat ze ermee kunnen bouwen en bereiken.

Bedankt voor het mooie interview. Lezers die meer willen weten over trainingsgegevens die door experts worden samengesteld, AI-evaluatie en mogelijkheden om hun domeinkennis in te zetten, kunnen terecht bij micro1.