Yoav Naveh, medeoprichter en co-CEO van Reindeer – interviewreeks

Yoav Naveh is medeoprichter en co-CEO van Reindeer. Hij heeft ervaring met het opbouwen van technologiebedrijven, het opschalen van ondernemingen en investeren in oprichters. Voordat hij bij Reindeer aan de slag ging, bouwde hij ConvertMedia op, zette hij zijn werk bij Taboola voort en investeerde hij via INT3. Tegenwoordig richt hij zich erop bedrijven te helpen de overstap te maken van afzonderlijke AI-implementaties naar agenten die complexe operationele taken aankunnen, leren van menselijke expertise en betrouwbaar blijven wanneer bedrijfsprocessen veranderen.

Reindeer ontwikkelt AI-agenten voor kernactiviteiten van bedrijven, op gebieden als financiën, toeleveringsketens, logistiek en gedeelde dienstverlening. Het platform combineert de uitvoering van workflows met feedback van experts, evaluatie en menselijke goedkeuring, zodat agenten zich kunnen aanpassen aan uitzonderingen en veranderend beleid. In dit interview bespreekt Naveh de beperkingen van implementatiemodellen die sterk leunen op engineering, hoe institutionele kennis onderdeel wordt van de context van agenten en welke governance en meetmethoden nodig zijn om de totale menselijke inspanning in de loop der tijd te verminderen.

Na de opbouw van ConvertMedia, de groei binnen Taboola en investeringen in andere oprichters via INT3: welk probleem bracht je ertoe opnieuw een bedrijf op te bouwen, en hoe beïnvloedde dat je besluit om Reindeer mede op te richten?

De AI-markt was te boeiend om vanaf de zijlijn toe te kijken. Mijn medeoprichter Yair en ik raakten bijzonder geïnteresseerd in de kloof tussen hoe nuttig AI is geworden wanneer we er zelf mee werken en hoe moeilijk het voor bedrijven nog steeds is om AI op grote schaal in te zetten. De technologie ontwikkelt zich ongelooflijk snel, maar de meeste organisaties hebben nog altijd moeite om dat potentieel om te zetten in betekenisvolle operationele veranderingen.

AI zal de manier waarop bedrijven werken veranderen, maar daarvoor is meer nodig dan betere technologie. Het vraagt om leiders die bereid zijn opnieuw na te denken over hoe het werk wordt gedaan, en om een praktische manier om AI in de dagelijkse bedrijfsvoering te integreren zonder nieuwe lagen van complexiteit te creëren.

Die uitdaging vormde de aanleiding voor Reindeer. We hebben een platform gebouwd dat bedrijven helpt de stap te zetten van hun eerste agent naar een hele kudde agenten die leren van menselijke feedback en zich in de loop der tijd verbeteren. Ons doel is de kloof tussen het potentieel van AI en de toepassing ervan in de praktijk te overbruggen, zodat bedrijven hun kernactiviteiten kunnen omvormen tot een personeelsbestand aangestuurd door AI-agenten, zonder elke agent opnieuw te hoeven bouwen of voortdurend te onderhouden.

Je hebt betoogd dat het model van engineers die bij de klant worden ingezet het risico met zich meebrengt dat bedrijfs-AI verandert in een arbeidsintensieve dienstverlening. Waar levert nauw geïntegreerde engineering blijvende waarde op, en wanneer leidt die tot afhankelijkheid die klanten belemmert om op te schalen?

Engineers die bij de klant worden ingezet, zijn waardevol voor complexe integraties en om de eerste agenten in productie te krijgen. Het probleem ontstaat wanneer de werkprocessen zelf veranderen en FDE’s permanent nodig blijven om de agenten aan het werk te houden. Vooral wanneer je opschaalt. Het FDE-model werkt wanneer je 5 agenten hebt. Het loopt vast wanneer je honderd agenten hebt.

Als voor elke nieuwe workflow of onverwachte uitzondering meer engineering nodig is, schaal je geen software op, maar dure menselijke arbeid.

De meeste bedrijven die FDE’s inzetten, beweren dat hun engineers uiteindelijk aan andere taken gaan werken. Bedrijven moeten vóór het ondertekenen van een contract waarvoor FDE’s nodig zijn, bewijs eisen dat dit inderdaad gebeurt. We hebben al gezien hoe kwetsbaar RPA werd toen bedrijfsprocessen veranderden. We mogen niet verwachten dat op maat gebouwde agenten anders zullen zijn.

Bedrijfsworkflows bevatten vaak niet-gedocumenteerde uitzonderingen en uiteenlopende werkwijzen binnen verschillende teams. Hoe legt Reindeer vast hoe het werk daadwerkelijk wordt gedaan, en maakt het daarbij onderscheid tussen waardevolle institutionele kennis en gewoonten die niet geautomatiseerd zouden moeten worden?

De meeste bedrijven beschikken over enorme hoeveelheden institutionele kennis die nergens zijn vastgelegd. Die kennis zit in de hoofden van werknemers. Onze agenten beginnen met gedeeltelijke kennis en leren aan de hand van praktijksituaties. Wanneer ze onbekende situaties tegenkomen, vragen ze vakexperts om advies.

Leren van een werknemer betekent echter niet dat diens gedrag blindelings wordt nagebootst. Ons systeem maakt onderscheid tussen individuele uitzonderingen en terugkerende patronen en stelt bredere veranderingen voor, die door mensen moeten worden goedgekeurd.

We proberen niet elke gewoonte te automatiseren. We willen waardevolle institutionele kennis omzetten in betrouwbare intelligentie, zonder dat engineers vooraf elk mogelijk scenario hoeven te voorzien.

De meeste bedrijven die met AI-agenten werken, beginnen met het documenteren en vervolgens programmeren van het proces, op basis van interviews en een nauwgezette analyse van gegevens uit het verleden. In werkelijkheid leert iemand een proces het effectiefst door het te ervaren, zoals elke keer wanneer een nieuw teamlid begint. Diegene leert niet een jaar aan gegevens of een SOP van 3.000 pagina’s uit het hoofd. In plaats daarvan leert diegene een paar vaardigheden, bekijkt enkele voorbeelden, gaat aan de slag, stelt vragen wanneer iets onduidelijk is en bouwt zo kennis op. Dat is het proces dat wij hebben ontwikkeld.

AI-agenten bieden bedrijven ook de mogelijkheid om een proces opnieuw vorm te geven, in plaats van het in zijn huidige vorm te automatiseren. Teams die uitsluitend uit mensen bestaan, automatisering op basis van regels en traditionele software hebben processen elk aangepast aan hun eigen beperkingen. Doordat agenten samen met experts leren, helpt Reindeer bedrijven opnieuw na te denken over hoe een proces zou moeten werken: welke werkwijzen ze moeten behouden, welke ze moeten afschaffen en waar agenten en mensen elk de meeste waarde toevoegen.

Wanneer je zegt dat de agents van Reindeer in productie continu leren, wat verandert er dan precies: de modelgewichten, het geheugen, de workflowlogica of expliciete beleidsregels? Kun je ons laten zien hoe een uitzondering een agent leert om toekomstige gevallen anders af te handelen?

Wat verandert, is de context en de vaardigheden van de agent: de workflowlogica, de beleidsregels en de instructies over wanneer elke regel moet worden toegepast.

Neem een factuuragent. Die ontvangt een factuur die 4% hoger is dan de inkooporder en kan geen beleidsregel vinden die hierop van toepassing is. In plaats van de factuur te verwerken, legt de agent de zaak voor aan een expert. Die legt uit dat deze leverancier een goedgekeurde uitzondering heeft voor brandstoftoeslagen. De agent handelt de zaak af en slaat de uitleg alleen op als context voor die leverancier.

Als hetzelfde type uitzondering zich opnieuw voordoet bij andere leveranciers en andere experts de zaak op dezelfde manier afhandelen, stelt het systeem een beleidswijziging voor, bijvoorbeeld: ‘brandstoftoeslagen tot 5% zijn aanvaardbaar wanneer het contract dit toestaat’. Dat voorstel wordt getest en door een mens goedgekeurd voordat de agent het toepast. Het antwoord van één expert lost één zaak op. Een patroon in meerdere zaken kan de basis vormen voor een nieuwe regel.

De beslissing van een medewerker kan passend zijn voor één klant of transactie, zonder geschikt te zijn als algemene regel. Hoe bepaal je of feedback een eenmalige uitzondering moet blijven of moet leiden tot een voorstel voor een beleidswijziging?

We maken onderscheid tussen het afhandelen van een afzonderlijke zaak en het veranderen van de manier waarop een agent voortaan werkt.

Een medewerker kan voor één klant een uitzondering goedkeuren, maar dat betekent niet dat dezelfde uitzondering voor iedereen moet gelden. Ik zou zelfs stellen dat twee verschillende medewerkers voor dezelfde uitzondering van dezelfde klant tot een andere oplossing kunnen komen. Ons systeem beoordeelt de omstandigheden, brengt terugkerende patronen in kaart, verzoent tegenstrijdigheden en zoekt naar mogelijke conflicten met bestaand beleid.

Als er bewijs is dat een bredere wijziging ondersteunt, laten we de agent draaien op ons evaluatieplatform — een ‘Truman Show’ voor agents, zogezegd — en stellen we een update voor ter goedkeuring door een mens.

Het doel is om van mensen te leren, niet om menselijke beslissingen blindelings te kopiëren. Anders automatiseer je simpelweg fouten.

Een agent kan zich verbeteren op basis van recente gevallen, maar tegelijk minder betrouwbaar worden in situaties die hij eerder correct afhandelde. Welke tests en goedkeuringsprocedure moet een voorgestelde wijziging doorlopen voordat die in productie wordt genomen, en hoe spoor je regressies op en draai je die terug?

Continu leren zonder toezicht is gevaarlijk. Daarom doorloopt elk voorgesteld verandering drie waarborgen: regressietests, goedkeuring door een mens en een betrouwbaarheidsdrempel die bepaalt wanneer de agent zelfstandig handelt.

Testen komt op de eerste plaats, en dat is moeilijker dan het klinkt, omdat er voor operationeel werk geen vaste antwoordsleutel bestaat. We selecteren representatieve gevallen op basis van feedback van experts, bepalen criteria om de resultaten te vergelijken en spelen die gevallen opnieuw af met zowel de huidige agent als de voorgestelde versie. Acties met neveneffecten, zoals het versturen van een e-mail, worden uitgevoerd in een simulator die is opgebouwd uit eerdere runs. Testgevallen die niet langer overeenkomen met het huidige beleid, worden geschrapt. Om het werkelijke effect van een wijziging te kunnen meten, moeten agents geloven dat ze in de echte wereld actief zijn en dat hun acties echte gevolgen hebben — zoals een record invoegen in SAP of een e-mail versturen naar een klant. Dat is de enige manier om voor elke agent een echt evaluatiekader op te bouwen.

Vervolgens beoordeelt een menselijke manager de wijziging, het bewijs waarop die is gebaseerd en de testresultaten. Die kan de wijziging goedkeuren, aanpassen of afwijzen. De werkwijze van de agent verandert pas nadat de wijziging is goedgekeurd.

De betrouwbaarheidsdrempel beschermt het bedrijf nadat een wijziging is doorgevoerd. De agent handelt alleen zelfstandig als zijn betrouwbaarheid boven de drempel uitkomt; bij een lagere score wordt de zaak voorgelegd aan een expert. Operationele teams stellen die drempel zelf in. Zo kunnen ze voorzichtig beginnen en de agent meer autonomie geven naarmate die een betere staat van dienst opbouwt.

Als de kwaliteit na een wijziging afneemt, scherpt het systeem de controledrempels automatisch aan, zodat meer zaken bij experts terechtkomen. Hun feedback brengt het probleem aan het licht via dezelfde cyclus die de wijziging heeft voorgesteld. Elke beleidswijziging krijgt een versienummer, wordt aan een verantwoordelijke gekoppeld en vastgelegd. Zo kan een team zien wat er is veranderd, wie de wijziging heeft goedgekeurd en waarom, en teruggaan naar de vorige versie.

Minder werk voor engineers kan nog steeds betekenen dat operationele teams veel werk hebben aan het beoordelen van uitzonderingen en het corrigeren van agents. Hoe meet je of Reindeer de totale benodigde menselijke inzet vermindert, in plaats van die inzet naar een ander team te verschuiven?

De realiteit is dat de meeste bedrijven al een team hebben dat dit werk handmatig uitvoert. Ons doel is niet om die werklast naar een ander team te verschuiven, maar om die op termijn te verminderen. We geven de meest ervaren mensen uit dat bestaande team de middelen om de agent te leren hoe die uitzonderingen moet afhandelen en zelfstandig betere beslissingen kan nemen.

Het probleem met het FDE-model is dat het werk vaak verschuift van relatief goedkope operationele medewerkers naar dure engineers. Daarmee los je het arbeidsprobleem niet op; je maakt het duurder. Reindeer voegt geen engineers aan die vergelijking toe. In plaats daarvan meten we succes aan de hand van hoeveel meer werk agents na verloop van tijd zelfstandig kunnen afhandelen en hoeveel minder menselijke tussenkomst er voor het hele proces nodig is.

We volgen drie zaken: het aandeel gevallen dat de agent van begin tot eind zelfstandig afhandelt, het aantal keer dat een expert per geval moet ingrijpen en de totale afhandeltijd per geval, voor agents en mensen samen. Als dat derde cijfer niet daalt, verplaatsen we het werk alleen maar.

Kunt u één implementatie bij Hellmann Worldwide Logistics of Papaya Global bespreken en uitleggen wat er veranderde vanaf de lancering tot en met de doorlopende inzet? Wat gebeurde er met de nauwkeurigheid, het aantal uitzonderingen, de doorlooptijd en de hoeveelheid benodigde menselijke tussenkomst?

Hellmann Worldwide Logistics is een uitstekend voorbeeld van hoe agents de dagelijkse bedrijfsvoering in de loop van de tijd kunnen verbeteren. Het prijsteam besteedde enorm veel tijd aan het handmatig verwerken van verzendaanvragen via e-mails, spreadsheets en andere documenten. Het opstellen van een offerte duurde daardoor vaak dagen.

We begonnen met ongeveer 20 voorbeeldaanvragen om de workflow te begrijpen en de agent te trainen. Vervolgens gingen de prijsexperts van Hellmann rechtstreeks met het systeem werken. Ze gaven feedback en hielpen het systeem uitzonderingen af te handelen. Tijdens het testen hielden we de nauwkeurigheid en snelheid bij en ook nadat de agent in productie was genomen, bleven we de prestaties monitoren.

Routineaanvragen worden nu automatisch afgehandeld, terwijl complexere gevallen naar het team worden doorgestuurd. Belangrijk is dat de agent herkent wanneer informatie ontbreekt, in plaats van aannames te doen. Zo kunnen medewerkers ingrijpen wanneer hun expertise daadwerkelijk nodig is.

Het resultaat is een kortere doorlooptijd voor offertes, minder handmatige gegevensinvoer en meer tijd voor klantgericht werk. Ook is het percentage gewonnen offertes bij Hellmann gestegen. Het doel is niet om mensen uit het proces te halen, maar om de hoeveelheid routinewerk waarvoor hun tussenkomst nodig is voortdurend terug te dringen.

Wat hebt u geleerd over de grenzen van deze aanpak? Welke kenmerken van een workflow wijzen erop dat die geschikt is voor een adaptieve agent, en welke geven aan dat het bedrijf het proces eerst opnieuw moet ontwerpen of conventionele automatisering moet behouden?

Niet elk proces heeft een AI-agent nodig. De beste kansen liggen bij repetitieve workflows met grote volumes die contextueel inzicht vereisen, vooral wanneer informatie verspreid is over meerdere systemen en medewerkers regelmatig uitzonderingen afhandelen.

De duidelijkste les uit onze implementaties is dat er binnen bedrijven een nieuwe functie ontstaat, net zoals revenue operations ontstond met CRM en DevOps met cloud. Wanneer bedrijven de overstap maken van enkele agents naar een hele groep, hebben ze een persoon of team nodig dat de agents beheert zoals een afdelingshoofd een personeelsbestand aanstuurt: verantwoordelijk voor hun KPI’s en ROI, beslissend over waar agents werk op zich moeten nemen en waar niet, en goedkeurend hoe ze worden aangepast. De bedrijven die deze functie nu al opzetten, boeken de snelste vooruitgang en zijn het best gepositioneerd om te winnen.

Tegenstrijdige werkwijzen zijn geen reden om af te wachten. Experts zijn het in vrijwel elke bedrijfsactiviteit met elkaar oneens, en ons systeem is ontworpen om die tegenstrijdigheden aan het licht te brengen en om te zetten in beleidsvoorstellen. Het oplossen ervan hoort bij de verantwoordelijkheid van die eigenaar. Dat is nog een reden om deze functie in te richten voordat agents op grotere schaal worden ingezet.

Ook deze aanpak kent haar grenzen. Kernactiviteiten zullen niet volledig worden geautomatiseerd, en dat is ook niet ons doel. Agents breiden hun toepassingsgebied geleidelijk uit, terwijl gevallen met een hoog risico bewust door mensen worden afgehandeld.

Welke onderdelen van de implementatie binnen bedrijven zullen volgens u een standaardproduct worden naarmate basismodellen en tools voor het bouwen van agents beter worden, en op welk terrein bouwt Reindeer aan een voorsprong die bij elke implementatie in productie verder groeit?

Basismodellen zullen steeds vaker onderling uitwisselbaar worden naarmate ze goedkoper, sneller en krachtiger worden. Ook wordt het steeds eenvoudiger om basisagents te bouwen en aan bedrijfssystemen te koppelen.

Maar een agent bouwen is niet hetzelfde als ervoor zorgen dat die op de lange termijn betrouwbaar functioneert binnen een complex bedrijf.

Het echte concurrentievoordeel zit in de bedrijfseigen kennis van hoe een bedrijf daadwerkelijk werkt — en dat verandert voortdurend. Elk geval dat in productie wordt afgehandeld, biedt onze agents de kans om te leren, toekomstige uitzonderingen op te lossen en menselijke tussenkomst te beperken.

Modellen worden goedkoper. Agents bouwen wordt eenvoudiger.

De winnaars maken een einde aan de kostbare menselijke technische infrastructuur die nodig is om die agents op de lange termijn goed te laten functioneren en relevant te houden.

Bedankt voor het inspirerende gesprek. Lezers die meer willen weten over adaptieve AI-agents voor bedrijven, operationele automatisering en leren onder menselijke begeleiding, kunnen terecht bij Reindeer.