Yoav Naveh, medstifter og fælles administrerende direktør for Reindeer – interviewserie

Yoav Naveh er medstifter og fælles administrerende direktør for Reindeer og har erfaring med at opbygge teknologivirksomheder, skalere forretninger og investere i iværksættere. Før Reindeer opbyggede han ConvertMedia, fortsatte sit arbejde hos Taboola og investerede gennem INT3. I dag fokuserer han på at hjælpe virksomheder med at gå fra isolerede AI-implementeringer til agenter, der kan håndtere komplekse operationelle opgaver, lære af menneskelig ekspertise og forblive pålidelige, efterhånden som forretningsprocesserne ændrer sig.

Reindeer udvikler AI-agenter til virksomheders centrale driftsopgaver inden for områder som økonomi, forsyningskæde, logistik og fælles servicefunktioner. Platformen kombinerer udførelse af arbejdsgange med feedback fra eksperter, evaluering og menneskelig godkendelse, så agenterne kan tilpasse sig undtagelser og politikker i udvikling. I dette interview taler Naveh om begrænsningerne ved implementeringsmodeller, der kræver omfattende ingeniørarbejde, om hvordan institutionel viden bliver til kontekst for agenter, og om den styring og måling, der skal til for gradvist at mindske den samlede menneskelige arbejdsindsats.

Efter at have opbygget ConvertMedia, skaleret forretningen hos Taboola og investeret i andre iværksættere gennem INT3: Hvilket problem fik dig til at begynde at opbygge en virksomhed igen, og hvordan påvirkede det din beslutning om at være medstifter af Reindeer?

AI-markedet var for spændende til, at vi kunne nøjes med at se til fra sidelinjen. Min medstifter Yair og jeg blev meget optagede af forskellen mellem, hvor nyttig AI er blevet, når vi bruger den hver for sig, og hvor svært det stadig er for virksomheder at indføre den i stor skala. Teknologien udvikler sig utroligt hurtigt, men de fleste organisationer kæmper stadig med at omsætte dens potentiale til meningsfulde ændringer i driften.

AI vil forandre den måde, virksomheder driver deres forretning på, men det kræver mere end bedre teknologi at nå dertil. Det kræver ledere, der er villige til at gentænke, hvordan arbejdet udføres, og en praktisk måde at integrere AI i den daglige drift på uden at skabe nye lag af kompleksitet.

Den udfordring kom til at præge Reindeer. Vi byggede en platform, der hjælper virksomheder med at gå fra deres første agent til en hel flok agenter, som lærer af menneskelig feedback og bliver bedre over tid. Vores mål er at mindske afstanden mellem AIs potentiale og den praktiske anvendelse af AI ved at hjælpe virksomheder med at omdanne deres centrale driftsfunktioner til en arbejdsstyrke af AI-agenter, uden at de behøver genopbygge eller løbende vedligeholde hver enkelt agent.

Du har argumenteret for, at modellen med ingeniører, der arbejder tæt på kunden, risikerer at gøre AI til virksomheder til en arbejdskrævende serviceforretning. Hvor skaber ingeniører, der er integreret i kundens organisation, varig værdi, og hvornår bliver de en afhængighed, der forhindrer kunderne i at skalere?

Ingeniører, der arbejder tæt på kunden (FDE’er), er værdifulde, når det gælder komplekse integrationer og at få de første agenter i drift. Problemet opstår, når selve arbejdsprocesserne ændrer sig, og FDE’er bliver permanent nødvendige for at holde agenterne kørende, mens de udfører arbejdet. Især i stor skala. FDE-modellen fungerer, når man har 5 agenter. Den bryder sammen, når man har hundrede agenter.

Hvis enhver ny arbejdsgang eller uventet undtagelse kræver mere ingeniørarbejde, skalerer I ikke software – I skalerer dyrt menneskeligt arbejde.

De fleste virksomheder, der bruger FDE’er, hævder, at deres ingeniører med tiden går videre til andre opgaver. Virksomheder bør kræve dokumentation for, at det faktisk er tilfældet, før de underskriver en kontrakt, der kræver FDE’er. Vi har allerede set, hvor skrøbelig RPA blev, efterhånden som forretningsprocesserne udviklede sig. Vi bør ikke forvente, at håndbyggede agenter er anderledes.

Arbejdsgange i virksomheder rummer ofte udokumenterede undtagelser og modstridende praksisser på tværs af teams. Hvordan indsamler Reindeer viden om, hvordan arbejdet faktisk udføres, samtidig med at I skelner mellem nyttig institutionel viden og vaner, der ikke bør automatiseres?

De fleste virksomheder har enorme mængder institutionel viden, som ikke er dokumenteret nogen steder. Den findes i medarbejdernes hoveder. Vores agenter begynder med begrænset viden og lærer gennem virkelige sager. Når de støder på ukendte situationer, beder de fageksperter om vejledning.

Men at lære af en medarbejder betyder ikke, at man blindt efterligner vedkommendes adfærd. Vores system skelner mellem individuelle undtagelser og tilbagevendende mønstre og foreslår bredere ændringer, som mennesker skal godkende.

Vi forsøger ikke at automatisere enhver vane. Vi forsøger at omsætte værdifuld institutionel viden til pålidelig intelligens uden at kræve, at ingeniører på forhånd forudser alle tænkelige situationer.

De fleste virksomheder, der arbejder med AI-agenter, begynder med at dokumentere processen og derefter kode den på baggrund af interviews og en grundig gennemgang af tidligere data. Men i virkeligheden foregår den mest effektive indlæring af en proces, hver gang et nyt teammedlem begynder. De lærer ikke et helt års data udenad eller læser en standardprocedure på 3.000 sider. De lærer nogle få færdigheder, ser nogle få eksempler, går i gang med arbejdet, stiller spørgsmål, når de støder på noget, de ikke forstår, og opbygger deres viden. Det er den proces, vi har bygget.

Agentbaseret AI giver også virksomheder mulighed for at gentænke en proces i stedet for blot at automatisere den, som den er. Teams, der udelukkende består af mennesker, regelbaseret automatisering og traditionel software har hver især formet processerne efter deres egne begrænsninger. Når agenter lærer sammen med eksperter, hjælper Reindeer virksomheder med at gentænke, hvordan en proces bør fungere – herunder hvilke praksisser der skal bevares, hvilke der skal udfases, og hvor agenter og mennesker hver især skaber størst værdi.

Når du siger, at Reindeers agenter lærer løbende i produktion, hvad ændrer sig så helt konkret: modellens vægte, hukommelsen, arbejdsgangens logik eller eksplicitte politikker? Kan du gennemgå en undtagelse, der lærer en agent at håndtere fremtidige sager anderledes?

Det, der ændrer sig, er agentens kontekst og færdigheder: arbejdsgangens logik, politikkerne og instruktionerne om, hvornår hver af dem skal anvendes.

Tag en fakturaagent. Den modtager en faktura, der ligger 4 % over indkøbsordren, og kan ikke finde en politik, der dækker den. I stedet for at behandle fakturaen sender agenten sagen videre til en ekspert. Eksperten forklarer, at denne leverandør har en godkendt undtagelse for brændstoftillæg. Agenten løser sagen, og forklaringen gemmes som kontekst, der kun gælder for den pågældende leverandør.

Hvis den samme type undtagelse opstår igen hos andre leverandører, og andre eksperter løser den på samme måde, foreslår systemet en ændring af politikken, f.eks. »Brændstoftillæg på op til 5 % accepteres, når kontrakten tillader det.« Forslaget gennemgår test og menneskelig godkendelse, før agenten tager det i brug. En eksperts svar løser én sag. Et mønster på tværs af sager kan danne grundlag for en ny regel.

En medarbejders beslutning kan være passende for én kunde eller transaktion uden at egne sig som en generel regel. Hvordan afgør I, hvornår feedback skal forblive en engangsundtagelse, og hvornår den bør føre til et forslag om en ændring af politikken?

Vi skelner mellem at løse en konkret sag og at ændre den måde, en agent arbejder på fremover.

En medarbejder kan godkende en undtagelse for én kunde, men det betyder ikke, at den samme undtagelse bør gælde generelt. Jeg vil endda hævde, at to forskellige medarbejdere kan nå frem til forskellige løsninger på en undtagelse for den samme kunde. Vores system vurderer omstændighederne, identificerer tilbagevendende mønstre, afstemmer modstridende oplysninger og undersøger mulige konflikter med eksisterende politikker.

Når der er belæg for en bredere ændring, kører vi agenten gennem vores evalueringsplatform – et »Truman Show« for agenter, om man vil – og foreslår en opdatering til menneskelig godkendelse.

Målet er at lære af mennesker, ikke blindt at efterligne deres beslutninger. Ellers automatiserer man blot fejl.

En agent kan blive bedre til at håndtere nylige sager og samtidig blive mindre pålidelig i situationer, den tidligere håndterede korrekt. Hvilken test- og godkendelsesproces skal et foreslået ændring gennemgå, før det sættes i produktion, og hvordan opdager og tilbagefører I forringelser?

Løbende læring uden styring er farlig, så hvert foreslået ændring skal gennem tre sikkerhedsforanstaltninger: regressionstest, menneskelig godkendelse og en konfidensgrænse, der bestemmer, hvornår agenten må handle på egen hånd.

Test kommer først, og det er sværere, end det lyder, fordi operationelt arbejde ikke har nogen facitliste. Vi udvælger repræsentative sager på baggrund af eksperternes feedback, fastlægger kriterier for sammenligning af resultaterne og afprøver sagerne igen med både den nuværende agent og den foreslåede version. Handlinger med følgevirkninger, som f.eks. at sende en e-mail, køres i en simulator, der er bygget på tidligere kørsler, og testtilfælde, som ikke længere stemmer overens med den gældende politik, udfases. For at kunne måle en ændrings reelle effekt skal agenterne tro, at de befinder sig i den virkelige verden, og at deres handlinger har reelle konsekvenser – f.eks. at en post indsættes i SAP eller en e-mail sendes til en kunde. Det er den eneste måde at opbygge en reel evalueringsramme for hver agent på.

En menneskelig leder gennemgår derefter ændringen, dokumentationen bag den og testresultaterne og kan godkende, revidere eller afvise den. Agentens måde at arbejde på ændres ikke, før ændringen er godkendt.

Konfidensgrænsen beskytter virksomheden, efter at en ændring er sat i drift. Agenten handler kun på egen hånd, når dens konfidens overstiger grænsen, og alt under grænsen sendes videre til en ekspert. Driftsteams justerer selv grænsen, så de kan begynde forsigtigt og give agenten større autonomi, efterhånden som den opbygger en dokumenteret historik.

Hvis kvaliteten falder efter en ændring, strammer systemet automatisk kontrolgrænserne, så flere sager sendes videre til eksperter, og deres feedback afdækker problemet gennem den samme proces, som førte til ændringsforslaget. Alle politikændringer versionsstyres, kan knyttes til en ansvarlig og logføres, så et team kan se, hvad der blev ændret, hvem der godkendte det, og hvorfor, samt gå tilbage til den foregående version.

Selv hvis ingeniørarbejdet reduceres, kan driftsteams stadig stå tilbage med betydeligt arbejde med at gennemgå undtagelser og rette agenternes fejl. Hvordan måler I, om Reindeer reducerer den samlede menneskelige arbejdsindsats, i stedet for blot at flytte arbejdet til et andet team?

Virkeligheden er, at de fleste virksomheder allerede har et team af medarbejdere, der udfører dette arbejde manuelt. Vores mål er ikke at flytte arbejdsbyrden til et andet team, men at reducere den over tid. Vi giver de mest erfarne medarbejdere i det eksisterende team mulighed for at lære agenten at håndtere undtagelser og træffe bedre beslutninger på egen hånd.

Problemet med FDE-modellen er, at den ofte flytter arbejdet fra relativt lavtlønnede driftsmedarbejdere til dyre ingeniører. Det løser ikke arbejdskraftproblemet; det gør det dyrere. Reindeer inddrager ikke ingeniører i den ligning. I stedet måler vi succesen på, hvor meget mere arbejde agenterne kan løse selvstændigt over tid, og hvor meget mindre menneskelig indgriben der kræves i hele processen.

Vi følger tre ting: andelen af sager, som agenten løser fra start til slut uden menneskelig indblanding, antallet af ekspertindgreb pr. sag og den samlede behandlingstid pr. sag, når både agenter og mennesker tælles med. Hvis det tredje tal ikke falder, flytter vi bare arbejdet rundt.

Kan du fortælle om en af implementeringerne hos Hellmann Worldwide Logistics eller Papaya Global og forklare, hvad der ændrede sig fra lanceringen og frem til den løbende drift? Hvad skete der med nøjagtigheden, antallet af undtagelser, gennemløbstiden og behovet for menneskelig indgriben?

Hellmann Worldwide Logistics er et godt eksempel på, hvordan agenter kan forbedre driften i praksis over tid. Deres pristeam brugte enormt meget tid på manuelt at behandle forsendelsesanmodninger på tværs af e-mails, regneark og andre dokumenter, og det tog ofte flere dage at udarbejde et tilbud.

Vi begyndte med cirka 20 eksempler på anmodninger for at forstå arbejdsgangen og træne agenten. Derefter begyndte Hellmanns prisspecialister at arbejde direkte med systemet, give feedback og hjælpe det med at håndtere undtagelser. Vi fulgte nøjagtighed og hastighed gennem hele testforløbet og fortsatte med at overvåge ydeevnen, efter at agenten blev sat i produktion.

I dag håndteres rutineanmodninger automatisk, mens mere komplekse sager sendes videre til teamet. Det er afgørende, at agenten registrerer, når der mangler oplysninger, i stedet for at gætte, så medarbejderne kan gribe ind dér, hvor deres ekspertise faktisk er nødvendig.

Resultatet er kortere tid fra forespørgsel til tilbud, færre manuelle dataindtastninger og mere tid til kundevendt arbejde. Hellmann har også oplevet, at andelen af vundne tilbud er steget. Målet er ikke at fjerne mennesker fra processen, men løbende at mindske mængden af rutinearbejde, der kræver deres indgriben.

Hvad har I lært om begrænsningerne ved denne tilgang? Hvilke kendetegn ved en arbejdsgang viser, at den er klar til en adaptiv agent, og hvilke tyder på, at virksomheden først bør redesigne processen eller holde fast i traditionel automatisering?

Ikke alle processer har brug for en AI-agent. De bedste muligheder findes i gentagne arbejdsgange med stor volumen, som kræver kontekstafhængige vurderinger, især når oplysninger er fordelt på flere systemer, og medarbejderne jævnligt håndterer undtagelser.

Den tydeligste lære af vores implementeringer er, at en ny funktion er ved at opstå i virksomhederne, på samme måde som revenue operations opstod med CRM og DevOps med cloud. Når virksomheder går fra nogle få agenter til en hel flok, har de brug for en person eller et team, der styrer agenterne, ligesom en afdelingsleder styrer en arbejdsstyrke: med ansvar for deres KPI’er og ROI, for at beslutte, hvilke opgaver agenterne skal overtage, og hvilke de ikke skal, samt for at godkende, hvordan de ændres. De virksomheder, der allerede er ved at opbygge denne funktion, rykker hurtigst frem, og det er dem, der står stærkest til at vinde.

Uenighed om arbejdsgange er ikke nogen grund til at vente. Eksperter er uenige i næsten alle driftsområder, og vores system er udviklet til at afdække disse modsætninger og omsætte dem til forslag til retningslinjer. At løse dem er en del af den ansvarliges opgave, og det er endnu en grund til at etablere rollen, før man skalerer brugen af agenter.

Tilgangen har også sine egne begrænsninger. Kerneaktiviteter bliver ikke fuldt automatiseret, og det er heller ikke vores mål. Agenterne udvider gradvist, hvilke opgaver de kan håndtere, mens højrisikosager bevidst forbliver hos mennesker.

Efterhånden som grundmodeller og værktøjer til udvikling af agenter bliver bedre, hvilke dele af implementeringen i virksomheder forventer du bliver standardvarer, og hvor opbygger Reindeer en fordel, der vokser med hver implementering i produktion?

Grundmodeller bliver stadig mere udskiftelige, efterhånden som de bliver billigere, hurtigere og mere kapable. Det bliver også allerede lettere at bygge grundlæggende agenter og forbinde dem med virksomhedssystemer.

Men at bygge en agent er ikke det samme som at få den til at fungere pålideligt over tid i en kompleks virksomhed.

Den reelle konkurrencefordel er den proprietære viden om, hvordan en virksomhed faktisk fungerer – og det ændrer sig løbende. Hver sag i produktion giver vores agenter mulighed for at lære, løse fremtidige undtagelser og mindske behovet for menneskelig indgriben.

Modeller bliver billigere. Det bliver lettere at bygge agenter.

Vinderne bliver dem, der fjerner den dyre menneskelige ingeniørinfrastruktur, som det kræver at holde agenterne velfungerende og relevante over tid.

Tak for et godt interview. Læsere, der gerne vil vide mere om adaptive AI-agenter til virksomheder, driftsautomatisering og menneskestyret læring, kan besøge Reindeer.