Yoav Naveh, medgründer og medadministrerende direktør i Reindeer – intervjuserie

Yoav Naveh er medgründer og medadministrerende direktør i Reindeer. Han har erfaring med å bygge teknologiselskaper, skalere virksomheter og investere i gründere. Før Reindeer bygde han opp ConvertMedia, fortsatte arbeidet sitt i Taboola og investerte gjennom INT3. I dag arbeider han for å hjelpe større virksomheter med å gå fra isolerte KI-utrullinger til agenter som kan håndtere komplekse operative oppgaver, lære av menneskelig ekspertise og forbli pålitelige etter hvert som forretningsprosessene endres.

Reindeer utvikler KI-agenter for kjernevirksomheten i større virksomheter, innen områder som økonomi, forsyningskjeder, logistikk og fellestjenester. Plattformen kombinerer gjennomføring av arbeidsflyter med tilbakemeldinger fra eksperter, evaluering og godkjenning fra mennesker, slik at agentene kan tilpasse seg unntak og endringer i retningslinjer. I dette intervjuet snakker Naveh om begrensningene ved utrullingsmodeller som er sterkt avhengige av ingeniørarbeid, hvordan institusjonell kunnskap blir en del av agentenes kontekst, og hvilken styring og måling som trengs for å redusere den samlede menneskelige arbeidsinnsatsen over tid.

Etter at du bygde opp ConvertMedia, skalerte virksomheten i Taboola og investerte i andre gründere gjennom INT3, hvilket problem fikk deg til å begynne å bygge et selskap igjen, og hvordan påvirket det beslutningen om å grunnlegge Reindeer?

KI-markedet var altfor spennende til at vi ville stå på sidelinjen og se på. Medgründeren min, Yair, og jeg ble svært opptatt av gapet mellom hvor nyttig KI har blitt når vi bruker den hver for oss, og hvor vanskelig det fortsatt er for større virksomheter å ta den i bruk i stor skala. Teknologien utvikler seg utrolig raskt, men de fleste organisasjoner strever fortsatt med å omsette dette potensialet til meningsfulle endringer i driften.

KI kommer til å forandre måten selskaper drives på, men det krever mer enn bedre teknologi å komme dit. Det krever ledere som er villige til å tenke nytt om hvordan arbeidet utføres, og en praktisk måte å ta KI inn i den daglige driften på uten å skape nye lag med kompleksitet.

Denne utfordringen formet Reindeer. Vi bygde en plattform som hjelper større virksomheter med å gå fra sin første agent til en hel flokk agenter som lærer av menneskelige tilbakemeldinger og blir bedre over tid. Målet vårt er å redusere gapet mellom KIs potensial og den praktiske bruken av KI, og hjelpe selskaper med å gjøre kjernevirksomheten om til en agentbasert arbeidsstyrke uten å måtte bygge opp eller vedlikeholde hver enkelt agent kontinuerlig.

Du har hevdet at modellen med ingeniører som jobber tett ute hos kunden, risikerer å gjøre KI for større virksomheter til en arbeidsintensiv tjenestebransje. Hvor skaper integrert ingeniørkompetanse varig verdi, og når blir den en avhengighet som hindrer kundene i å skalere?

Ingeniører som jobber tett ute hos kunden, er verdifulle når integrasjoner er komplekse og de første agentene skal settes i produksjon. Problemet oppstår når selve arbeidsprosessene endres, og ingeniørene blir permanent nødvendige for å holde agentene i drift. Særlig i stor skala. Modellen med ingeniører ute hos kunden fungerer når du har 5 agenter. Den bryter sammen når du har hundre agenter.

Hvis hver nye arbeidsflyt eller uventede unntak krever mer ingeniørarbeid, skalerer du ikke programvare – du skalerer kostbar menneskelig arbeidskraft.

De fleste selskaper som bruker ingeniører ute hos kunden, hevder at ingeniørene etter hvert går videre til andre oppgaver. Større virksomheter bør kreve bevis for at dette stemmer før de signerer en kontrakt som forutsetter slike ingeniører. Vi har allerede sett hvor skjørt RPA ble etter hvert som forretningsprosessene utviklet seg. Vi bør ikke forvente at håndbygde agenter skal være annerledes.

Arbeidsflyter i større virksomheter inneholder ofte udokumenterte unntak og motstridende arbeidsmåter på tvers av team. Hvordan fanger Reindeer opp hvordan arbeidet faktisk utføres, samtidig som dere skiller nyttig institusjonell kunnskap fra vaner som ikke bør automatiseres?

De fleste større virksomheter har enorme mengder institusjonell kunnskap som ikke er dokumentert noe sted. Den finnes i hodene på medarbeiderne. Agentene våre starter med delvis kunnskap og lærer gjennom reelle saker. Når de støter på ukjente situasjoner, ber de fagpersoner om veiledning.

Men det å lære av en medarbeider betyr ikke at systemet ukritisk kopierer vedkommendes atferd. Systemet vårt skiller mellom individuelle unntak og tilbakevendende mønstre, og foreslår større endringer som må godkjennes av mennesker.

Vi prøver ikke å automatisere alle vaner. Vi prøver å gjøre verdifull institusjonell kunnskap om til pålitelig intelligens, uten at ingeniører må forutse alle mulige situasjoner på forhånd.

De fleste selskaper som jobber med agentbasert KI, begynner med å dokumentere prosessen og deretter programmere den ved å intervjue folk og gå grundig gjennom tidligere data. Men i virkeligheten lærer man best en prosess ved å se på hva som skjer hver gang et nytt teammedlem begynner. De pugger ikke data for et helt år eller en standard operasjonsprosedyre på 3 000 sider. De lærer noen ferdigheter, ser noen eksempler, begynner å arbeide, stiller spørsmål når de møter noe de ikke forstår, og bygger opp kunnskapen sin. Det er denne prosessen vi har utviklet.

Agentbasert KI gir også selskaper muligheten til å tenke nytt om en prosess i stedet for å automatisere den slik den er. Team som bare består av mennesker, regelbasert automatisering og tradisjonell programvare har alle formet prosesser etter sine egne begrensninger. Ved å la agenter lære sammen med eksperter hjelper Reindeer større virksomheter med å tenke nytt om hvordan en prosess bør fungere, blant annet hvilke arbeidsmåter som bør videreføres, hvilke som bør avvikles, og hvor agenter og mennesker hver for seg bidrar mest.

Når du sier at Reindeers agenter lærer kontinuerlig i produksjon, hva er det egentlig som endres: modellvekter, minne, arbeidsflytlogikk eller eksplisitte retningslinjer? Kan du ta oss gjennom et unntak som lærer en agent å håndtere framtidige saker annerledes?

Det som endres, er agentens kontekst og ferdigheter: arbeidsflytlogikken, retningslinjene og instruksjonene for når hver av dem skal brukes.

Tenk deg en fakturaagent. Den mottar en faktura som er 4 % høyere enn innkjøpsordren, og finner ingen retningslinje som dekker dette. I stedet for å behandle fakturaen sender agenten saken videre til en ekspert. Eksperten forklarer at denne leverandøren har fått godkjent et unntak for drivstofftillegg. Agenten løser saken, og forklaringen lagres som kontekst kun for denne leverandøren.

Hvis samme type unntak oppstår igjen hos andre leverandører, og andre eksperter løser det på samme måte, foreslår systemet en endring av retningslinjene, for eksempel «drivstofftillegg på opptil 5 % godtas når kontrakten tillater det». Forslaget testes og må godkjennes av et menneske før agenten tar det i bruk. Én eksperts svar løser én sak. Et mønster på tvers av saker blir en mulig kandidat til en ny regel.

En ansatts beslutning kan være riktig for én kunde eller transaksjon uten å egne seg som en generell regel. Hvordan avgjør dere om tilbakemeldinger skal forbli et engangsunntak, eller om de bør føre til et forslag om endring av retningslinjene?

Vi skiller mellom å løse en enkeltsak og å endre hvordan en agent arbeider framover.

En ansatt kan godkjenne et unntak for én kunde, men det betyr ikke at det samme unntaket bør gjelde generelt. Jeg vil til og med hevde at to ulike ansatte kan komme fram til forskjellige løsninger på samme unntak for en kunde. Systemet vårt vurderer omstendighetene, identifiserer gjentakende mønstre, finner løsninger på motstridende vurderinger og ser etter mulige konflikter med eksisterende retningslinjer.

Når det finnes belegg for en bredere endring, kjører vi agenten gjennom evalueringsplattformen vår – en slags «Truman Show» for agenter, om du vil – og foreslår en oppdatering som må godkjennes av et menneske.

Målet er å lære av mennesker, ikke å gjenskape menneskelige beslutninger blindt. Ellers automatiserer du bare feil.

En agent kan bli bedre på nylige saker, samtidig som den blir mindre pålitelig i situasjoner den tidligere håndterte riktig. Hvilken test- og godkjenningsprosess må et foreslått tiltak gjennom før det tas i bruk i produksjon, og hvordan oppdager og reverserer dere tilbakegang?

Kontinuerlig læring uten styring er farlig, så hvert foreslåtte tiltak må gjennom tre sikkerhetstiltak: regresjonstesting, godkjenning av et menneske og en konfidensgrense som styrer når agenten handler på egen hånd.

Testingen kommer først, og den er vanskeligere enn det høres ut, fordi operativt arbeid ikke har noen fasit. Vi velger representative saker basert på tilbakemeldinger fra eksperter, fastsetter kriterier for å sammenligne resultatene og kjører sakene på nytt med både den nåværende agenten og den foreslåtte versjonen. Handlinger med følgevirkninger, som å sende en e-post, kjøres i en simulator som er bygget på tidligere kjøringer, og testtilfeller som ikke lenger samsvarer med gjeldende retningslinjer, tas ut. Vi kan måle den reelle effekten av en endring, men agentene må oppfatte at de opererer i den virkelige verden, og handlingene deres får reelle konsekvenser – en post som legges inn i SAP eller en e-post som sendes til en kunde. Det er den eneste måten å bygge et reelt evalueringsrammeverk for hver agent på.

En leder går deretter gjennom endringen, grunnlaget for den og testresultatene, og kan godkjenne, revidere eller avslå den. Agentens arbeidsmåte endres ikke før endringen er godkjent.

Konfidensgrensen beskytter virksomheten etter at en endring er satt i drift. Agenten handler på egen hånd bare når konfidensen overskrider grensen, og alt under grensen sendes videre til en ekspert. Driftsteamene justerer selv denne grensen, slik at de kan starte forsiktig og gi agenten større selvstendighet etter hvert som den bygger opp en historikk med gode resultater.

Hvis kvaliteten faller etter en endring, strammer systemet automatisk inn kontrollgrensene, slik at flere saker sendes til eksperter. Tilbakemeldingene deres avdekker problemet gjennom den samme prosessen som førte til endringsforslaget. Alle endringer i retningslinjene versjoneres, knyttes til en ansvarlig og loggføres, slik at teamet kan se hva som ble endret, hvem som godkjente det og hvorfor, og gå tilbake til forrige versjon.

Selv om den tekniske arbeidsmengden går ned, kan driftsteamene fortsatt ha mye arbeid med å gå gjennom unntak og korrigere agenter. Hvordan måler dere om Reindeer reduserer den samlede menneskelige arbeidsinnsatsen, i stedet for å flytte den til et annet team?

Realiteten er at de fleste selskaper allerede har et team som utfører dette arbeidet manuelt. Målet vårt er ikke å flytte arbeidsmengden over på et annet team, men å redusere den over tid. Vi gir de mest erfarne medarbeiderne i det eksisterende teamet mulighet til å lære agenten å håndtere unntak og ta bedre beslutninger på egen hånd.

Problemet med FDE-modellen er at den ofte flytter arbeid fra driftsmedarbeidere som koster relativt lite, til dyre ingeniører. Det løser ikke arbeidskraftproblemet – det gjør det dyrere. Reindeer trekker ikke ingeniører inn i dette regnestykket. I stedet måler vi suksess ut fra hvor mye mer arbeid agentene kan løse selvstendig over tid, og hvor mye mindre menneskelig inngripen som kreves i hele prosessen.

Vi følger med på tre ting: andelen saker agenten løser fra start til slutt uten menneskelig hjelp, antall ekspertinngrep per sak og samlet behandlingstid per sak for agenter og mennesker. Hvis det tredje tallet ikke går ned, flytter vi bare arbeidet rundt.

Kan du fortelle om én utrulling hos Hellmann Worldwide Logistics eller Papaya Global og forklare hva som endret seg fra lanseringen og gjennom den løpende driften? Hva skjedde med nøyaktigheten, unntaksratene, behandlingstiden og behovet for menneskelig inngripen?

Hellmann Worldwide Logistics er et godt eksempel på hvordan agenter kan forbedre den daglige driften over tid. Pristeamet deres brukte svært mye tid på å behandle forespørsler om frakt manuelt på tvers av e-post, regneark og andre dokumenter. Det tok ofte flere dager å utarbeide et pristilbud.

Vi begynte med rundt 20 eksempelforespørsler for å forstå arbeidsflyten og lære opp agenten. Deretter begynte Hellmanns priseeksperter å jobbe direkte med systemet, gi tilbakemeldinger og hjelpe det med å håndtere unntak. Vi fulgte med på nøyaktighet og hastighet gjennom hele testingen og fortsatte å overvåke ytelsen etter at agenten ble satt i produksjon.

I dag håndteres rutineforespørsler automatisk, mens mer komplekse saker sendes videre til teamet. Det er særlig viktig at agenten oppdager når informasjon mangler, i stedet for å trekke egne slutninger. Dermed kan de ansatte gripe inn der ekspertisen deres faktisk trengs.

Resultatet er at behandlingstiden for pristilbud har gått ned, det er færre manuelle dataregistreringsoppgaver, og de ansatte får mer tid til kundekontakt. Hellmann har også sett at andelen vunne tilbud har økt. Målet er ikke å fjerne mennesker fra prosessen, men å redusere mengden rutinearbeid som krever at de griper inn.

Hva har dere lært om begrensningene ved denne tilnærmingen? Hvilke kjennetegn ved en arbeidsflyt tyder på at den er klar for en adaptiv agent, og hvilke tyder på at virksomheten først bør legge om prosessen eller fortsette med tradisjonell automatisering?

Ikke alle prosesser trenger en KI-agent. De beste mulighetene finnes i repetitive arbeidsflyter med høyt volum som krever skjønn basert på kontekst, særlig når informasjonen er fordelt på flere systemer og de ansatte jevnlig håndterer unntak.

Den tydeligste lærdommen fra utrullingene våre er at det vokser fram en ny funksjon i virksomheter, omtrent slik inntektsoperasjoner vokste fram med CRM og DevOps med skyen. Når selskaper går fra noen få agenter til en hel flokk, trenger de en person eller et team som forvalter agentene på samme måte som en avdelingsleder leder en arbeidsstyrke: med ansvar for nøkkeltallene (KPI-er) og avkastningen på investeringen (ROI), for å avgjøre hvor agentene skal ta over oppgaver og hvor de ikke skal gjøre det, og for å godkjenne hvordan de endres. Selskapene som allerede bygger opp denne funksjonen, går raskest fram, og det er de som ligger best an til å lykkes.

Motstridende praksiser er ingen grunn til å vente. Eksperter er uenige i nesten alle arbeidsprosesser, og systemet vårt er laget for å avdekke motsetningene og gjøre dem om til forslag til retningslinjer. Å løse dem er en del av jobben til den ansvarlige, noe som er enda en grunn til å etablere denne rollen før man skalerer opp bruken av agenter.

Tilnærmingen har også sine begrensninger. Kjernevirksomheten vil ikke bli fullstendig automatisert, og det er heller ikke målet vårt. Agentene utvider gradvis hvilke oppgaver de kan håndtere, mens høyrisikosaker med hensikt forblir hos mennesker.

Etter hvert som grunnmodeller og verktøy for å bygge agenter blir bedre, hvilke deler av utrullingen i virksomheter tror du vil bli standardiserte varer, og hvor bygger Reindeer opp et konkurransefortrinn som styrkes for hver gang en løsning settes i produksjon?

Grunnmodellene vil bli stadig mer utbyttbare etter hvert som de blir billigere, raskere og mer kapable. Det blir også stadig enklere å bygge grunnleggende agenter og koble dem til systemene i en virksomhet.

Men å bygge en agent er ikke det samme som å få den til å fungere pålitelig over tid i en kompleks virksomhet.

Det virkelige konkurransefortrinnet er den proprietære kunnskapen om hvordan en virksomhet faktisk drives – og dette endrer seg hele tiden. Hver sak i produksjon gir agentene våre mulighet til å lære, håndtere framtidige unntak og redusere behovet for menneskelig inngripen.

Modellene blir billigere. Det blir enklere å bygge agenter.

Vinnerne vil fjerne den kostbare infrastrukturen for menneskelig ingeniørarbeid som kreves for å holde agentene i drift og relevante over tid.

Takk for et flott intervju. Lesere som ønsker å lære mer om adaptive KI-agenter for virksomheter, operasjonell automatisering og menneskestyrt læring, kan besøke Reindeer.