Yoav Naveh, medgrundare och med-vd för Reindeer – intervjuserie

Yoav Naveh är medgrundare och med-vd för Reindeer och har erfarenhet av att bygga teknikföretag, skala upp verksamheter och investera i grundare. Innan Reindeer byggde han upp ConvertMedia, fortsatte sitt arbete på Taboola och investerade genom INT3. I dag fokuserar han på att hjälpa företag att gå från isolerade AI-implementeringar till agenter som kan hantera komplexa operativa arbetsuppgifter, lära sig av mänsklig expertis och förbli tillförlitliga när affärsprocesser förändras.

Reindeer utvecklar AI-agenter för företags kärnverksamhet inom områden som ekonomi, försörjningskedjor, logistik och gemensamma tjänster. Plattformen kombinerar arbetsflödeshantering med återkoppling från experter, utvärdering och mänskligt godkännande, så att agenterna kan anpassa sig till undantag och föränderliga riktlinjer. I den här intervjun diskuterar Naveh begränsningarna med implementeringsmodeller som är starkt beroende av ingenjörsinsatser, hur organisationers samlade kunskap blir en del av agenternas kontext samt vilken styrning och mätning som krävs för att minska den totala mänskliga arbetsinsatsen över tid.

Efter att ha byggt upp ConvertMedia, skalat verksamheten på Taboola och investerat i andra grundare genom INT3, vilket problem fick dig att åter börja bygga ett företag, och hur påverkade det ditt beslut att vara med och grunda Reindeer?

AI-marknaden var alltför spännande för att vi skulle kunna stå vid sidan av och titta på. Min medgrundare Yair och jag blev mycket intresserade av klyftan mellan hur användbar AI har blivit när vi använder den individuellt och hur svårt det fortfarande är för företag att införa den i stor skala. Tekniken utvecklas oerhört snabbt, men de flesta organisationer kämpar fortfarande med att omsätta potentialen i meningsfulla förändringar av verksamheten.

AI kommer att förändra hur företag bedriver sin verksamhet, men det krävs mer än bättre teknik för att nå dit. Det krävs ledare som är beredda att tänka om kring hur arbetet utförs och ett praktiskt sätt att införa AI i den dagliga verksamheten utan att skapa nya lager av komplexitet.

Den utmaningen formade Reindeer. Vi byggde en plattform som hjälper företag att gå från sin första agent till en hel flock agenter som lär sig av mänsklig återkoppling och blir bättre med tiden. Vårt mål är att minska klyftan mellan AI:s potential och dess praktiska användning och hjälpa företag att omvandla sin kärnverksamhet till en agentbaserad AI-arbetsstyrka utan att behöva bygga om eller ständigt underhålla varje agent.

Du har hävdat att modellen med ingenjörer som arbetar nära kunden riskerar att göra företags-AI till en arbetsintensiv tjänsteverksamhet. Var skapar tekniskt arbete på plats ett bestående värde, och när blir det ett beroende som hindrar kunderna från att skala upp?

Ingenjörer som arbetar nära kunden är värdefulla vid komplexa integrationer och när de första agenterna ska tas i drift. Problemet uppstår när själva arbetsprocesserna förändras och ingenjörerna på plats blir permanent nödvändiga för att hålla agenterna som utför arbetet igång. Särskilt i stor skala. FDE-modellen fungerar när man har 5 agenter. Den fallerar när man har hundra agenter.

Om varje nytt arbetsflöde eller oväntat undantag kräver mer ingenjörsarbete skalar ni inte upp mjukvara, utan dyr mänsklig arbetskraft.

De flesta företag som använder FDE:er hävdar att ingenjörerna så småningom går vidare till andra arbetsuppgifter. Företag bör kräva bevis för att det stämmer innan de skriver under ett avtal som innebär att FDE:er behövs. Vi har redan sett hur bräcklig RPA blev när affärsprocesserna utvecklades. Vi bör inte förvänta oss att handbyggda agenter ska vara annorlunda.

Arbetsflöden i företag innehåller ofta odokumenterade undantag och motstridiga arbetssätt mellan olika team. Hur fångar Reindeer upp hur arbetet faktiskt utförs och skiljer samtidigt användbar kunskap inom organisationen från vanor som inte bör automatiseras?

De flesta företag har enorma mängder kunskap som inte finns dokumenterad någonstans. Den finns i medarbetarnas huvuden. Våra agenter börjar med begränsad kunskap och lär sig genom verkliga fall. När de stöter på situationer de inte känner igen ber de ämnesexperter om vägledning.

Men att lära sig av en medarbetare innebär inte att blint kopiera personens beteende. Vårt system skiljer enskilda undantag från återkommande mönster och föreslår mer övergripande förändringar som människor får godkänna.

Vi försöker inte automatisera varje vana. Vi försöker omvandla värdefull kunskap inom organisationen till tillförlitlig intelligens utan att kräva att ingenjörer förutser varje tänkbart scenario i förväg.

De flesta företag som arbetar med agentbaserad AI börjar med att dokumentera processen och sedan programmera den utifrån intervjuer och noggranna granskningar av tidigare data. Men i praktiken lär man sig en process bäst på det sätt som sker varje gång en ny teammedlem börjar: personen memorerar inte ett helt års data eller en standardrutin på 3 000 sidor. Hen lär sig några färdigheter, tar del av några exempel, börjar arbeta, ställer frågor när något är oklart och bygger upp sin kunskap. Det är den här processen vi har byggt.

Agentbaserad AI ger också företag möjlighet att tänka om kring en process i stället för att automatisera den som den ser ut i dag. Team som enbart består av människor, regelbaserad automatisering och traditionell programvara har alla format processer utifrån sina egna begränsningar. Genom att låta agenter lära sig tillsammans med experter hjälper Reindeer företag att tänka igenom hur en process bör fungera, bland annat vilka arbetssätt som ska behållas, vilka som ska fasas ut och var agenter respektive människor kan bidra mest.

När du säger att Reindeers agenter lär sig kontinuerligt i produktion, vad är det egentligen som förändras: modellvikter, minne, arbetsflödeslogik eller uttryckliga policyer? Kan du beskriva ett undantag som lär en agent att hantera framtida ärenden på ett annat sätt?

Det som förändras är agentens kontext och färdigheter: arbetsflödeslogiken, policyerna och instruktionerna om när var och en ska tillämpas.

Ta en fakturaagent som exempel. Den får en faktura som ligger 4 % över inköpsordern och hittar ingen policy som omfattar det. I stället för att behandla fakturan eskalerar agenten ärendet till en expert. Experten förklarar att den här leverantören har ett godkänt undantag för bränsletillägg. Agenten löser det ärendet, och förklaringen sparas som kontext enbart för den leverantören.

Om samma typ av undantag uppstår igen hos andra leverantörer och andra experter hanterar det på samma sätt, föreslår systemet en policyändring, till exempel ”bränsletillägg på upp till 5 % godtas när avtalet tillåter det”. Förslaget testas och godkänns av en människa innan agenten börjar använda det. En experts svar löser ett enskilt ärende. Ett mönster som återkommer i flera ärenden kan ligga till grund för en ny regel.

En anställds beslut kan vara lämpligt för en viss kund eller transaktion utan att fungera som en allmän regel. Hur avgör ni när återkoppling ska förbli ett engångsundantag och när den bör leda till ett förslag om en policyändring?

Vi skiljer mellan att lösa ett enskilt ärende och att ändra hur en agent arbetar framöver.

En anställd kan godkänna ett undantag för en kund, men det betyder inte att samma undantag ska gälla generellt. Jag skulle till och med hävda att två olika anställda kan komma fram till olika lösningar på samma undantag för en kund. Vårt system utvärderar omständigheterna, identifierar återkommande mönster, reder ut motsägelser och letar efter möjliga konflikter med befintliga policyer.

När det finns belägg för en mer omfattande ändring kör vi agenten via vår utvärderingsplattform – en sorts ”Truman Show” för agenter, om man så vill – och föreslår en uppdatering för mänskligt godkännande.

Målet är att lära av människor, inte att blint efterlikna deras beslut. Annars automatiserar man bara misstag.

En agent kan bli bättre på att hantera nya ärenden och samtidigt mindre tillförlitlig i situationer som den tidigare klarade av. Vilka tester och godkännanden måste ett föreslaget förslag till ändring genomgå innan det tas i produktion, och hur upptäcker och återställer ni försämringar?

Kontinuerligt lärande utan styrning är farligt, så varje föreslagen ändring måste passera tre skyddsåtgärder: regressionstestning, mänskligt godkännande och en konfidensgräns som styr när agenten får agera på egen hand.

Testningen kommer först, och den är svårare än den låter eftersom det inte finns något facit för operativt arbete. Vi väljer representativa ärenden utifrån experternas återkoppling, fastställer kriterier för att jämföra resultaten och kör ärendena på nytt med både den nuvarande agenten och den föreslagna versionen. Åtgärder med bieffekter, som att skicka ett e-postmeddelande, körs i en simulator som bygger på tidigare körningar, och testärenden som inte längre stämmer med den aktuella policyn tas bort. Vi kan mäta en ändrings verkliga effekt, agenterna måste uppfatta det som om de befinner sig i den verkliga världen, och deras handlingar får verkliga konsekvenser – en post förs in i SAP eller ett e-postmeddelande skickas till en kund. Det är det enda sättet att bygga ett verkligt utvärderingsramverk för varje agent.

En mänsklig chef granskar sedan ändringen, underlaget och testresultaten och kan godkänna, justera eller avslå den. Agentens arbetssätt ändras inte förrän ändringen har godkänts.

Konfidensgränsen skyddar verksamheten efter att en ändring har införts. Agenten agerar på egen hand bara när dess konfidens överstiger gränsen, och allt under den skickas till en expert. Verksamhetsteamen justerar själva gränsen, så att de kan börja försiktigt och ge agenten större självständighet i takt med att den bygger upp en historik av goda resultat.

Om kvaliteten sjunker efter en ändring skärper systemet automatiskt granskningsgränserna, så att fler ärenden skickas till experter. Deras återkoppling gör att problemet upptäcks genom samma process som ledde fram till ändringsförslaget. Varje policyändring versionshanteras, kan knytas till ansvariga och loggas, så att ett team kan se vad som ändrades, vem som godkände det och varför, samt återgå till den föregående versionen.

Även om ingenjörsarbetet minskar kan verksamhetsteamen fortfarande ha mycket arbete med att granska undantag och korrigera agenter. Hur mäter ni om Reindeer minskar den totala mänskliga arbetsinsatsen, i stället för att flytta över arbetet till ett annat team?

Verkligheten är att de flesta företag redan har ett team som utför det här arbetet manuellt. Målet är inte att flytta arbetsbördan till ett annat team, utan att minska den över tid. Vi tar de mest erfarna personerna i det befintliga teamet och ger dem möjlighet att lära agenten hur den ska hantera undantag och fatta bättre beslut självständigt.

Problemet med FDE-modellen är att den ofta flyttar arbetet från relativt lågavlönade medarbetare i verksamheten till dyra ingenjörer. Det löser inte arbetskraftsproblemet, utan gör det dyrare. Reindeer för in inga ingenjörer i den ekvationen. I stället mäter vi framgång utifrån hur mycket mer arbete agenterna kan lösa självständigt över tid och hur mycket mindre mänsklig inblandning som krävs i hela processen.

Vi följer tre saker: andelen ärenden som agenten löser från början till slut utan mänsklig inblandning, antalet expertinsatser per ärende och den totala handläggningstiden per ärende för agenter och människor tillsammans. Om den tredje siffran inte sjunker flyttar vi bara runt arbetet.

Kan du berätta om en av driftsättningarna hos Hellmann Worldwide Logistics eller Papaya Global och förklara vad som förändrades från lanseringen till den löpande driften? Vad hände med träffsäkerheten, andelen undantag, ledtiden och mängden mänsklig inblandning som krävdes?

Hellmann Worldwide Logistics är ett utmärkt exempel på hur agenter kan förbättra verksamheten i praktiken över tid. Företagets prissättningsteam lade enormt mycket tid på att manuellt hantera fraktförfrågningar via e-post, kalkylblad och andra dokument. Det tog ofta flera dagar att ta fram en offert.

Vi började med ungefär 20 exempelförfrågningar för att förstå arbetsflödet och träna agenten. Därefter började Hellmanns prissättningsexperter arbeta direkt med systemet, ge återkoppling och hjälpa det att hantera undantag. Vi följde upp träffsäkerhet och snabbhet under hela testningen och fortsatte att övervaka prestandan när agenten togs i drift.

I dag hanteras rutinärenden automatiskt, medan mer komplicerade ärenden eskaleras till teamet. Det är särskilt viktigt att agenten upptäcker när information saknas i stället för att göra antaganden. På så sätt kan medarbetarna ingripa när deras expertis faktiskt behövs.

Resultatet har blivit kortare ledtider för offerter, färre manuella datainmatningsuppgifter och mer tid för kundnära arbete. Hellmann har också sett andelen vunna offerter öka. Målet är inte att eliminera människor ur processen, utan att kontinuerligt minska mängden rutinuppgifter som kräver deras inblandning.

Vad har ni lärt er om begränsningarna med det här tillvägagångssättet? Vilka egenskaper hos ett arbetsflöde visar att det är redo för en adaptiv agent, och vilka tyder på att företaget först bör utforma om processen eller behålla traditionell automatisering?

Alla processer behöver inte en AI-agent. De bästa möjligheterna finns i repetitiva arbetsflöden med stora volymer som kräver kontextbaserade bedömningar, särskilt när informationen finns i flera system och medarbetarna regelbundet hanterar undantag.

Den tydligaste lärdomen från våra driftsättningar är att en ny funktion håller på att växa fram inom företagen, ungefär som intäktsoperationer växte fram i samband med CRM och Dev Ops i samband med Cloud. När företag går från några få agenter till en hel grupp behöver de en person eller ett team som leder agenterna på samma sätt som en avdelningschef leder en arbetsstyrka: med ansvar för deras KPI:er och ROI, beslut om vilka arbetsuppgifter agenterna ska ta sig an och vilka de inte ska ta sig an, samt godkännande av hur de förändras. De företag som redan bygger upp den här funktionen går snabbast framåt och är bäst positionerade för att lyckas.

Motstridiga arbetssätt är ingen anledning att vänta. Experter är oense i nästan alla verksamhetsområden, och vårt system är byggt för att synliggöra motsägelserna och omvandla dem till förslag på riktlinjer. Att lösa dem ingår i den ansvarigas uppdrag, vilket är ytterligare ett skäl att inrätta rollen innan man skalar upp användningen av agenter.

Det finns också en gräns för själva tillvägagångssättet. Kärnverksamheten kommer inte att automatiseras helt, och det är inte heller vårt mål. Agenterna utökar gradvis vilka uppgifter de kan hantera, medan högriskärenden medvetet lämnas till människor.

I takt med att grundmodeller och verktyg för att bygga agenter blir bättre, vilka delar av driftsättningen i företag tror du kommer att bli standardiserade tjänster, och var bygger Reindeer upp en konkurrensfördel som stärks för varje driftsättning i produktion?

Grundmodeller kommer att bli alltmer utbytbara i takt med att de blir billigare, snabbare och mer kapabla. Det blir också redan enklare att bygga grundläggande agenter och koppla dem till företagssystem.

Men att bygga en agent är inte samma sak som att få den att fungera tillförlitligt över tid i en komplex verksamhet.

Den verkliga konkurrensfördelen är den unika kunskapen om hur ett företag faktiskt fungerar – något som hela tiden förändras. Varje ärende i produktion ger våra agenter möjlighet att lära sig, hantera framtida undantag och minska behovet av mänsklig inblandning.

Modeller blir billigare. Det blir enklare att bygga agenter.

Vinnarna kommer att eliminera den kostsamma mänskliga ingenjörsinfrastruktur som krävs för att hålla agenterna fungerande och relevanta över tid.

Tack för en fin intervju. Läsare som vill veta mer om adaptiva AI-agenter för företag, automatisering av verksamhetsprocesser och lärande med mänsklig vägledning kan besöka Reindeer.