Yoav Naveh, cofondator și co-CEO al Reindeer – serie de interviuri

Yoav Naveh este cofondator și co-CEO al Reindeer, având experiență în construirea de companii de tehnologie, dezvoltarea afacerilor și investiții în fondatori. Înainte de Reindeer, a construit ConvertMedia, și-a continuat activitatea în cadrul Taboola și a investit prin INT3. În prezent, se concentrează pe sprijinirea companiilor în tranziția de la implementări izolate de IA la agenți capabili să gestioneze activități operaționale complexe, să învețe din expertiza oamenilor și să rămână fiabili pe măsură ce se schimbă procesele de afaceri.

Reindeer dezvoltă agenți IA pentru întreprinderi, destinați operațiunilor esențiale din domenii precum finanțele, lanțul de aprovizionare, logistica și serviciile partajate. Platforma sa îmbină executarea fluxurilor de lucru cu feedbackul experților, evaluarea și aprobarea umană, astfel încât agenții să se poată adapta la excepții și la evoluția politicilor. În acest interviu, Naveh discută despre limitele modelelor de implementare care se bazează intensiv pe inginerie, despre modul în care cunoștințele instituționale devin context pentru agenți și despre guvernanța și măsurarea necesare pentru a reduce, în timp, efortul uman total.

După ce ați construit ConvertMedia, ați dezvoltat afacerea în cadrul Taboola și ați investit în alți fondatori prin INT3, ce problemă v-a determinat să reveniți la construirea unei companii și cum v-a influențat aceasta decizia de a cofondat Reindeer?

Piața IA era prea captivantă ca să o privim de pe margine. Cofondatorul meu, Yair, și cu mine am devenit foarte interesați de decalajul dintre utilitatea pe care a ajuns să o aibă IA atunci când o folosim individual și dificultatea pe care o întâmpină în continuare companiile în adoptarea ei la scară largă. Tehnologia avansează într-un ritm incredibil de rapid, însă majoritatea organizațiilor încă se străduiesc să transforme acest potențial în schimbări operaționale semnificative.

IA va transforma modul în care funcționează companiile, dar pentru a ajunge acolo este nevoie de mai mult decât de o tehnologie mai bună. Este nevoie de lideri dispuși să regândească modul în care se desfășoară activitatea și de o cale practică de a integra IA în operațiunile de zi cu zi, fără a crea noi niveluri de complexitate.

Această provocare a modelat Reindeer. Am construit o platformă care ajută companiile să treacă de la primul lor agent la o întreagă turmă de agenți, care învață din feedbackul oamenilor și se îmbunătățesc în timp. Scopul nostru este să reducem decalajul dintre potențialul IA și adoptarea sa în lumea reală, ajutând companiile să-și transforme operațiunile esențiale într-o forță de muncă bazată pe IA agentică, fără să fie nevoite să reconstruiască sau să întrețină constant fiecare agent.

Ați susținut că modelul inginerilor integrați direct în echipele clientului riscă să transforme IA pentru întreprinderi într-o afacere de servicii care necesită multă muncă. În ce situații ingineria integrată creează valoare de durată și când ajunge să genereze o dependență care împiedică extinderea la scară a soluțiilor de către clienți?

Inginerii integrați direct în echipele clientului sunt valoroși pentru integrările complexe și pentru punerea în producție a primilor agenți. Problemele încep atunci când se schimbă procesele de lucru, iar inginerii integrați direct în echipele clientului devin indispensabili permanent pentru ca agenții să poată continua să gestioneze aceste activități. Mai ales la scară largă. Modelul FDE funcționează când ai 5 agenți. Se dovedește nesustenabil când ai o sută de agenți.

Dacă fiecare flux de lucru nou sau fiecare excepție neașteptată necesită mai multă muncă de inginerie, nu extindeți software-ul la scară, ci extindeți forța de muncă umană costisitoare.

Majoritatea companiilor care implementează FDE susțin că inginerii lor trec, în cele din urmă, la alte sarcini. Întreprinderile ar trebui să ceară dovezi că acest lucru se întâmplă înainte de a semna un contract care impune prezența inginerilor FDE. Am văzut deja cât de fragilă a devenit automatizarea robotică a proceselor (RPA) pe măsură ce au evoluat procesele de afaceri. Nu ar trebui să ne așteptăm ca agenții construiți manual să fie diferiți.

Fluxurile de lucru ale întreprinderilor conțin adesea excepții nedocumentate și practici contradictorii între echipe. Cum captează Reindeer modul în care se desfășoară efectiv activitatea, distingând în același timp cunoștințele instituționale utile de obiceiurile care nu ar trebui automatizate?

Majoritatea întreprinderilor dețin cantități uriașe de cunoștințe instituționale care nu sunt documentate nicăieri. Acestea rămân în mintea angajaților. Agenții noștri pornesc de la cunoștințe parțiale și învață din cazuri reale, solicitând îndrumarea experților în domeniu atunci când întâlnesc situații nefamiliare.

Dar faptul că învață de la un angajat nu înseamnă că îi reproduc comportamentul fără discernământ. Sistemul nostru distinge excepțiile individuale de tiparele recurente și propune schimbări mai ample, care trebuie aprobate de oameni.

Nu încercăm să automatizăm fiecare obicei. Încercăm să transformăm cunoștințele instituționale valoroase în informații fiabile, fără să fie nevoie ca inginerii să prevadă dinainte fiecare situație posibilă.

Majoritatea companiilor care dezvoltă sisteme de IA agentică încep prin a documenta procesul, apoi îl codifică, intervievând oamenii și analizând meticulos datele din trecut. În realitate însă, cel mai eficient mod de a învăța un proces este cel care se repetă de fiecare dată când se alătură echipei un coleg nou: acesta nu memorează datele pe un an întreg sau o procedură operațională standard de 3.000 de pagini. Învață câteva abilități, vede câteva exemple, începe să lucreze, pune întrebări când întâlnește ceva ce nu înțelege și își dezvoltă cunoștințele. Acesta este procesul pe care l-am creat.

IA agentică le oferă, de asemenea, companiilor ocazia de a regândi un proces, în loc să-l automatizeze în forma sa actuală. Echipele formate exclusiv din oameni, automatizarea bazată pe reguli și software-ul tradițional au modelat fiecare procesele în funcție de propriile limite. Cu ajutorul agenților care învață alături de experți, Reindeer ajută întreprinderile să regândească modul în care ar trebui să funcționeze un proces, inclusiv ce practici să păstreze, la care să renunțe și în ce activități adaugă agenții și oamenii cea mai mare valoare.

Când spuneți că agenții Reindeer învață continuu în mediul de producție, ce se schimbă, de fapt: ponderile modelului, memoria, logica fluxului de lucru sau politicile explicite? Ne puteți da un exemplu de excepție care îl învață pe un agent să gestioneze diferit cazurile viitoare?

Ceea ce se schimbă este contextul și setul de competențe ale agentului: logica fluxului de lucru, politicile și instrucțiunile privind momentul aplicării fiecăreia.

Să luăm un agent care gestionează facturi. Acesta primește o factură care depășește cu 4% comanda de achiziție și nu găsește nicio politică aplicabilă. În loc să o proceseze, agentul escaladează cazul către un expert. Expertul explică faptul că acest furnizor beneficiază de o excepție aprobată pentru suprataxele la combustibil. Agentul rezolvă cazul respectiv, iar explicația este stocată ca informație contextuală doar pentru acel furnizor.

Dacă același tip de excepție apare din nou în cazul altor furnizori, iar alți experți o rezolvă în același mod, sistemul propune o modificare a politicii, de exemplu: „suprataxele la combustibil de până la 5% sunt acceptabile atunci când contractul permite acest lucru”. Propunerea este testată și supusă aprobării unei persoane înainte ca agentul să o aplice. Răspunsul unui expert rezolvă un singur caz. Un tipar observat în mai multe cazuri devine un posibil temei pentru o regulă nouă.

Decizia unui angajat poate fi potrivită pentru un anumit client sau o anumită tranzacție, fără să fie adecvată ca regulă generală. Cum stabiliți dacă feedbackul trebuie să rămână o excepție punctuală sau dacă ar trebui să devină o modificare de politică propusă?

Separăm rezolvarea unui caz individual de modificarea modului în care va funcționa agentul pe viitor.

Un angajat poate aproba o excepție pentru un client, dar asta nu înseamnă că aceeași excepție ar trebui să se aplice tuturor. Aș susține chiar că doi angajați diferiți pot soluționa în mod diferit excepția aceluiași client. Sistemul nostru evaluează circumstanțele, identifică tiparele recurente, reconciliază contradicțiile și caută posibile conflicte cu politicile existente.

Când există dovezi care susțin o modificare mai amplă, rulăm agentul pe platforma noastră de evaluare — un fel de „The Truman Show” pentru agenți — și propunem o actualizare spre aprobare umană.

Scopul este să învățăm de la oameni, nu să le reproducem orbește deciziile. Altfel, nu facem decât să automatizăm greșelile.

Un agent se poate îmbunătăți în cazurile recente, devenind totodată mai puțin fiabil în situațiile pe care le gestiona corect înainte. Ce proces de testare și aprobare trebuie să parcurgă o modificare propusă înainte de a ajunge în mediul de producție și cum detectați și remediați regresiile?

Învățarea continuă fără guvernanță este periculoasă, așa că fiecare modificare propusă trece prin trei măsuri de protecție: testarea regresiilor, aprobarea umană și un prag de încredere care stabilește când agentul poate acționa singur.

Testarea este primul pas și este mai dificilă decât pare, deoarece activitățile operaționale nu au un barem cu răspunsuri prestabilite. Selectăm cazuri reprezentative pe baza feedbackului experților, definim criterii de comparare a rezultatelor și reluăm cazurile respective atât cu agentul actual, cât și cu versiunea propusă. Acțiunile cu efecte secundare, cum ar fi trimiterea unui e-mail, sunt executate într-un simulator construit pe baza rulărilor anterioare, iar cazurile de testare care nu mai corespund politicii actuale sunt retrase. Pentru a putea măsura efectul real al unei modificări, agenții trebuie să funcționeze ca și cum s-ar afla în lumea reală, iar acțiunile lor trebuie să aibă consecințe reale — de exemplu, inserarea unei înregistrări în SAP sau trimiterea unui e-mail unui client. Numai astfel se poate construi un cadru de evaluare cu adevărat adecvat fiecărui agent.

Un manager uman examinează apoi modificarea, dovezile care o susțin și rezultatele testelor și o poate aproba, revizui sau respinge. Modul de funcționare al agentului nu se schimbă până la obținerea aprobării.

Pragul de încredere protejează compania după lansarea unei modificări. Agentul acționează singur numai dacă nivelul său de încredere depășește pragul, iar orice caz aflat sub acest prag este trimis unui expert. Echipele operaționale ajustează singure pragul, astfel încât să poată începe cu o abordare prudentă și să acorde agentului mai multă autonomie pe măsură ce acesta își dovedește fiabilitatea.

Dacă, după o modificare, calitatea scade, sistemul înăsprește automat pragurile de verificare, astfel încât mai multe cazuri să fie trimise experților, iar feedbackul acestora scoate la iveală problema prin același ciclu care a generat propunerea de modificare. Fiecare modificare de politică este versionată, asociată persoanei responsabile și înregistrată, astfel încât echipa să poată vedea ce s-a schimbat, cine a aprobat modificarea și de ce, precum și să revină la versiunea anterioară.

Reducerea volumului de muncă al echipelor de inginerie poate lăsa totuși echipelor operaționale o muncă substanțială de verificare a excepțiilor și corectare a agenților. Cum măsurați dacă Reindeer reduce efortul uman total necesar, în loc să transfere acest efort către o altă echipă?

În realitate, majoritatea companiilor au deja o echipă care desfășoară manual această activitate. Scopul nostru nu este să transferăm volumul de muncă unei alte echipe, ci să îl reducem în timp. Luăm cei mai experimentați oameni din echipa existentă și le oferim mijloacele de a-i învăța pe agenți cum să gestioneze excepțiile și să ia decizii mai bune în mod independent.

Problema modelului FDE este că, de multe ori, mută munca de la angajații operaționali, relativ slab remunerați, la ingineri costisitori. Asta nu rezolvă problema costurilor cu forța de muncă, ci o agravează. Reindeer nu introduce ingineri în această ecuație. În schimb, măsurăm succesul în funcție de cât de mult crește, în timp, volumul de muncă pe care agenții îl pot rezolva independent și de cât de mult scade intervenția umană necesară în întregul proces.

Urmărim trei indicatori: proporția cazurilor pe care agentul le rezolvă de la un capăt la altul fără intervenția unei persoane, numărul de intervenții ale experților pentru fiecare caz și timpul total de soluționare a fiecărui caz, cumulat pentru agenți și oameni. Dacă al treilea indicator nu scade, înseamnă doar că mutăm munca dintr-o parte în alta.

Ați putea să ne prezentați o implementare la Hellmann Worldwide Logistics sau Papaya Global și să explicați ce s-a schimbat de la lansare până la operarea curentă? Ce s-a întâmplat cu acuratețea, rata excepțiilor, timpul de soluționare și nivelul de intervenție umană necesar?

Hellmann Worldwide Logistics este un exemplu excelent al modului în care agenții pot îmbunătăți operațiunile din lumea reală în timp. Echipa de stabilire a prețurilor petrecea foarte mult timp procesând manual cererile de transport primite prin e-mailuri, foi de calcul și alte documente; adesea, întocmirea unei oferte dura câteva zile.

Am început cu aproximativ 20 de cereri-model, pentru a înțelege fluxul de lucru și a antrena agentul. Apoi, experții Hellmann în stabilirea prețurilor au început să lucreze direct cu sistemul, oferind feedback și ajutându-l să gestioneze excepțiile. Am urmărit acuratețea și viteza pe tot parcursul testării și am continuat să monitorizăm performanța după ce agentul a intrat în producție.

Astăzi, cererile obișnuite sunt procesate automat, în timp ce cazurile mai complexe sunt direcționate către echipă. Un aspect esențial este că agentul recunoaște când lipsesc informații, în loc să facă presupuneri, permițând angajaților să intervină acolo unde expertiza lor este cu adevărat necesară.

Rezultatul a fost reducerea timpului necesar pentru întocmirea ofertelor, mai puține sarcini de introducere manuală a datelor și mai mult timp pentru activitățile care presupun interacțiunea cu clienții. Hellmann a înregistrat și o creștere a ratei de acceptare a ofertelor. Obiectivul nu este eliminarea oamenilor din proces, ci reducerea continuă a volumului de activități de rutină care necesită intervenția lor.

Ce ați aflat despre limitele acestei abordări? Ce caracteristici ale unui flux de lucru indică faptul că este pregătit pentru un agent adaptiv și ce caracteristici sugerează că, mai întâi, compania ar trebui să reproiecteze procesul sau să păstreze automatizarea convențională?

Nu orice proces are nevoie de un agent AI. Cele mai promițătoare oportunități sunt fluxurile de lucru repetitive, cu volume mari, care necesită judecată contextuală, mai ales atunci când informațiile sunt răspândite în mai multe sisteme și angajații gestionează frecvent excepții.

Cea mai clară lecție desprinsă din implementările noastre este că în companii apare o nouă funcție, la fel cum au apărut operațiunile de venituri odată cu CRM și Dev Ops odată cu Cloud. Pe măsură ce companiile trec de la câțiva agenți la un grup numeros, au nevoie de o persoană sau de o echipă care să gestioneze agenții așa cum un șef de departament gestionează forța de muncă: să răspundă de indicatorii-cheie de performanță (KPI) și de rentabilitatea investiției (ROI), să decidă ce sarcini ar trebui preluate de agenți și care nu, precum și să aprobe modificările aduse acestora. Companiile care încep deja să dezvolte această funcție avansează cel mai rapid și sunt cel mai bine poziționate pentru a câștiga.

Practicile contradictorii nu sunt un motiv să așteptăm. Experții nu sunt de acord în aproape toate domeniile operaționale, iar sistemul nostru este conceput să scoată la iveală aceste contradicții și să le transforme în propuneri de politici. Rezolvarea lor face parte din responsabilitățile persoanei care deține acest rol, ceea ce reprezintă un alt motiv pentru a-l institui înainte de a extinde utilizarea agenților.

Abordarea are și ea limite. Operațiunile de bază nu vor fi complet automatizate și nici nu urmărim acest lucru. Agenții își extind treptat aria de acoperire, iar cazurile cu risc ridicat rămân în mod deliberat în responsabilitatea oamenilor.

Pe măsură ce modelele fundamentale și instrumentele de creare a agenților se îmbunătățesc, ce componente ale implementării în companii credeți că vor deveni bunuri standardizate și în ce domenii își construiește Reindeer un avantaj care se consolidează cu fiecare implementare în producție?

Pe măsură ce devin mai ieftine, mai rapide și mai capabile, modelele fundamentale vor deveni tot mai interschimbabile. Crearea unor agenți de bază și conectarea lor la sistemele companiilor devin, de asemenea, tot mai ușoare.

Însă a construi un agent nu înseamnă același lucru cu a-l face fiabil, în timp, într-o companie complexă.

Adevăratul avantaj competitiv constă în cunoștințele proprii despre modul concret în care funcționează o companie, un mod care se schimbă permanent. Fiecare caz gestionat în producție le oferă agenților noștri ocazia să învețe, să rezolve excepții viitoare și să reducă intervenția umană.

Modelele se vor ieftini. Crearea agenților va deveni mai ușoară.

Câștigătorii vor elimina infrastructura costisitoare de inginerie umană necesară pentru a menține agenții funcționali și relevanți în timp.

Vă mulțumim pentru acest interviu excelent. Cititorii care doresc să afle mai multe despre agenții AI adaptivi pentru companii, automatizarea operațională și învățarea ghidată de oameni ar trebui să viziteze Reindeer.