Yoav Naveh, współzałożyciel i współdyrektor generalny Reindeer – seria wywiadów

Yoav Naveh jest współzałożycielem i współdyrektorem generalnym Reindeer. Ma doświadczenie w budowaniu firm technologicznych, skalowaniu działalności i inwestowaniu w założycieli. Przed Reindeer zbudował ConvertMedia, kontynuował działalność w ramach Taboola i inwestował za pośrednictwem INT3. Obecnie koncentruje się na pomaganiu przedsiębiorstwom w przejściu od odizolowanych wdrożeń AI do agentów zdolnych do wykonywania złożonych zadań operacyjnych, uczenia się od ekspertów i zachowania niezawodności w miarę zmian procesów biznesowych.

Reindeer tworzy agentów AI dla przedsiębiorstw, wspierających kluczowe działania w takich obszarach jak finanse, łańcuch dostaw, logistyka i usługi wspólne. Platforma łączy realizację przepływów pracy z informacją zwrotną od ekspertów, oceną i zatwierdzaniem przez ludzi, dzięki czemu agenci mogą dostosowywać się do wyjątków i zmieniających się zasad. W tym wywiadzie Naveh omawia ograniczenia modeli wdrożeniowych wymagających dużego zaangażowania inżynierów, sposoby wykorzystywania wiedzy instytucjonalnej jako kontekstu dla agentów oraz zasady nadzoru i metody pomiaru potrzebne do stopniowego ograniczania łącznego nakładu pracy ludzi.

Po zbudowaniu ConvertMedia, rozwinięciu działalności w Taboola i inwestowaniu w innych założycieli za pośrednictwem INT3, jaki problem skłonił cię do ponownego założenia firmy i jak wpłynął na decyzję o współzałożeniu Reindeer?

Rynek AI był zbyt ekscytujący, byśmy mogli przyglądać mu się z boku. Mój współzałożyciel Yair i ja zaczęliśmy się szczególnie interesować przepaścią między tym, jak przydatna stała się AI, gdy korzystamy z niej indywidualnie, a tym, jak trudno przedsiębiorstwom wdrażać ją na dużą skalę. Technologia rozwija się niezwykle szybko, a mimo to większość organizacji wciąż ma trudności z przekuwaniem jej potencjału w istotne zmiany operacyjne.

AI zmieni sposób funkcjonowania firm, ale osiągnięcie tego celu wymaga czegoś więcej niż lepszej technologii. Potrzebni są liderzy gotowi przemyśleć na nowo sposób wykonywania pracy oraz praktyczna metoda włączania AI do codziennych działań bez tworzenia kolejnych warstw złożoności.

To właśnie to wyzwanie ukształtowało Reindeer. Stworzyliśmy platformę, która prowadzi przedsiębiorstwa od pierwszego agenta do całego stada agentów uczących się na podstawie informacji zwrotnych od ludzi i doskonalących się z czasem. Chcemy zmniejszyć dystans między potencjałem AI a jej zastosowaniem w praktyce, pomagając firmom przekształcać kluczowe obszary działalności w zespoły agentów AI, bez konieczności przebudowywania każdego agenta ani jego ciągłego utrzymywania.

Twierdzisz, że model inżynierów wdrażanych bezpośrednio u klienta może zmienić korporacyjną AI w usługę wymagającą dużego nakładu pracy. W jakich obszarach obecność inżynierów na miejscu przynosi trwałą wartość, a kiedy prowadzi do zależności, która uniemożliwia klientom skalowanie?

Inżynierowie wdrażani bezpośrednio u klienta są przydatni przy złożonych integracjach i uruchamianiu pierwszych agentów w środowisku produkcyjnym. Problem pojawia się, gdy same procesy pracy się zmieniają, a inżynierowie wdrażani bezpośrednio u klienta (FDE) na stałe stają się niezbędni, by agenci mogli nadal wykonywać te zadania. Szczególnie przy wdrożeniach na dużą skalę. Model FDE sprawdza się, gdy masz 5 agentów. Załamuje się, gdy masz ich sto.

Jeśli każdy nowy przepływ pracy lub nieprzewidziany wyjątek wymaga większego zaangażowania inżynierów, nie skalujesz oprogramowania, lecz kosztowną pracę ludzi.

Większość firm wdrażających FDE twierdzi, że ich inżynierowie z czasem przechodzą do innych zadań. Przedsiębiorstwa powinny zażądać dowodów, że tak się dzieje, zanim podpiszą umowę wymagającą zaangażowania FDE. Widzieliśmy już, jak kruche okazało się RPA w obliczu zmian procesów biznesowych. Nie powinniśmy zakładać, że agenci budowani ręcznie będą inni.

Przepływy pracy w przedsiębiorstwach często obejmują nieudokumentowane wyjątki i różne, nieraz sprzeczne praktyki stosowane w poszczególnych zespołach. Jak Reindeer ustala, jak faktycznie przebiega praca, a jednocześnie odróżnia przydatną wiedzę instytucjonalną od nawyków, których nie należy automatyzować?

W większości przedsiębiorstw istnieją ogromne zasoby wiedzy instytucjonalnej, których nigdzie nie udokumentowano. Wiedza ta tkwi w głowach pracowników. Nasi agenci zaczynają od niepełnej wiedzy i uczą się na podstawie rzeczywistych przypadków, prosząc ekspertów dziedzinowych o wskazówki, gdy napotykają nieznane sytuacje.

Uczenie się od pracownika nie oznacza jednak bezrefleksyjnego powielania jego zachowań. Nasz system odróżnia indywidualne wyjątki od powtarzających się wzorców i proponuje szersze zmiany do zatwierdzenia przez człowieka.

Nie próbujemy automatyzować każdego nawyku. Chcemy przekształcać wartościową wiedzę instytucjonalną w niezawodną inteligencję, nie wymagając od inżynierów przewidywania z góry każdego scenariusza.

Większość firm rozwijających AI opartą na agentach zaczyna od dokumentowania procesu, a następnie koduje go na podstawie wywiadów i skrupulatnej analizy wcześniejszych danych. W rzeczywistości jednak najskuteczniejszy sposób uczenia się procesu stosowany jest za każdym razem, gdy do zespołu dołącza nowa osoba: nie zapamiętuje ona danych z całego roku ani 3000-stronicowej standardowej procedury operacyjnej (SOP). Uczy się kilku umiejętności, poznaje kilka przykładów, zaczyna pracę, zadaje pytania, gdy napotyka coś, czego nie rozumie, i stopniowo poszerza swoją wiedzę. Właśnie taki proces zbudowaliśmy.

AI oparta na agentach daje firmom również możliwość przemyślenia procesu na nowo, zamiast automatyzowania go w obecnej postaci. Zespoły składające się wyłącznie z ludzi, automatyzacja oparta na regułach i tradycyjne oprogramowanie kształtowały procesy zgodnie z własnymi ograniczeniami. Dzięki agentom uczącym się wspólnie z ekspertami Reindeer pomaga przedsiębiorstwom na nowo rozważyć, jak powinien przebiegać dany proces, w tym które praktyki zachować, z których zrezygnować oraz gdzie agenci i ludzie mogą wnieść największą wartość.

Gdy mówisz, że agenci Reindeer nieustannie uczą się w środowisku produkcyjnym, co właściwie się zmienia: wagi modelu, pamięć, logika przepływu pracy czy jawnie określone zasady? Czy możesz opisać wyjątek, który uczy agenta inaczej obsługiwać podobne przypadki w przyszłości?

Zmieniają się kontekst i umiejętności agenta: logika przepływu pracy, zasady oraz instrukcje określające, kiedy stosować każdą z nich.

Weźmy agenta obsługującego faktury. Otrzymuje fakturę, której kwota jest o 4% wyższa niż kwota w zamówieniu zakupu, i nie znajduje zasady, która obejmowałaby tę sytuację. Zamiast ją przetworzyć, przekazuje sprawę ekspertowi. Ekspert wyjaśnia, że dla tego dostawcy zatwierdzono wyjątek dotyczący dopłat paliwowych. Agent rozwiązuje tę sprawę, a wyjaśnienie zostaje zapisane jako kontekst dotyczący wyłącznie tego dostawcy.

Jeśli ten sam rodzaj wyjątku pojawi się ponownie u innych dostawców, a inni eksperci rozwiążą sprawę w ten sam sposób, system zaproponuje zmianę zasad, na przykład: „dopłaty paliwowe do 5% są dopuszczalne, jeśli zezwala na nie umowa”. Zanim agent zacznie ją stosować, propozycja przechodzi testy i wymaga zatwierdzenia przez człowieka. Odpowiedź jednego eksperta rozwiązuje jedną sprawę. Powtarzający się wzorzec w wielu sprawach staje się kandydatem na nową regułę.

Decyzja pracownika może być właściwa w przypadku jednego klienta lub jednej transakcji, ale niekoniecznie sprawdzi się jako ogólna reguła. Jak ustalacie, czy informacja zwrotna powinna pozostać jednorazowym wyjątkiem, czy też stać się proponowaną zmianą zasad?

Oddzielamy rozwiązywanie pojedynczej sprawy od zmiany sposobu, w jaki agent będzie działał w przyszłości.

Pracownik może zatwierdzić wyjątek dla jednego klienta, ale nie oznacza to, że ten sam wyjątek powinien obowiązywać powszechnie. Posunąłbym się nawet do stwierdzenia, że dwóch różnych pracowników może inaczej rozwiązać ten sam wyjątek dotyczący danego klienta. Nasz system ocenia okoliczności, identyfikuje powtarzające się wzorce, godzi sprzeczne informacje i sprawdza, czy nie występują potencjalne konflikty z obowiązującymi zasadami.

Gdy istnieją dowody uzasadniające szerszą zmianę, uruchamiamy agenta na naszej platformie ewaluacyjnej — można ją nazwać „Truman Show” dla agentów — i proponujemy aktualizację do zatwierdzenia przez człowieka.

Celem jest uczenie się od ludzi, a nie bezrefleksyjne powielanie ich decyzji. W przeciwnym razie po prostu automatyzuje się błędy.

Agent może lepiej radzić sobie z ostatnimi przypadkami, a jednocześnie stawać się mniej niezawodny w sytuacjach, które wcześniej obsługiwał prawidłowo. Jakie testy i procedurę zatwierdzania musi przejść proponowana zmiana, zanim trafi do środowiska produkcyjnego? Jak wykrywacie regresje i je odwracacie?

Ciągłe uczenie się bez nadzoru jest niebezpieczne, dlatego każda proponowana zmiana przechodzi trzy zabezpieczenia: testy regresyjne, zatwierdzenie przez człowieka i próg pewności, który określa, kiedy agent może działać samodzielnie.

Najpierw przeprowadzamy testy, a jest to trudniejsze, niż mogłoby się wydawać, ponieważ w pracy operacyjnej nie ma ustalonego klucza odpowiedzi. Wybieramy reprezentatywne przypadki na podstawie informacji zwrotnych od ekspertów, określamy kryteria porównywania wyników i odtwarzamy te przypadki zarówno dla obecnego agenta, jak i proponowanej wersji. Działania wywołujące skutki uboczne, takie jak wysłanie wiadomości e-mail, wykonuje się w symulatorze zbudowanym na podstawie wcześniejszych uruchomień, a przypadki testowe, które nie odpowiadają już obecnym zasadom, są wycofywane. Możemy zmierzyć rzeczywisty wpływ zmiany, agenci muszą wierzyć, że działają w prawdziwym świecie, a ich działania mają realne konsekwencje — na przykład wpisanie rekordu do SAP albo wysłanie wiadomości e-mail do klienta. Tylko w ten sposób można stworzyć prawdziwe ramy ewaluacji dla każdego agenta.

Następnie menedżer ocenia zmianę, uzasadniające ją dowody i wyniki testów, po czym może ją zatwierdzić, zmodyfikować lub odrzucić. Dopóki nie zostanie zatwierdzona, nie zmienia się sposób działania agenta.

Próg pewności chroni firmę po wdrożeniu zmiany. Agent działa samodzielnie tylko wtedy, gdy jego pewność przekracza ten próg; każda sprawa poniżej niego trafia do eksperta. Zespoły operacyjne samodzielnie dostosowują ten próg, dzięki czemu mogą zacząć ostrożnie, a następnie zwiększać autonomię agenta w miarę zdobywania przez niego doświadczenia.

Jeśli po zmianie jakość spada, system automatycznie zaostrza progi kontroli, tak aby więcej spraw trafiało do ekspertów, a ich informacje zwrotne pozwalają wykryć problem w tym samym cyklu, który doprowadził do zaproponowania zmiany. Każda zmiana zasad jest wersjonowana, można ustalić, kto za nią odpowiada, i jest rejestrowana, dzięki czemu zespół może sprawdzić, co się zmieniło, kto zatwierdził zmianę i dlaczego, a także przywrócić poprzednią wersję.

Ograniczenie pracy inżynierów może nadal pozostawiać zespołom operacyjnym dużo zadań związanych z weryfikowaniem wyjątków i korygowaniem działania agentów. Jak mierzycie, czy Reindeer ogranicza całkowity nakład pracy ludzi, zamiast przenosić ją do innego zespołu?

W rzeczywistości większość firm ma już zespół, który wykonuje tę pracę ręcznie. Nie chcemy przenosić tych obowiązków do innego zespołu, lecz stopniowo je ograniczać. Wybieramy najbardziej doświadczonych członków istniejącego zespołu i dajemy im możliwość nauczenia agenta obsługi wyjątków oraz samodzielnego podejmowania lepszych decyzji.

Problem z modelem FDE polega na tym, że często przenosi on pracę od stosunkowo nisko opłacanych pracowników operacyjnych do kosztownych inżynierów. Nie rozwiązuje to problemu kosztów pracy — sprawia jedynie, że stają się one wyższe. Reindeer nie angażuje inżynierów w ten proces. Zamiast tego mierzymy sukces tym, o ile więcej pracy agenci potrafią z czasem rozwiązywać samodzielnie i o ile mniej interwencji człowieka potrzeba w całym procesie.

Śledzimy trzy wskaźniki: odsetek spraw, które agent rozwiązuje od początku do końca bez udziału człowieka, liczbę interwencji ekspertów w każdej sprawie oraz łączny czas obsługi każdej sprawy przez agentów i ludzi. Jeśli ten trzeci wskaźnik nie spada, po prostu przenosimy pracę z miejsca na miejsce.

Czy mógłbyś opisać jedno wdrożenie w Hellmann Worldwide Logistics lub Papaya Global i wyjaśnić, co się zmieniło od uruchomienia systemu po jego bieżącą eksploatację? Jak zmieniły się dokładność, odsetek wyjątków, czas realizacji i zakres koniecznej interwencji człowieka?

Hellmann Worldwide Logistics to świetny przykład tego, jak agenci mogą z czasem usprawniać rzeczywiste procesy operacyjne. Zespół ds. wycen poświęcał ogromną ilość czasu na ręczne przetwarzanie zapytań o wysyłkę, które napływały przez e-maile, arkusze kalkulacyjne i inne dokumenty. Przygotowanie oferty często zajmowało kilka dni.

Zaczęliśmy od około 20 przykładowych zapytań, aby zrozumieć przebieg pracy i wytrenować agenta. Następnie eksperci Hellmann ds. wycen zaczęli pracować bezpośrednio z systemem, przekazując uwagi i pomagając mu radzić sobie z wyjątkami. Podczas testów śledziliśmy dokładność i szybkość działania, a po uruchomieniu agenta w środowisku produkcyjnym nadal monitorowaliśmy jego skuteczność.

Obecnie rutynowe zapytania są obsługiwane automatycznie, a bardziej złożone sprawy trafiają do zespołu. Co istotne, agent rozpoznaje brakujące informacje, zamiast opierać się na założeniach, dzięki czemu pracownicy mogą interweniować tam, gdzie rzeczywiście potrzebna jest ich wiedza specjalistyczna.

W rezultacie skrócił się czas przygotowania ofert, zmniejszyła się liczba ręcznych zadań związanych z wprowadzaniem danych, a pracownicy zyskali więcej czasu na kontakt z klientami. Hellmann odnotował również wzrost odsetka wygranych ofert. Celem nie jest wyeliminowanie ludzi z procesu, lecz nieustanne ograniczanie ilości rutynowej pracy wymagającej ich interwencji.

Czego dowiedzieliście się o ograniczeniach tego podejścia? Jakie cechy procesu wskazują, że nadaje się on do obsługi przez adaptacyjnego agenta, a jakie sugerują, że firma powinna najpierw przeprojektować ten proces lub pozostać przy tradycyjnej automatyzacji?

Nie każdy proces wymaga agenta AI. Największy potencjał mają powtarzalne procesy o dużym wolumenie, wymagające oceny kontekstu, zwłaszcza gdy informacje są rozproszone w wielu systemach, a pracownicy regularnie muszą radzić sobie z wyjątkami.

Najważniejszy wniosek z naszych wdrożeń jest taki, że w przedsiębiorstwach wyłania się nowa funkcja — podobnie jak dział operacji przychodowych pojawił się wraz z systemami CRM, a DevOps wraz z chmurą. W miarę jak firmy przechodzą od kilku agentów do całej ich rzeszy, potrzebują osoby lub zespołu, który będzie zarządzać agentami tak, jak kierownik działu zarządza zespołem: odpowiadać za ich kluczowe wskaźniki efektywności i zwrot z inwestycji, decydować, jakie zadania powinni przejmować agenci, a jakich nie, oraz zatwierdzać wprowadzane przez nich zmiany. Firmy, które już tworzą taką funkcję, rozwijają się najszybciej i to one mają najlepszą pozycję, by odnieść sukces.

Rozbieżne praktyki nie są powodem, by czekać. Eksperci nie zgadzają się ze sobą w niemal każdym obszarze działalności, a nasz system pomaga ujawniać te sprzeczności i przekształcać je w propozycje zasad postępowania. Ich rozstrzyganie należy do obowiązków osoby odpowiedzialnej za tę funkcję, co stanowi kolejny powód, by ustanowić ją, zanim zwiększy się skalę wdrożeń agentów.

To podejście ma również swoje granice. Kluczowe procesy operacyjne nie zostaną w pełni zautomatyzowane i nie jest to naszym celem. Agenci stopniowo rozszerzają zakres swoich możliwości, a obsługa spraw wysokiego ryzyka pozostaje w rękach ludzi — z założenia.

W miarę jak modele bazowe i narzędzia do tworzenia agentów będą się rozwijać, które elementy wdrożeń w przedsiębiorstwach staną się, waszym zdaniem, towarem powszechnie dostępnym, a w jakim obszarze Reindeer buduje przewagę, która rośnie z każdym wdrożeniem produkcyjnym?

Wraz ze spadkiem cen i wzrostem szybkości oraz możliwości modele bazowe będą coraz łatwiejsze do wzajemnego zastąpienia. Coraz łatwiejsze staje się również tworzenie podstawowych agentów i łączenie ich z systemami przedsiębiorstw.

Jednak zbudowanie agenta to nie to samo, co zapewnienie mu niezawodnego działania w złożonym środowisku biznesowym przez dłuższy czas.

Prawdziwą przewagę konkurencyjną daje unikalna wiedza o tym, jak faktycznie działa przedsiębiorstwo — a to nieustannie się zmienia. Każda sprawa obsłużona w środowisku produkcyjnym daje naszym agentom możliwość uczenia się, rozwiązywania przyszłych wyjątków i ograniczania potrzeby interwencji człowieka.

Modele będą tańsze. Tworzenie agentów będzie łatwiejsze.

Zwycięskie firmy zlikwidują kosztowną infrastrukturę inżynieryjną opartą na pracy ludzi, która jest niezbędna, by agenci działali i pozostawali użyteczni przez dłuższy czas.

Dziękuję za świetny wywiad. Czytelnicy, którzy chcą dowiedzieć się więcej o adaptacyjnych agentach AI dla przedsiębiorstw, automatyzacji operacyjnej i uczeniu się wspomaganym przez człowieka, powinni odwiedzić Reindeer.