Yoav Naveh, Reindeerin toinen perustaja ja yhteistoimitusjohtaja – haastattelusarja

Yoav Naveh on Reindeerin toinen perustaja ja yhteistoimitusjohtaja. Hänellä on kokemusta teknologiayritysten perustamisesta, liiketoiminnan kasvattamisesta ja yrittäjien rahoittamisesta. Ennen Reindeeriä hän rakensi ConvertMedian, jatkoi työtään Taboolassa ja sijoitti INT3:n kautta. Nykyisin hän keskittyy auttamaan yrityksiä siirtymään yksittäisistä tekoälyn käyttöönoton kokeiluista agentteihin, jotka pystyvät hoitamaan monimutkaisia operatiivisia tehtäviä, oppimaan ihmisten asiantuntemuksesta ja toimimaan luotettavasti liiketoimintaprosessien muuttuessa.

Reindeer kehittää yritysten tekoälyagentteja keskeisiin toimintoihin, kuten taloushallintoon, toimitusketjuihin, logistiikkaan ja yhteisiin palveluihin. Sen alusta yhdistää työnkulkujen suorittamisen asiantuntijoiden palautteeseen, arviointiin ja ihmisten hyväksyntään, jotta agentit voivat mukautua poikkeuksiin ja muuttuviin käytäntöihin. Tässä haastattelussa Naveh kertoo insinöörityötä painottavien käyttöönottomallien rajoituksista, siitä, miten organisaation hiljainen tieto saadaan osaksi agenttien kontekstia, sekä hallintamallista ja mittaamisesta, joita tarvitaan ihmisten työmäärän vähentämiseen ajan mittaan.

Kun olit rakentanut ConvertMedian, kasvattanut liiketoimintaa Taboolassa ja sijoittanut muihin yrittäjiin INT3:n kautta, mikä ongelma sai sinut palaamaan yrityksen rakentamisen pariin, ja miten se vaikutti päätökseesi perustaa Reindeer?

Tekoälymarkkina oli liian innostava, jotta olisimme voineet seurata sitä sivusta. Perustajakumppanini Yair ja minä kiinnostuimme siitä, miten suuri ero on siinä, kuinka hyödylliseksi tekoäly on osoittautunut henkilökohtaisessa käytössä ja kuinka vaikeaa yritysten on yhä ottaa sitä käyttöön laajassa mittakaavassa. Teknologia kehittyy uskomattoman nopeasti, mutta useimpien organisaatioiden on edelleen vaikea muuttaa sen tarjoamaa potentiaalia merkittäviksi operatiivisiksi muutoksiksi.

Tekoäly mullistaa yritysten toimintatavat, mutta siihen pääseminen edellyttää muutakin kuin parempaa teknologiaa. Tarvitaan johtajia, jotka ovat valmiita ajattelemaan työn tekemisen uudella tavalla, sekä käytännöllinen tapa tuoda tekoäly osaksi päivittäistä toimintaa lisäämättä monimutkaisuutta.

Tämä haaste muovasi Reindeerin. Rakensimme alustan, jonka avulla yritykset voivat siirtyä ensimmäisestä agentistaan kokonaisen agenttijoukon käyttöön. Agentit oppivat ihmisten palautteesta ja kehittyvät ajan mittaan. Tavoitteenamme on kuroa umpeen tekoälyn potentiaalin ja sen käytännön käyttöönoton välinen kuilu ja auttaa yrityksiä muuttamaan keskeiset toimintonsa agenttipohjaiseksi tekoälytyövoimaksi ilman, että jokaista agenttia tarvitsee rakentaa uudelleen tai ylläpitää jatkuvasti.

Olet sanonut, että asiakasorganisaatioihin sijoitettavien insinöörien malli voi tehdä yritysten tekoälystä työvoimavaltaista palveluliiketoimintaa. Missä vaiheessa läsnä oleva insinöörituki tuottaa pysyvää arvoa, ja missä vaiheessa siitä tulee riippuvuus, joka estää asiakkaita kasvattamasta toimintaansa?

Asiakasorganisaatioihin sijoitetut insinöörit ovat arvokkaita monimutkaisissa integraatioissa ja ensimmäisten agenttien käyttöönotossa tuotantoympäristössä. Ongelmat alkavat, kun itse työprosessit muuttuvat ja FDE-insinöörejä tarvitaan pysyvästi pitämään nämä agentit toimintakunnossa ja hoitamassa kyseisiä tehtäviä. Tämä korostuu etenkin suuressa mittakaavassa. FDE-malli toimii, kun agentteja on 5. Se ei enää toimi, kun agentteja on sata.

Jos jokainen uusi työnkulku tai odottamaton poikkeus vaatii lisää insinöörityötä, et kasvata ohjelmistotoimintaa vaan kalliin ihmistyövoiman käyttöä.

Useimmat FDE-insinöörejä käyttävät yritykset väittävät, että insinöörit siirtyvät lopulta muihin tehtäviin. Yritysten pitäisi vaatia tästä näyttöä ennen FDE-insinöörejä edellyttävän sopimuksen allekirjoittamista. Olemme jo nähneet, miten hauraaksi RPA muuttui liiketoimintaprosessien kehittyessä. Emme voi olettaa, että itse rakennetut agentit olisivat erilaisia.

Yritysten työnkulkuihin sisältyy usein dokumentoimattomia poikkeuksia ja tiimien välisiä ristiriitaisia käytäntöjä. Miten Reindeer selvittää, miten työt todellisuudessa tehdään, ja erottaa hyödyllisen organisaation hiljaisen tiedon tavoista, joita ei pitäisi automatisoida?

Useimmilla yrityksillä on valtavasti organisaation hiljaista tietoa, jota ei ole dokumentoitu mihinkään. Se on työntekijöiden päässä. Agenttimme aloittavat puutteellisilla tiedoilla ja oppivat todellisten tapausten kautta. Kun ne kohtaavat tuntemattomia tilanteita, ne pyytävät ohjeita alan asiantuntijoilta.

Työntekijältä oppiminen ei kuitenkaan tarkoita hänen toimintatapojensa sokeaa jäljittelyä. Järjestelmämme erottaa yksittäiset poikkeukset toistuvista toimintamalleista ja ehdottaa laajempia muutoksia ihmisten hyväksyttäviksi.

Emme pyri automatisoimaan jokaista tapaa. Pyrimme muuttamaan arvokkaan organisaation hiljaisen tiedon luotettavaksi älykkyydeksi ilman, että insinöörien täytyy ennakoida jokaista mahdollista tilannetta etukäteen.

Useimmat agenttipohjaista tekoälyä kehittävät yritykset aloittavat dokumentoimalla prosessin ja koodaamalla sen haastattelujen ja aiemman datan huolellisen tarkastelun perusteella. Todellisuudessa tehokkain tapa oppia prosessi näkyy kuitenkin aina, kun uusi tiimin jäsen aloittaa: hän ei opettele ulkoa vuoden datamäärää tai 3 000-sivuista vakiotoimintaohjetta. Hän oppii muutamia taitoja, näkee muutamia esimerkkejä, alkaa tehdä työtä, kysyy, kun jokin asia on hänelle epäselvä, ja kartuttaa osaamistaan. Tällaisen prosessin me rakensimme.

Agenttipohjainen tekoäly antaa yrityksille myös mahdollisuuden suunnitella prosessin uudelleen sen sijaan, että se vain automatisoitaisiin sellaisenaan. Pelkästään ihmisistä koostuvat tiimit, sääntöpohjainen automaatio ja perinteiset ohjelmistot ovat kukin muovanneet prosesseja omien rajoitustensa mukaisiksi. Kun agentit oppivat yhdessä asiantuntijoiden kanssa, Reindeer auttaa yrityksiä pohtimaan uudelleen, miten prosessin pitäisi toimia: mitkä käytännöt kannattaa säilyttää, mistä luopua ja missä agentit ja ihmiset tuottavat eniten lisäarvoa.

Kun sanot, että Reindeerin agentit oppivat jatkuvasti tuotantokäytössä, mikä oikeastaan muuttuu: mallin painot, muisti, työnkulun logiikka vai nimenomaiset käytännöt? Voisitko käydä läpi poikkeustapauksen, joka opettaa agentin käsittelemään tulevia tapauksia eri tavalla?

Agentin konteksti ja taidot muuttuvat: työnkulun logiikka, käytännöt ja ohjeet siitä, milloin kutakin niistä sovelletaan.

Otetaan esimerkiksi laskuja käsittelevä agentti. Se saa laskun, jonka summa ylittää ostotilauksen summan 4 prosentilla, eikä löydä siihen soveltuvaa käytäntöä. Sen sijaan, että agentti käsittelisi laskun, se siirtää asian asiantuntijalle. Asiantuntija selittää, että kyseiselle toimittajalle on hyväksytty poikkeus polttoainelisien osalta. Agentti ratkaisee tapauksen, ja selitys tallennetaan kontekstiksi vain kyseistä toimittajaa varten.

Jos samantyyppinen poikkeus toistuu muiden toimittajien kohdalla ja muut asiantuntijat ratkaisevat sen samalla tavalla, järjestelmä ehdottaa muutosta käytäntöön, esimerkiksi: ”Enintään 5 prosentin polttoainelisät ovat hyväksyttäviä, jos sopimus sallii ne.” Ehdotus testataan ja hyväksytetään ihmisellä ennen kuin agentti ottaa sen käyttöön. Yhden asiantuntijan vastaus ratkaisee yhden tapauksen. Useissa tapauksissa toistuva toimintamalli voi olla peruste uudelle säännölle.

Työntekijän päätös voi olla asianmukainen yhden asiakkaan tai tapahtuman kohdalla, mutta sopimaton yleiseksi säännöksi. Miten määritätte, milloin palautteen tulee jäädä kertaluonteiseksi poikkeukseksi ja milloin siitä pitäisi tehdä ehdotus käytäntömuutokseksi?

Erittelemme yksittäisen tapauksen ratkaisemisen siitä, miten agentti toimii jatkossa.

Työntekijä voi hyväksyä poikkeuksen yhden asiakkaan kohdalla, mutta se ei tarkoita, että saman poikkeuksen pitäisi koskea kaikkia. Väittäisin jopa, että kaksi eri työntekijää voi ratkaista saman asiakkaan poikkeustapauksen eri tavoin. Järjestelmämme arvioi olosuhteita, tunnistaa toistuvia toimintamalleja, sovittaa ristiriidat yhteen ja etsii mahdollisia ristiriitoja voimassa olevien käytäntöjen kanssa.

Kun näyttö tukee laajempaa muutosta, ajamme agenttia arviointialustamme kautta – eräänlaisessa agenttien ”Truman Show’ssa”, jos niin voi sanoa – ja ehdotamme päivitystä ihmisen hyväksyttäväksi.

Tavoitteena on oppia ihmisiltä, ei kopioida ihmisten päätöksiä sokeasti. Muuten vain automatisoit virheitä.

Agentti voi kehittyä viimeaikaisten tapausten käsittelyssä mutta muuttua samalla epäluotettavammaksi tilanteissa, jotka se aiemmin käsitteli oikein. Millaiset testit ja hyväksyntäprosessi ehdotetun muutoksen on läpäistävä ennen tuotantokäyttöä, ja miten havaitsette ja korjaatte taantumat?

Jatkuva oppiminen ilman hallintaa on vaarallista, joten jokainen ehdotettu muutos käy läpi kolme varmistusta: regressiotestauksen, ihmisen hyväksynnän ja luottamusrajan, joka määrittää, milloin agentti toimii itsenäisesti.

Testaus tulee ensin, ja se on vaikeampaa kuin miltä kuulostaa, koska operatiivisessa työssä ei ole kiinteää vastausavainta. Valitsemme asiantuntijoiden palautteen perusteella edustavia tapauksia, määrittelemme tulosten vertailukriteerit ja testaamme tapaukset sekä nykyisellä agentilla että ehdotetulla versiolla. Sivuvaikutuksia aiheuttavat toiminnot, kuten sähköpostin lähettäminen, suoritetaan aiempien käyttökertojen pohjalta rakennetussa simulaattorissa, ja testitapaukset, jotka eivät enää vastaa voimassa olevia käytäntöjä, poistetaan käytöstä. Näin pystymme mittaamaan muutoksen todellisen vaikutuksen. Agenttien on uskottava toimivansa todellisessa maailmassa, jossa niiden toimilla on todellisia seurauksia – esimerkiksi tietueen lisääminen SAP:iin tai sähköpostin lähettäminen asiakkaalle. Se on ainoa tapa rakentaa kullekin agentille todellinen arviointikehys.

Ihmisesihenkilö tarkistaa sitten muutoksen, sitä tukevan näytön ja testitulokset ja voi hyväksyä, muokata tai hylätä sen. Agentin toimintatapa ei muutu ennen hyväksyntää.

Luottamusraja suojaa liiketoimintaa muutoksen käyttöönoton jälkeen. Agentti toimii itsenäisesti vain, kun sen luottamus ylittää rajan; sitä heikomman luottamuksen tapaukset siirretään asiantuntijalle. Operatiiviset tiimit säätävät rajaa itse, joten ne voivat aloittaa varovaisesti ja lisätä agentin autonomiaa sitä mukaa, kun sen toimintavarmuudesta kertyy näyttöä.

Jos laatu heikkenee muutoksen jälkeen, järjestelmä kiristää tarkastuskynnyksiä automaattisesti, jolloin useampia tapauksia siirtyy asiantuntijoille. Heidän palautteensa tuo ongelman esiin saman palautekierroksen kautta, jonka perusteella muutosta ehdotettiin. Jokaisesta käytäntömuutoksesta tallennetaan versio, tekijätiedot ja lokimerkintä, joten tiimi näkee, mitä muutettiin, kuka hyväksyi muutoksen ja miksi, ja voi palauttaa aiemman version.

Insinöörityön vähentäminen voi silti jättää operatiivisille tiimeille paljon työtä poikkeusten tarkistamisessa ja agenttien korjaamisessa. Miten mittaatte, vähentääkö Reindeer ihmisten työpanoksen kokonaistarvetta sen sijaan, että työ siirtyisi toiselle tiimille?

Todellisuudessa useimmilla yrityksillä on jo tiimi, joka tekee tätä työtä manuaalisesti. Tavoitteenamme ei ole siirtää työkuormaa toiselle tiimille, vaan vähentää sitä ajan mittaan. Nostamme nykyisestä tiimistä kokeneimmat työntekijät ja annamme heille valmiudet opettaa agenttia käsittelemään poikkeuksia ja tekemään parempia päätöksiä itsenäisesti.

FDE-mallin ongelmana on, että se siirtää työn usein suhteellisen edullisilta operatiivisilta työntekijöiltä kalliille insinööreille. Se ei ratkaise työvoimaan liittyvää ongelmaa, vaan tekee siitä kalliimman. Reindeer ei tuo insinöörejä tähän yhtälöön. Sen sijaan mittaamme onnistumista sen perusteella, kuinka paljon enemmän työtä agentit pystyvät ajan mittaan ratkaisemaan itsenäisesti ja kuinka paljon vähemmän ihmisten osallistumista tarvitaan koko prosessissa.

Seuraamme kolmea asiaa: niiden tapausten osuutta, jotka agentti ratkaisee alusta loppuun ilman ihmisen apua, asiantuntijoiden osallistumiskertojen määrää tapausta kohden sekä tapausten kokonaiskäsittelyaikaa, kun mukaan lasketaan sekä agenttien että ihmisten käyttämä aika. Jos kolmas luku ei pienene, siirrämme vain työtä paikasta toiseen.

Voisitko kertoa yhdestä käyttöönotosta Hellmann Worldwide Logisticsilla tai Papaya Globalilla ja kuvailla, mikä muuttui käyttöönotosta jatkuvaan käyttöön? Miten tarkkuus, poikkeusten määrä, läpimenoaika ja tarvittavan ihmisen väliintulon määrä kehittyivät?

Hellmann Worldwide Logistics on hyvä esimerkki siitä, miten agentit voivat ajan mittaan tehostaa käytännön toimintaa. Yhtiön hinnoittelutiimi käytti valtavasti aikaa rahtipyyntöjen manuaaliseen käsittelyyn sähköpostien, taulukkolaskentatiedostojen ja muiden asiakirjojen pohjalta. Tarjouksen laatiminen vei usein päiviä.

Aloitimme noin 20 esimerkkipyynnöllä ymmärtääksemme työnkulun ja kouluttaaksemme agentin. Sen jälkeen Hellmannin hinnoitteluasiantuntijat alkoivat työskennellä suoraan järjestelmän kanssa, antaa palautetta ja auttaa sitä käsittelemään poikkeustilanteita. Seurasimme tarkkuutta ja nopeutta koko testauksen ajan ja jatkoimme suorituskyvyn seurantaa, kun agentti otettiin tuotantokäyttöön.

Nykyään tavanomaiset pyynnöt käsitellään automaattisesti, kun taas monimutkaisemmat tapaukset siirretään tiimin käsiteltäviksi. Olennaista on, että agentti tunnistaa puuttuvat tiedot sen sijaan, että tekisi oletuksia. Näin työntekijät voivat puuttua tilanteisiin silloin, kun heidän asiantuntemustaan todella tarvitaan.

Tarjousten läpimenoaika on lyhentynyt, manuaalista tietojen syöttämistä on vähemmän ja asiakastyöhön jää enemmän aikaa. Hellmann on myös onnistunut parantamaan tarjousten voittoprosenttia. Tavoitteena ei ole poistaa ihmisiä prosessista, vaan vähentää jatkuvasti rutiinityötä, joka vaatii heidän väliintuloaan.

Mitä olette oppineet tämän lähestymistavan rajoista? Mitkä työnkulun ominaisuudet kertovat, että se soveltuu mukautuvalle agentille, ja mitkä puolestaan viittaavat siihen, että yrityksen pitäisi ensin suunnitella prosessi uudelleen tai pitäytyä perinteisessä automaatiossa?

Kaikki prosessit eivät tarvitse tekoälyagenttia. Parhaiten soveltuvat toistuvat ja suurivolyymiset työnkulut, joissa tarvitaan tilannekohtaista harkintaa – etenkin silloin, kun tiedot ovat hajallaan useissa järjestelmissä ja työntekijät käsittelevät säännöllisesti poikkeustilanteita.

Käyttöönotoistamme on käynyt selkeimmin ilmi, että yrityksiin on syntymässä uusi toiminto, aivan kuten liikevaihdon operatiivinen toiminto syntyi CRM:n myötä ja DevOps pilvipalveluiden myötä. Kun yritykset siirtyvät muutamasta agentista suureen joukkoon agentteja, ne tarvitsevat henkilön tai tiimin, joka johtaa niitä kuten osastopäällikkö johtaa henkilöstöä: vastaa agenttien KPI-mittareista ja sijoitetun pääoman tuotosta (ROI), päättää, missä agentit voivat ottaa tehtäviä hoitaakseen ja missä eivät, sekä hyväksyy niiden muutokset. Yritykset, jotka rakentavat tätä toimintoa jo nyt, etenevät nopeimmin ja ovat parhaissa asemissa menestyäkseen.

Käytäntöjen ristiriitaisuus ei ole syy jäädä odottamaan. Asiantuntijat ovat eri mieltä lähes kaikissa toiminnoissa, ja järjestelmämme on suunniteltu tuomaan ristiriidat esiin ja muotoilemaan niistä ehdotuksia toimintaperiaatteiksi. Niiden ratkaiseminen kuuluu kyseisen vastuuhenkilön tehtäviin, mikä on toinen syy nimetä tehtävään vastuuhenkilö ennen agenttien käytön laajentamista.

Tällä lähestymistavalla on myös rajansa. Keskeisiä toimintoja ei automatisoida kokonaan, eikä se ole tavoitteenammekaan. Agenttien kattavuus laajenee vähitellen, ja suuren riskin tapaukset jätetään tarkoituksella ihmisten käsiteltäviksi.

Kun perustamallit ja agenttien rakentamiseen tarkoitetut työkalut kehittyvät, mitkä yrityskäyttöönoton osa-alueet muuttuvat mielestäsi hyödykkeiksi, ja millä tavoin Reindeer rakentaa kilpailuetua, joka vahvistuu jokaisen tuotantokäyttöönoton myötä?

Perustamallit muuttuvat yhä helpommin vaihdettaviksi, kun ne halpenevat, nopeutuvat ja kehittyvät suorituskykyisemmiksi. Myös perusagenttien rakentaminen ja niiden yhdistäminen yritysjärjestelmiin on jo helpottumassa.

Agentin rakentaminen ei kuitenkaan ole sama asia kuin sen luotettavan toiminnan varmistaminen monimutkaisessa yritysympäristössä pitkällä aikavälillä.

Todellinen kilpailuetu on yrityksen tosiasialliseen toimintaan liittyvä ainutlaatuinen tieto, joka muuttuu jatkuvasti. Jokainen tuotantokäytön tapaus antaa agenteillemme tilaisuuden oppia, ratkaista tulevia poikkeustilanteita ja vähentää ihmisen väliintulon tarvetta.

Mallit halpenevat. Agenttien rakentaminen helpottuu.

Menestyjät poistavat kalliin ihmisten tekemän teknisen infrastruktuurin, jota tarvitaan agenttien pitämiseen toimivina ja ajantasaisina pitkällä aikavälillä.

Kiitos hienosta haastattelusta! Lukijat, jotka haluavat oppia lisää mukautuvista yrityskäyttöön tarkoitetuista tekoälyagenteista, toiminnan automatisoinnista ja ihmisen ohjaamasta oppimisesta, voivat tutustua Reindeeriin.