Rowan Stewart, Sr. Director of Product, AI Safety & Platform at Transcend – Haastattelusarja

Rowan Stewart, Sr. Director of Product, AI Safety & Platform at Transcend, johtaa tuotealoitteita, jotka auttavat organisaatioita löytämään, hallitsemaan ja turvallisesti käyttämään dataa tekoälyjärjestelmissä. Hänellä on yli kymmenen vuoden kokemus, joka kattaa tekoäly- ja koneoppimisen tuotekehityksen, yrityssovellukset, luonnollisen kielen prosessoinnin, datastrategian ja nollasta yhteen tuotejohtamisen. Ennen liittymistään Transcendiin, Stewart työskenteli lähes kuusi vuotta BCG X:ssä, jossa hän auttoi suuria yrityksiä kehittämään tekoälystrategioita, uudelleenkeksimään sisäisiä prosesseja ja luomaan tuotteita, jotka tarjoavat mitattavissa olevia liiketoimintatuloksia. Uransa alussa hän johti luonnollisen kielen prosessointiin liittyvien API-kehityshankkeita, mukaan lukien mielipidetutkimus, tietämyksenhallinta, persoonallisuuden arviointi, bottien havaitseminen ja brändin turvallisuusominaisuudet.

Transcend on ainoa autonominen datan päätöksentekojärjestelmä, joka vastaa kysymykseen “voinko käyttää tätä dataa?” asiakaskehityksen laajentamiseksi. Fortune 500 -yritykset ja nousseet luokan johtajat käyttävät Transcendia koodaamaan täydellisiä datakäyttöluvia suoraan yritysjärjestelmiin, jotka prosessoivat asiakasdataa, tarjoamalla reaaliaikaisen totuudenlähteen suostumukseen, mieltymyksiin ja liiketoimintasääntöihin. Tuloksena on erinomainen data-laatu, eettinen käyttö, joka suojaa brändiä, ja audit-valmiin noudattamisen laajassa mittakaavassa. Transcendin avulla yritykset voivat vapauttaa tulot tekoälystä, henkilökohtaisuudesta ja muista ensimmäisen osapuolen datatuotteista luottavaisesti. Perustettu vuonna 2017 Ben Brookin (CEO) ja Mike Farrellin (CTO) toimesta, Transcend on pääkonttoreinaan San Franciscon lahden alueella.

Olit lähes kuusi vuotta BCG X:ssä auttamassa maailman suurimpia organisaatioita käyttämään tekoäly- ja koneoppimisratkaisuja ennen siirtymistäsi tekoälyn turvallisuuteen ja hallintoon Transcendiin. Mitkä olivat toistuvat hallintavirheet tai sokeat pisteet, joita havainnoit, ja jotka vakuuttivat sinut siitä, että tekoälyn hallinta on rakennettava järjestelmiin alusta alkaen eikä lisättynä myöhemmin?

BCG:ssä työskentelin yritysten kanssa jokaisessa tekoälyn kehitysvaiheessa, ja yksi kuva viihtyi minun mielessäni: hallinta ilmestyy aina myöhässä. Tiimit liikuttavat nopeasti julkaistakseen mallin tai tuotteen, ja keskustelu datakäyttöluvuista, suostumuksesta tai valvonnasta tulee todella keskittyväksi vasta ennen tuotannon aloittamista ja tuntuu kuin “saalistus”. Mikä tahansa rakennetaan tuolloin, on korjaus järjestelmään, joka ei ollut suunniteltu hallinnan kannalta.

Tämä on osa syytä, miksi olin niin innoissani liittyä Transcendiin. Neuvomaan yrityksiä siitä, mitä heidän pitäisi tehdä, ei riitä. Halusin auttaa rakentamaan infrastruktuuria, joka tekee hallinnasta helpon valinnan.

Monet organisaatiot kilpailevat tekoälyagenttien käyttöönotossa asiakastuen, toimintojen ja tietotyön parissa. Miten tekoälyagenttien hallinta eroaa perinteisten ohjelmistojärjestelmien tai edellisten tekoälymallien hallinnasta?

Useimmat yrityksen turvallisuusarkkitehtuurit olettavat, että toisessa päässä on aina ihminen, joka voidaan tunnistaa, luottaa ja jonka vastuulla voidaan pitää, kun jotain menee pieleen. Agentit eivät kuitenkaan ole ihmisiä. Ne toimivat itsenäisesti, siirtävät tehtäviä toisille agenteille ja ketjuvat päätöksiä yhteen tavalla, joka harvoin vastaa yhtä vastuullista henkilöä.

Antamalla agenteille samat staattiset, pysyvät käyttöoikeudet, joita annettaisiin työntekijälle, luodaan epäsymmetria, koska agenteilla ei ole yleistä järkeä. Hallinta on arvioitava tiettyä toimintaa, jonka agenteilla on tarkoitus tehdä, kyseisessä hetkessä, kyseisellä datalla. Useimmat yritykset käyttävät edelleen samaa identiteetti- ja pääsyoikeuksien hallintasuunnitelmaa, jonka he loivat ihmisille, ja heistä monista tulee löytämään aukko, kun agenttien käyttö ylittää hallinnan, joka on rakennettu sen käsittelyyn.

Olet työskennellyt useiden tekoälyinnovaatioiden aalloissa, NLP-tuotteista ja vaikuttajien tiedonvaihtojärjestelmistä yritysten tekoälymuutoksiin. Miten keskustelu tekoälyn turvallisuudesta on kehittynyt viimeisen kymmenen vuoden aikana, ja mitä sinua edelleen askarruttaa eniten?

Tekoälyn vertaaminen edellisiin sukupolviin on mielenkiintoista, koska se on uskomattoman nopeasti kehittyvä ala. Viimeisen vuoden tai kahden aikana tapahtuneet tärkeimmät kehitysaskeleet ovat olleet agenttien nousu ja pitkän aikavälin muistin hallinnan tärkeys (OpenClaw, kuka?). Nämä agentit pystyvät tekemään paljon enemmän ja korkealaatuisemmin, mikä tekee niistä arvokkaampia ja tietysti myös riskialttiimpia.

Kun tekoälyjärjestelmät tekevät yhä enemmän päätöksiä asiakas- ja yritysdatan avulla, mitkä ovat suurimmat väärinkäsitykset, joita yritykset tekevät suostumuksesta, käyttöoikeuksista ja datan hallinnasta tekoälyohjatuissa ympäristöissä?

Yleisin väärinkäsitys on kohdella suostumusta asiointi, jonka kerran tallennetaan ja arkistoidaan. Asiakas suostuu tietyn ehtojen joukkoon rekisteröityessään, ja yritykset olettavat, että tämä sopimus on voimassa ikuisesti, riippumatta siitä, miten data liikkuu myöhemmin tai mihin uusiin järjestelmiin se lopulta päätyy. Suostumus on liikuttava datan mukana. Jos joku päivittää mieltymyksiään tai uusi sääntely muuttaa sitä, mitä on sallittua, tämä muutos on ilmestyttävä kaikkialla, missä dataa käytetään, eikä ainoastaan järjestelmässä, jossa suostumus alun perin kerättiin.

Toinen väärinkäsitys on kohdella käyttöoikeuksia teknisenä yksityiskohtana, jonka IT- tai lakiosasto käsittelee hiljaisesti taustalla. Kun tekoälyjärjestelmät alkavat tehdä päätöksiä tämän datan perusteella, käyttöoikeus muuttuu tuote- ja liiketoimintakysymykseksi, ja kaikki siinä olevat aukot periytyvät suoraan mihin tahansa tekoälyaloitteeseen, joka on sen päällä.

Monet yritykset luottavat edelleen staattisiin käyttäytymissääntöihin ja jaksoittaisiin noudattamistarkastuksiin. Miksi nämä lähestymistavat kamppailevat tekoälyjärjestelmien aikakaudessa, jotka voivat jatkuvasti oppia, sopeutua ja vuorovaikuttaa muiden agenttien kanssa?

Staattinen käyttäytymissääntö havaitsee, miltä järjestelmä näytti, ja mitä pidettiin hyväksyttävänä, kun joku kirjoitti sen ylös. Tekoäly ei ole paikallaan tarpeeksi kauan, jotta tämä otos pysyisi paikallaan. Malli, jonka käyttäytymissääntö oli kirjoitettu, saattaa olla erilainen kuin se, mitä olet käynnissä kuuden kuukauden kuluttua, ja neljännes- tai vuosittainen noudattamistarkastus ei pysty seuraamaan järjestelmää, joka tekee päätöksiä ja sopeutuu koko ajan.

Järjestelmän hallitseminen, joka liikkuu nopeasti, vaatii käyttäytymissääntöjä, jotka liikkuvat samalla nopeudella. Tämä tarkoittaa, että hallintaa on pakko toteuttaa siinä kohtaa, missä dataa todella käytetään, reaaliajassa, eikä tarkasteta sitä jälkikäteen asiakirjaa vastaan, joka oli jo vanhentunut julkaistuksi.

Miten tehokas hallinta näyttää, kun organisaatiot alkavat käyttää tekoälyagenttien verkostoja, jotka tekevät yhteistyötä toistensa kanssa ja pääsevät useisiin sisäisiin järjestelmiin?

Tässä kohtaa perinteisen pääsyoikeuden hallinnan rajoitukset tulevat ilmi. Agenteilla voi olla valtuudet lukea tietue, kutsua työkalua ja antaa tuloksia toiselle agenteille, ja jokainen näistä vaiheista voi näyttää järkevältä itsessään. Yhdistetty toiminta (se, mitä todella tapahtuu, kun nämä vaiheet ketjuuntuvat yhteen) on usein jotain, mitä ihminen ei ole nimenomaisesti hyväksynyt. Perinteinen IAM vahvistaa, onko agenteilla ollut valtuudet koskettaa järjestelmää, vaikka se ei ole paljoa sanottavaa siitä, oliko data, jota se koski, kerätty suostumuksella, joka kattaa tämän käytön, tai oliko tuloksena oleva ketju toimia koskaan sellainen, johon ihminen on antanut suostumusta.

Transcend keskittyy upottamalla datakäyttöoikeudet suoraan yritysprosesseihin. Kuinka tärkeää on reaaliaikainen hallintainfrastruktuuri, kun organisaatiot siirtyvät tekoälykokeilusta tuotantoon?

Testauksen aikana tiimi voi usein pärjätä manuaalisten tarkastusten ja jaksoittaisin auditointien avulla, koska panokset ovat alhaiset. Tuotannossa, erityisesti agenteilla, tämä menee rikki, koska mittakaava on valtava. Nykyinen järjestelmä tarkastuslistojen ja kokousten kanssa on häviäjä-häviäjä. Noudattamis- ja turvallisuustiimit saavat pinkynsormen, jossa ei ole jatkuvaan täytäntöönpanoon, kun taas tuotetiimi sitoutuu kömpelöihin manuaalisiin tarkastuksiin, jotka eivät tarjoa paljoa arvoa loppukäyttäjälle. Silloin reaaliaikainen infrastruktuuri muuttuu ainoaksi toimivaksi lähestymistavaksi. Käyttöoikeuksien toteuttaminen siinä vaiheessa, kun data liikkuu tai päätös tehdään, sen sijaan, että jälleenrakennetaan, mitä tapahtui, kun jotain on jo mennyt pieleen, on se, mikä tekee hallinnasta merkityksellisen noudattamiseksi ja arvokkaan käyttäjille.

Miten arvioit agenteilla liittyviä riskejä seuraavien kolmen vuoden aikana, ja mitkä näistä riskeistä ovat johtajien mielestä aliarvioituja?

Mielestäni agenttien periyttäminen käyttäjän käyttöoikeuksia on riskialttiimpaa, kuin mitä me tajusimme. Ihmisillä on harkintakyky, mutta tekoäly seuraa ohjeita oikeaan asti.

Miten tuotetiimit voivat tasapainottaa painetta toimittaa tekoälyominaisuuksia nopeasti ja tarvetta perustaa hallintaa, avoimuutta ja vastuullisuuden kehykset?

Yksi konkreettinen asia on “Slop-veron” korjaus.

Olemme nopeasti sopeuttaneet vastauksemme tekoälytuotosten arvon ja validiteetin alentamiseksi. Se on syynä, miksi kaikki neuvovat poistamaan kenoviivat (vaikka ne ovat asianmukaisia), miksi sivu, joka käyttää standardia Claude-väriä, tuntuu halvalta (vaikka se näyttää hyvältä) ja miksi tietoa, jota tekoäly tarjoaa, kohdellaan epäilyttävänä (vaikka se on totta). Tämä vaikuttaa suoraan tuotteen havaittuun arvoon.

Slop-veron korjaus on itse asiassa parempi hallinta ja avoimuus. Esimerkiksi äskettäin julkaisimme toiminnon nimeltä Vendor AI Usage, joka kerää julkaistuja tietoja tekoälyominaisuuksista ja hallintatilasta johtaville yrityksille, jotta tekoälymahdollistamisen, turvallisuuden ja hankinnan tiimit voivat tehdä työtään nopeammin. Löysimme, että moniagenttien orkestraatiokeskuksen käyttäminen yhdessä näytön keräämisen ja esittämisen kanssa lähteiden linkkejä ja lainauksia heidän löydöksiinsä johti massiiviseen parannukseen tuloksien laadussa. Tämä todistuskeräämisen ja agenttien laadunvarmistuksen käytäntö on voittava, koska varsinaiset tulokset loppukäyttäjälle ovat parempia, ja noudattaminen on vankempaa.

Miten näet tekoälyn hallinnan kehittyvän lähitulevaisuudessa, ja mitkä tekijät erottavat organisaatiot, jotka saavat sen oikein, niistä, jotka jäävät jälkeen?

Uskon, että se tulee takaisin samaan kuvaan, jonka seurasin BCG:ssä. Yritykset, jotka kohdelsivat hallintaa asiointina, jonka he lisäsivät tuotteeseen, kun se oli jo markkinoilla, olivat aina jumiutuneita viime hetken tarkastuksessa ennen laajentamista, ja usein jäävät “pilottikirkumaan”. Yritykset, jotka rakentavat hallinnan järjestelmään alusta alkaen, pystyvät liikkumaan tietynlaisella varmuudella, jota toinen ryhmä ei omista, koska he eivät ole jatkuvasti miettimässä, mitä he löytävät, kun he lopulta tarkastelevat, miten heidän tekoälynsä todella käyttää dataa.

Tämä aukko on vain laajeneva, kun agenttien käyttö nopeutuu. Yritykset, jotka kilpailevat nopeasti käyttämään agenteja ilman uudelleenarviointia, miten nämä agentit on valtuutettu, ovat eniten vaarassa ajautua vaikeuksiin, ja kun he lopulta tekevät sen, yritykset, jotka saivat infrastruktuurin oikein, ovat jo toimimassa nopeudella, jota myöhästyneet eivät voi helposti seurata. Hallinta lopettaa olemasta noudattamisen rivin, kun se on se asia, joka sallii tekoälyn käyttönopeuden ja luottamuksen kaikkein nopeammin kuin kaikki, jotka tekevät sitä edelleen manuaalisesti.

Kiitos haastattelusta, lukijat, jotka haluavat oppia enemmän, kannattaa vierailla Transcendissa.