Rowan Stewart, Sr. Director of Product, AI Safety & Platform i Transcend – Intervju-serie

Rowan Stewart, Sr. Director of Product, AI Safety & Platform i Transcend, leder produktinitiativer som hjelper organisasjoner med å oppdage, styre og bruke data på en trygg måte i kunstig intelligens-systemer. Hun har over ett tiår med erfaring fra utvikling av AI- og maskinlæringsprodukter, bedriftsprogramvare, naturlig språkbehandling, datastrategi og null-til-en produktledelse. Før hun begynte i Transcend, tilbrakte Stewart nesten seks år i BCG X, der hun hjalp store bedrifter med å utvikle AI-strategier, gjennomføre interne prosesser og bygge produkter som skulle levere målbare forretningsresultater. Tidligere i sin karriere ledet hun utviklingen av naturlig språkbehandling-APIer for influenser-intelligens, inkludert sentimentanalyse, kunnskapsgrafer, personlighetsvurdering, bot-detection og merkevare-sikkerhetsfunksjoner.

Transcend er den eneste autonome datadecisionsplattformen som svarer på spørsmålet “kan jeg bruke denne dataen?” for å skalerer kundevekst. Fortune 500-selskaper og fremragende kategoriledere bruker Transcend for å kode fullstendige data-bruksstillinger direkte inn i bedriftssystemene som behandler kundedata, og leverer en sanntidskilde for sannhet for samtykke, preferanser og forretningsregler. Resultatet er overlegen datakvalitet, etisk bruk som beskytter merkevaren, og revisjonsklar overholdelse i skala. Med Transcend kan selskaper låse opp inntekter fra AI, personalisering og andre førstepartsdata-initiativer med tillit. Grunnlagt i 2017 av Ben Brook (CEO) og Mike Farrell (CTO), er Transcend med hovedkontor i San Francisco Bay Area.

Du tilbrakte nesten seks år i BCG X og hjalp noen av verdens største organisasjoner med å deployere AI- og maskinlæringsløsninger før du gikk over til AI-sikkerhet og -styring i Transcend. Hva var de gjentakende styringsfeilene eller blinde flekkene du observerte som overbeviste deg om at AI-styring må bygges inn i systemer fra dag én, i stedet for å legges til senere?

På BCG arbeidet jeg med selskaper på alle stadier av AI-modenhet, og en mønster som hang ved meg var at styring alltid dukket opp for sent. Teamene beveger seg raskt for å levere en modell eller et produkt, og samtalen om data-tilganger, samtykke eller tilsyn kommer virkelig i fokus rett før produksjon og føles som en “gotcha”. Det som blir bygget på dette tidspunktet utgjør en lapp på et system som aldri var designet med styring i tankene.

Dette er en del av hvorfor jeg var så begeistret for å bli med i Transcend. Å rådgive selskaper om hva de burde gjøre, går bare så langt. Jeg ville hjelpe med å bygge infrastrukturen som gjør styring til det enkle valget.

Mange organisasjoner kappler for å deployere AI-agenter over kundesupport, drift og kunnskapsarbeid. Hvordan går styring av autonome AI-agenter an, sammenlignet med styring av tradisjonelle programvaresystemer eller tidligere generasjoner av AI-modeller?

De fleste bedriftssikkerhetsarkitekturer antar at det finnes en menneske på den andre siden av hver handling, og at mennesket kan identifiseres, tillits og holdes ansvarlig hvis noe går galt. Men agenter er ikke mennesker. De handler på egen hånd, delege oppgaver til andre agenter og kjeder beslutninger sammen på måter som sjelden kartlegger til en enkelt ansvarlig person.

Å gi en agent de samme statiske, faste tillatelser som du ville gi en ansatt, skaper en mismatch fordi agenter mangler sunn fornuft. Styring må vurdere den spesifikke handlingen en agent er i ferd med å utføre, på det øyeblikket, med den bestemte dataen. De fleste selskaper kjører fortsatt identitets- og tilgangs-styrings-spillet de bygde for mennesker, og mange av dem vil oppdage gapet når agent-deployering overstiger styringen som er bygget for å håndtere det.

Du har arbeidet over flere bølger av AI-innovasjon, fra NLP-produkter og influenser-intelligensplattformer til bedrifts AI-omforming-initiativer. Hvordan har samtalen om AI-sikkerhet utviklet seg over de siste ti årene, og hva bekymrer deg mest?

Å sammenligne dagens (og morgendagens!) AI med tidligere generasjoner er fascinerende, fordi det er et utrolig raskt bevegende område. De viktigste utviklingene de siste ett eller to årene har åpenbart vært oppblomstringen av agenter og viktigheten av langvarig minnehåndtering (OpenClaw, noen?). Disse agentene kan gjøre så mye mer, og av høyere kvalitet, noe som gjør dem enda mer verdifulle og, naturligvis, enda mer risikable.

Ettersom AI-systemer stadig tar beslutninger ved hjelp av kunde- og bedriftsdata, hva er de største misforståelsene selskaper har om samtykke, tillatelser og datastyring i AI-drevne miljøer?

Den vanligste misforståelsen er å behandle samtykke som noe som bare må fanges én gang og arkiveres. En kunde samtykker til en sett med vilkår ved oppstart, og selskaper antar at samtykket holder uendelig, uavhengig av hvordan dataene flytter seg etterpå eller hvilke nye systemer de ender opp i. Samtykke må følge med dataene. Hvis noen oppdaterer sine preferanser, eller en ny regulering endrer hva som er tillatt, må denne endringen vises overalt dataene bor, ikke bare i systemet hvor samtykke ble innhentet opprinnelig.

Den andre misforståelsen er å behandle tillatelser som en teknisk detalj som IT eller juridisk håndterer stille i bakgrunnen. Når AI-systemer begynner å ta beslutninger basert på denne dataen, blir tillatelse et produkt- og forretnings-spørsmål, og eventuelle hull i det arver direkte av hva AI-initiativet som sitter på toppen.

Mange bedrifter avhenger fortsatt av statiske politikker og periodiske overholdelses-gjennomganger. Hvorfor strever disse tilnærmingene i en æra hvor AI-systemer kan kontinuerlig lære, tilpasse seg og samhandle med andre agenter?

En statisk politikk fanger hva et system så ut som, og hva som ble ansett som akseptabelt, på det øyeblikket noen skrev det ned. AI sitter ikke stille lenge nok til at dette øyeblikksbildet forblir nøyaktig. Modellen din politikk ble skrevet for, kan være en annen modell enn den du kjører seks måneder senere, og en kvartalsvis eller årlig overholdelses-gjennomgang kan ikke holde tritt med et system som tar beslutninger og tilpasser seg hele tiden.

Å styre noe som beveger seg så raskt, krever en politikk som beveger seg like raskt. Det betyr å håndheve styring på punktet hvor dataene faktisk brukes, i sanntid, i stedet for å sjekke det etterpå mot en dokument som allerede var utdatert den dagen det ble publisert.

Hva ser effektiv styring ut som når organisasjoner begynner å deployere nettverk av AI-agenter som samarbeider med hverandre og tilgjenger flere interne systemer?

Dette er der grensene for tradisjonell tilgangskontroll blir åpenbare. En agent kan være autorisert til å lese en post, ringe et verktøy og overføre resultater til en annen agent, og hver av disse stegene kan se rimelige ut på egen hånd. Den sammensatte handlingen (det som faktisk skjedde en gang du kjeder disse stegene sammen) er ofte noe som ingen menneske eksplisitt godkjente. Tradisjonell IAM kan bekrefte om en agent hadde tillatelse til å berøre et system, selv om det har lite å si om hvorvidt dataene det berørte, ble samlet inn under et samtykke som dekker denne bestemte bruken, eller om den resulterende kjedningen av handlinger var noe en person faktisk signerte av på.

Transcend fokuserer på å innbygge data-bruksstillinger direkte i bedriftsprosesser. Hvor viktig er sanntids-styrings-infrastruktur når organisasjoner går fra AI-eksperimenter til produksjonsskala-deployering?

Under testing kan et team ofte klare seg med manuelle gjennomganger og periodiske auditor, fordi risikoen er lav. I produksjon, spesielt med agenter, bryter dette sammen fordi skalaen er så massiv. I dagens system av sjekklister og møter er det et tap-tap. Sikkerhets- og compliance-teamene får i praksis en pinky-løfte uten kontinuerlig håndheving, mens produktteamet nå er bundet til tungvinte manuelle gjennomganger som gir liten virkelig verdi til sluttbrukeren. Da blir sanntids-infrastruktur den eneste tilnærmingen som fungerer. Å håndheve tillatelser i øyeblikket data flytter eller en beslutning blir tatt, i stedet for å rekonstruere hva som skjedde etter at noe allerede har gått galt, er det som gjør styringen meningsfull for compliance, og verdifull for brukerne.

I din mening, hva er de største risikoene forbundet med agenter over de neste tre til fem årene, og hvilke av disse risikoene blir for tiden undervurdert av forretningsledere?

Jeg tror modellen med å la agenter arve en brukers tillatelser, er risikable enn vi innser. Mennesker har dømmekraft, men en AI vil følge dine instruksjoner rett av en klippe.

Hvordan bør produktteamene balansere presset for å levere AI-funksjoner raskt med behovet for å etablere styring, transparens og ansvarlige rammer?

Jeg tror en konkrete ting er fikset på det jeg kaller “Slop-avgiften”.

Vi har alle meget raskt omkalibrert våre responser for å diskvalifisere gyldigheten og verdien av AI-utdata. Det er hvorfor alle råder deg til å fjerne bindestreker (selv om de er passende), hvorfor en nettside som bruker standard Claude-fargene føles billig (selv om den ser fin ut) og hvorfor informasjon som serveres av AI behandles som mistenkelig (selv om den er sann). Dette påvirker den oppfattede verdien av produktet ditt.

Fikset for Slop-avgiften er faktisk bedre styring og transparens. For eksempel har vi nylig levert en funksjon kalt Leverandør AI-bruk, som henter offentlig tilgjengelig informasjon om AI-funksjoner og styringsposture av toppselskaper, for å hjelpe AI-aktivering-, sikkerhets- og innkjøps-team med å gjøre jobben raskere. Vi fant at ved å bruke en multi-agent-koordineringsramme, sammen med å samle og presentere bevis med kilde-lenker og sitater for funn, resulterte i en massiv forbedring av kvaliteten på våre resultater. Denne praksisen med bevis-samling og agent-kvalitetskontroll er en seier-seier, fordi de faktiske resultater for brukeren er bedre, og compliance er mer robust.

Ser fremover, tror du at AI-styring vil bli en konkurransefordel i stedet for bare et overholdelseskrav, og hva vil skille organisasjonene som får det rett fra de som faller bak?

Jeg tror det, og det kommer tilbake til samme mønster jeg så utspille seg på BCG. Selskaper som behandlet styring som noe som måtte legges til når et produkt allerede var i markedet, ble alltid fanget på siste øyeblikk før skala, og tenderte til å bli fanget i “Pilot-purgatory”. Selskaper som bygger styring inn i systemet fra dag én, kan bevege seg med en slags tillit som den andre gruppen ikke har, fordi de ikke konstant lurer på hva de vil finne når de endelig ser nærmere på hvordan deres AI faktisk bruker data.

Denne gapen vil bare øke når agent-deployering akselererer. Selskaper som kappler raskest for å deployere agenter uten å tenke om hvordan disse agentene er tillatt, er de som er mest sannsynlig til å løpe inn i problemer, og når de gjør, vil selskaper som fikk infrastrukturen rett, allerede være i gang med en fart som de som kommer etter ikke lett kan matche. Styring slutter å være et overholdelses-punkt når det er det som lar deg deployere AI raskere og med mer tillit enn alle som fortsatt gjør det manuelt.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, bør besøke Transcend.