Rowan Stewart, Sr. Director of Product, AI Safety & Platform hos Transcend – Interview Serie

Rowan Stewart, Sr. Director of Product, AI Safety & Platform hos Transcend, leder produktinitiativer, der fokuserer på at hjælpe organisationer med at opdage, styre og bruge data i kunstig intelligenssystemer på en sikker måde. Hun har mere end et årti lang erfaring inden for AI- og maskinlæringsproduktudvikling, virksomhedssoftware, naturlig sprogbehandling, datastrategi og produktledelse fra bunden. Før hun kom til Transcend, tilbragte Stewart næsten seks år hos BCG X, hvor hun hjalp store virksomheder med at udvikle AI-strategier, omforme interne processer og opbygge produkter, der kunne levere målbare forretningsresultater. Tidligere i sin karriere styrede hun udviklingen af naturlig sprogbehandling-API’er til influencer-intelligence, herunder sentimentanalyse, videngraf, personlighedsbedømmelse, bot-detektion og brand-sikkerhedsfunktioner.

Transcend er det eneste autonome data-beslutningsplatform, der svarer på spørgsmålet “kan jeg bruge denne data?” for at skabe kundevækst. Fortune 500-virksomheder og fremragende kategoriledere bruger Transcend til at indkode komplet data-brugsrettigheder direkte i de virksomhedsystemer, der behandler kundedata, og leverer en realtidskilde til sandheden om samtykke, præferencer og forretningsregler. Resultatet er overlegen datakvalitet, etisk brug, der beskytter brandet, og revisionssikker overholdelse i stor målestok. Med Transcend kan virksomheder låse omsætning fra AI, personalisering og andre first-party data-initiativer med tillid. Transcend blev grundlagt i 2017 af Ben Brook (CEO) og Mike Farrell (CTO) og har hovedsæde i San Francisco Bay Area.

De tilbragte næsten seks år hos BCG X og hjalp nogle af verdens største organisationer med at implementere AI- og maskinlæringsløsninger, før du skiftede til AI-sikkerhed og -styring hos Transcend. Hvad var de hyppige styringsfejl eller blinde pletter, du observerede, og hvilke overbeviste dig om, at AI-styring skulle indbygges i systemer fra dag ét og ikke tilføjes senere?

På BCG arbejdede jeg med virksomheder på alle stadier af AI-modenhed, og en mønster, der fik mig til at stoppe op, var, at styring altid dukkede op sent. Holdene arbejder hurtigt for at lancere en model eller et produkt, og diskussionen om data-rettigheder, samtykke eller tilsyn kommer først rigtigt i fokus lige før produktion og føles som en ‘gotcha’. Det, der bliver bygget på det tidspunkt, udgør en lap på et system, der aldrig var designet med styring i mente.

Det er en del af, hvorfor jeg var så begejstret for at tilslutte mig Transcend. At rådgive virksomheder om, hvad de skal gøre, går kun så langt. Jeg ville hjælpe med at bygge den infrastruktur, der gør styring til det lette valg.

Mange organisationer kapløber for at implementere AI-agenter på tværs af kundesupport, drift og videnarbejde. Hvordan adskiller styring af autonome AI-agenter sig fra styring af traditionelle software-systemer eller tidligere generationer af AI-modeller?

De fleste virksomhedssikkerhedsarkitekturer antager, at der er et menneske på den anden side af hver handling, og at dette menneske kan identificeres, tillides og holdes ansvarlig, hvis noget går galt. Men agenter er ikke mennesker. De handler på egen hånd, delegerer opgaver til andre agenter og kæder beslutninger sammen på måder, der sjældent kan tilføres en enkelt ansvarlig person.

At give en agent de samme statiske, faste tilladelser, man ville give en medarbejder, skaber en mislighed, fordi agenter mangler sund fornuft. Styring må evaluere den specifikke handling, en agent er på vej til at udføre, på det pågældende tidspunkt, med den pågældende data. De fleste virksomheder kører stadig identitets- og adgangsstyringsplaybogen, de byggede til mennesker, og mange af dem vil opdage hullerne, når agent-implementation overhaler styringen, der er bygget til at håndtere det.

De har arbejdet på tværs af flere bølger af AI-innovation, fra NLP-produkter og influencer-intelligensplatforme til virksomheds AI-transformation-initiativer. Hvordan er diskussionen om AI-sikkerhed udviklet over det seneste årti, og hvad bekymrer dig mest?

At sammenligne i dag (og i morgen!) med tidligere generationer af AI er fascinerende, fordi det er et utrolig hurtigt udviklende område. De vigtigste udviklinger de seneste par år har naturligvis været opkomsten af agenter og vigtigheden af langvarig hukommelsesstyring (OpenClaw, nogen?). Disse agenter kan gøre så meget mere i så høj kvalitet, hvilket gør dem endnu mere værdifulde og naturligvis også mere risikable.

Da AI-systemer i stigende grad træffer beslutninger ved hjælp af kunde- og virksomhedsdata, hvilke er de største misforståelser, virksomheder har om samtykke, tilladelser og data-styring i AI-drevne miljøer?

Den mest almindelige misforståelse er at behandle samtykke som noget, man kun indhenter én gang og arkiverer. En kunde accepterer en række vilkår ved tilmelding, og virksomheder antager, at denne accept holder uendeligt, uanset hvordan data flyttes herefter eller hvilke nye systemer det ender med at føde. Samtykke skal følge med data. Hvis en person opdaterer sine præferencer eller en ny regulering ændrer, hvad der er tilladt, skal denne ændring vises overalt, hvor data findes, og ikke kun i systemet, hvor samtykke oprindeligt blev indhentet.

Den anden misforståelse er at behandle tilladelser som en teknisk detalje, som IT eller juridisk kan håndtere stille i baggrunden. Når AI-systemer begynder at træffe beslutninger baseret på denne data, bliver tilladelser et produkt- og forretningsspørgsmål, og eventuelle huller i det bliver direkte arvet af hvilket som helst AI-initiativ, der sidder oven på.

Mange virksomheder afhænger stadig af statiske politikker og periodiske overholdelsesgennemgange. Hvorfor kæmper disse tilgange i en æra, hvor AI-systemer kan lære kontinuerligt, tilpasse sig og interagere med andre agenter?

En statisk politik fanger, hvordan et system så ud, og hvad der blev anset for acceptabelt, på det tidspunkt, hvor nogen skrev det ned. AI sidder ikke stille længe nok til, at dette snapshot kan forblive nøjagtigt. Modellen, din politik blev skrevet for, kan ikke være den model, du kører seks måneder senere, og en kvartals- eller årlig overholdelsesgennemgang kan ikke følge med et system, der træffer beslutninger og tilpasser sig hele tiden.

At styre noget, der bevæger sig så hurtigt, kræver en politik, der også bevæger sig i samme hastighed. Det betyder, at styring skal gennemføres, hvor data faktisk bruges, i realtid, snarere end at kontrollere det efterfølgende mod en dokument, der allerede var forældet den dag, det blev offentliggjort.

Hvad ser effektiv styring ud til, når organisationer begynder at implementere netværk af AI-agenter, der samarbejder med hinanden og har adgang til multiple interne systemer?

Dette er, hvor begrænsningerne af traditionel adgangskontrol bliver åbenlyse. En agent kan have tilladelse til at læse en post, kalde et værktøj og overføre resultaterne til en anden agent, og hver af disse trin kan se rimelige ud i sig selv. Den sammensatte handling (det, der faktisk sker, når du kæder disse trin sammen) er ofte noget, som ingen menneske har udtrykkeligt godkendt. Traditionel IAM kan bekræfte, om en agent havde tilladelse til at røre et system, selvom det har lidt at sige om, hvorvidt data, det rørte, blev indsamlet under et samtykke, der dækker denne specifikke brug, eller om den resulterende kæde af handlinger var noget, en person nogensinde har godkendt.

Transcend fokuserer på at indbygge data-brugsrettigheder direkte i virksomhedsarbejdsgange. Hvor vigtig er realtids-styringsinfrastruktur, når organisationer går fra AI-eksperimenter til produktions-skala-deployment?

Under test kan et hold ofte klare sig med manuelle gennemgange og periodiske revisioner, fordi indsatsen er lav. I produktion, især med agenter, bryder det sammen, fordi skalaen er så massiv. I dag er systemet af checklister og møder en taber-taber. Sikkerheds- og compliance-holdene får grundlæggende et løfte uden kontinuerlig gennemførelse, mens produktteamet nu er forpligtet til besværlige manuelle gennemgange, der giver lidt reel værdi til slutbrugeren. Det er, når realtids-infrastruktur bliver den eneste tilgang, der virker. At gennemføre tilladelser i det øjeblik, data flyttes eller en beslutning træffes, i stedet for at genskabe, hvad der skete efter, at noget allerede er gået galt, er det, der gør styringen meningsfuld for compliance og værdifuld for brugerne

I jeres syn, hvad er de mest betydelige risici forbundet med agenter over de næste tre til fem år, og hvilke af disse risici bliver i øjeblikket undervurderet af forretningsledere?

Jeg tror, at modellen med at lade agenter arve en brugers tilladelser er mere risikabel, end vi erkender. Mennesker har dømmekraft, men en AI vil følge dine instruktioner lige ud i afgrunden.

Hvordan skal produktteam balancere presset for at lancere AI-funktioner hurtigt med behovet for at etablere styring, gennemsigtighed og ansvarlighedsrammer?

Jeg tror, at en konkrete løsning er løsningen på, hvad jeg kalder “Slop-skatten”.

Vi har alle meget hurtigt omkalibreret vores svar for at diskvalificere gyldigheden og værdien af AI-udgang. Det er, hvorfor alle råder os til at fjerne bindestreger (selvom de er passende) og hvorfor et websted, der bruger den standard Claude-farvepalet, føles billigt (selvom det ser pænt ud) og hvorfor information, der serveres af AI, behandles som mistænkeligt (selvom det er sandt). Det påvirker den opfattede værdi af jeres produkt.

Løsningen på Slop-skatten er faktisk bedre styring og gennemsigtighed. For eksempel har vi for nylig lanceret en funktion kaldet “Leverandør-AI-brug”, der henter offentligt tilgængelige oplysninger om AI-funktioner og styringsposture hos topvirksomheder for at hjælpe AI-aktivering-, sikkerheds- og indkøbsteam med at udføre deres arbejde hurtigere. Vi fandt ud af, at brugen af en multi-agent-koordineringsramme sammen med indsamling og præsentation af beviser med kildehenvisninger og citater til deres resultater resulterede i en enorm forbedring af resultaternes kvalitet. Denne praksis med indsamling af beviser og agent-kvalitetskontrol er en gevinst for alle parter, fordi resultaterne for brugeren er bedre, og compliance er mere robust.

Set fremad, tror du, at AI-styring vil blive en konkurrencefordel frem for blot en overholdelseskrav, og hvad vil adskille organisationerne, der får det rigtigt, fra dem, der falder bagud?

Jeg tror, at det kommer tilbage til den samme mønster, jeg så udspille sig på BCG. Virksomheder, der behandlede styring som noget, der skulle tilføjes, når et produkt allerede var på markedet, blev altid fanget i sidste øjeblik, før de skulle skala, og havde tendens til at blive fast i “Pilot Purgatory”. Virksomheder, der byggede styring ind i systemet fra dag ét, kunne bevæge sig med en slags tillid, som den anden gruppe ikke havde, fordi de ikke konstant undrede sig over, hvad de ville finde, når de endelig kiggede nærmere på, hvordan deres AI faktisk brugte data.

Denne forskel vil kun blive større, efterhånden som agent-implementation accelererer. Virksomhederne, der kapløber hurtigst for at implementere agenter uden at genoverveje, hvordan disse agenter er tilladt, er dem, der er mest sandsynlige for at løbe ind i problemer, og når de gør, vil virksomhederne, der fik infrastrukturen rigtigt, allerede være i gang med at operere i en hastighed, som efterfølgerne ikke let kan matche. Styring bliver ikke længere en overholdelsespost, når det er det, der giver mulighed for at implementere AI hurtigere og med mere tillid end alle, der stadig gør det manuelt.

Tak for det store interview, læsere, der ønsker at lære mere, skal besøge Transcend.