Rowan Stewart, Sr. Director of Product, AI Safety & Platform på Transcend – Intervju-serie

Rowan Stewart, Sr. Director of Product, AI Safety & Platform på Transcend, leder produktinitiativ som fokuserer på att hjälpa organisationer att upptäcka, styra och använda data i artificiella intelligenssystem på ett säkert sätt. Hon har mer än ett decenniums erfarenhet som omfattar AI- och maskinläringsproduktutveckling, företagsprogramvara, naturlig språkbehandling, datastrategi och ledarskap för noll-till-en-produkter. Innan hon gick med i Transcend tillbringade Stewart nästan sex år på BCG X, där hon hjälpte stora företag att utveckla AI-strategier, förnya interna processer och bygga produkter som var avsedda att leverera mätbara affärsresultat. Tidigare i sin karriär ledde hon utvecklingen av naturlig språkbehandlings-API:er för influensernas intelligens, inklusive sentimentanalys, kunskapsgrafer, personlighetsbedömning, botdetektering och varumärkes-säkerhetsfunktioner.

Transcend är den enda autonoma data-beslutsplattformen som svarar på frågan “kan jag använda den här datan?” för att skala kundtillväxt. Företag i Fortune 500 och framväxande kategoriledare använder Transcend för att koda fullständiga data-användningstillstånd direkt in i företagssystem som bearbetar kunddata, vilket ger en realtidskälla för sanning för samtycke, preferenser och affärsregler. Resultatet är överlägsen datakvalitet, etisk användning som skyddar varumärket och granskningsklar efterlevnad i skala. Med Transcend kan företag låsa upp intäkter från AI, personalisering och andra första-partsdatainitiativ med tillförsikt. Grundat 2017 av Ben Brook (VD) och Mike Farrell (CTO) har Transcend sitt huvudkontor i San Francisco Bay Area.

Du tillbringade nästan sex år på BCG X och hjälpte några av världens största organisationer att distribuera AI- och maskinlärningslösningar innan du gick vidare till AI-säkerhet och styrning på Transcend. Vilka var de återkommande styrningsmisslyckandena eller blind fläckarna du observerade som övertygade dig om att AI-styrning behövde byggas in i system från dag ett snarare än att läggas till senare?

På BCG arbetade jag med företag i alla stadier av AI-mognad, och ett mönster fastnade för mig: styrning visade alltid upp sent. Team flyttar snabbt för att leverera en modell eller en produkt, och samtalet om data-tillstånd, samtycke eller tillsyn kommer verkligen i fokus precis före produktion och känns som en “gotcha”. Allt som byggs vid den punkten blir en lapp på ett system som aldrig var avsett för styrning.

Det är en del av varför jag var så spänd på att gå med i Transcend. Att råda företag om vad de borde göra går bara så långt. Jag ville hjälpa till att bygga infrastrukturen som gör styrning till det enkla valet.

Många organisationer är på väg att distribuera AI-agenter över kundsupport, drift och kunskapsarbete. Hur skiljer sig styrning av autonoma AI-agenter från styrning av traditionella programvarusystem eller tidigare generationer av AI-modeller?

De flesta företags säkerhetsarkitekturer förutsätter att det finns en människa på andra sidan av varje åtgärd, och att människan kan identifieras, lita på och när något går fel, hållas ansvarig. Men agenter är inte människor. De agerar på egen hand, delegerar uppgifter till andra agenter och kedjar beslut samman på sätt som sällan kartläggs till en enskild ansvarig person.

Att ge en agent samma statiska, stående behörigheter som man skulle ge en anställd skapar en missmatch eftersom agenter saknar sunt förnuft. Styrning måste utvärdera den specifika åtgärd en agent är på väg att vidta, i det ögonblicket, med den särskilda datan. De flesta företag kör fortfarande identitets- och åtkomsthanteringsplayboken de byggde för människor, och många av dem kommer att upptäcka gapet när agentdistributionen överträffar den styrning som byggts för att hantera det.

Du har arbetat över flera vågor av AI-innovation, från NLP-produkter och influensernas intelligensplattformar till företags AI-omvandlingsinitiativ. Hur har samtalet om AI-säkerhet utvecklats under det senaste decenniet, och vad bekymrar dig mest?

Att jämföra dagens (och morgondagens!) AI med tidigare generationer är fascinerande eftersom det är ett otroligt snabbt rörligt utrymme. De viktigaste utvecklingarna under det senaste året eller två har uppenbarligen varit uppkomsten av agenter och vikten av långvarig minneshantering (OpenClaw, någon?). Dessa agenter kan göra så mycket mer på så hög kvalitet, vilket gör dem ännu mer värdefulla och, naturligtvis, ännu riskfyllda.

När AI-system alltmer fattar beslut med hjälp av kund- och företagsdata, vad är de största missuppfattningarna som företag har om samtycke, behörigheter och datastyrning i AI-drivna miljöer?

Den vanligaste missuppfattningen är att behandla samtycke som något man fångar en gång och arkiverar. En kund samtycker till en uppsättning villkor vid registrering, och företag antar att överenskommelsen gäller tills vidare, oavsett hur datan flyttas därefter eller vilka nya system den hamnar i. Samtycke måste följa med datan. Om någon uppdaterar sina preferenser eller en ny lag ändrar vad som är tillåtet, måste den ändringen visas överallt datan finns, inte bara i systemet där samtycke ursprungligen samlades in.

Den andra missuppfattningen är att behandla behörigheter som en teknisk detalj som IT eller juridik hanterar tyst i bakgrunden. När AI-system börjar fatta beslut baserat på den datan blir behörigheterna en produkt- och affärsfråga, och eventuella luckor i den ärvs direkt av vilket AI-initiativ som sitter ovanpå.

Många företag förlitar sig fortfarande på statiska policys och periodiska efterlevnadsgranskningar. Varför kämpar dessa tillvägagångssätt i en era där AI-system kan kontinuerligt lära sig, anpassa sig och interagera med andra agenter?

En statisk policy fångar vad ett system såg ut som och vad som ansågs acceptabelt, vid den tidpunkt någon skrev ner det. AI står inte stilla tillräckligt länge för att den ögonblicksbilden ska förbli korrekt. Modellen som din policy skrevs för kanske inte är den modell du kör sex månader senare, och en kvartals- eller årlig efterlevnadsgranskning kan inte hålla jämna steg med ett system som fattar beslut och anpassar sig hela tiden.

Att styra något som rör sig så fort kräver en policy som rör sig i samma takt. Det betyder att verkställa styrning vid den punkt där data faktiskt används, i realtid, snarare än att kontrollera det efteråt mot ett dokument som redan var föråldrat den dagen det publicerades.

Vad ser effektiv styrning ut som när organisationer börjar distribuera nätverk av AI-agenter som samarbetar med varandra och kommer åt flera interna system?

Här blir begränsningarna för traditionell åtkomstkontroll uppenbara. En agent kan vara auktoriserad att läsa en post, ringa ett verktyg och överlämna resultat till en annan agent, och var och en av dessa steg kan se rimliga ut på egen hand. Den sammansatta åtgärden (det som faktiskt hände när du kedjade ihop dessa steg) är ofta något som ingen människa uttryckligen godkände. Traditionell IAM kan bekräfta om en agent hade behörighet att komma åt ett system, men den har lite att säga om huruvida datan den kom åt samlades in under ett samtycke som täcker den här användningen, eller om den resulterande kedjan av åtgärder någonsin var något en person faktiskt godkände.

Transcend fokuserar på att infoga data-användningstillstånd direkt i företagsarbetsflöden. Hur viktigt är realtidsstyrningsinfrastruktur när organisationer flyttar från AI-experiment till produktions-skala-distribution?

Under testning kan ett team ofta klara sig med manuella granskningar och periodiska revisioner, eftersom insatserna är låga. I produktion, särskilt med agenter, bryts det eftersom skalan är så massiv. Dagens system med checklista och möten är en förlorare-förlorare. Säkerhets- och efterlevnadsteam får i princip ett pinky-löfte med ingen kontinuerlig verkställighet, medan produktteamet nu är bundet till besvärliga manuella granskningar som ger lite verkligt värde till slutanvändaren. Det är då realtids-infrastruktur blir den enda tillvägagångssätt som fungerar. Att verkställa behörigheter i ögonblicket data flyttas eller ett beslut fattas, snarare än att rekonstruera vad som hände efter att något redan har gått fel, är vad som gör styrningen meningsfull för efterlevnad, och värdefull för användare

I din mening, vad är de mest betydande riskerna förknippade med agenter under de kommande tre till fem åren, och vilka av dessa risker underskattas för närvarande av affärsledare?

Jag tror att modellen med att låta agenter ärva en användares behörigheter är riskfylldare än vi förstår. Människor har omdöme, men en AI kommer att följa dina instruktioner rakt av en klippa.

Hur bör produktteam balansera trycket att leverera AI-funktioner snabbt med behovet av att etablera styrning, transparens och ansvarsramar?

Jag tror att en konkret sak är lösningen på vad jag kallar “Slop-skatten”.

Vi har alla mycket snabbt omkalibrerat våra svar för att rabattera giltigheten och värdet av AI-utdata. Det är varför alla råder dig att ta bort parenteser (även om de är lämpliga) och varför en webbplats som använder standard-Claude-färgschemat känns billig (även om den ser bra ut) och varför information som serveras av AI behandlas som misstänkt (även om den är sann). Det påverkar den upplevda värdet av din produkt.

Lösningen för Slop-skatten är faktiskt bättre styrning och transparens. Till exempel har vi nyligen levererat en funktion som heter Leverantörs AI-användning, som hämtar offentligt tillgänglig information om AI-funktioner och styrningspostur för toppföretag, för att hjälpa AI-aktivering, säkerhet och inköpslag att göra sitt arbete snabbare. Vi fann att användning av en multi-agent-orchestreringsram, tillsammans med insamling och presentation av bevis med källlänkar och citat för deras resultat, resulterade i en massiv förbättring av resultatkvaliteten. Denna praxis med bevisinsamling och agent-QA är en vinst-vinst eftersom de faktiska resultaten för användaren är bättre, och efterlevnaden är mer robust.

Om man ser framåt, tror du att AI-styrning kommer att bli en konkurrensfördel snarare än bara en efterlevnadskrav, och vad kommer att skilja organisationer som får det rätt från dem som halkar efter?

Jag gör, och det kommer tillbaka till samma mönster jag såg spelas ut på BCG. Företag som behandlade styrning som något att lägga till när en produkt redan var på marknaden var alltid fångade i sista minuten innan skala, och tenderade att fastna i “Pilot Purgatory” Företagen som bygger styrning in i systemet från dag ett kan flytta med en sorts tillförsikt som den andra gruppen inte har, eftersom de inte ständigt undrar vad de kommer att hitta när de slutligen tittar närmare på hur deras AI faktiskt använder data.

Det gapet kommer bara att växa när agentdistributionen accelererar. Organisationerna som tävlar snabbast för att distribuera agenter utan att ompröva hur dessa agenter är auktoriserade är de som mest sannolikt kommer att springa in i problem, och när de väl gör det kommer företagen som fick infrastrukturen rätt att redan vara i drift med en hastighet som senkomlingarna inte kan matcha. Styrning slutar vara en efterlevnadsrad när det är det som låter dig distribuera AI snabbare och med mer tillförsikt än alla som fortfarande gör det manuellt.

Tack för den underbara intervjun, läsare som vill lära sig mer bör besöka Transcend.