Rowan Stewart, Sr. Directeur Product, AI Safety & Platform bij Transcend – Interview Serie

Rowan Stewart, Sr. Directeur Product, AI Safety & Platform bij Transcend, leidt productinitiatieven gericht op het helpen van organisaties bij het ontdekken, beheren en veilig gebruiken van gegevens in kunstmatige intelligentiesystemen. Ze heeft meer dan een decennium ervaring in AI- en machine learningproductontwikkeling, ondernemingssoftware, natuurlijke taalverwerking, gegevensstrategie en zero-to-one productleiderschap. Voordat ze bij Transcend kwam, werkte Stewart bijna zes jaar bij BCG X, waar ze grote ondernemingen hielp bij het ontwikkelen van AI-strategieën, het heruitvinden van interne processen en het bouwen van producten die meetbare bedrijfsresultaten opleverden. Eerder in haar carrière beheerde ze de ontwikkeling van natuurlijke taalverwerking-API’s voor influencerintelligentie, waaronder sentimentanalyse, kennisgrafieken, persoonlijkheidsbeoordeling, botdetectie en merkveiligheidsfuncties.

Transcend is het enige autonome gegevensbeslissingsplatform dat de vraag “kan ik deze gegevens gebruiken?” beantwoordt om klantengroei te schalen. Fortune 500-bedrijven en opkomende categorie-leiders gebruiken Transcend om complete gegevensgebruikstoestemming rechtstreeks in de ondernemingssystemen te coderen die klantgegevens verwerken, waardoor een real-time bron van waarheid voor toestemming, voorkeuren en bedrijfsregels ontstaat. Het resultaat is een superieure gegevenskwaliteit, ethisch gebruik dat de merkbescherming waarborgt en audit-klaar conformiteit op grote schaal. Met Transcend kunnen bedrijven inkomsten uit AI, personalisatie en andere first-party gegevensinitiatieven met vertrouwen ontgrendelen. Opgericht in 2017 door Ben Brook (CEO) en Mike Farrell (CTO), heeft Transcend zijn hoofdkantoor in de San Francisco Bay Area.

U hebt bijna zes jaar bij BCG X gewerkt en hebt grote ondernemingen geholpen bij het implementeren van AI- en machine learningoplossingen voordat u overstapte naar AI-veiligheid en -beheer bij Transcend. Wat waren de terugkerende beheerfouten of blinde vlekken die u hebt waargenomen en die u ervan overtuigden dat AI-beheer vanaf het begin in systemen moet worden ingebouwd in plaats van later toegevoegd?

Bij BCG werkte ik met bedrijven in elke fase van AI-maturiteit, en één patroon bleef bij me hangen: beheer kwam altijd te laat. Teams werken snel om een model of product te verschepen, en het gesprek over gegevensmachtigingen, toestemming of toezicht komt pas echt in beeld net voor productie en voelt als een ‘gotcha’. Wat er op dat moment wordt gebouwd, is een patch op een systeem dat nooit is ontworpen met beheer in gedachten.

Dat is deels waarom ik zo enthousiast was om bij Transcend te komen. Bedrijven adviseren over wat ze moeten doen, gaat alleen maar zo ver. Ik wilde helpen bij het bouwen van de infrastructuur die beheer de gemakkelijke keuze maakt.

Veel ondernemingen racen om AI-agents in te zetten in klantenservice, operaties en kenniswerk. Hoe verschilt het beheer van autonome AI-agents van het beheer van traditionele software-systemen of zelfs eerdere generaties AI-modellen?

De meeste ondernemingsbeveiligingsarchitectuur gaat ervan uit dat er een mens aan de andere kant van elke actie zit, en dat die mens geïdentificeerd, vertrouwd en aansprakelijk gesteld kan worden wanneer er iets misgaat. Maar agents zijn geen mensen. Ze handelen op eigen initiatief, delegeren taken aan andere agents en ketenen beslissingen samen op manieren die zelden in kaart worden gebracht tot één aansprakelijke persoon.

Een agent dezelfde statische, permanente machtigingen geven die u aan een werknemer zou geven, creëert een mismatch omdat agents geen gezond verstand hebben. Beheer moet de specifieke actie die een agent op het punt staat uit te voeren, op dat moment, met die specifieke gegevens, evalueren. De meeste bedrijven gebruiken nog steeds het identiteits- en toegangsbeheerplaybook dat ze voor mensen hebben gebouwd, en veel van hen zullen ontdekken dat er een lacune is zodra de inzet van agents de governance die is gebouwd om het aan te pakken, overtroeft.

U hebt gewerkt aan meerdere golven van AI-innovatie, van NLP-producten en influencerintelligentieplatforms tot ondernemingsbrede AI-transformatie-initiatieven. Hoe is het gesprek over AI-veiligheid de afgelopen tien jaar geëvolueerd, en wat baart u nog het meeste zorgen?

Het vergelijken van de huidige (en toekomstige!) AI met eerdere generaties is fascinerend, omdat het een ongelooflijk snel evoluerend gebied is. De belangrijkste evoluties van de afgelopen jaar of twee zijn natuurlijk de opkomst van agents en het belang van langetermijngeheugensbeheer (OpenClaw, iemand?). Deze agents kunnen zo veel meer doen op een veel hoger niveau, waardoor ze nog waardevoller en natuurlijk ook riskanter worden.

Naarmate AI-systemen steeds meer beslissingen nemen met behulp van klant- en ondernemingsgegevens, wat zijn de grootste misvattingen die bedrijven hebben over toestemming, machtigingen en gegevensbeheer in AI-gedreven omgevingen?

De meest voorkomende misvatting is om toestemming te behandelen als iets dat één keer wordt vastgelegd en weggeborgen. Een klant gaat akkoord met een set voorwaarden bij aanmelding, en bedrijven gaan ervan uit dat die overeenkomst onbeperkt geldt, ongeacht hoe de gegevens later worden verplaatst of welke nieuwe systemen ze uiteindelijk voeden. Toestemming moet samen met de gegevens reizen. Als iemand zijn voorkeuren bijwerkt of een nieuwe regelgeving verandert wat is toegestaan, moet die verandering overal zichtbaar zijn waar de gegevens leven, niet alleen in het systeem waar de toestemming oorspronkelijk is verzameld.

De tweede misvatting is om machtigingen te behandelen als een technisch detail dat IT of juridische afdelingen in de achtergrond afhandelen. Zodra AI-systemen beslissingen op basis van die gegevens beginnen te nemen, worden machtigingen een product- en bedrijfsvraag, en elke lacune daarin wordt rechtstreeks geërfd door welk AI-initiatief er ook bovenop zit.

Veel ondernemingen vertrouwen nog steeds op statische beleidsregels en periodieke conformiteitscontroles. Waarom worstelen deze benaderingen in een tijdperk waarin AI-systemen continu kunnen leren, aanpassen en interactie hebben met andere agents?

Een statische beleidsregel legt vast hoe een systeem eruitzag en wat als aanvaardbaar werd beschouwd op het moment dat iemand het opschreef. AI zit niet lang genoeg stil om die momentopname accuraat te houden. Het model waarvoor uw beleidsregel is geschreven, is mogelijk niet het model dat u zes maanden later uitvoert, en een kwartaal- of jaarlijkse conformiteitscontrole kan de pas niet houden met een systeem dat de hele tijd beslissingen neemt en zich aanpast.

Het beheer van iets dat zo snel beweegt, vereist een beleid dat even snel beweegt. Dat betekent dat governance moet worden afgedwongen op het punt waar de gegevens daadwerkelijk worden gebruikt, in real-time, in plaats van erna te controleren tegen een document dat al verouderd was op de dag van publicatie.

Wat ziet effectief beheer eruit wanneer ondernemingen beginnen met het inzetten van netwerken van AI-agents die samenwerken en toegang hebben tot meerdere interne systemen?

Dit is waar de beperkingen van traditioneel toegangsbeheer duidelijk worden. Een agent kan gemachtigd zijn om een record te lezen, een tool aan te roepen en resultaten over te dragen aan een andere agent, en elke stap kan op zichzelf redelijk lijken. De samengestelde actie (wat er werkelijk gebeurt als u die stappen samenketent) is vaak iets waarvoor geen mens expliciet toestemming heeft gegeven. Traditioneel IAM kan bevestigen of een agent toestemming had om een systeem aan te raken, maar het heeft weinig te zeggen over of de gegevens die het heeft aangeraakt, zijn verzameld onder een toestemming die deze specifieke gebruik dekt, of of de resulterende keten van acties ooit iets was waar een persoon expliciet toestemming voor had gegeven.

Transcend richt zich op het integreren van gegevensgebruiksmachtigingen rechtstreeks in ondernemingsworkflows. Hoe belangrijk is real-time governance-infrastructuur voor ondernemingen die overstappen van AI-experimenten naar productie-schaalimplementatie?

Tijdens tests kan een team vaak overleven met handmatige controles en periodieke audits, omdat de inzet laag is. In productie, vooral met agente AI, breekt dit omdat de schaal gewoon enorm is. Het huidige systeem van controlelijsten en vergaderingen is een verlies-verlies. De compliance- en beveiligingsteams krijgen een pinkbelofte met geen continue handhaving, terwijl het productteam nu is vastgebonden aan omslachtige handmatige controles die weinig waarde bieden voor de eindgebruiker. Dat is wanneer real-time-infrastructuur de enige aanpak wordt die werkt. Het afdwingen van machtigingen op het moment dat gegevens worden verplaatst of een beslissing wordt genomen, in plaats van te reconstrueren wat er is gebeurd nadat iets al mis is gegaan, is wat governance betekenisvol maakt voor conformiteit en waardevol voor gebruikers.

In uw mening, wat zijn de grootste risico’s geassocieerd met agente AI in de komende drie tot vijf jaar, en welke van die risico’s worden momenteel onderschat door zakenleiders?

Ik denk dat het model van het laten erven van een gebruikersmachtigingen door agents riskanter is dan we beseffen. Mensen hebben oordeel, maar een AI zal uw instructies opvolgen, recht van de afgrond.

Hoe moeten productteams de druk om AI-functies snel uit te brengen, in evenwicht brengen met de noodzaak om beheer-, transparantie- en aansprakelijkheidskaders te vestigen?

Ik denk dat één concreet ding de oplossing is voor wat ik de “Slop Tax” noem.

We hebben allemaal snel onze reacties aangepast om de geldigheid en waarde van AI-uitvoer te discrediteren. Het is waarom iedereen je aanraadt om streepjes (zelfs als ze passend zijn) te verwijderen, waarom een site die de standaard Claude-kleurpalet gebruikt, goedkoop aanvoelt (zelfs als het er leuk uitziet) en waarom informatie die door AI wordt aangeboden, als verdacht wordt behandeld (zelfs als het waar is). Dat heeft echt invloed op de waargenomen waarde van uw product.

De oplossing voor de Slop Tax is eigenlijk beter beheer en transparantie. We hebben onlangs een functie uitgebracht genaamd Vendor AI Usage, die openbaar beschikbare informatie over AI-functies en governance-houding van topbedrijven trekt, om AI-activatie-, beveiligings- en inkoopteams te helpen hun werk sneller te doen. We ontdekten dat het gebruik van een multi-agentorkestratiekader, samen met het verzamelen en presenteren van bewijs met bronlinks en citaten voor hun bevindingen, resulteerde in een enorme verbetering van de kwaliteit van onze resultaten. Deze praktijk van bewijsverzameling en agent-QA is een win-winsituatie, omdat de daadwerkelijke resultaten voor de gebruiker beter zijn en de conformiteit robuuster is.

Kijkend naar de toekomst, gelooft u dat AI-beheer uiteindelijk een concurrentievoordeel zal worden in plaats van alleen een conformiteitsvereiste, en wat zal het verschil maken tussen de ondernemingen die het goed doen en diegenen die achterblijven?

Ik geloof van wel, en het komt terug op hetzelfde patroon dat ik bij BCG heb gezien. Bedrijven die beheer behandelden als iets dat moet worden toegevoegd zodra een product al op de markt was, werden altijd betrapt op het laatste moment voordat ze konden schalen, en raakten vaak vast in “Pilot Purgatory”. De bedrijven die beheer in het systeem inbouwen vanaf het begin, kunnen met een soort vertrouwen bewegen die de andere groep niet heeft, omdat ze niet constant twijfelen aan wat ze zullen vinden als ze eindelijk goed naar hun AI kijken en hoe deze daadwerkelijk gegevens gebruikt.

Die kloof zal alleen maar groter worden naarmate de inzet van agents versnelt. De ondernemingen die het snelst racen om agents in te zetten zonder hun machtigingen opnieuw te bekijken, zijn degenen die het meest waarschijnlijk in de problemen komen, en tegen de tijd dat ze dat doen, zullen de bedrijven die de infrastructuur goed hebben, al op een snelheid opereren die de latekomers niet gemakkelijk kunnen bijhouden. Beheer houdt op een conformiteitspost te zijn zodra het het ding is dat u in staat stelt om AI sneller en met meer vertrouwen in te zetten dan iedereen die het nog steeds handmatig doet.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Transcend bezoeken.