Rowan Stewart, seniorní ředitel produktu, AI bezpečnost a platforma ve společnosti Transcend – série rozhovorů

Rowan Stewart, Sr. Director of Product, AI Safety & Platform at Transcend, vede produktové iniciativy zaměřené na pomoc organizacím objevit, řídit a bezpečně využívat data v systémech umělé inteligence. Má více než deset let zkušeností v oblasti vývoje produktů AI a strojového učení, podnikového softwaru, zpracování přirozeného jazyka, datové strategie a vedení produktů od nuly. Předtím, než se připojila k Transcend, strávila Stewart téměř šest let v BCG X, kde pomáhala velkým podnikům vyvíjet strategie AI, obnovovat vnitřní procesy a budovat produkty, které měly měřitelné obchodní výsledky. Na počátku své kariéry řídila vývoj API pro zpracování přirozeného jazyka pro inteligenci influencerů, včetně sentimentální analýzy, znalostních grafů, hodnocení osobnosti, detekce botů a funkcí zabezpečení značky.

Transcend je jediná autonomní platforma pro rozhodování o datech, která odpovídá na otázku „mohu použít tato data?“ pro škálování růstu zákazníků. Společnosti Fortune 500 a vedoucí kategorie využívají Transcend k zakódování kompletních povolení pro použití dat přímo do podnikových systémů, které zpracovávají data zákazníků, a poskytují tak reálný zdroj pravdy pro souhlas, preference a obchodní pravidla. Výsledkem je vyšší kvalita dat, etické použití, které chrání značku, a auditovatelná souladnost ve velkém měřítku. Díky Transcend mohou společnosti odemknout výnosy z AI, personalizace a dalších iniciativ první strany s důvěrou. Transcend byl založen v roce 2017 Benem Brookem (CEO) a Mikem Farrellem (CTO) a má sídlo v oblasti zálivu San Francisco.

Strávila jste téměř šest let v BCG X, kde jste pomáhala některým z největších organizací na světě nasazovat řešení AI a strojového učení, než jste se přesunula do oblasti AI bezpečnosti a governance v Transcend. Jaké byly opakující se selhání governance nebo slepá místa, která jste pozorovala, a která vás přesvědčila, že governance AI by měla být budována do systémů od samého začátku, a not only přidána později?

V BCG jsem pracovala s firmami na všech úrovních zralosti AI, a jeden vzorec mě zaujal: governance vždy přichází pozdě. Týmy se pohybují rychle, aby dodaly model nebo produkt, a diskuse o povoleních dat, souhlasu nebo dohledu se skutečně dostává do popředí až těsně před produkcí a cítí se jako „past“. Cokoliv se postaví v tomto okamžiku, je vlastně náplastí na systém, který nebyl navržen s governance na mysli.

To je část důvodu, proč jsem byla tak nadšená, že jsem se připojila k Transcend. Poradenství firmám o tom, co by měly dělat, jde jen tak daleko. Chtěla jsem pomoci budovat infrastrukturu, která dělá governance snadnou volbou.

Mnohé organizace závodí, aby nasadily agenty AI napříč zákaznickou podporou, operacemi a znalostní prací. Jak se liší governance autonomních agentů AI od governance tradičních softwarových systémů nebo dokonce dřívějších generací modelů AI?

Většina podnikové bezpečnostní architektury předpokládá, že na druhé straně každé akce je člověk, který může být identifikován, důvěřován a v případě, že něco goes wrong, zodpovědný. Ale agenti nejsou lidé. Jednají sami, delegují úkoly jiným agentům a spojují rozhodnutí dohromady způsobem, který se zřídka mapuje na jednu zodpovědnou osobu.

Poskytnutí agentovi stejných statických povolení, která byste poskytli zaměstnanci, vytváří nesoulad, protože agenti postrádají zdravý rozum. Governance musí vyhodnotit konkrétní akci, kterou agent provede, v tomto okamžiku, s tímto konkrétním datem. Většina firem stále běží playbook identity a správy přístupu, který byl postaven pro lidi, a mnoho z nich objeví mezery, až nasazení agentů překročí governance, která byla postavena pro jeho zpracování.

Pracovala jste napříč několika vlnami inovací AI, od produktů NLP a platforem pro inteligenci influencerů po iniciativy transformace podniků AI. Jak se vyvinula diskuse o bezpečnosti AI za posledních deset let, a co vás stále nejvíce znepokojuje?

Srovnání dnešních a zítřejších AI s předchozími generacemi je fascinující, protože je to neuvěřitelně rychle se pohybující prostor. Největší evoluce posledních dvou let byly samozřejmě vzestup agentů a důležitost dlouhodobé správy paměti (OpenClaw, kdokoliv?). Tyto agenti jsou schopni udělat tolik více na vyšší kvalitě, což je činí ještě cennějšími a samozřejmě i riskantnějšími.

Jak systémy AI stále více činí rozhodnutí pomocí zákaznických a podnikových dat, jaké jsou největší mýty, které firmy mají o souhlasu, povoleních a governance dat v prostředí AI?

Nejčastější mýtus je zacházet se souhlasem jako s něčím, co se zachytí jednou a uloží. Zákazník souhlasí s určitými podmínkami při registraci, a firmy předpokládají, že toto souhlas platí navždy, bez ohledu na to, jak se data pohybují dále nebo jaké systémy je nakonec krmí. Souhlas musí cestovat s daty. Pokud někdo aktualizuje své preference nebo nová regulace změní, co je přípustné, tato změna se musí objevit všude, kde data žijí, a ne pouze v systému, kde byl souhlas původně shromážděn.

Druhý mýtus je zacházet s povoleními jako s technickým detailem, který IT nebo právní týmy zpracovávají tiše na pozadí. Jakmile systémy AI začnou činit rozhodnutí založená na těchto datech, povolení se stává produktem a obchodním otázkou, a jakékoli mezery v něm se přímo dědí jakýmkoli AI iniciativám, které na něm spočívají.

Mnohé podniky stále spoléhají na statické zásady a periodické kontroly souladu. Proč tyto přístupy zápasí v éře, kdy systémy AI mohou kontinuálně učit, adaptovat a interagovat s jinými agenty?

Statická politika zachycuje, jak systém vypadal, a co bylo považováno za akceptovatelné, v okamžiku, kdy někdo ji napsal. AI se nezastaví dostatečně dlouho, aby tento snímek zůstal přesný. Model, pro který byla politika napsána, nemusí být modelem, který běžíte za šest měsíců, a čtvrtletní nebo roční kontrola souladu nemůže držet krok se systémem, který činí rozhodnutí a adaptuje se po celou dobu.

Governance něčeho, co se pohybuje tak rychle, vyžaduje politiku, která se pohybuje stejnou rychlostí. To znamená vynucovat governance v okamžiku, kdy se data skutečně používají, v reálném čase, místo toho, aby se kontrolovalo proti dokumentu, který byl již zastaralý den, kdy byl zveřejněn.

Co vypadá efektivní governance, když organizace začínají nasazovat sítě agentů AI, kteří spolupracují navzájem a přistupují k více interním systémům?

To je místo, kde se stanou zřejmými limity tradiční kontroly přístupu. Agent může mít oprávnění číst záznam, volat nástroj a předávat výsledky jinému agentovi, a každý z těchto kroků může vypadat rozumně sám o sobě. Kompozitní akce (věc, která se skutečně stala, když tyto kroky spojíte dohromady) je často něco, co žádná lidská osoba výslovně neschválila. Tradiční IAM může potvrdit, zda měl agent oprávnění dotknout se systému, ale má málo co říci o tom, zda data, která se dotkla, byla shromážděna pod souhlasem, který pokrývá toto konkrétní použití, nebo zda výsledná řada akcí byla někdy něco, co osoba výslovně schválila.

Transcend se zaměřuje na vkládání povolení pro použití dat přímo do podnikových pracovních postupů. Jak důležité je infrastruktura reálné governance, když organizace přecházejí z experimentování s AI na nasazení ve velkém měřítku?

Během testování může tým často dostat se s manuálními kontrolami a periodickými audity, protože jsou nízké. V produkci, zejména s agenty AI, to přestává fungovat, protože měřítko je prostě obrovské. Dnešní systém kontrolních seznamů a setkání je prohraná situace. Týmy compliance a bezpečnostní týmy dostanou slib s žádným kontinuálním vynucováním, zatímco produktový tým je nyní vázán na zbytečné manuální kontroly, které poskytují málo skutečné hodnoty pro koncového uživatele. To je chvíle, kdy se reálná infrastruktura stává jediným přístupem, který funguje. Vynucování povolení v okamžiku, kdy se data pohybují nebo rozhodnutí se činí, místo toho, aby se rekonstruovalo, co se stalo, až něco už šlo špatně, je to, co dělá governance smysluplnou pro soulad a cennou pro uživatele

Co považujete za největší rizika spojená s agenty AI v příštích třech až pěti letech, a která z těchto rizik jsou目前 business leaders currently underestimating?

Myslím, že model, kdy agenti dědí oprávnění uživatele, je riskantnější, než si uvědomujeme. Lidé mají úsudek, ale AI bude následovat vaše pokyny přímo z útesu.

Jak by měly produktové týmy vyvážit tlak na rychlé nasazení funkcí AI s potřebou stanovení governance, transparentnosti a rámců zodpovědnosti?

Myslím, že jednou konkrétní věcí je oprava toho, co nazývám „Slop Tax.“

Rychle jsme přeorientovali naše reakce, aby se zdiskreditovaly platnost a hodnota výstupu AI. Je to důvod, proč všichni radí odstranit pomlčky (i když jsou vhodné) a proč stránky, které používají standardní barevnou paletu Claude, vypadají levně (i když vypadají hezky) a proč informace poskytnuté AI jsou považovány za podezřelé (i když jsou pravdivé). To skutečně ovlivňuje vnímanou hodnotu vašeho produktu.

Oprava „Slop Tax“ je ve skutečnosti lepší governance a transparentnost. Například jsme nedávno nasadili funkci zvanou Použití AI dodavatelem, která shromažďuje veřejně dostupné informace o funkcích AI a postoji k governance u top společností, aby pomohla týmům AI, zabezpečení a nákupu pracovat rychleji. Zjistili jsme, že použití multiagentní orchestrace a shromažďování a prezentace důkazů se zdrojovými odkazy a citacemi pro jejich zjištění vedlo k obrovskému zlepšení kvality našich výsledků. Tato praxe shromažďování důkazů a QA agentů je výhrou pro všechny, protože skutečné výsledky pro uživatele jsou lepší a soulad je robustnější.

Pohledem do budoucna, věříte, že governance AI se nakonec stane konkurenční výhodou, a not only souladem, a co bude oddělovat organizace, které to udělají správně, od těch, které zůstanou pozadu?

Ano, a to se vrací k stejnému vzorci, který jsem pozorovala v BCG. Společnosti, které zacházely s governance jako s něčím, co se přidá, až produkt je již na trhu, byly vždy chyceny na poslední chvíli kontrolou před škálováním, a tendenci uvíznout v „Pilot Purgatory“. Společnosti, které budují governance do systému od samého začátku, jsou schopny pohybovat se s jistotou, kterou druhá skupina nemá, protože nejsou neustále zvědaví, co najdou, až se konečně podívají na to, jak jejich AI skutečně používá data.

Tato mezera se bude pouze zvětšovat, jak nasazení agentů zrychluje. Organizace, které závodí nejrychleji, aby nasadily agenty bez přezkoumání, jak jsou tito agenti povoleni, jsou ty, které pravděpodobně narazí na potíže, a do té doby, než k tomu dojde, společnosti, které dostanou infrastrukturu správně, budou již fungovat rychlostí, se kterou pozdní příchozí nedokáží snadno držet krok. Governance přestává být položkou souladu, jakmile se stane tím, co umožňuje nasazení AI rychleji a s větší jistotou než všichni, kteří to stále dělají ručně.

Děkuji vám za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Transcend.