Rowan Stewart, Starszy Dyrektor Produktu, AI Safety & Platform w Transcend – Seria Wywiadów

Rowan Stewart, Starszy Dyrektor Produktu, AI Safety & Platform w Transcend, kieruje inicjatywami produktowymi, które pomagają organizacjom odkrywać, zarządzać i bezpiecznie korzystać z danych w systemach sztucznej inteligencji. Przynosi ponad dekadę doświadczenia w rozwoju produktów związanych z AI i machine learning, oprogramowaniem przedsiębiorstw, przetwarzaniem języka naturalnego, strategią danych i przywództwem w rozwoju produktów. Przed dołączeniem do Transcend, Stewart spędziła prawie sześć lat w BCG X, gdzie pomagała dużym przedsiębiorstwom rozwijać strategie AI, zmieniać wewnętrzne procesy i tworzyć produkty, które dostarczają mierzalne wyniki biznesowe. Wcześniej w swojej karierze, zarządzała rozwojem API przetwarzania języka naturalnego dla inteligencji influencerów, w tym analizy sentymentu, grafów wiedzy, oceny osobowości, wykrywania botów i funkcji bezpieczeństwa marki.

Transcend jest jedyną autonomiczną platformą decyzyjną, która odpowiada na pytanie „czy mogę użyć tych danych?”, aby skalować wzrost klienta. Przedsiębiorstwa z listy Fortune 500 i liderzy kategorii wykorzystują Transcend, aby zakodować pełne pozwolenia na korzystanie z danych bezpośrednio w systemach przedsiębiorstw, które przetwarzają dane klientów, dostarczając źródło prawdy w czasie rzeczywistym dla zgody, preferencji i reguł biznesowych. W efekcie jest to lepsza jakość danych, etyczne korzystanie, które chroni markę, oraz zgodność z przepisami na dużą skalę. Z Transcend, przedsiębiorstwa mogą odblokować przychody z AI, personalizacji i innych inicjatyw związanych z danymi pierwszej strony z zaufaniem. Założona w 2017 roku przez Ben Brook (CEO) i Mike Farrell (CTO), Transcend ma siedzibę w obszarze Zatoki San Francisco.

Spędziłaś prawie sześć lat w BCG X, pomagając największym organizacjom na świecie wdrożyć rozwiązania AI i machine learning, zanim przeszłaś do AI safety i governance w Transcend. Jakie były najczęstsze błędy w zarządzaniu lub błędy, które obserwowałaś, które przekonały ją, że zarządzanie AI powinno być wbudowane w systemy od samego początku, a nie dodane później?

W BCG pracowałam z firmami na każdym etapie dojrzałości AI, i jeden wzorzec pozostał mi w pamięci: zarządzanie zawsze pojawia się zbyt późno. Zespoły pracują szybko, aby wydać model lub produkt, a rozmowa o pozwoleniach na dane, zgodzie lub nadzorze naprawdę pojawia się w momencie przed produkcją i czuje się jak „gotcha”. Cokolwiek zostaje zbudowane w tym momencie, jest jak łata na systemie, który nie został zaprojektowany z myślą o zarządzaniu.

To częściowo dlaczego byłem tak podekscytowany, że dołączyłem do Transcend. Doradzanie firmom, co powinny zrobić, idzie tylko tak daleko. Chciałem pomóc zbudować infrastrukturę, która sprawi, że zarządzanie będzie łatwym wyborem.

Wiele organizacji wyściguje, aby wdrożyć agenci AI w obszarach wsparcia klienta, operacji i pracy wiedzy. Jak zarządzanie autonomicznymi agentami AI różni się od zarządzania tradycyjnymi systemami oprogramowania lub nawet wcześniejszymi generacjami modeli AI?

Większość architektury bezpieczeństwa przedsiębiorstw zakłada, że na drugim końcu każdej akcji jest człowiek, który może być zidentyfikowany, zaufany i gdy coś pójdzie nie tak, może być pociągnięty do odpowiedzialności. Ale agenci nie są ludźmi. Działają samodzielnie, delegują zadania do innych agentów i łączą decyzje w sposób, który rzadko mapuje na jedną osobę odpowiedzialną.

Danie agentowi tych samych statycznych uprawnień, które dajesz pracownikowi, tworzy niezgodność, ponieważ agenci nie mają zdrowego rozsądku. Zarządzanie musi ocenić konkretną akcję, którą agent ma wykonać, w tym momencie, z tymi konkretnymi danymi. Większość firm nadal stosuje playbook zarządzania tożsamością i dostępem, który został zbudowany dla ludzi, i wiele z nich odkryje lukę, gdy wdrożenie agenta przekroczy zarządzanie, które zostało zbudowane, aby je obsłużyć.

Pracowałaś w wielu falach innowacji AI, od produktów NLP i platform inteligencji influencerów po inicjatywy transformacji przedsiębiorstw AI. Jak ewoluowała rozmowa o bezpieczeństwie AI w ciągu ostatniej dekady, i co nadal najbardziej cię niepokoi?

Porównywanie dzisiejszego (i jutrzejszego!) AI do poprzednich generacji jest fascynujące, ponieważ jest to naprawdę szybko rozwijający się obszar. Najważniejsze ewolucje ostatniego roku lub dwóch to oczywiście wzrost agentów i znaczenie zarządzania pamięcią (OpenClaw, ktoś?). Ci agenci są w stanie zrobić tak wiele więcej, na tak wysokim poziomie, co sprawia, że są jeszcze bardziej wartościowi i, oczywiście, jeszcze bardziej ryzykowni.

Jak AI systemy coraz częściej podejmują decyzje, korzystając z danych klientów i przedsiębiorstw, jakie są największe złudzenia, które mają firmy na temat zgody, uprawnień i zarządzania danymi w środowiskach napędzanych przez AI?

Najczęstsze złudzenie polega na traktowaniu zgody jako czegoś, co zostaje przechwycone raz i zapisane. Klient zgadza się na zestaw warunków podczas rejestracji, a firmy zakładają, że ta zgoda obowiązuje przez cały czas, niezależnie od tego, jak dane się poruszają lub jakie nowe systemy je wykorzystują. Zgoda musi podróżować z danymi. Jeśli ktoś aktualizuje swoje preferencje lub nowe przepisy zmieniają to, co jest dozwolone, ta zmiana musi pojawić się wszędzie, gdzie dane istnieją, a nie tylko w systemie, w którym zgoda została pierwotnie zebrana.

Drugie złudzenie polega na traktowaniu uprawnień jako szczegółu technicznego, który jest obsługiwany przez IT lub prawników w tle. Gdy systemy AI zaczynają podejmować decyzje na podstawie tych danych, uprawnienia stają się kwestią produktu i biznesu, a jakiekolwiek luki w nich są bezpośrednio dziedziczone przez każdą inicjatywę AI, która na nich opiera się.

Wiele przedsiębiorstw nadal polega na statycznych politykach i okresowych przeglądach zgodności. Dlaczego te podejścia mają trudności w erze, w której systemy AI mogą ciągle uczyć się, adaptować i wchodzić w interakcje z innymi agentami?

Statyczna polityka ujmuje, jak wyglądał system, i co było uważane za dopuszczalne, w momencie, gdy ktoś to napisał. AI nie siedzi wystarczająco długo, aby ten snapshot pozostał dokładny. Model, dla którego polityka została napisana, może nie być tym samym modelem, który jest uruchomiony sześć miesięcy później, a przegląd zgodności kwartalny lub roczny nie może nadążyć za systemem, który podejmuje decyzje i adaptuje się cały czas.

Zarządzanie czymś, co porusza się tak szybko, wymaga polityki, która porusza się z tą samą prędkością. Oznacza to egzekwowanie zarządzania w miejscu, w którym dane są faktycznie używane, w czasie rzeczywistym, zamiast sprawdzania go później przeciwko dokumentowi, który był już nieaktualny w dniu jego opublikowania.

Co wygląda skuteczne zarządzanie, gdy organizacje zaczynają wdrażać sieci agentów AI, które współpracują ze sobą i dostęp do wielu wewnętrznych systemów?

To jest miejsce, w którym granice tradycyjnego kontroli dostępu stają się oczywiste. Agent może być upoważniony do odczytania rekordu, wywołania narzędzia i przekazania wyników do innego agenta, a każdy z tych kroków może wyglądać rozsądnie samodzielnie. Kompozytowa akcja (rzecz, która naprawdę się wydarzyła, gdy łączysz te kroki) jest często czymś, co żaden człowiek nie wyraźnie zatwierdził. Tradycyjne IAM może potwierdzić, czy agent miał uprawnienia do dotknięcia systemu, chociaż ma niewiele do powiedzenia na temat tego, czy dane, które dotknął, zostały zebrane pod zgodą, która obejmuje to konkretnie użycie, czy wynikająca z łańcucha działań była kiedykolwiek czymś, co osoba wyraźnie zatwierdziła.

Transcend koncentruje się na wbudowywaniu uprawnień do korzystania z danych bezpośrednio w przedsiębiorstwowych przepływach pracy. Jak ważna jest infrastruktura zarządzania w czasie rzeczywistym, gdy organizacje przechodzą od eksperymentów AI do wdrożenia na dużą skalę?

Podczas testowania, zespół może często radzić sobie z ręcznymi przeglądami i okresowymi audytami, ponieważ stawki są niskie. W produkcji, zwłaszcza z agentic AI, to się łamie, ponieważ skala jest po prostu ogromna. Dzisiejszy system checklist i spotkań jest przegraną. Zespoły zgodności i bezpieczeństwa podstawowo otrzymują obietnicę z palca, bez ciągłego egzekwowania, podczas gdy zespół produktowy jest teraz zobowiązany do niewygodnych ręcznych przeglądów, które dostarczają niewielką wartość dla końcowego użytkownika. To jest moment, gdy infrastruktura w czasie rzeczywistym staje się jedynym podejściem, które działa. Egzekwowanie uprawnień w momencie, gdy dane się poruszają lub decyzja zostaje podjęta, zamiast odtwarzania, co się wydarzyło, gdy coś już poszło nie tak, jest tym, co sprawia, że zarządzanie jest znaczące dla zgodności i wartościowe dla użytkowników.

Twoim zdaniem, jakie są największe ryzyka związane z agentic AI w ciągu najbliższych trzech do pięciu lat, i które z tych ryzyk są obecnie niedoceniane przez liderów biznesu?

Uważam, że model dziedziczenia uprawnień agenta od użytkownika jest bardziej ryzykowny, niż się wydaje. Ludzie mają osąd, ale AI będzie wykonywał polecenia bezwzględnie.

Jak zespoły produktowe powinny balansować presję, aby szybko wydać funkcje AI, z potrzebą ustanowienia ram zarządzania, przejrzystości i odpowiedzialności?

Jedną konkretną rzeczą jest naprawa tego, co nazywam „Slop Tax”.

Szybko przekalibrowaliśmy nasze odpowiedzi, aby dyskwalifikować ważność i wartość danych wyjściowych AI. Dlatego każdy radzi nam usunąć myślniki (nawet jeśli są odpowiednie), dlatego strona, która używa standardowej palety kolorów Claude, wygląda tanio (nawet jeśli wygląda ładnie) i dlatego informacje podane przez AI są traktowane jako podejrzane (nawet jeśli są prawdziwe). To naprawdę wpływa na postrzeganą wartość Twojego produktu.

Naprawa Slop Tax polega na lepszym zarządzaniu i przejrzystości. Na przykład, niedawno wydaliśmy funkcję o nazwie Użycie AI przez dostawców, która ściąga informacje publicznie dostępne o funkcjach AI i postawie wobec zarządzania wiodących firm, aby pomóc zespołom AI, bezpieczeństwa i zakupów w ich pracy. Odkryliśmy, że korzystanie z wieloagentowej ramy orkiestracji, wraz z gromadzeniem i prezentowaniem dowodów z linkami źródłowymi i cytowaniami do ich ustaleń, dało ogromną poprawę jakości naszych wyników. Ta praktyka gromadzenia dowodów i kontroli agenta jest wygraną dla wszystkich, ponieważ rzeczywiste wyniki dla użytkownika są lepsze, a zgodność jest bardziej solidna.

Czy uważasz, że zarządzanie AI ostatecznie stanie się przewagą konkurencyjną, a nie tylko wymogiem zgodności, i co będzie różnicować organizacje, które to osiągną, od tych, które pozostaną w tyle?

Uważam, i wraca to do tego samego wzorca, który obserwowałem w BCG. Firmy, które traktowały zarządzanie jako coś, co dodaje się, gdy produkt jest już na rynku, były zawsze złapane w ostatniej chwili przed skalowaniem, i tendencja była taka, że utknęły w „Purgatorium pilotażowym”. Firmy, które budują zarządzanie w systemie od samego początku, są w stanie poruszać się z pewnością, której nie mają te, które nie robią tego. To różnica, która będzie się tylko powiększać, gdy wdrożenie agenta przyspieszy. Organizacje, które wyścigają się, aby wdrożyć agenci bez przemyślenia, jak te agenci są upoważnieni, są tymi, które najprawdopodobniej napotkają problemy, a do czasu, gdy to zrobią, firmy, które poprawnie zbudowały infrastrukturę, już będą działać z prędkością, której spóźnialscy nie będą w stanie łatwo dogonić. Zarządzanie przestaje być punktem zgodności, gdy staje się tym, co pozwala wdrożyć AI szybciej i z większą pewnością niż wszystkim, którzy nadal robią to ręcznie.

Dziękuję za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Transcend.