Gerald Kierce, generální ředitel a spoluzakladatel Trustible – rozhovor

Gerald Kierce, generální ředitel a spoluzakladatel Trustible, je technologický a politický lídr zaměřený na operationalizaci odpovědného AI. Řídí misi Trustible, aby pomohla organizacím budovat důvěru, spravovat rizika a dodržovat vznikající předpisy pro AI. Předtím působil jako viceprezident a generální manažer řešení AI ve společnosti FiscalNote, kde dohlížel na podniková řešení AI a zastával seniorní role v oblasti firemního rozvoje, produktu, zákaznického úspěchu a výkonných operací. Jeho kariéra se vždy pohybovala na rozhraní technologie, regulace a rozsáhlého firemního výkonu.

Trustible poskytuje platformu pro governance AI, která pomáhá organizacím inventarizovat systémy AI, vyhodnotit a zmírnit rizika a operationalizovat dodržování předpisů prostřednictvím strukturovaných pracovních postupů a dokumentace. Navržená pro právní, compliance a týmy AI, platforma centralizuje aktivity governance, sladí použití AI s regulačními rámci a ermögňuje rychlejší a transparentnější nasazení odpovědného AI napříč celou organizací.

Přesunuli jste se z produktového marketingu a práce Chief of Staff do vedení řešení AI ve společnosti FiscalNote, než jste založili Trustible. Co jste viděl v těchto rolích, co vás přesvědčilo, že governance AI potřebuje vyhrazenou platformu, a jaký problém jste se rozhodli vyřešit jako první, když jste spustili Trustible?

Byl jsem dostatečně šťastný, abych měl během svých 8+ let ve společnosti FiscalNote mnoho rolí, kde jsem začal jako raný zaměstnanec Seed/Series A a odešel jako seniorní výkonný ředitel po IPO.

Přes produktový marketing, práci Chief of Staff a nakonec vedení řešení AI ve společnosti FiscalNote jsem neustále viděl stejný problém z různých úhlů. Governance AI je zásadně sociotechnickým problémem, ale většina organizací se k němu přistupovala fragmentovaným způsobem. Týmy považovaly výkon AI, bezpečnost, soukromí, etiku a právní přezkumy za samostatné sledy, často vlastněné různými funkcemi s malou sdílenou operační páteří, která by je spojovala. Tyto pět dimenzí absolutně záleží a musí být řešeny společně. Ale tam, kde organizace bojovaly, bylo přeložení toho sociotechnického záměru do něčeho trvanlivého, až když se AI přesunulo do skutečného rozhodování.

V téže době se regulační prostředí kolem AI jasně měnilo. Evropský zákon o AI a související normy signalizovaly posun směrem k governance AI jako regulované infrastruktury, spíše než experimentální technologie. Co se stalo zřejmým, bylo, že mnoho společností se snažilo mapovat politiku a regulační očekávání na systémy AI po nasazení, místo aby navrhovaly governance, která by mohla kontinuálně operationalizovat regulační záměr napříč těmito sociotechnickými dimenzemi.

Má zkušenost ve společnosti FiscalNote byla důležitá, protože jsme aplikovali AI na politický, právní a regulační krajinný prostor sám. Pomáhali jsme organizacím pochopit, jak se zákony vyvíjejí, jak jsou požadavky interpretovány a jak regulační očekávání se překládají do operačních závazků v čase. Tato zkušenost mi ukázala, že efektivní governance AI vyžaduje stejnou disciplínu v opačném směru: aplikaci politiky a regulačního myšlení přímo na to, jak jsou systémy AI postaveny, nasazeny, monitorovány a přizpůsobeny, jak se podmínky mění.

Zákazníci konzistentně popisovali stejné bolestivé body. Nemohli s jistotou odpovědět, jaké systémy AI jsou ve výrobě, které z nich jsou vysoce rizikové podle vznikajících předpisů, kdo je zodpovědný, když systémy překračují funkční hranice, nebo jak prokázat pokračující dodržování předpisů, jak se modely, data, dodavatelé a předpisy vyvíjejí současně.

Když jsme spustili Trustible, prvním problémem, který jsme se rozhodli vyřešit, byla transformace sociotechnického governance z teorie do operační reality. Soustředili jsme se na vytvoření systému, který spojuje technické chování, kontext rizika použití, vlastnictví a regulační očekávání na jednom místě. Trustible byl postaven, aby poskytl organizacím živý systém záznamů o AI, s kontinuální viditelností a zodpovědností, aby governance mohla držet krok s technologickými změnami a regulačním vývojem, spíše než zaostávat za ním.

Ze předních linií, co jste se naučil za poslední rok o tom, proč programy governance zastavují, když se AI přesune do skutečných rozhodnutí, pracovních postupů a zákaznicky orientovaných zkušeností?

Jakmile se AI přesune z experimentů do skutečných pracovních postupů, governance tends k zastavení z velmi praktických důvodů, spíše než filozofických. Většina organizací prostě neví, jak vyhodnotit riziko AI způsobem, který mapuje na to, jak jsou systémy skutečně používány. Mohou vyhodnotit modely v abstraktním smyslu, ale bojují s vyhodnocením rizika na úrovni použití, kde kontext, dopad a následná rozhodnutí záleží mnohem více než technické metriky samotné.

Tento problém se stává ještě více zřetelným s generativním AI. Jeden základový model může být použit pro zákaznickou podporu, interní výzkum, podporu rozhodnutí nebo generování obsahu, každý s velmi odlišnými profily rizika. Bez strukturovaného způsobu, jak vyhodnotit a porovnat tyto použití, týmy buď přehánějí s opatrností nebo postupují bez skutečné jistoty.

Třetím stranám AI dále komplikuje věci. Organizace se silně spoléhají na dodavatele a vestavěné AI schopnosti, ale postrádají konzistentní metody, jak vyhodnotit tyto systémy, pochopit kontrolu na horní úrovni nebo určit, jak riziko dodavatele se překládá do jejich vlastního regulačního a operačního expozice. Jako výsledek, přezkumy se stávají subjektivními a pomalými.

Tyto výzvy se zvyšují mezery v odborných znalostech a vlastnictví. Odpovědnost za governance je často rozložena napříč právními, compliance, bezpečnostními, datovými a produktovými týmy bez sdíleného rámce nebo jasně zodpovědného vlastníka, jakmile systémy dosáhnou výroby. V kombinaci s nevhodným nástrojem, jako jsou tabulky, repozitáře dokumentů nebo legacy GRC platformy, týmy governance ztrácejí přehled o tom, co se mění a proč to záleží.

V jeho jádru governance zastavuje, protože organizace aplikují staré playbooks navržené pro statické systémy na dynamické systémy AI. AI vyžaduje kontinuální vyhodnocování rizika, jasnou zodpovědnost spojenou s výsledky a nástroje, které odrážejí, jak systémy skutečně fungují ve výrobě, spíše než jak byly schváleny na papíru. Týmy governance nemohou vidět, co se mění, kdy se to mění nebo proč to záleží.

Nakonec je vlastnictví často nevyřešené. V mnoha organizacích není jasně zodpovědný vlastník pro systém AI, jakmile se přesune z experimentů do výroby. Bez jasně zodpovědného obchodního vlastníka, který je zodpovědný za výsledky, governance se stává poradenskou a pokrok se zpomaluje.

Společný vlákno je, že organizace aplikují staré playbooks governance na fundamentálně novou technologii. Tyto playbooks byly postaveny pro statické systémy a periodické přezkumy. AI vyžaduje kontinuální vyhodnocování rizika, jasnější zodpovědnost a nástroje, které spojují governance přímo s tím, jak systémy skutečně fungují ve výrobě.

Jak definujete governance AI ve druhém roce, a co se mění, když organizace přechází z počáteční adopce na pokračující monitorování, správu driftu a kontinuální dodržování předpisů?

Governance AI ve druhém roce je okamžik, kdy AI přestává být považován za řadu projektů a začíná být považován za základní infrastrukturu pro rozhodování. Co tím myslím, je, že v prvním roce je governance AI většinou o umožnění. Týmy se soustředí na schvalování použití, dokumentování modelů a vytváření procesů přezkumu, aby AI mohlo postupovat zodpovědně.

Jakmile se systémy AI rozšíří a stanou se součástí základních obchodních procesů, zaměření se mění. Otázka již není, zda něco má být nasazeno, ale zda může být provozováno bezpečně a spolehlivě v čase, jak se data, uživatelé, dodavatelé a předpisy mění. Governance AI se stává kontinuální, spíše než epizodickou, spuštěnou skutečnými změnami v chování nebo kontextu, spíše než kalendářními přezkumy.

Riziko se také stává dynamickým. Místo přiřazení statického ratingu rizika při spuštění organizace potřebují pochopit, jak riziko evoluuje, jak se modely mění, rozsahy se rozšiřují nebo noví stakeholdeři interagují se systémem. Dodržování předpisů následuje stejný posun. Regulační požadavky se přesouvají z mapování na politiky do vynucování prostřednictvím živých kontrol, monitorovacích signálů a kontinuálně zachycené evidence.

Dalším klíčovým aspektem governance AI ve druhém roce je zavedení skutečného řízení incidentů AI. Organizace potřebují vědět, které systémy jsou monitorovány, priorizovat je na základě vrozeného rizika, integrovat správná data, aby povrchové signály byly smysluplné, a definovat jasná kritéria pro upozornění a eskalaci. To umožňuje týmům zasáhnout brzy, předtím, než se problémy stanou incidenty.

S fragmentovanými systémy a omezenými zdroji, jaké jsou první governance schopnosti, které byste poradili společnostem standardizovat napříč organizací?

Když jsou zdroje omezené, organizace potřebují být úmyslné o tom, kde začínají, protože rané volby nastavují trajektorii pro vše, co následuje. První priorita je získání spolehlivého přehledu o tom, kde AI skutečně existuje v obchodě. Mnoho týmů se domnívá, že mají pouze několik systémů AI, pouze aby objevili stínový AI, vestavěné schopnosti dodavatelů a tiše škálovatelné použití, které nebylo nikdy formálně přezkoumáno. Bez živého pohledu na to, co je ve výrobě, diskuse o governance zůstávají teoretické a odpojené od reality.

Jakmile existuje přehled prostřednictvím vašeho inventáře AI, je to o tom, aby se do použití AI vnesla zodpovědnost. Governance se rozpadá rychle, když zodpovědnost je rozložena napříč výbory nebo funkcemi. Organizace potřebují jasně přiřadit, kdo je zodpovědný za výsledky, když systém AI činí nebo ovlivňuje rozhodnutí, nejen kdo jej postavil nebo přezkoumal inicializovaně. Tato jasnost se stává especialmente důležitou, když dojde k incidentům nebo když se modely vyvinou za rámec jejich původního rozsahu.

Odtud týmy potřebují praktický způsob, jak uvažovat o riziku. To znamená stanovení sdíleného přístupu k klasifikaci rizika, který funguje napříč interně postavenými systémy, generativními použitími AI a třetími stranami. Bez společného pohledu na riziko organizace buď přehánějí s kontrolou nízkoimpactových systémů nebo podceňují ty, které mají největší dopad.

Nakonec governance musí generovat evidence jako vedlejší produkt normálních operací. Máme tendenci mluvit o “Řekni to, udělej to, prokaž to” jako způsobu prokázání důvěryhodnosti ve vaší governance AI. Zachycení schválení, změn a monitorovacích signálů, jak systémy fungují, umožňuje organizacím reagovat na audity, incidenty, požadavky zákazníků a regulační otázky s jistotou, spíše než rekonstrukcí. Tyto základy nemusí být dokonalé na začátku, ale musí být koherentní a opakované, pokud governance má škálovat.

Proč jste přesvědčeni, že governance AI potřebuje být brán s toutéž vážností jako kybernetická bezpečnost nebo GRC, a kde lídři nejvíce podceňují operační zátěž?

Governance AI nese systémová rizika, která jsou srovnatelná s kybernetickou bezpečností a GRC, ale s přidáním složitosti. Jako kybernetické selhání, selhání AI může se rychle a neviditelně rozšířit napříč organizací. Jako GRC, AI se protíná s právními, etickými a operačními závazky. Na rozdíl od obou AI systémy mohou měnit chování v čase bez explicitního lidského zásahu.

Kde lídři tendenci podceňují zátěž, je v pokračujících operačních požadavcích. Monitorování je kontinuální, spíše než periodické. Koordinace zahrnuje produktové, datové, IT, právní, compliance a nákupní týmy. Změna řízení je konstantní, protože modely, dodavatelé, použití a předpisy se vyvíjejí současně.

Organizace, které považují governance AI za jednorázový compliance cvičení, nakonec bojují. Ty, které se k němu přistupují jako k operační infrastruktuře, podobně jako bezpečnost nebo spolehlivostní inženýrství, jsou mnohem lépe vybaveny škálovat AI bezpečně a udržitelně.

Jak by měly podniky navrhovat governance, aby zůstal odolný vůči regulační nejistotě, zatímco americké státy tlačí dopředu na pravidla AI, zatímco federální politika zůstává sporná?

Regulační prostředí pro AI je nejisté a se vyvíjí. Nejodolnější programy governance jsou postaveny kolem požadavků, spíše než jednotlivých předpisů. Místo reakce na každý nový zákon s jedinečnými postupy by se organizace měly soustředit na společná očekávání, která se objevují napříč jurisdikcemi, jako je inventarizace, transparentnost, zodpovědnost, vyhodnocování rizika, lidská kontrola a dokumentace.

Když jsou systémy governance modulární, nové regulační požadavky mohou být mapovány na stávající kontroly, spíše než nutit týmy k přetvoření svého přístupu pokaždé, když se krajina mění. To snižuje tření a pomáhá governance držet krok s politickými změnami.

Cílem není optimalizovat pro dodržování předpisů s dnešními pravidly, ale přizpůsobit se, jak očekávání evoluuje.

Vyhledem k roku 2026, které governance AI schopnosti očekáváte, že se stanou nezbytnými, jakmile organizace škálovat AI napříč více obchodními jednotkami?

Jak AI přechází z izolovaných pilotů na systémy, které formují skutečná rozhodnutí, očekávání governance se mění stejně rychle. Do roku 2026 organizace již nebudou moci spoléhat na playbooks, které fungovaly v letech 2024 a 2025, kdy dohled AI byl často manuální, epizodický a soustředěný na jednotlivé přezkumy. Kontinuální monitorování se stane samozřejmostí, protože statická dokumentace a bodové hodnocení neuspokojí regulátory, správní rady, zaměstnance nebo zákazníky v dynamickém prostředí AI.

Jak AI se stává zabudovaným napříč více týmy a pracovními postupy, organizace budou také potřebovat konzistentní governance napříč stále složitějšími AI dodavatelskými řetězci. Interní modely, třetí strany, vestavěné AI funkce a autonomní komponenty budou všechny potřebovat být spravovány prostřednictvím stejného pohledu, spíše než považovat AI dodavatele za slepou skvrnu nebo předpokládat, že zodpovědnost končí u nákupu.

Důkaz připravený k auditu bude muset být k dispozici na vyžádání, jak se regulační vynucování zpřísňuje a veřejná očekávání transparentnosti rostou. To znamená zachycení aktivity governance, jak systémy AI jsou navrženy, nasazeny a monitorovány, spíše než rekonstrukce rozhodnutí po incidentu nebo žádosti o audit.

Pokud byste poradil společnosti, která již má AI ve výrobě, ale nemá žádný formální program governance, jaký by byl realistický scénář pro prvních 90 dní?

Prvních 30 dní by se mělo soustředit na získání základního přehledu. To znamená identifikovat, které systémy AI jsou ve výrobě, pochopit, kde ovlivňují skutečná rozhodnutí, a přiřadit jasnou zodpovědnost.

Další fáze se soustředí na stanovení základních kontrol. Organizace by měly definovat, jak klasifikují riziko, zavést kontrolní body pro systémy s vyšším rizikem a začít monitorovat oblasti, které záleží nejvíce.

V posledním úseku governance potřebuje přejít z nastavení na provoz. Monitorování by mělo být integrováno do stávajících pracovních postupů, eskalační cesty by měly být jasně definovány a důkaz by měl začít nahromadit se přirozeně, jak systémy fungují.

Cílem prvních 90 dní není dokonalost. Je to momentum. Program governance, který funguje nedokonale v praxi, je mnohem cennější než ten, který existuje pouze na papíru.”

Děkujeme za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Trustible.