Gerald Kierce, CEO i współzałożyciel Trustible – seria wywiadów

Gerald Kierce, CEO i współzałożyciel Trustible, jest liderem technologicznym i politycznym, który skupia się na wdrażaniu odpowiedzialnego AI. Przewodniczy misji Trustible, aby pomóc organizacjom budować zaufanie, zarządzać ryzykiem i przestrzegać nowych przepisów dotyczących AI. Wcześniej pełnił funkcję wiceprezesa i dyrektora generalnego rozwiązań AI w FiscalNote, gdzie nadzorował produkty AI dla przedsiębiorstw i pełnił stanowiska kierownicze w dziedzinach rozwoju korporacyjnego, produktu, sukcesu klienta i operacji wykonawczych. Jego kariera konsekwentnie łączyła się z technologią, regulacjami i wykonalnością przedsiębiorstw.

Trustible oferuje platformę zarządzania AI, która pomaga organizacjom inwentaryzować systemy AI, oceniać i łagodzić ryzyko oraz wdrażać zgodność za pomocą ustrukturyzowanych workflow i dokumentacji. Zaprojektowana dla zespołów prawnych, zgodności i AI, platforma centralizuje działania związane z zarządzaniem, wyrównuje przypadki użycia AI z ramami regulacyjnymi i umożliwia szybsze, bardziej przejrzyste wdrożenie odpowiedzialnego AI w całej firmie.

Przeszedłeś z marketingu produktów i pracy sztabowej do kierowania rozwiązaniami AI w FiscalNote, zanim założyłeś Trustible. Co widziałeś na tych stanowiskach, co przekonało cię, że zarządzanie AI potrzebuje dedykowanej platformy, a jaki problem postanowiłeś rozwiązać najpierw, gdy uruchomiłeś Trustible?

Miałem szczęście mieć wiele ról podczas moich 8+ lat w FiscalNote, gdzie zacząłem jako wczesny pracownik na etapie Seed/Series A i odszedłem jako starszy dyrektor wykonawczy po IPO.

Przez marketing produktów, pracę sztabową i ostatecznie kierowanie rozwiązaniami AI w FiscalNote, widziałem ten sam problem z różnych stron. Zarządzanie AI jest podstawowo problemem socjotechnicznym, ale większość organizacji podejmowała go w sposób fragmentaryczny. Zespoły traktowały wydajność AI, bezpieczeństwo, prywatność, etykę i przeglądy prawne jako odrębne ścieżki, często należące do różnych funkcji z niewielką wspólną operacyjną ośią łączącą je. Te pięć wymiarów absolutnie ma znaczenie i muszą być podejmowane wspólnie. Ale tam, gdzie organizacje miały trudności, było tłumaczenie tego socjotechnicznego zamiaru w coś trwałego, gdy AI przechodził w prawdziwe podejmowanie decyzji.

W tym samym czasie, środowisko regulacyjne wokół AI było wyraźnie zmieniające się. Akt AI Unii Europejskiej i powiązane standardy sygnalizowały zmianę w kierunku traktowania AI jako regulowanego infrastruktury, a nie eksperymentalnej technologii. Co stało się oczywistym, to fakt, że wiele firm próbowało mapować politykę i oczekiwania regulacyjne na systemy AI po wdrożeniu, zamiast projektować zarządzanie, które mogłoby ciągle wdrażać intencję regulacyjną przez te socjotechniczne wymiary.

Mój doświadczenie w FiscalNote było ważne, ponieważ stosowaliśmy AI do samej polityki, prawa i krajobrazu regulacyjnego. Pomagaliśmy organizacjom zrozumieć, jak prawa ewoluują, jak wymagania są interpretowane i jak oczekiwania regulacyjne tłumaczą się w operacyjne zobowiązania z biegiem czasu. To doświadczenie uświadomiło mi, że skuteczne zarządzanie AI wymaga tej samej dyscypliny w odwrotnym kierunku: stosowania myślenia politycznego i regulacyjnego bezpośrednio do tego, jak systemy AI są budowane, wdrażane, monitorowane i adaptowane, gdy warunki się zmieniają.

Klienci konsekwentnie opisywali te same punkty bólowe. Nie mogli odpowiedzieć z pewnością, które systemy AI są w produkcji, które z nich są wysokiego ryzyka pod nowymi przepisami, kto jest odpowiedzialny, gdy systemy przekraczają granice funkcyjne, czy jak wykazać ciągłą zgodność, gdy modele, dane, dostawcy i przepisy ewoluują jednocześnie.

Gdy uruchomiliśmy Trustible, pierwszym problemem, który postanowiliśmy rozwiązać, było przekształcenie socjotechnicznego zarządzania z teorii w rzeczywistość operacyjną. Skoncentrowaliśmy się na tworzeniu systemu, który łączy techniczne zachowanie, kontekst ryzyka przypadku użycia, własność i oczekiwania regulacyjne w jednym miejscu. Trustible został zbudowany, aby dać organizacjom żywy system rejestracji AI, z ciągłą widocznością i odpowiedzialnością, tak aby zarządzanie mogło nadążyć za zmianą technologiczną i ewolucją regulacyjną, zamiast pozostawać w tyle.

Czy mogłeś powiedzieć nam, co nauczyłeś się w ciągu ostatniego roku o tym, dlaczego programy zarządzania zatrzymują się, gdy AI przechodzi w prawdziwe decyzje, przepływy pracy i doświadczenia klientów?

Gdy AI przechodzi z eksperymentów do prawdziwych przepływów pracy, zarządzanie zatrzymuje się z bardzo praktycznych powodów, a nie filozoficznych. Większość organizacji po prostu nie wie, jak ocenić ryzyko AI w sposób, który odnosi się do tego, jak systemy są naprawdę używane. Mogą ocenić modele w abstrakcji, ale mają trudności z oceną ryzyka na poziomie przypadku użycia, gdzie kontekst, wpływ i decyzje w dół mają znacznie większe znaczenie niż same metryki techniczne.

Ten problem staje się jeszcze bardziej wyraźny z AI generatywnym. Jeden model podstawowy może być używany do obsługi klienta, wewnętrznych badań, wsparcia decyzji lub generowania treści, każdy z bardzo różnymi profilami ryzyka. Bez ustrukturyzowanego sposobu oceny i porównania tych zastosowań, zespoły albo przesadzają z ostrożnością, albo idą do przodu bez prawdziwej pewności.

AI stron trzecich jeszcze bardziej komplikuje sprawy. Organizacje silnie polegają na dostawcach i wbudowanych zdolnościach AI, ale brakuje im spójnych metod oceny tych systemów, zrozumienia kontroli w górę lub określenia, jak ryzyko dostawcy tłumaczy się w ich własne narażenie regulacyjne i operacyjne. W rezultacie przeglądy stają się subiektywne i wolne.

Te wyzwania są nasilone przez luki w ekspertyzie i własności. Odpowiedzialność za zarządzanie jest często rozproszona pomiędzy zespołami prawnymi, zgodności, bezpieczeństwa, danych i produktów bez wspólnej ramy lub wyraźnie odpowiedzialnego właściciela, gdy systemy osiągają produkcję. W połączeniu z nieodpowiednim narzędziem, takim jak arkusze kalkulacyjne, repozytoria dokumentów lub legacy platformy GRC, zespoły zarządzania tracą widoczność tego, co się zmienia i dlaczego ma to znaczenie.

W swojej istocie, zarządzanie zatrzymuje się, ponieważ organizacje stosują stare podręczniki do statycznych systemów do dynamicznych systemów AI. AI wymaga ciągłej oceny ryzyka, wyraźnej własności związanej z wynikami i narzędzi, które odzwierciedlają, jak systemy naprawdę zachowują się w produkcji, a nie jak zostały zatwierdzone na papierze. Zespoły zarządzania nie mogą zobaczyć, co się zmienia, kiedy się zmienia, czy dlaczego ma to znaczenie.

Wreszcie, własność jest często nierozwiązana. W wielu organizacjach nie ma wyraźnie odpowiedzialnego właściciela systemu AI, gdy przechodzi z eksperymentów do produkcji. Bez nazwanego biznesowego właściciela, który jest odpowiedzialny za wyniki, zarządzanie staje się doradczym, a postęp zwalnia.

Wspólnym wątkiem jest to, że organizacje stosują stare podręczniki zarządzania do fundamentalnie nowej technologii. Te podręczniki były zbudowane dla statycznych systemów i okazjonalnych przeglądów. AI wymaga ciągłej oceny ryzyka, wyraźniejszej własności i narzędzi, które łączą zarządzanie bezpośrednio z tym, jak systemy naprawdę działają w produkcji.

Jak definiujesz zarządzanie AI w drugim roku, a co się zmienia, gdy organizacja przechodzi od wstępnego wdrożenia do ciągłego monitorowania, zarządzania dryftem i ciągłej zgodności?

Zarządzanie AI w drugim roku to moment, gdy AI przestaje być traktowane jako seria projektów i zaczyna być traktowane jako podstawowa infrastruktura dla podejmowania decyzji. Co mam na myśli, to to, że w pierwszym roku, zarządzanie AI jest w dużej mierze ukierunkowane na umożliwienie. Zespoły koncentrują się na zatwierdzaniu przypadków użycia, dokumentowaniu modeli i wprowadzaniu procesów przeglądu, aby AI mogło przejść do przodu odpowiedzialnie.

Gdy systemy AI skalują się i stają się wbudowane w podstawowe procesy biznesowe, focus się zmienia. Pytanie nie jest już, czy coś powinno być wdrożone, ale czy może być operowane bezpiecznie i niezawodnie w czasie, gdy dane, użytkownicy, dostawcy i przepisy się zmieniają. Zarządzanie AI staje się ciągłe, a nie epizodyczne, wyzwalane przez prawdziwe zmiany w zachowaniu lub kontekście, a nie przeglądy oparte na kalendarzu.

Ryzyko również staje się dynamiczne. Zamiast przypisywania statycznego ratingu ryzyka przy uruchomieniu, organizacje muszą zrozumieć, jak ryzyko ewoluuje, gdy modele dryftują, zakresy się rozszerzają lub nowi stakeholderzy interaktywnie wchodzą w kontakt z systemem. Zgodność podąża za tą samą zmianą. Wymagania regulacyjne przechodzą od mapowania na polityki do egzekwowania ich za pomocą żywych kontroli, sygnałów monitorowania i ciągle przechwytywanych dowodów.

Jeszcze jednym kluczowym aspektem zarządzania AI w drugim roku jest wprowadzenie prawdziwego zarządzania incydentami AI. Organizacje muszą wiedzieć, które systemy są monitorowane, priorytetowo je ustalać na podstawie wewnętrznego ryzyka, integrować odpowiednie dane, aby ujawnić znaczące sygnały, i definiować wyraźne kryteria alarmowe i eskalacyjne. To pozwala zespołom na wczesne interweniowanie, zanim problemy przerodzą się w incydenty.

Gdy systemy są fragmentaryczne, a zasoby są ograniczone, jakie pierwsze zdolności zarządzania uważasz, że firmy powinny standaryzować w całej organizacji?

Gdy zasoby są ograniczone, organizacje muszą być celowe w tym, gdzie zaczynają, ponieważ wczesne wybory ustawiają trajektorię dla wszystkiego, co następuje. Pierwszą priorytetem jest uzyskanie niezawodnej widoczności tego, gdzie AI naprawdę istnieje w biznesie. Wiele zespołów wierzy, że mają tylko garstkę systemów AI, aby odkryć ukryte AI, wbudowane możliwości dostawców i cicho skalowane przypadki użycia, które nigdy nie zostały formalnie przeglądnięte. Bez żywej wizji tego, co jest w produkcji, dyskusje na temat zarządzania pozostają teoretyczne i odłączone od rzeczywistości.

Gdy widoczność istnieje za pomocą Twojego inwentarza AI, chodzi o wprowadzenie odpowiedzialności do przypadków użycia AI. Zarządzanie rozpadają się szybko, gdy odpowiedzialność jest rozproszona pomiędzy komitetami lub funkcjami. Organizacje muszą wyraźnie określić, kto jest odpowiedzialny za wyniki, gdy system AI podejmuje lub wpływa na decyzje, a nie tylko kto go zbudował lub początkowo przeglądał. Ta wyrazistość staje się szczególnie ważna, gdy występują incydenty lub gdy modele ewoluują poza ich pierwotnym zakresem.

Następnie zespoły potrzebują praktycznego sposobu myślenia o ryzyku. Oznacza to ustanowienie wspólnego podejścia do klasyfikacji ryzyka, które działa w przypadku systemów wewnętrznych, przypadków użycia AI generatywnego i dostawców stron trzecich. Bez wspólnego soczewka ryzyka, organizacje albo przesadzają z surowością w przypadku systemów o niskim wpływie, albo niedoceniają te, które mają największe znaczenie.

Wreszcie, zarządzanie musi generować dowody jako produkt uboczny normalnych operacji. Często mówimy o “Powiedz to, zrób to, udowodnij to” jako sposób demonstracji wiarygodności w zarządzaniu AI. Przechwytywanie zatwierdzeń, zmian i sygnałów monitorowania, gdy systemy działają, pozwala organizacjom odpowiedzieć na audyty, incydenty, prośby klientów i pytania regulacyjne z pewnością, a nie odtwarzaniem.

Dlaczego uważasz, że zarządzanie AI musi być traktowane z takim samym powagą jak bezpieczeństwo cybernetyczne lub GRC, a gdzie liderzy najbardziej niedoceniają pracę operacyjną?

Zarządzanie AI niesie ze sobą systematyczne ryzyko, które jest porównywalne z bezpieczeństwem cybernetycznym i GRC, ale z dodatkową złożonością. Podobnie jak awarie bezpieczeństwa, awarie AI mogą się szybko i niewidocznie rozprzestrzeniać w organizacji. Podobnie jak GRC, AI przecina się z obowiązkami prawnymi, etycznymi i operacyjnymi. W przeciwieństwie do nich, systemy AI mogą zmieniać swoje zachowanie w czasie bez wyraźnej akcji ludzkiej.

Gdzie liderzy tendencję do niedoceniania pracy operacyjnej jest w ciągłych wymaganiach operacyjnych. Monitorowanie jest ciągłe, a nie okresowe. Koordynacja obejmuje zespoły produktowe, danych, IT, prawne, zgodności i zakupów. Zarządzanie zmianą jest stałe, ponieważ modele, dostawcy, przypadki użycia i przepisy ewoluują jednocześnie.

Organizacje, które traktują zarządzanie AI jako jednorazowe ćwiczenie zgodności, nieuchronnie zmagają się. Te, które podejmują je jako infrastrukturę operacyjną, podobnie jak bezpieczeństwo lub inżynierię niezawodności, są lepiej przygotowane do skalowania AI bezpiecznie i zrównoważonej.

Jak powinny być zaprojektowane zarządzanie, aby pozostać elastycznym wobec niepewności regulacyjnej, gdy stanowe przepisy AI są wprowadzane, a polityka federalna pozostaje sporna?

Środowisko regulacyjne AI jest niepewne i ewoluuje. Najbardziej elastyczne programy zarządzania są budowane wokół wymagań, a nie poszczególnych przepisów. Zamiast reagować na każde nowe prawo z pomocą procesów na zamówienie, organizacje powinny skupić się na wspólnych oczekiwaniach, które pojawiają się w różnych jurysdykcjach, takich jak inwentaryzacja, przejrzystość, odpowiedzialność, ocena ryzyka, nadzór ludzki i dokumentacja.

Gdy systemy zarządzania są modułowe, nowe wymagania regulacyjne mogą być mapowane na istniejące kontrole, a nie zmuszające zespoły do odtwarzania swojego podejścia za każdym razem, gdy krajobraz się zmienia. To redukuje tarcie i pomaga zarządzaniu nadążyć za zmianą polityki.

Celem nie jest optymalizacja zgodności z dzisiejszymi zasadami, ale dostosowanie się do nich, gdy oczekiwania ewoluują.

Spójrzając w kierunku 2026 roku, które zdolności zarządzania AI oczekujesz, że staną się niepodważalne, gdy organizacje skalują AI w więcej jednostek biznesowych?

Gdy AI przechodzi z izolowanych pilotów do systemów, które kształtują prawdziwe decyzje, oczekiwania dotyczące zarządzania AI również się zmieniają. Do 2026 roku organizacje nie będą mogły już polegać na podręcznikach, które działały w 2024 i 2025 roku, gdy nadzór AI był często ręczny, epizodyczny i skoncentrowany na indywidualnych przeglądach. Ciągłe monitorowanie stanie się podstawą, ponieważ statyczna dokumentacja i punktowe oceny nie zadowolą regulatorów, rad nadzorczych, pracowników ani klientów w dynamicznym środowisku AI.

Gdy AI staje się wbudowane w więcej zespołów i przepływów pracy, organizacje również będą potrzebować spójnego zarządzania w coraz bardziej złożonych łańcuchach dostaw AI. Wewnętrzne modele, dostawcy stron trzecich, wbudowane funkcje AI i autonomiczne komponenty będą musiały być zarządzane przez ten sam obiektyw, a nie traktowane jako ślepa plama lub zakładając, że odpowiedzialność kończy się na zakupie.

Dowody gotowe do audytu będą musiały być dostępne na żądanie, gdy egzekwowanie przepisów się zaostrza i oczekiwania publiczne w kierunku przejrzystości rosną. Oznacza to przechwytywanie działalności zarządzania, gdy systemy AI są projektowane, wdrażane i monitorowane, zamiast odtwarzania decyzji po incydencie lub prośbie o audyt.

Gdybyś doradzał firmie, która już ma AI w produkcji, ale nie ma formalnego programu zarządzania, jaki realistyczny pierwszy 90-dniowy plan wyglądałby?

Pierwsze 30 dni powinny skupić się na uzyskaniu podstawowej widoczności. Oznacza to identyfikację systemów AI w produkcji, zrozumienie, gdzie wpływają one na prawdziwe decyzje, i przypisanie wyraźnej własności.

Następna faza dotyczy ustanowienia podstawowych kontroli. Organizacje powinny określić, jak klasyfikują ryzyko, wprowadzić punkty zatwierdzenia dla systemów o wyższym ryzyku i zacząć monitorować obszary, które mają największe znaczenie.

W ostatecznej fazie zarządzanie musi przechodzić od ustawienia do operacji. Monitorowanie powinno być zintegrowane z istniejącymi przepływami pracy, ścieżki eskalacji powinny być wyraźnie zdefiniowane, a dowody powinny zacząć gromadzić się naturalnie, gdy systemy działają.

Celem pierwszych 90 dni nie jest doskonałość. Jest to pęd. Program zarządzania, który funkcjonuje niedoskonale w praktyce, jest o wiele cenniejszy niż ten, który istnieje tylko na papierze.”

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Trustible.