Rozhovory

Stavros Gadinis, profesor Berkeley Law a autor knihy Firemní uspořádání – série rozhovorů

Antoine Tardif
Přidejte Unite.AI mezi své preferované zdroje na Google
Stavros Gadinis, George R. Johnson Professor of Law at UC Berkeley School of Law
Klíčové bodyFiremní objednávání popisuje, jak firmy píší pravidla a samy sebe monitorují, než…
Zobrazit více
  • Firemní objednávání popisuje, jak firmy píší pravidla a samy sebe monitorují, než regulátoři zasáhnou.
  • Hodnocení bezpečnosti AI postrádají nezávislost, když vedení najímá a může propustit své vlastní externí recenzenty.
  • Bezpečnostní rámec, který nikdy nezpozdil uvedení na trh, je nerozeznatelný od public relations.

Stavros Gadinis působí jako profesor práva George R. Johnsona na právnické fakultě UC Berkeley. Ve svém výzkumu se zabývá správou a řízením společností, finanční regulací a interními systémy, které firmy využívají k rozhodování a jeho kontrole. Než nastoupil na akademickou dráhu, věnoval se v Evropě korporátnímu právu.

Jeho nová kniha Firemní uspořádání: Jak korporace zvládají společenské konflikty, kterou vydalo Cambridge University Press, zkoumá, jak firmy vytvářejí systémy správy a řízení v situacích, kdy pravidla stanovená veřejnou mocí nejsou ustálená. Na příkladech sdílené přepravy, klimatické udržitelnosti a umělé inteligence se věnuje tomu, jak firmy vytvářejí pravidla, vykonávají pravomoci a dohlížejí na vlastní jednání.

Vaše profesní dráha zahrnuje praxi v oblasti korporátního práva v Evropě i výzkum správy a řízení společností a finanční regulace na Berkeley Law. Jak toto zázemí ovlivnilo vaše uvažování a co vás inspirovalo k napsání knihy Firemní uspořádání?

Kariéru jsem začal praxí v oblasti korporátního práva v Evropě a poté jsem mnoho let na Berkeley studoval správu a řízení společností a finanční regulaci, včetně toho, jak se pravidla šíří přes hranice, když za ně neodpovídá žádná jednotlivá vláda. Obchodní svět a svět regulace obvykle vnímáme jako protiklady: jeden dychtí po rychlém rozhodování a vysokých ziscích, druhý lpí na byrokratických postupech a veřejném blahu. Praxe i výzkum mě naučily, že hranice mezi nimi je mnohem neostřejší.

Kniha vznikla na základě rozhovorů s podnikovými právníky a vrcholovými manažery o tom, jak přistupují ke kontroverzním rozhodnutím, při nichž mají zaměstnanci, zákazníci, komunity i vlády rozdílné zájmy. Zaujalo mě, jak moc se jejich postupy podobají práci dobrého regulátora. Shromažďují informace tak, že oslovují lidi, kterých se rozhodnutí týkají, veřejně vysvětlují svá rozhodnutí a vytvářejí mechanismy, které ověřují, zda tato rozhodnutí obstojí. Nejde o postupy typické pro regulaci ani pro firmy. Jsou to zásady správného rozhodování v každé instituci, která vykonává moc nad ostatními. Knihou Firemní uspořádání se snažím popsat tento mechanismus, ukázat, kde funguje a kde selhává.

Co znamená „firemní uspořádání“ a jak pomáhá vysvětlit, jak společnosti zaměřené na umělou inteligenci stanovují pravidla pro technologie, které regulace zatím nedokázala dohnat?

Firemní uspořádání je interní infrastruktura správy a řízení, kterou firmy budují, aby mohly přijímat sporná rozhodnutí ještě předtím, než jim zákon řekne, jak mají postupovat. Má tři funkce, které odpovídají jednotlivým složkám státní moci. Tvorba pravidel spočívá v tom, že si firma stanovuje vlastní zásady. Výkonná činnost znamená, že je uplatňuje při konkrétních rozhodnutích. Dohled slouží k ověření, zda firma své zásady dodržela, a ke zjištění, kdy se tak nestalo.

U společností zaměřených na umělou inteligenci se projevují všechny tři funkce. Přední laboratoře vytvářejí ústavy, specifikace modelů a bezpečnostní rámce, což spadá do tvorby pravidel. Rozhodují, zda je model připraven k uvedení na trh, co odmítne a kdo k němu získá přístup, což je výkonná činnost. A zadávají testování odolnosti vůči útokům, externí hodnocení a hlášení incidentů, což představuje dohled. V knize tyto funkce mapuji napříč hlavními laboratořemi. Rozdíly mezi nimi jsou skutečné, stejně jako výrazná tendence ke sbližování, když každá firma zjišťuje, proč potřebuje všechny tyto prvky.

Chci jednu věc vyjasnit, protože bývá často nesprávně chápána: firemní uspořádání není argumentem proti regulaci. Popisuje materiál, z něhož se bude regulace utvářet. Když zákonodárci začnou jednat, přebírají pojmy, které nejprve vytvořily firmy. Skutečnou otázkou je, zda byl tento první návrh připraven dostatečně pečlivě, aby si zasloužil převzít.

Vaše kniha se zabývá sdílenou přepravou, klimatickou udržitelností a správou a řízením umělé inteligence. Která poučení z prvních dvou oblastí jsou pro umělou inteligenci nejužitečnější a v čem tato technologie přináší zásadně odlišné výzvy?

Poučení ze sdílené přepravy a klimatické oblasti spočívá v tom, že první návrh zákona velmi často připravují korporace. Uber a Lyft zavedly postupy pro pojištění a hlášení bezpečnostních incidentů ještě předtím, než pro ně jednotlivé státy stanovily pravidla, a velká část podnikového účetnictví emisí uhlíku se opírá o GHG Protocol, standard, na jehož vzniku se podílela i podnikatelská sféra. Regulátoři pak tyto postupy schválili, doplnili nebo zakotvili v zákoně. Regulace jen zřídka vzniká na zelené louce. A čím uvážlivěji firmy přistupují ke svým rozhodnutím a čím více berou v potaz dotčené strany, tím větší je pravděpodobnost, že se tato rozhodnutí promítnou i do regulace.

Umělá inteligence se liší ve dvou ohledech. Prvním je rychlost. Regulátoři často zaostávají za odvětvím, ale v oblasti umělé inteligence je tento rozdíl mnohem větší. Regulátoři se budou muset spolehnout na firmy při tvorbě standardů a interních postupů a soustředit vlastní úsilí na dohled, ověřování a vymáhání pravidel. Jejich role se tím mění, nikoli zmenšuje. Právě při ověřování je veřejná moc nejdůležitější, protože tehdy je střet zájmů s vedením nejsilnější. Druhým rozdílem je dosah. Umělá inteligence zasahuje téměř do všech oblastí každodenního života a stala se významnou investicí pro celý národ. Dopady systémových rizik je stejně těžké přehlédnout jako pochopit.

Jaká ochranná opatření zajistí skutečnou nezávislost dohledu, když si společnost zaměřená na umělou inteligenci sama vybírá a platí externí hodnotitele bezpečnosti?

Tento střet zájmů je známý z finančních auditů a korporátní právo už nabízí nástroje, jak ho řešit. První otázkou je, kdo hodnotitele najímá a kdo ho může odvolat. Vztah s hodnotitelem by měli mít na starosti nezávislí členové představenstva, kteří nemají k firmě žádné jiné finanční vazby, podobně jako externího auditora dohlíží auditní výbor, nikoli generální nebo finanční ředitel. Vedení by nemělo mít možnost odvolat hodnotitele, jehož závěry jsou pro něj nepohodlné.

Druhou otázkou je přístup k informacím a zveřejňování výsledků. Hodnotitel musí mít přístup ke všemu, co potřebuje vidět, a právo zveřejnit své závěry, nebo alespoň jejich smysluplné shrnutí, bez možnosti firmy zveřejnění zablokovat. Právě reputační riziko dává kontrole váhu. Třetím bodem jsou společné standardy hodnocení, aby hodnocení znamenalo napříč firmami totéž a hodnotitelé nemohli soupeřit mírností. Čtvrtým bodem je ochrana oznamovatelů, a dokonce i odměny, pokud přinesou informace, na jejichž základě lze jednat, protože lidé uvnitř firmy se často jako první dozvědí, že průběh hodnocení někdo ovlivnil.

Představme si, že externí hodnotitel těsně před uvedením významného modelu na trh odhalí závažný bezpečnostní problém. Kdo by měl dostat jeho závěr a kdo by měl mít pravomoc uvedení odložit nebo zastavit?

Závěr by měl dostat přímo představenstvo, ideálně výbor nezávislých členů odpovědný za bezpečnost, nikoli pouze prostřednictvím vedení, které prosazuje uvedení na trh. Vedení může a mělo by reagovat, ale nemělo by fungovat jako filtr. Pravomoc uvedení odložit nebo zastavit by mělo mít představenstvo, protože právě k takovým rozhodnutím představenstva slouží: jde o rozhodnutí s velkými dopady, střetem zájmů a bez zjevně správné odpovědi.

Ještě důležitější ale je, aby rozhodnutí bylo výslovné, zdokumentované a dohledatelné ve vztahu k lidem, kteří ho učinili. Pokud představenstvo navzdory obavám rozhodne pokračovat, záznam by měl ukazovat, co vědělo, co zvážilo a proč považovalo riziko za přijatelné. Taková dokumentace vytváří předpoklady pro odpovědnost, nebo přinejmenším pro poškození pověsti, a vede lidi k tomu, aby si své kroky dvakrát rozmysleli. Soudy stále častěji uznávají, že rozhodnutí o návrhu softwaru mají dopad na jeho uživatele, a firma, která dokáže doložit důkladný a zdokumentovaný postup, je v podstatně jiné situaci než firma, která to nedokáže.

Jak by měl vypadat důvěryhodný rozhodovací proces představenstva, když se bezpečnostní obavy střetnou s cíli v oblasti tržeb nebo konkurenčním tlakem?

Důvěryhodný proces musí být založený na informacích a musí po něm zůstat záznam. Představenstvo by mělo dostat konkrétní informace o nákladech spojených s odkladem, povaze a pravděpodobnosti bezpečnostního problému i možnostech jeho zmírnění. Mělo by se ptát, zda bylo testování dostatečné, a pokud nebylo, zadat další testy nebo přizvat externí hodnotitele. Pokud přetrvává skutečná nejistota, existují i jiné možnosti než produkt uvést na trh, nebo ho odložit na neurčito: například omezené uvedení, postupné nasazování nebo testování v izolovaném prostředí. Firma se tak může dozvědět více, než se k něčemu zaváže. A ať už představenstvo rozhodne jakkoli, to, co firma následně veřejně tvrdí o bezpečnosti modelu, musí být pravdivé — právě zde spočívá velká část současného rizika soudních sporů.

Představenstvo by pak mělo písemně zaznamenat, co rozhodlo a proč. Postupem času se z těchto záznamů stane soubor precedentů, podle nichž se budou posuzovat další obtížná rozhodnutí, a každý, kdo bude firmu prověřovat, uvidí, zda se její deklarované zásady skutečně promítají do rozhodování. Microsoft začal takový záznam rozhodnutí vytvářet a podle mě jde o jeden z nejvíce podceňovaných nástrojů správy a řízení v oblasti AI. Konkurenční tlak je skutečný a představenstvo se může oprávněně rozhodnout pokračovat. Nemůže ale rozhodnout jen proto, že se žádné jiné rozhodnutí nepřijalo.

Ve své práci navrhujete standard „sociálního podnikatelského úsudku“ pro hodnocení rozhodnutí představenstva. Jak by se uplatnil na firmu zabývající se AI, která odloží uvedení výnosného produktu na trh kvůli možným škodám pro veřejnost?

Podle stávajícího korporátního práva je představenstvo, které odloží výnosné uvedení produktu na trh, už nyní dobře chráněno. Soudy se při posuzování podnikatelských rozhodnutí členů představenstva zdráhají zasahovat a přijetí nižšího zisku dnes, aby se předešlo škodám zítra, do tohoto rámce dobře zapadá. Těžší otázka je opačná: zda představenstvo vůbec bralo možné škody pro veřejnost vážně.

Sociální podnikatelský úsudek vyžaduje, aby představenstvo posuzovalo možné škody pro veřejnost stejně jako jakékoli jiné podnikatelské riziko, a to všude, kde je to možné, pomocí konkrétních, měřitelných a přesně vymezených ukazatelů. Důraz se klade na postup a náležitou péči, nikoli na výsledek. Představenstvo, které získá správné informace, vyslechne dotčené osoby a zaznamená své důvody, si zaslouží, aby jeho rozhodnutí bylo respektováno, ať už uvedení produktu na trh odloží, nebo v něm bude pokračovat. Představenstvo, které nic z toho neudělá, si takové respektování nezaslouží. V popsaném případě tedy není podstatný samotný odklad. Podstatné je, zda představenstvo dokáže doložit, jak k rozhodnutí dospělo, a zda by za stejných okolností rozhodlo stejně znovu.

Firmy zabývající se AI zveřejňují bezpečnostní rámce a dobrovolné závazky, čtenáři však jen zřídka vidí, jak tyto zásady ovlivňují jednotlivá rozhodnutí. Jaké důkazy by odlišily účinné řízení od pouhého cvičení v oblasti vztahů s veřejností?

Když společnosti zveřejní své rámce, veřejnost často přemýšlí, zda se podle nich někdy skutečně rozhoduje, nebo zda zůstávají jen rétorikou, kterou společnost nikdy nepřenese do praxe. Odpovědí je určitý druh transparentnosti. Místo dalších prohlášení o zásadách by společnosti měly uvádět, jaká konkrétní rozhodnutí učinily a jak je jejich rámec ovlivnil: které uvedení na trh odložily, které možnosti pozdržely, které rizikové prahy byly překročeny a co následovalo.

Nejvýmluvnějším důkazem je rozhodnutí, které společnost něco stálo. Rámec, který nikdy nezměnil žádný výsledek, nikdy nevedl k odložení uvedení na trh a nikdy nebyl uplatněn na úkor příjmů, lze jen těžko odlišit od práce s veřejným míněním. Tato zveřejnění musí být také dost konkrétní, aby je bylo možné ověřit; u nejzávažnějších otázek by je navíc měla ověřit třetí strana, která má dostatečnou autoritu, aby o tom mohla veřejně promluvit.

Kde naráží samoregulace společností na své limity? Která rozhodnutí o přijatelné míře rizika spojeného s umělou inteligencí vyžadují veřejná pravidla nebo demokratický dohled?

Nejdůležitější omezení se týká selhání monitoringu. I dobře míněná a odpovědná společnost může čelit vážné krizi a v takové chvíli se střet zájmů znásobí. Zaměstnanci mohou zatajit informace, které by ohrozily jejich pracovní místo nebo prémie. Vedoucí pracovníci mohou potlačit špatné zprávy, aby se vyhnuli veřejné kritice. Obavy ze soudních sporů mohou společnosti bránit v otevřeném přístupu. V minulých firemních krizích obvykle přicházely klíčové informace od lidí, které vedení nemohlo kontrolovat: od externích auditorů a hodnotitelů, dotčených osob nebo interních oznamovatelů, kteří využili nezávislé oznamovací kanály.

Právě zde jsou veřejná pravidla nejdůležitější. Zákon může ve fázi tvorby pravidel přinést poměrně málo, protože právní předpisy často přebírají klíčové pojmy od samotných společností. V oblasti zveřejňování informací může přispět více tím, že se vztáhne i na firmy, které je dobrovolně nezveřejňují. Nejvíce může přispět k ověřování: tím, že bude vyžadovat nezávislé přezkoumání, chránit oznamovatele a dávat externím kontrolám skutečnou pravomoc.

Další omezení je kolektivní. Jediné, co může jedna společnost udělat, je zastavit sama sebe. Své konkurenty zastavit nemůže. Rozhodnutí o katastrofických rizicích, včetně toho, zda zpomalit vývoj na hranici současných možností, vyžadují koordinaci mezi firmami a vládami, v rámci jednotlivých zemí i na mezinárodní úrovni. Za slibný považuji model mezinárodního standardizačního orgánu, který by fungoval podobně jako ISSB v oblasti výkaznictví o udržitelnosti: byl by nezávislý na vládách, ale dohlížela by na něj správní rada, jejíž součástí by byly i vlády. Samoregulace společností je pro tuto práci nezbytná, protože ke zkrocení těchto modelů dochází uvnitř společností, které je vytvářejí, sama však tuto práci zastat nemůže.

Kdybyste dnes radil správní radě rychle rostoucí společnosti zabývající se umělou inteligencí, jaké tři změny v oblasti správy a řízení byste upřednostnil a jaké důkazy byste o rok později hledal, abyste zjistil, zda přinesly výsledky?

Zaprvé, zapojení veřejnosti do tvorby pravidel. Než společnost přijme nebo upraví svůj bezpečnostní rámec či zásady používání, měla by se poradit s dotčenými skupinami (uživateli, občanskou společností a odborníky z příslušných oborů) a zveřejnit, co se dozvěděla a jak na to reagovala. Zadruhé, pravidelné zprávy o odpovědnosti: každoroční přehled obtížných rozhodnutí, která správní rada a vedení učinily na základě tohoto rámce, s dostatkem podrobností, aby je bylo možné ověřit. Zatřetí, externí kontrolor, kterého jmenují nezávislí členové správní rady, jimž se také zodpovídá, a který má plný přístup k informacím i právo zveřejňovat svá zjištění.

O rok později bych hledal důkazy, že každá z těchto změn měla skutečný dopad. U zapojení veřejnosti alespoň jedno pravidlo, které se změnilo v důsledku toho, co se společnost dozvěděla. U zpráv zveřejněná rozhodnutí, o kterých by společnost raději nemluvila, včetně těch, která ji stála příjmy nebo čas. U kontrolora zjištění, která společnost nechtěla slyšet, a záznam o tom, jak na ně správní rada reagovala. Pokud jsou po roce všechny zveřejněné zprávy plné dobrých zpráv, změny nefungovaly.

Děkujeme za skvělý rozhovor. Čtenáři, kteří si chtějí přečíst knihu a zjistit možnosti jejího zakoupení, by měli navštívit oficiální webové stránky knihy Corporate Ordering.

Antoine je vizionářský lídr a zakládající partner Unite.AI, kterého pohání neochvějné nadšení pro utváření a podporu budoucnosti umělé inteligence a robotiky. Jako podnikatel, který založil několik společností, věří, že AI promění společnost stejně zásadně jako elektřina, a často s nadšením hovoří o potenciálu převratných technologií a obecné umělé inteligence (AGI).

Jako futurista se věnuje zkoumání toho, jak tyto inovace budou utvářet náš svět. Je také zakladatelem Securities.io, platformy zaměřené na investice do špičkových technologií, které nově definují budoucnost a proměňují celá odvětví.