Přechod k ekonomice verifikace

Mohlo by se stát, že kontrola práce umělých inteligencí se stane významným odvětvím v nové ekonomice strojového učení; odvětvím, které bude muset výrazně expandovat a které nelze automatizovat. Ale s postupem let se kvalita lidských “odborníků” pravděpodobně zhorší.

Můj názor. Moje žena je architektka v jedné z nejzatíženějších a nejintenzivnějších byrokracií v Evropě. Významná část hodnoty jejího vzdělání spočívá v získání a údržbě jejího práva podepisovat – drahé kvalifikace, která musí být každoročně obnovována a která jí umožňuje doslova “podepsat” návrhy, jejichž realizace může být v řádu stovek tisíc, ba dokonce milionů eur.

Ráčila mi říci, že to není nejtvrdší část její práce, neboť se jedná pouze o formalizaci jejích vlastních výpočtů nebo výpočtů jiných a že pro tento účel není obvykle obtížné ověřit externí práci.

V podstatě – stejně jako je tomu často i při jmenování generálních ředitelů – tato pečeť (je to doslova pečeť) poskytuje především zúčastněným stranám možnost najít viníka, pokud něco půjde špatně. Při zajišťování odpovědnosti také usnadňuje pojištění a důvěru investorů, které by jinak nebylo možné získat.

Jedná se o druhý případ v mém životě, kdy jsem tento proces přímo viděl; před 25 lety jsem byl zasnouben s onkoložkou v další známé byrokracii EU, Itálii, a viděl jsem, do jaké míry její odborná pečeť byla posledním stupněm řetězce důvěry, ke kterému museli přispět svou odborností mnozí jiní kromě ní.

Slyšel jsem od své bývalé snoubenky v té době a nedávno také od své ženy, že jejich profese jsou/pro byly prošpikovány kvalifikovanými podvodníky, kteří prodávali svou pečeť a vyhýbali se originálnější nebo užitečnější práci jako méně výnosné. Tito cyničtí praktici mohou účtovat vysoké částky, protože představují relativně vzácné a nezbytné zdroje.

Vyzkoušejte to

Tato otázka mě napadla, když jsem náhodou narazil na novou a rozsáhlou práci, nazvanou Některá jednoduchá ekonomie AGI. V ní tři výzkumníci ze MIT, Washingtonské univerzity v St. Louis a UCLA popsali blízkou budoucnost, ve které se děsivá, práce ničící tendence směrem k automatizaci s pomocí AI střetne s potřebou skutečných “zadnic” pro kopání v high-stakes scénářích – a tím povede k nové ekonomice lidské verifikace, ratifikace a odpovědnosti*.

Práce se liší od současného mediálního vidění vyprázdněných obchodních sektorů s rozsáhlými úřady zredukovanými na jediného “dozorčího”, jehož rozhodnutí jsou používána jako tréninková data pro (doufáme) vypnutí této poslední zbytkové “masožravé” části^†.

Místo toho autoři věří, že praktické úvahy a požadavky na soulad s předpisy upoutají enormní pozornost k “gumovým” lidem, kteří uklidňují právní oddělení společnosti (AI/lidské/ AI-pomocné):

‘Pro společnosti je klíčovým strategickým poznatkem, že verifikace již není pouze funkcí souladu s předpisy, ale primární technologií výroby – a stále více jejich nejvíce hájitelnou. To diktuje strukturální posun: investice do pozorovatelnosti, rozšíření verifikační pravdy a reorganizace kolem “sendvičové” topologie (lidský úmysl → strojové provedení → lidská verifikace a podpora).

‘V ekonomice, ve které je surový výstup komoditizován, se konkurenční výhoda přesouvá k vzácnému talentu a datům, které jsou schopny spolehlivě řídit a certifikovat agenty – generují síťové efekty ne v čistém výstupu, ale v důvěryhodných výsledcích.’

Autoři hypotézují, že určujícím omezením růstu nemusí být inteligence – kterou AI již “oddělila od biologie” – ale verifikační šířka pásma.

Hodnota se přesouvá k lidské verifikaci

Práce popisuje posun směrem k AGI jako rostoucí rozpor mezi náklady na výrobu strojového výstupu a náklady na kontrolu tohoto výstupu – posledně jmenované, které zůstávají vázané na konečnou lidskou dobu a zkušenosti.

Generování plánů, zpráv, návrhů a doporučení by v tomto scénáři bylo levné a hojné, zatímco určení, které z nich jsou správné, sladěné a dostatečně bezpečné pro jednání, by se stalo “špatnou funkcí”. Efektivní limit na nasazení by proto nebyl dán tím, kolik výstupu systémy mohou produkovat, ale kolik z tohoto výstupu může být důvěryhodně ověřeno.

Takže místo odměňování stále více specializovaných dovedností v měřitelných úkolech bude systém, jak autoři předpovídají, začít odměňovat měřitelnost samotnou: práce, která může být parametrizována, se bude posouvat směrem ke komoditizaci, jelikož náklady na provedení budou blízko marginálním nákladům na výpočet, a hodnota bude přibývat v kvalitní základní pravdě, spolehlivých auditních stopách a institucionálních mechanismech pro přiřazování a absorbování odpovědnosti.

Tudíž v ekonomice verifikace by výhoda spočívala méně ve výrobě obsahu a více v certifikaci výsledků a podpoře rizik spojených s nimi.

Jestliže automatizace bude dále zrychlovat, zatímco verifikace zůstane omezená lidským časem a pozorností, práce předpovídá, že by se mohla vyvinout vyprázdněná ekonomika, ve které, jakmile náklady na automatizaci práce poklesnou, bude nasazeno stále více agentů, protože to bude ekonomicky smysluplné – i když schopnost řádně ověřit jejich výstup nebude růst stejnou rychlostí. V takovém scénáři by se podíl práce, která je skutečně ověřena, zmenšil, s veškerými negativními důsledky, které to přináší.

Naproti tomu rozšířená ekonomika by zajistila, že kapacita verifikace by se rozšiřovala spolu s automatizací. To by vyžadovalo úmyslnou investici do strukturovaného vzdělávání za účelem zachování odbornosti, stejně jako nové rámce odpovědnosti, které by mohly absorbovat rizika. Nasazení by pak bylo vázáno na to, co lze skutečně ověřit a pojistit – efektivní velmi starý úzký místo, které je uprostřed bezprecedentního technologického rozvoje:

‘V technologickém sektoru se dominantní model příjmů posune z monetizace přístupu k softwaru (Software-as-a-Service) na monetizaci výsledků („Software-as-Práce“). Následně budou firmy hodnoceny především podle své schopnosti absorbovat rizika prostřednictvím Odpovědnosti-as-a-Service.

‘Provádění je nyní neomezeně škálovatelné; právní a finanční kapacita absorbovat jeho nevyhnutelné selhání je nové úzké místo.’

Snížení výnosů

Skutečně, zachování odborných znalostí v lidech je kritické pro problém, protože kultura industrializované kontroly, podle autorů, by mohla v čase ohrozit kvalitu těch, které provádějí kontrolu – protože následující generace dozorců by již nemusely mít přímou a prožitou zkušenost s oblastmi, které vyžadují verifikaci.

Argumentovatelně, v té fázi by kvalita kontroly skutečně mohla být náchylná k automatizaci, protože nová rozhodnutí by byla tvořena pouze na základě předchozích rozhodnutí. To by však ponechalo zúčastněné strany bez kopatelné zadnice, nebo životaschopného obchodního modelu. Taková role by byla také tak nestabilní a riziková, aby byla neatraktivní, i v klimatu nízké zaměstnanosti.

Oddělování kvalifikovaných profesionálů, jako jsou lékaři a architekti, do dobře placené, ale vysoce zatížené “gumové” pozice by pravděpodobně erodovalo jejich hodnotu v takové roli, s časem: čím dále v minulosti jejich skutečné zkušenosti s oborem ustupují, tím “teoretičtějším” by se jejich rozhodnutí mohla stát, protože jejich opuštěný obor by pokračoval v evoluci v jejich nepřítomnosti.

(To je známé i v před-AI firemní kultuře, ve formě zkušených zaměstnanců, kteří postupují do managementu a stávají se stále více odtrženými od novějších vývojů, nakonec podkopávajících svou hodnotu jako dozorců a organizátorů. Je to také známé fanouškům Star Trek: TNG ve formě Pakledů – rasy, která používá pokročilou technologii rozsáhle, ale již neví, jak ji vytvořit nebo opravit.)

Vstupní úroveň provádění historicky sloužila jako tréninková základna pro budoucí odborníky; ale pokud automatizace eliminuje rutinní úkoly, prostřednictvím kterých se kultivuje soudnost, budoucí zásoba schopných verifikátorů se zmenší, navrhují autoři.

Takže práce předpovídá paradox: čím více se agenty systémy stanou mocnými, tím více bude společnost záviset na zásobě lidské odbornosti ktoru tytéž systémy mohou erodovat.

A pamatujme, že se nejedná v žádném případě o technický problém, ani o problém, který by mohl být řešen technologií. V mnoha ohledech tato syndrom naznačuje logistický ekvivalent AI modelového kolapsu – kromě toho, že zde zvažujeme podkopání ekonomického modelu.

‘Z hlediska politiky je klíčovou výzvou hluboká strukturální asymetrie: zisky z nasazení AI jsou agresivně privatizovány, zatímco systémová rizika jsou socializována. Firmy a jedinci využívají výhody automatizace, zatímco externalizují katastrofická rizika.

‘Bez sdílené verifikační infrastruktury a přísného cenotvorby odpovědnosti se trh bude racionálně posouvat směrem k vyprázdněné ekonomice – rovnováze charakterizované explozivní měřitelnou aktivitou, ale fundamentálně vyprázdněnou lidskou kontrolou.’

Závěr: Jiná krize

Autoři definují předpovídanou krizi jako mezeru měřitelnosti, ve které kvantifikovatelné procesy mohou být automatizovány mimo veškerý lidský příspěvek, zanechávající n-tvrdé nebo n-legální procesy, které stále vyžadují lidskou odbornost.

Jedná se však o krizi, která nemusí být způsobena složitostí nebo obtížností procesu, ale potřebou odpovědnosti v tomto procesu; mnohé z věcí, které moje žena “podepisuje”, představují triviální problémy nebo výpočty samy o sobě, ale jsou důsledné v případě porušení. A čím více se firemní kultura stává žalobnickou, tím více budou pojišťovatelé a investoři vyžadovat lidskou odpovědnost napříč širším spektrem procesů.

Takže přechod k ekonomice verifikace by mohl způsobit jinou krizi, než ta, která je nyní středem pozornosti. Problém by v takovém případě nebyl, zda AI může produkovat více, ale zda instituce mohou ověřit dostatečně toho, co je produkováno, aby se strojová inteligence mohla přeložit do trvalé hodnoty.

Jelikož strojová inteligence může brzy expandovat bezprecedentně a dostupnost případně aplikovatelného lidského času nemůže držet krok s tímto tempem, otázky nastíněné v nové práci se zdají být velmi pravděpodobné – i když mohou být zpočátku utopeny v širších ekonomických důsledcích přijetí AI.

* Práce je příliš dlouhá, aby se rozdělila běžným způsobem, a v každém případě je strukturně nevhodná pro takový typ analýzy. Proto jsem se rozhodl komentovat ji a zvážit její význam, a odkázat čtenáře na původní práci, aby mohli učinit totéž.

^† /s

Poprvé publikováno ve středu 25. února 2026