Перехід до економіки верифікації

Перевірка роботи штучного інтелекту може стати значною галуззю в новій економіці машинного навчання; галуззю, яка повинна суттєво розширитися, і яку не можна автоматизувати. Але з роками “експерти” людини, ймовірно, будуть погіршуватися у якості.

Моя думка. Моя дружина – архітектор у одному з найбільш заблокованих і інтенсивних бюрократій Європи. Значна частина цінності її освіти полягає в отриманні та підтримці її права підпису – дорогого посвідчення, яке потрібно щорічно поновлювати, і яке дозволяє їй буквально “підписувати” проекти, реалізація яких може коштувати сотень тисяч,甚至 мільйонів євро.

Вона розповідає мені, що це не найважча частина її роботи, оскільки це лише формалізує її власні розрахунки або розрахунки інших, і що для цієї мети зовнішня робота зазвичай не складна для перевірки.

По суті – як це часто буває і при призначенні генеральних директорів – ця печать (це буквально печать) в основному надає зацікавленим сторонам можливість знайти когось, на кого можна покласти відповідальність, якщо щось піде не так. У забезпеченні підзвітності вона також полегшує страхування і довіру інвесторів, яку не було б можливості отримати без таких гарантій.

Це другий раз у моєму житті, коли я бачу цей процес безпосередньо в дії; 25 років тому я був заручений з онкологом в іншій відомій бюрократії ЄС, Італії, і бачив, наскільки її підпис був останнім етапом у ланцюзі довіри, до якого мусили внести свій внесок інші, крім неї.

Я чув від моєї колишньої нареченої в той період, і пізніше від моєї дружини, що їхні професії були/є наповнені кваліфікованими шахраями, які продають свій підпис і уникають більш оригінальної або корисної роботи, оскільки вона менш прибуткова. Такі цинічні практики можуть вимагати великих сум, оскільки вони представляють відносно рідкісні і необхідні ресурси.

Перегляньте

Ця тема прийшла мені на думку, коли я наткнувся на нову і розлогу роботу сьогодні, названу Деякі прості економічні аспекти AGI. У ній три дослідники з MIT, Вашингтонського університету в Сент-Луїсі та UCLA зображують близьке майбутнє, де страшний, роботоутворюючий імпульс штучного інтелекту зіштовхується з необхідністю реальних людей, яких можна покласти відповідальність у високих ставках сценаріїв – таким чином, що веде до нової економіки людської верифікації, ратифікації та відповідальності*.

Ця робота суперечить медійному уявленню про знівечені бізнес-сектори з великими офісами, скороченими до одного особи-“наглядача”, чиї рішення використовуються як тренувальні дані для (сподіваємося) звільнення навіть останньої крихти “м’ясної” частини^†.

Натомість автори вважають, що практичні міркування та вимоги з дотримання законодавства будуть зосереджувати величезну увагу на “людинах-рубберстамперах”, які заспокоюють юридичний відділ компанії (штучний інтелект/людина/підтримка штучного інтелекту):

‘Для компаній основним стратегічним висновком є те, що верифікація вже не є просто функцією дотримання законодавства, а основною технологією виробництва – і все частіше, їхньою найбільш захищеною. Це диктує структурну зміну: інвестування в спостережливість, розширення верифікаційної основи і реорганізація навколо “сендвічевої” топології (людина-машина-людина-підтвердження і страхування).

‘У економіці, де суровий вихід є комодитизованим, конкурентна перевага переходить до рідкісних талантів і даних, які можуть надійно керувати і сертифікувати агентські системи – створюючи мережеві ефекти не в суровому вихідному вигляді, а в довірчих результатах.’

Автори гіпотезують, що визначальною обмеженням зростання може бути не інтелект – який штучний інтелект вже “від’єднав від біології” – а верифікаційна смуга пропускання.

Зміна цінності до людської верифікації

Ця робота описує рух до AGI як розходження між витратами на виробництво машинного виходу і витратами на перевірку цього виходу – останнє з яких залишається пов’язаним з кінцевим часом людини і життєвим досвідом.

Генерування планів, звітів, проектів і рекомендацій у цьому сценарії стане дешевим і поширеним, тоді як визначення того, які з них є правильними, вирівняними і достатньо безпечними для дії, стане “рідкою функцією”. Ефективна межа розгортання буде тому не тим, скільки виходу системи можуть виробляти, а тим, скільки цього виходу можна достовірно перевірити.

Таким чином, замість того, щоб винагороджувати все більш спеціалізовані навички в вимірюваних завданнях, система, як передбачають автори, почне винагороджувати вимірюваність саму по собі: робота, яку можна параметризувати, буде дrift toward комодитизації, оскільки її вартість виконання наближається до граничної вартості обчислення, з цінністю, що накопичується замість цього в високоякісній основній правді, надійних аудиторських слідах і інституційних механізмах для призначення та поглинання відповідальності.

Отже, в економіці верифікації перевага буде лежати менше у виробництві вмісту, а більше у сертифікації результатів і страхуванні ризиків, пов’язаних з ними.

Якщо автоматизація продовжить прискорюватися, а верифікація залишається обмеженою часом людини і увагою, робота передбачає, що Порожня економіка виникне, де, оскільки вартість автоматизації праці падає, все більше агентів буде розгорнуто, оскільки це має економічний сенс зробити – хоча можливість належної перевірки їхнього виходу не зростатиме з тією ж швидкістю. У цьому сценарії частка роботи, яка справді верифікується, зменшиться, з усіма негативними наслідками, що це передбачає.

Натомість Повна економіка забезпечить, що верифікаційна здатність розшириться в тандемі з автоматизацією. Це буде涉увати свідоме інвестування в структуроване навчання для збереження експертизи, а також нові рамки відповідальності, які можуть поглинути ризик. Розгортання тоді буде пов’язане з тим, що можна фактично перевірити і застрахувати – ефективно, дуже стара пляшка, яку винесла безпрецедентна масштабність технологічного розвитку:

‘У технологічному секторі домінантна модель доходу зміщується від монетизації доступу до програмного забезпечення (Software-as-a-Service) до монетизації результатів (“Software-as-Labor”). Таким чином, компанії будуть оцінюватися в основному за їхню здатність поглинути ризик хвоста через Відповідальність як послугу.

‘Виконання зараз нескінченно масштабоване; юридична і фінансовая здатність поглинути його невідворотні невдачі є новою пляшкою.’

Зменшення віддачі

Дійсно, збереження експертизи людини в галузі є критичним для проблеми, оскільки культура індустріалізованого нагляду, згідно з авторами, з часом ризикує погіршити якість тих, хто виконує нагляд – оскільки наступні покоління наглядачів вже не матимуть прямого і життєвого досвіду галузей, які потребують верифікації.

Аргументовано, на цьому етапі якість нагляду буде справді сприйнятливою до автоматизації, оскільки нові рішення будуть формуватися лише на основі попередніх рішень. Однак це залишило б зацікавлених осіб без можливості покласти відповідальність, або життєздатної бізнес-моделі. Це також зробило б таку роль настільки волатильною і ризикованою, що вона була б непривабливою, навіть у кліматі низької зайнятості.

Відокремлення кваліфікованих фахівців, таких як лікарі і архітектори, у високооплачувану, але сильно навантажену позицію “рубберстамперів”, ймовірно, призведе до зниження їхньої цінності в такій ролі з часом: чим далі в минуле їхній фактичний досвід галузі віддаляється, тим більш “теоретичними” їхні рішення можуть стати, оскільки їхня покинута галузь продовжує еволюціонувати у їхньому відсутності.

(Це знайоме навіть у бізнес-культурі до штучного інтелекту, у вигляді кваліфікованих працівників, які переходять у менеджмент і стають все більш відірваними від нових розробок, врешті-решт підриваючи свою вартість як наглядачів і організаторів. Це також знайоме шанувальникам Star Trek: The Next Generation, у вигляді Pakleds – раси, яка використовує передову технологію широко, але вже не знає, як створити чи відремонтувати її.)

Вступний рівень виконання історично служив навчальною базою для майбутніх експертів; але якщо автоматизація ліквідує рутинні завдання, через які судження культивується, майбутнє постачання здатних верифікаторів зменшиться, вважають автори.

Таким чином, робота передбачає парадокс: чим потужнішими стають агентські системи, тим більше суспільство буде залежати від запасу людської експертизи тією самою системою, яку можуть підірвати.

І давайте пам’ятатимемо, що це не в жодному сенсі технічна проблема, ні піддатлива технічному рішенню. У багатьох відношеннях цей синдром нагадує логістичний аналог колапсу моделі штучного інтелекту – крім того, що тут ми розглядаємо підміну економічної моделі.

‘З погляду політики, основним викликом є глибока структурна асиметрія: вигоди від розгортання штучного інтелекту агресивно приватизуються, тоді як системні ризики соціалізуються. Фірми і особи захоплюють вигоду від автоматизації, тоді як зовнішні катастрофічні ризики хвоста зовнішні.

‘Без спільної інфраструктури верифікації і суворої ціни відповідальності ринок раціонально дrift toward до порожньої економіки – рівноваги, характеризованої вибуховою вимірюваною активністю, але фундаментально порожньої людської контролю.’

Висновок: Інша криза

Автори визначають передбачену кризу як пробіл у вимірюваності, у якому кількісно процеси можна автоматизувати, залишаючи n-важкі або n-правові процеси, які все ще потребують людської експертизи.

Однак, досвід моєї дружини свідчить про те, що складність або трудність процесу не обов’язково пов’язана з необхідністю підзвітності в цьому процесі; багато речей, які вона “підписує”, представляють тривіальні проблеми або розрахунки самі по собі, але є суттєвими у разі порушення. І чим більше бізнес-культура стає судовою, тим більше страхувальники і інвестори будуть вимагати людської підзвітності у все ширшому спектрі процесів.

Таким чином, перехід до економіки верифікації може спричинити іншу кризу, ніж та, яка зараз привертає заголовки. Проблема в цьому випадку полягатиме не в тому, чи може штучний інтелект виробляти більше, а в тому, чи можуть установи перевірити достатньо того, що виробляється, щоб перетворити машинний інтелект на тривалу цінність.

Оскільки машинний інтелект може скоро масштабуватися без попереднього, а наявність відповідної людини часу не може跟ати за цим темпом, питання, викладені в цій роботі, здаються досить швидкими – навіть якщо вони спочатку заглушуються ширшими економічними наслідками прийняття штучного інтелекту.

* Ця робота надто довга, щоб розбити її звичайним чином, і в будь-якому випадку не підходить для такого роду аналізу. Тому я вирішив прокоментувати її і розглянути її значення замість цього, і звернутися до читача до джерельної роботи, щоб вони могли зробити те саме.

^† /s

Перше видання середи, 25 лютого 2026 року