Перехід до економіки верифікації

Перевірка роботи штучного інтелекту може стати значним сектором у новій економіці машинного навчання; одним, який буде мати значно збільшитися, і який не може бути автоматизований. Але з роками людські “експерти” ймовірно будуть погіршуватися у якості.

Опинія. Моя дружина є архітектором в одному з найбільш заблокованих і інтенсивних бюрократій Європи. Значна частина цінності її освіти полягає в отриманні та підтримці її права підпису – дорогого сертифіката, який повинен бути поновлений кожний рік, і який дозволяє їй буквально “підписати” проекти, реалізація яких може бути в сотнях тисяч,甚至 мільйонах євро.

Вона розповідає мені, що це не найскладніша частина її роботи, оскільки це лише формалізує її власні розрахунки або розрахунки інших, і що для цієї мети зовнішня робота зазвичай не є важкою для перевірки.

По суті – як це часто буває і при призначенні генеральних директорів – цей штамп (це буквально штамп) головним чином надає зацікавленим сторонам когось, кого можна звинуватити, якщо щось піде не так. У забезпеченні підзвітності він також полегшує страхування відповідальності і довіру інвесторів, які не були б доступні без таких гарантій.

Це другий раз у моєму житті, коли я бачу цей процес безпосередньо в дії; 25 років тому я був заручений з онкологом в іншій відомій бюрократії, Італії, і бачив, якою мірою її експертний підпис був останнім етапом у ланцюзі довіри, до якого мали свій внесок інші, окрім неї.

Я чув від обох моєї колишньої нареченої в той період, і недавно від моєї дружини, що їхні професії були/є наповнені кваліфікованими шахраями, які продають свій штамп і ухиляються від більш оригінальної або корисної роботи як менш прибуткової. Такі цинічні практики можуть вимагати високих сум, оскільки вони представляють відносно рідкісні та необхідні ресурси.

Перевірте це

Ця тема прийшла мені на думку, коли я наткнувся на нову і розгалужену роботу сьогодні, під назвою Деяка проста економіка AGI. У ній три дослідники з MIT, Вашингтонського університету в Сент-Луїсі та UCLA зображують недалеке майбутнє, де страшний, знищувальний імпульс до автоматизації, керованої штучним інтелектом, зіштовхується з необхідністю реальних людей, яких можна звинуватити у високих ставках сценаріїв – тим самим ведучи до нової економіки людської верифікації, ратифікації та відповідальності*.

Робота суперечить уявленню ЗМІ про потрощені бізнес-сектори з великими офісами, звуженими до одного особи-“наглядача”, чиї рішення використовуються як навчальні дані для (сподіваємося) звільнення навіть цієї останньої шматочки “м’ясної” частини^†.

Натомість автори вважають, що практичні міркування та вимоги з дотримання законодавства будуть зосереджувати величезну увагу на “гумових” людях, які заспокоюють юридичний відділ компанії (штучний інтелект/людина/підтримка штучним інтелектом):

‘Для компаній основна стратегічна ідея полягає в тому, що верифікація вже не є просто функцією дотримання законодавства, а основною технологією виробництва — і все частіше, найбільш захищеною. Це диктує структурну зміну: інвестування великих коштів в спостережуваність, розширення верифікації ґрунтової істини та реорганізація навколо “сендвіча” топології (людська ініціатива → виконання машини → людська верифікація та страхування).’

‘У економіці, де суровий вивід є комодитизованим, конкурентна перевага міграє до рідкісних талантів і даних, здатних надійно керувати та сертифікувати агентські системи — генеруючи мережеві ефекти не у суровому виводі, а у довірчих результатах.’

Автори гіпотезують, що визначальною обмеженням зростання може бути не інтелект – який штучний інтелект тепер “від’єднав від біології” – а смуга пропускання верифікації.

Зміна цінностей до людської верифікації

Робота описує рух до AGI як розходження між витратами на виробництво машинного виводу та витратами на перевірку цього виводу – останнє з яких залишається пов’язаним з кінцевим людським часом і життєвим досвідом.

Генерування планів, звітів, проектів та рекомендацій у цьому сценарії стане дешевим і багатом, тоді як визначення того, які з них є правильними, вирівняними та достатньо безпечними для дії, стане “рідкісною функцією”. Ефективний ліміт на розгортання буде тому не тим, скільки виводу системи можуть виробляти, а тим, скільки цього виводу можна достовірно верифікувати.

Таким чином, замість того, щоб винагороджувати все більш спеціалізовані навички у вимірюваних завданнях, система, як передбачають автори, почне винагороджувати вимірюваність сама по собі: робота, яку можна параметризувати, буде дrift до комодитизації, оскільки її вартість виконання наближається до маржинальної вартості обчислення, з цінністю, що накопичується замість цього у високоякісній ґрунтовій істині, надійних аудиторських слідах та інституційних механізмах для призначення та поглинання відповідальності.

Отже, в економіці верифікації перевага буде лежати менше у виробництві вмісту, а більше у сертифікації результатів та страхуванні ризиків, пов’язаних з ними.

Якщо автоматизація продовжить прискорюватися, тоді як верифікація залишається обмеженою людським часом та увагою, робота передбачає, що виникне пустинна економіка, де, оскільки вартість автоматизації роботи падає, все більше і більше агентів будуть розгорнуті, оскільки це має економічний сенс зробити так – хоча можливість належної перевірки їхнього виводу не зростатиме з тією ж швидкістю. У цьому сценарії частка роботи, яка дійсно верифікується, зменшиться, з усіма негативними наслідками, що це передбачає.

Натомість розширена економіка забезпечить, що верифікаційна здатність буде розширюватися в тандемі з автоматизацією. Це буде涉увати свідоме інвестування у структуроване навчання для збереження експертизи, а також нові рамки відповідальності, які можуть поглинати ризик. Розгортання буде тоді пов’язане з тим, що можна дійсно перевірити та застрахувати – ефективно, дуже стара бутылка, яку винесли на сцену безпрецедентним масштабом технологічного розвитку:

‘У технологічному секторі домінантна модель доходу зміщується від монетизації доступу до програмного забезпечення (Software-as-a-Service) до монетизації результатів (“Software-as-Labor”). Тоді компанії будуть оцінюватися головним чином за їхню здатність поглинати ризик хвоста через Liability-as-a-Service.

‘Виконання тепер нескінченно масштабоване; юридична та фінансовая здатність поглинати їхні невідворотні провали є новим бутылкою.’

Зменшення віддачі

Дійсно, збереження експертизи у людях є критичним для проблеми, оскільки культура індустріалізованого нагляду, згідно з авторами, ризикує з часом погіршити якість тих, хто виконує нагляд – оскільки наступні покоління наглядачів вже не будуть володіти прямим і життєвим досвідом доменів, які потребують верифікації.

Аргументовано, на цьому етапі якість нагляду буде дійсно сприйнятливою до автоматизації, оскільки нові рішення будуть формуватися виключно на основі попередніх рішень. Однак це залишило б зацікавлених осіб без копки, або життєздатної бізнес-моделі. Це також зробило б таку роль так волатильною і ризикованою, щоб вона була непривабливою, навіть у кліматі низької зайнятості.

Відокремлення кваліфікованих фахівців, таких як лікарі та архітектори, у добре оплачувану, але виснажливу “гумову” позицію, ймовірно, буде підірвати їхню цінність у такій ролі з часом: чим далі в минуле їхній фактичний досвід відходить, тим більше “теоретичними” їхні рішення можуть стати, оскільки їхній покинутий домен продовжує еволюціонувати у їхньому відсутності.

(Це знайомо навіть у культурі бізнесу до штучного інтелекту, у вигляді кваліфікованого персоналу, який переходить на посаду менеджера і стає все більш відірваним від нових розробок, врешті підірвавши свою цінність як наглядачів і організаторів. Це також знайомо шанувальникам Star Trek: TNG у вигляді Pakleds – раси, яка використовує передову технологію широко, але вже не знає, як створити або полагодити її.)

Вхідний рівень виконання історично служив навчальним майданчиком для майбутніх експертів; але якщо автоматизація ліквідує рутинні завдання, через які судження культивується, майбутній запас здатних верифікаторів зменшиться, як передбачають автори.

Таким чином, робота передбачає парадокс: чим потужнішими стають агентські системи, тим більше суспільство буде залежати від запасу людської експертизи тієї самої системи, яку можуть підірвати.

І пам’ятайте, що це не в жодному разі технічна проблема, ні піддатлива технічному рішенню. У багатьох відношеннях цей синдром нагадує логістичний еквівалент колапсу моделі штучного інтелекту – окрім того, що тут ми розглядаємо підірвання економічної моделі.

‘З точки зору політики, основною викликом є глибока структурна асиметрія: вигоди від розгортання штучного інтелекту агресивно приватизуються, тоді як системні ризики соціалізуються. Компанії та особи захоплюють верхню частину автоматизації, тоді як зовнішні катастрофічні ризики хвоста.

‘Без спільної інфраструктури верифікації та суворої ціни відповідальності ринок раціонально зміщується до порожньої економіки — рівноваги, характеризованої вибуховими вимірюваними діями, але фундаментально порожнієї людської контролю.’

Висновок: Інша криза

Автори визначають передбачувану кризу як розрив вимірюваності, у якому кількісно процеси можуть бути автоматизовані від усіх людських внесків, залишаючи n-важкі або n-правові процеси, які все ще потребують людської експертизи.

Однак, досвід моєї дружини свідчить, що складність або трудність процесу не обов’язково пов’язана з необхідністю підзвітності в цьому процесі; багато речей, які вона “підписує”, представляють тривіальні проблеми або розрахунки самі по собі, але є суттєвими у разі порушення. І чим більше судова бізнес-культура стає, тим більше страхувальники та інвестори будуть вимагати людської підзвітності у ширшому спектрі процесів.

Таким чином, перехід до економіки верифікації може спричинити іншу кризу, ніж та, яка зараз привертає заголовки. Проблема в цьому випадку буде не тим, чи може штучний інтелект виробляти більше, а тим, чи можуть інститути верифікувати достатньо того, що виробляється, щоб перекласти машинний інтелект у тривалу цінність.

Оскільки машинний інтелект може скоро зростати безпрецедентно, а доступність відповідної людської часу не може слідувати за цим темпом, питання, викладені у новій роботі, здаються досить швидкими – навіть якщо вони можуть бути спочатку заглушені ширшими економічними наслідками прийняття штучного інтелекту.

* Робота занадто довга, щоб розбити її у звичайному порядку, і в будь-якому випадку структурно непридатна для такого аналізу. Тому я вирішив прокоментувати її та розглянути її значення, і звернутися до джерельної роботи, щоб читачі могли зробити те саме.

^† /s

Перша публікація середи, 25 лютого 2026