Переход к экономике верификации

Проверка работы ИИ может стать значительной отраслью в новой экономике машинного обучения; той, которая должна значительно масштабироваться и которая не может быть автоматизирована. Но с течением лет человеческие “эксперты” скорее всего ухудшатся в качестве.

Мнение. Моя жена – архитектор в одной из самых загруженных и интенсивных бюрократий в Европе. Значительная часть ценности ее образования заключается в получении и поддержании ее права подписи – дорогой квалификации, которую необходимо ежегодно продлевать, и которая позволяет ей буквально “подписать” проекты, реализация которых может стоить сотен тысяч, даже миллионов евро.

Она рассказывает мне, что это не самая трудная часть ее работы, поскольку это только формализует ее собственные расчеты или расчеты других, и что для этой цели внешняя работа обычно не бывает трудной для проверки.

По сути – как это часто бывает и при назначении генеральных директоров – эта печать (это буквально печать) в основном обеспечивает заинтересованным сторонам кого-то, на кого можно переложить ответственность, если что-то пойдет не так. Обеспечивая подотчетность, она также облегчает страхование ответственности и уверенность инвесторов, которую невозможно было бы получить без таких гарантий.

Это второй раз в моей жизни, когда я видел этот процесс непосредственно в действии; 25 лет назад я был помолвлен с онкологом в другой печально известной бюрократии ЕС, Италии, и увидел, насколько ее подпись эксперта была последней стадией в цепи доверия, в которую должны были внести свой вклад многие другие, кроме нее.

Я слышал от обеих моей бывшей невесты в тот период и более недавно от моей жены, что их профессии были/являются заполнены квалифицированными мошенниками, продающими свою печать и избегающими более оригинальной или полезной работы как менее прибыльной. Такие циничные практики могут взимать высокие суммы, потому что они представляют относительно редкие и необходимые ресурсы.

Проверьте

Эта тема пришла мне в голову, когда я наткнулся на новую и обширную работу сегодня, озаглавленную Некоторая простая экономика AGI. В ней три исследователя из MIT, Университета Вашингтона в Сент-Луисе и UCLA изображают ближайшее будущее, где ужасающая, работа-уничтожающий импульс к автоматизации с помощью ИИ сталкивается с необходимостью реальных “задниц” для пинка в высокорисковых сценариях – что приводит к новой экономике человеческой верификации, ратификации и ответственности*.

Работа контрастирует с нынешним представлением СМИ о сокращенных бизнес-секторах с обширными офисами, сокращенными до одного человека-“надзирателя”, чьи решения используются в качестве обучающих данных для (надеюсь) увольнения даже этой последней крошки “мясной” начинки^†.

Вместо этого авторы считают, что практические соображения и требования соблюдения правил будут сосредоточены на “резиновых штампах” людей, которые успокаивают юридический отдел компании (ИИ/человека/ИИ-усиленного):

‘Для компаний основная стратегическая идея заключается в том, что верификация больше не является просто функцией соблюдения правил, а основной технологией производства – и все более их наиболее оборонительной. Это диктует структурный сдвиг: инвестиции в наблюдаемость, расширение верификации-качественной базы данных и реорганизация вокруг “сэндвичевой” топологии (человеческая намеренность → машинное выполнение → человеческая верификация и подписание). ‘

‘В экономике, где сырой выход коммодитизирован, конкурентное преимущество мигрирует к редкому таланту и данным, способным надежно направлять и сертифицировать агентные системы – генерируя сетевые эффекты не в сыром выходе, а в доверенных результатах.’

Авторы гипотезируют, что определяющим ограничением роста может быть не интеллект – который ИИ теперь “отсоединил от биологии” – а пропускная способность верификации.

Сдвиг ценностей к человеческой верификации

Работа описывает переход к AGI как расширяющуюся дивергенцию между затратами на производство машинного выхода и затратами на проверку этого выхода – последнее из которых остается связанным с конечным человеческим временем и жизненным опытом.

Генерация планов, отчетов, проектов и рекомендаций в этом сценарии станет дешевой и обильной, в то время как определение того, какие из них являются прочными, выровнены и достаточно безопасными для реализации, станет “редкой функцией”. Эффективный предел на развертывание будет, следовательно, не тем, сколько выхода системы могут произвести, а сколько этого выхода может быть достоверно проверено.

Таким образом, вместо того, чтобы вознаграждать все более специализированные навыки в измеримых задачах, система, по прогнозам авторов, начнет вознаграждать измеримость сама по себе: работа, которую можно параметризировать, будет скользить к коммодитизации, когда стоимость ее выполнения приближается к маржинальной стоимости вычислений, с ценностью, накапливающейся вместо этого в высококачественной базе данных, надежных аудиторских отчетах и институциональных механизмах для назначения и поглощения ответственности.

Следовательно, в экономике верификации преимущество будет лежать не в производстве контента, а в сертификации результатов и подписании рисков, связанных с ними.

Если автоматизация продолжит ускоряться, а верификация останется ограниченной человеческим временем и вниманием, работа предсказывает, что будет возникать полая экономика, где, когда стоимость автоматизации работы падает, все больше и больше агентов будут развернуты, потому что это имеет экономический смысл – даже если способность правильно проверить их выход не будет расти с той же скоростью. В этом сценарии доля работы, которая действительно проверяется, уменьшится, с всеми негативными последствиями, которые это влечет.

Напротив, усовершенствованная экономика будет обеспечивать, что емкость верификации будет расширяться в тандеме с автоматизацией. Это потребует намеренного инвестирования в структурированное обучение для сохранения экспертизы, а также новых рамок ответственности, которые могут поглотить риск. Развертывание будет тогда связано с тем, что можно фактически проверить и застраховать – эффективно, очень старый бутылочное горлышко, которое принесло беспрецедентный масштаб технологического развития:

‘С точки зрения политики, основной вызов заключается в глубокой структурной асимметрии: выгоды от развертывания ИИ агрессивно приватизируются, в то время как системные риски социализируются. Компании и люди захватывают верхнюю часть автоматизации, в то время как внешняя часть несет катастрофические риски. ‘

‘Без общей инфраструктуры верификации и строгой цены ответственности рынок будет рационально скользить к полой экономике – равновесию, характеризующемуся взрывным измеренным действием, но фундаментально полым человеческим контролем.’

Уменьшающиеся доходы

Действительно, сохранение экспертизы в области в людях имеет решающее значение для проблемы, поскольку культура индустриализированного надзора, по мнению авторов, будет рисковать со временем ухудшить качество тех, кто выполняет надзор – потому что последующие поколения надзирателей больше не будут обладать прямым и жизненным опытом областей, требующих верификации.

Спорно, что на этой стадии качество надзора действительно будет подвержено автоматизации, поскольку новые решения будут формироваться исключительно на основе предыдущих решений. Однако это оставит заинтересованные стороны без пинка задницы, или жизнеспособной бизнес-модели. Это также сделает такую роль настолько волатильной и рискованной, что она станет непривлекательной, даже в климате низкой занятости.

Изоляция квалифицированных профессионалов, таких как врачи и архитекторы, в хорошо оплачиваемую, но сильно обремененную “резиновую штамп” позицию, скорее всего, будет подрывать их ценность в такой роли со временем: чем дальше в прошлом их фактический опыт отрасли отступает, тем более “теоретическими” их решения могут стать, поскольку их брошенная область продолжает развиваться в их отсутствие.

(Это знакомо даже в пред-ИИ бизнес-культуре, в форме квалифицированного персонала, который продвигается в управление и становится все более оторванным от новых разработок, в конечном итоге подрывая свою ценность как надзирателей и организаторов. Это также знакомо поклонникам Star Trek: TNG в форме Pakleds – расы, которая использует передовую технологию обширно, но больше не знает, как создать или исправить ее.)

Начальная стадия выполнения исторически служила тренировочной площадкой для будущих экспертов; но если автоматизация устраняет рутинные задачи, через которые вырабатывается суждение, будущий запас способных верификаторов уменьшится, считают авторы.

Таким образом, работа предсказывает парадокс: чем более мощными становятся агентные системы, тем больше общество будет полагаться на запас человеческой экспертизы которую те же системы могут подорвать.

И давайте помним, что это ни в коем случае не техническая проблема, ни поддается технологическому решению. Во многих отношениях этот синдром предполагает логистический эквивалент коллапса модели ИИ – за исключением того, что здесь мы рассматриваем подрыв экономической модели:

‘С точки зрения политики, основной вызов заключается в глубокой структурной асимметрии: выгоды от развертывания ИИ агрессивно приватизируются, в то время как системные риски социализируются. Фирмы и люди захватывают верхнюю часть автоматизации, в то время как внешняя часть несет катастрофические риски. ‘

‘Без общей инфраструктуры верификации и строгой цены ответственности рынок будет рационально скользить к полой экономике – равновесию, характеризующемуся взрывным измеренным действием, но фундаментально полым человеческим контролем.’

Заключение: Другой кризис

Авторы определяют предсказанный кризис как пробел измеримости, где количественные процессы могут быть автоматизированы от всех человеческих вкладов, оставляя n-трудные или n-правовые процессы, которые все еще требуют человеческой экспертизы.

Однако опыт моей жены предполагает, что сложность или трудность процесса не обязательно связаны с необходимостью подотчетности в этом процессе; многие вещей, которые она “подписывает”, представляют собой тривиальные проблемы или расчеты сами по себе, но являются последствиями в нарушении. И чем более судебная бизнес-культура становится, тем больше страховщики и инвесторы будут требовать человеческой подотчетности в более широком диапазоне процессов.

Таким образом, переход к экономике верификации может вызвать другой кризис, чем тот, который сейчас привлекает заголовки. Проблема в этом случае не будет заключаться в том, может ли ИИ производить больше, а в том, могут ли учреждения проверить достаточно того, что производится, чтобы перевести машинный интеллект в прочную ценность.

Поскольку машинный интеллект может вскоре масштабироваться без предшественников, а доступность применимого человеческого времени не может идти в ногу с этим темпом, проблемы, изложенные в новой работе, кажутся, вероятно, возникнут очень быстро – даже если они могут быть изначально заглушены более широкими экономическими последствиями принятия ИИ.

* Работа слишком длинная, чтобы разбить ее обычным образом, и в любом случае структурно неподходит для такого анализа. Поэтому я решил прокомментировать ее и рассмотреть ее значение, и сослался читателя на исходную работу, чтобы он мог сделать то же самое.

^† /s

Опубликовано впервые в среду, 25 февраля 2026