Переход к экономике верификации

Проверка работы ИИ может стать значительной отраслью в новой экономике машинного обучения; одной, которая должна значительно масштабироваться и не может быть автоматизирована. Но по мере того, как проходят годы, качество человеческих “экспертов” вероятно будет ухудшаться.

Мнение. Моя жена – архитектор в одной из самых загруженных и интенсивных бюрократий в Европе. Значительная часть ценности ее образования заключается в получении и поддержании ее права подписи – дорогой квалификации, которую необходимо продлевать каждый год, и которая позволяет ей буквально “подписать” проекты, реализация которых может стоить сотен тысяч, даже миллионов евро.

Она рассказывает мне, что это не самая трудная часть ее работы, поскольку это только формализует ее собственные расчеты или расчеты других, и что для этой цели внешняя работа обычно не трудна для проверки.

По сути – как часто бывает и при назначении генеральных директоров – эта печать (это буквально печать) в основном обеспечивает заинтересованным сторонам кого-то, на кого можно переложить ответственность, если что-то пойдет не так. Обеспечивая подотчетность, она также облегчает страхование и уверенность инвесторов, которые не были бы доступны без таких гарантий.

Это второй раз в моей жизни, когда я видел этот процесс в действии; 25 лет назад я был помолвлен с онкологом в другой печально известной бюрократии ЕС, Италии, и увидел, насколько ее подпись эксперта была последней стадией в цепи доверия, к которой должны были внести свой вклад многие другие, кроме нее.

Я слышал от моей бывшей невесты в тот период и от моей жены, что их профессии были/являются наполнены квалифицированными мошенниками, которые продают свою печать и отказываются от более оригинальной или полезной работы как менее прибыльной. Такие циничные практики могут взимать высокие суммы, потому что они представляют относительно редкие и необходимые ресурсы.

Проверьте

Эта тема пришла мне в голову, когда я наткнулся на новую и разветвленную статью сегодня, озаглавленную Некоторая простая экономика AGI. В ней три исследователя из MIT, Университета Вашингтона в Сент-Луисе и UCLA изображают ближайшее будущее, где страшная, работа-уничтожающая тенденция к автоматизации, обусловленной ИИ, сталкивается с необходимостью реальных “ассов”, которые можно пинать в высокорисковых сценариях – что приводит к новой экономике человеческой верификации, ратификации и ответственности*.

Статья контрастирует с текущим представлением СМИ о сокращенных бизнес-секторах с обширными офисами, сокращенных до одного “надзирателя”, чьи решения используются в качестве обучающих данных для (надеюсь) уничтожения даже этого последнего “мясного” элемента^†.

РATHER, авторы считают, что практические соображения и требования соблюдения правил будут сосредотачивать огромное внимание на “резиновых” людях, которые успокаивают юридический отдел компании (ИИ/человека/ИИ-помощника):

‘Для компаний основным стратегическим прозрением является то, что верификация больше не является простой функцией соблюдения правил, а основной технологией производства – и все больше их наиболее защищенной. Это диктует структурный сдвиг: инвестиции в наблюдаемость, расширение верифицированной основы и реорганизация вокруг “сэндвичевой” топологии (человеческая цель → машинное выполнение → человеческая верификация и подписание).

‘В экономике, где сырой выход коммодитизируется, конкурентное преимущество мигрирует к редкому таланту и данным, способным надежно направлять и сертифицировать агентные системы – генерируя сетевые эффекты не в сыром выходе, а в доверенных результатах.’

Авторы гипотезируют, что определяющим ограничением роста может быть не интеллект – который ИИ теперь “отделен от биологии” – а пропускная способность верификации.

Сдвиг ценностей в сторону человеческой верификации

Статья описывает переход к AGI как расширяющееся расхождение между расходами на производство машинного выхода и расходами на проверку этого выхода – последнее из которых остается связанным с конечным человеческим временем и опытом.

Генерация планов, отчетов, проектов и рекомендаций в этом сценарии станет дешевой и обильной, в то время как определение того, какие из них являются прочными, выровнены и достаточно безопасными для реализации, станет “редкой функцией”. Эффективный предел на развертывание будет поэтому не тем, сколько выхода системы могут произвести, а сколько этого выхода может быть достоверно проверено.

Следовательно, вместо того, чтобы вознаграждать все более специализированные навыки в измеримых задачах, система, как предсказывают авторы, начнет вознаграждать измеримость самой по себе: работа, которая может быть параметризирована, будет склоняться к коммодитизации, поскольку ее стоимость выполнения приближается к маржинальной стоимости вычислений, а ценность будет накапливаться в высококачественной основе, надежных аудиторских следах и институциональных механизмах для присвоения и поглощения ответственности.

Следовательно, в экономике верификации преимущество будет лежать не в производстве контента, а в сертификации результатов и подписании рисков, связанных с ними.

Если автоматизация продолжит ускоряться, а верификация останется ограниченной человеческим временем и вниманием, статья предсказывает, что полая экономика возникнет, где, поскольку стоимость автоматизации работы падает, все больше и больше агентов будут развернуты, поскольку это имеет экономический смысл – даже если возможность правильно проверить их выход не будет расти с той же скоростью. В этом сценарии доля работы, которая действительно верифицируется, уменьшится, с всеми негативными последствиями, которые это влечет.

Напротив, усовершенствованная экономика обеспечит, что способность верификации будет расширяться в тандеме с автоматизацией. Это потребует намеренных инвестиций в структурированное обучение для сохранения экспертизы, а также новых рамок ответственности, которые могут поглотить риск. Развертывание будет тогда связано с тем, что можно фактически проверить и застраховать – эффективно, очень старый узкий место, вынесенное на центральную сцену беспрецедентным масштабом технологического развития:

‘В технологическом секторе доминирующая модель дохода сместится от монетизации доступа к программному обеспечению (Software-as-a-Service) к монетизации результатов (“Software-as-Labor”). Следовательно, компании будут оцениваться в первую очередь по их способности поглотить риск хвоста через Ответственность-ка-Service.

‘Выполнение теперь бесконечно масштабируемо; юридическая и финансовая способность поглотить его неизбежные неудачи – это новое узкое место.’

Уменьшающиеся доходы

Действительно, сохранение экспертизы в области в людях имеет решающее значение для проблемы, поскольку культура индустриализированного надзора, по мнению авторов, рискует со временем ухудшить качество тех, кто выполняет надзор – поскольку последующие поколения надзирателей больше не будут обладать прямым и жизненным опытом областей, требующих верификации.

Возможно, на этой стадии качество надзора действительно будет подвержено автоматизации, поскольку новые решения будут формироваться только на основе предыдущих решений. Однако это оставит заинтересованные стороны без пинка, или жизнеспособной бизнес-модели. Это также сделает такую роль настолько волатильной и рискованной, что она станет непривлекательной, даже в климате низкой занятости.

Изоляция квалифицированных профессионалов, таких как врачи и архитекторы, в хорошо оплачиваемую, но сильно обремененную “резиновую” позицию, вероятно, приведет к эрозии их ценности в такой роли со временем: чем дальше в прошлом их фактический опыт в области отступает, тем более “теоретическими” их решения могут стать, поскольку их брошенная область продолжает эволюционировать в их отсутствие.

(Это знакомо даже в пред-ИИ бизнес-культуре, в форме квалифицированного персонала, который продвигается в управление и становится все более оторванным от новых разработок, в конечном итоге подрывая свою ценность как надзирателей и организаторов. Это также знакомо поклонникам Star Trek: TNG, в форме Pakleds – расы, которая использует передовую технологию обширно, но больше не знает, как создать или исправить ее.)

Начальный этап выполнения исторически служил тренировочной площадкой для будущих экспертов; но если автоматизация устраняет рутинные задачи, через которые вырабатывается суждение, будущий запас способных верификаторов уменьшится, считают авторы.

Таким образом, статья предсказывает парадокс: чем более мощными становятся агентные системы, тем больше общество будет зависеть от запаса человеческой экспертизы которую эти же системы могут подорвать.

И давайте помним, что это не в какой-либо степени техническая проблема, ни подверженная технологическому решению. Во многих отношениях этот синдром предполагает логистический эквивалент коллапса модели ИИ – за исключением того, что здесь мы рассматриваем подрыв экономической модели.

‘С точки зрения политики, основной вызов заключается в глубоком структурном несоответствии: выгоды от развертывания ИИ агрессивно приватизируются, в то время как системные риски социализируются. Компании и люди захватывают верхнюю часть автоматизации, внешняя катастрофическую риск.

‘Без общей инфраструктуры верификации и строгой ценообразования ответственности рынок рационально сместится в сторону полой экономики – равновесия, характеризующегося взрывной измеримой деятельностью, но по сути полым человеческим контролем.’

Заключение: Другой кризис

Авторы определяют предсказанный кризис как пробел измеримости, где количественные процессы могут быть автоматизированы из всех человеческих вкладов, оставляя n-трудные или n-правовые процессы, которые все еще требуют человеческой экспертизы.

Однако опыт моей жены предполагает, что сложность или трудность процесса не обязательно связаны с необходимостью подотчетности в этом процессе; многие из вещей, которые она “подписывает”, представляют собой тривиальные проблемы или расчеты сами по себе, но являются последствиями в случае нарушения. И чем более судебная бизнес-культура становится, тем больше страховщики и инвесторы будут требовать человеческой подотчетности в более широком диапазоне процессов.

Итак, переход к экономике верификации может вызвать другой кризис, чем тот, который сейчас привлекает заголовки. Вопрос в таком случае будет не тем, может ли ИИ производить больше, а может ли институты проверить достаточно того, что производится, чтобы перевести машинный интеллект в прочную ценность.

Поскольку машинный интеллект может скоро масштабироваться без предшественников, и доступность применимого человеческого времени не может идти в ногу с этой скоростью, проблемы, изложенные в новой работе, кажутся вероятными, чтобы возникнуть очень быстро – даже если они могут быть первоначально заглушены более широкими экономическими последствиями принятия ИИ.

* Статья слишком длинная, чтобы разбить ее обычным образом, и в любом случае она не подходит для такого анализа. Поэтому я решил прокомментировать ее и рассмотреть ее значение вместо этого, и направить читателя к исходной работе, чтобы он мог сделать то же самое.

^† /s

Опубликовано впервые в среду, 25 февраля 2026 года