ИИ всё ещё нуждается в тренере, а человеческий надзор — в плейбуке

ИИ повсюду, где бы вы ни посмотрели, и профессиональный футбол не исключение.

NFL представил Digital Athlete, который использует данные и ИИ, чтобы помочь командам выявлять ситуации, в которых игроки могут быть подвержены повышенному риску травмы. Он объединяет видеозаписи и данные с тренировок, практик и матчей с миллионами симуляций, предоставляя всем 32 командам доступ к информации о тенденциях по всей лиге. Тренеры и персонал по подготовке используют эту информацию для разработки индивидуальных программ по предотвращению травм, тренировкам и восстановлению.

Хотя технология «читает» поле, тренеры по‑прежнему отвечают за принятие решений. По мере того как организации расширяют использование ИИ в бизнес‑процессах, включая соответствие требованиям и расследования на рабочем месте, потенциал автоматизации кажется безграничным. Но какие задачи должен выполнять ИИ, при каких условиях и с каким человеческим надзором?

Именно здесь организационный плейбук может задать тон: предоставить тренерам средства для использования ИИ, сохраняя при этом человеческий надзор там, где он важен.

Give AI a Position Rather Than the Whole Field

Расследования включают различные уровни риска. ИИ может помочь упорядочить информацию из первоначальных сообщений и:

• Выявлять недостающие детали
• Сводить информацию в окончательный отчёт
• Строить временные линии
• Выявлять шаблоны, которые следователи могут захотеть изучить подробнее

Эти варианты использования могут сократить ручную сортировку и освободить время для работы, требующей человеческого суждения.

Учтите, что ИИ может подвести итог обвинению, но он не может решить, насколько оно достоверно. ИИ может обнаружить несоответствие, но не может определить, почему оно возникло. Здесь организации могут попасть в беду, просто используя ИИ без ограничений.

Чтобы поддерживать надзор, ИИ нужен чётко определённый роль. Организации должны решить:

• Какие задачи система должна выполнять
• К какой информации она может получать доступ
• Границы того, что ей разрешено делать
• В каких ситуациях человек должен взять управление в свои руки

Рамочная программа управления рисками ИИ Национального института стандартов и технологий (NIST) предоставляет полезный ориентир. Дорожная карта NIST описывает профили AI RMF как способ продемонстрировать, как рамочная программа может быть применена к конкретным секторам, технологиям, контекстам или другим условиям. Иными словами, ответственное управление ИИ становится более практичным, когда организации переводят широкие принципы в реальность конкретного случая использования.

AI‑плейбук может сделать нечто подобное на операционном уровне. Он определяет роли, ситуации и действия с конкретностью.

Human Oversight Is a System Design Problem

Фраза «человек в цикле» стала обычной в обсуждениях ответственного ИИ. Но присутствие человека где‑то в рабочем процессе автоматически не делает систему ИИ хорошо управляемой.

NIST выделил человек‑ИИ командование как важную область исследований и рекомендаций по управлению рисками ИИ. Среди вопросов, которые он поднимает, — как люди интерпретируют результаты, полученные от ИИ, и как они контролируют системы ИИ в реальных условиях.

Человеческий надзор не следует рассматривать как временную меру до тех пор, пока ИИ не станет достаточно продвинутым для самостоятельной работы. Во многих высоко‑рисковых средах это часть необходимой архитектуры для ответственного использования ИИ в долгосрочной перспективе.

Рецензируемое исследование надзора человека в управлении ИИ отмечает, что от надзирающих ожидается повышение точности и безопасности, поддержка человеческих ценностей и формирование доверия. Однако люди не всегда являются надёжными надзирающими. Эффективный надзор зависит от компетентности, стимулов и дизайна роли надзора.

Для следователя просьба одобрить рекомендацию, сгенерированную ИИ, недостаточна, если у него нет информации или полномочий, необходимых для её оспаривания. Плейбук должен определить не только то, что человек участвует, но и как и когда он может вмешаться.

The Handoff Matters as Much as the Model

Существует ещё одна проблема: даже когда у человека есть окончательная власть, способ представления ИИ информации может влиять на последующее решение.

Исследование 2025 года предварительной публикации исследователей Калифорнийского университета в Санта‑Барбаре демонстрирует, почему важен дизайн интерфейса. В контролируемом эксперименте с 108 участниками в сценарии принятия решений в здравоохранении исследователи протестировали шесть форм поддержки решений ИИ. Они обнаружили, что такие механизмы, как информация о confidence ИИ, текстовые объяснения и визуализации производительности, повышали точность совместных решений человека и ИИ.

Исследование также подчёркивает риск автоматического предвзятости: люди могут чрезмерно полагаться на предложения ИИ, даже если они неверны.

Этот эксперимент показывает, почему передача управления от машины к человеку требует продуманного дизайна и тестирования.

Когда мы экстраполируем это дальше и вводим понятие расследования, возникает несколько вопросов:

• Видит ли следователь только вывод, сгенерированный ИИ, или может он изучать информацию, лежащую в его основе?

• Может ли система передавать степень неопределённости?

• Явно ли указано, когда информация отсутствует?

• Могут ли следователи отклонить вывод и задокументировать причину?

Это вопросы управления так же, как и технические.

Five Questions Every AI Playbook Should Answer

Полезный AI‑плейбук должен преобразовать абстрактные принципы, такие как «ответственный ИИ» и «человеческий надзор», в конкретные правила эксплуатации.

1. Что ИИ может делать? Организации должны разрешать конкретные задачи, а не давать широкие полномочия использовать ИИ во всём рабочем процессе.
2. Какую информацию он может использовать? Для расследований и сообщений о нарушениях организации нуждаются в чётких границах относительно доступной ИИ информации и её обработки.
3. Как люди будут оценивать его вывод? Человеческим рецензентам нужен достаточный контекст, чтобы понять, что система выдала, какие у неё ограничения и какая информация необходима для оспаривания результата.
4. Когда человек должен вмешаться? Плейбук должен устанавливать триггеры эскалации, а не полагаться на отдельные сотрудники в решении, когда ИИ зашёл слишком далеко.
5. Где заканчивается полномочие ИИ? Некоторые решения должны принимать люди, и ответственные за них лица должны иметь реальную возможность игнорировать, переопределять или останавливать технологию.

Эти идеи отражены в одном из самых значимых мировых актов регулирования ИИ. Статья 14 Закона ЕС об ИИ устанавливает требования к человеческому надзору за системами ИИ, попадающими в категорию высокого риска. В ней говорится, что меры надзора должны быть пропорциональны рискам системы, её автономии и контексту использования. Также требуется, чтобы надзирающие могли понимать соответствующие возможности и ограничения, правильно интерпретировать выводы, быть бдительными к автоматической предвзятости, отклонять или переопределять выводы и вмешиваться в работу системы или останавливать её.

Это не значит, что каждый ИИ‑инструмент, используемый в расследовании, автоматически считается системой высокого риска. Рамочная программа иллюстрирует важный принцип управления ИИ. Человеческий надзор должен предоставлять людям значимые возможности, а не просто место в рабочем процессе.

AI Doesn’t Replace the Coach. It Changes What the Coach Can See.

Digital Athlete от NFL привлекателен не потому, что демонстрирует возможность замены тренеров ИИ, а потому, что показывает, как передовые технологии могут расширять объём информации, доступной опытным специалистам.

ИИ может помогать людям обрабатывать информацию, выявлять то, что заслуживает внимания, и создавать большую согласованность в повторяющихся задачах. Тем не менее, самые важные моменты в расследовании часто требуют иного: контекста, скептицизма, интерпретации и ответственности.

Организации, которые лучше всего смогут воспользоваться ИИ, поэтому будут задавать вопросы, выходящие за рамки того, что технология может автоматизировать. Они определят, что ИИ должен делать, чего он не должен делать и как люди и ИИ должны работать вместе.