Что такое Human-in-the-loop на самом деле?

В начале 20-го века британский философ Гилберт Райл придумал термин “призрак в машине”. В своей книге Концепция разума Райл использовал эту метафору, чтобы оспорить дуализм разума и тела, который утверждает, что разум и тело существуют как отдельные вещества. Для Райла это разделение было ошибкой, поскольку когнитивные процессы и физические действия были неразделимы, являясь частью единой системы, а не двумя взаимодействующими частями.

С появлением ИИ появилась подобная метафора, когда речь идет об использовании инструментов ИИ для повышения производительности: часто используемый термин “человек в цикле”. Если люди и интеллектуальные системы теперь более тесно связаны, чем когда-либо, создаем ли мы бесшовное слияние или создаем удобную иллюзию контроля?

Стартапы сильно полагаются на эту концепцию, когда говорят о своих инструментах. Хотя она обещает инновации и уверенность, реальность часто более сложна. Ответственность может легко стать размытой, а подотчетность более трудной для отслеживания.

По мере того, как системы ИИ проникают глубже в чувствительные области – от образования до войны – ставки больше не являются абстрактными. Что такое человек в цикле на самом деле, и является ли это просто эвфемизмом для того, когда они исчезают совсем?

1. Человек в цикле как щит для ответственности

Беззаботное использование термина “человек в цикле” может быть легким способом сдвинуть ответственность без真正шего взаимодействия с ней. Как многие заметили, человеческая подпись в конце процесса не гарантирует этической целостности, особенно если основная система плохо спроектирована или недостаточно понята.

Майса Хавваш, основатель и генеральный директор Scale X, написала о скольжении ответственности и прямо говорит о том, как концепция часто используется. “Это фактически не отличается от других способов передачи бремени”. Хавваш рассказала Startup Beat, используя пример того, как менеджеры по персоналу часто используют политику подписания для того, чтобы компания избежала ответственности. “Если у вас есть эта политика и люди ее прочитали и подписали, то, как компания, вы технически не несете ответственности, верно?” – сказала она.

В результате возникает знакомый шаблон, распространенный в корпоративных системах, где ответственность смещается, а не устраняется. Хавваш видит это как ленивый выход, который избегает критического мышления или понимания областей, где это может повлиять на людей или сообщества. “Итак, вы передаете бремя, и тогда не важно, понимают ли люди политику, не важно, имеет ли политика смысл”.

В этом контексте “человек в цикле” рискует стать менее значимым вмешательством и более процедурным прикрытием. Опасность здесь не только семантическая. Когда надзор сводится к подписанию, человеческая роль становится символической, а не существенной.

Хавваш ссылалась на недавнюю военную трагедию – школу в Минабе, Иран – где люди одобрили удар, но присутствие человеческого принятия решений не обязательно означало этическую ясность или адекватное обсуждение. “Когда вы находитесь в войне или проводите сложную операцию, у вас нет роскоши времени, чтобы использовать человека в цикле как щит”.

2. Проектирование для ответственности, а не только надзора

Альтернатива не заключается в отказе от систем “человек в цикле”, а в том, чтобы воспринимать их серьезно как обязательства по проектированию. Это означает движение за пределы символического надзора к намеренным структурам ответственности.

“Есть большая гонка, чтобы получить больше ИИ прямо на рынок. Не много размышлений с точки зрения проектирования, например, какое влияние на сообщества, людей или конечных пользователей”, – сказала Хавваш.

Скорость стала доминирующей конкурентной переменной. В этой гонке ответственность часто откладывается, а не встраивается. Результатом является реактивная модель этики, когда исправление проблем происходит после развертывания, а не во время разработки.

Доступность может ускорить принятие, но она также приводит к более усиленным последствиям. Системы больше не ограничены техническими пользователями, поскольку они могут формировать решения для людей с разным уровнем понимания и контекста. В такой среде ответственность не может быть передана конечному пользователю.

3. Человек в цикле как точность и подотчетность

Абхай Гупта, сооснователь Frizzle, предлагает более оперативную перспективу – одну, основанную на построении системы, где человеческий надзор является одновременно практичным и необходимым.

Его компания возникла из конкретной проблемы: перегруженные учителя. “В городе вы слышите о банкирах и консультантах, работающих 70 часов в неделю, но вы не слышите об учителях, работающих столько же. Итак, из любопытства мы интервьюировали сотни учителей, и по всей доске оценка была их самым большим временем потока”.

Автоматизация оценки может показаться простой, но сложность рукописной математики вводит реальные ограничения для ИИ. “Есть проблема точности. ИИ не идеален, поэтому мы построили систему с человеком в цикле. Если ИИ не уверен – как в случае с неаккуратным почерком – он помечает его для учителя на рассмотрение и утверждение или отклонение”.

Здесь человеческая роль не只是 декоративная. Система явно определяет свою собственную неопределенность и направляет эти случаи к человеку. “Для нас это вопрос точности. Всегда будут случаи на грани – может быть, 1-3% – где ИИ испытывает трудности, поэтому человек должен вмешаться”.

Этот подход переформулирует человека в цикле как механизм контроля качества. Но Гупта идет дальше: “В своей основе ИИ не является 100% точным – он может галлюцинировать или производить неправильные выводы. Человек в цикле действует как окончательный контроль качества перед тем, как результаты достигнут конечного пользователя. Это также вопрос ответственности. Кто-то должен нести ответственность за вывод, и сейчас это все еще должен быть человек”.

Важно, что человеческая роль также сохраняет нечто менее количественное: отношение аспект обучения. “Это также о сохранении человеческой стороны обучения. Учителя имеют разные стили, поэтому мы позволяем им настраивать, как обратная связь доставляется”.

Переопределение человека в цикле

Фраза “человек в цикле” несет в себе успокаивающую простоту. Она предполагает, что независимо от того, насколько совершенными становятся наши системы, человек остается в контроле, и мы не просто “призраки в машине”. Но по мере того, как стартапы все чаще развертывают ИИ в высокорисковых средах, это уверенность требует проверки.

Более глубокая проблема заключается в проектировании. Если риски системы плохо поняты или намеренно минимизированы, вставка человека в конец мало что делает, чтобы исправить фундаментальные недостатки. Критически важно, что это также означает определение роли человека не как запасного, а как неотъемлемой части работы системы. Человек в цикле не должен просто утверждать результат. Стартапы должны стремиться расширить полномочия своего персонала, чтобы формировать их, бросать им вызов и, когда это необходимо, отменять их с полномочиями.