Что на самом деле означает Human-in-the-Loop?

В начале 20-го века британский философ Гилберт Райл придумал термин “призрак в машине”. Пишя в Концепции разума, Райл использовал метафору, чтобы возразить против дуализма разума и тела, который утверждает, что разум и тело существуют как отдельные вещества. Для Райла это разделение было ошибкой, поскольку когнитивные процессы и физические действия были неразделимы, являлись частью единой системы, а не двумя взаимодействующими частями.

С появлением ИИ появляется подобная метафора, когда речь идет об использовании инструментов ИИ для повышения производительности: часто используемый “человек в цикле”. Если люди и интеллектуальные системы теперь более связаны, чем когда-либо, строим ли мы бесшовное слияние или создаем удобную иллюзию контроля?

Стартапы сильно полагаются на эту концепцию, чтобы говорить о своих инструментах. Хотя она обещает и инновации, и уверенность, реальность часто более сложна. Ответственность может легко стать размытой, а подотчетность более трудной для отслеживания.

Когда системы ИИ проникают глубже в чувствительные области – от образования до войны – ставки больше не являются абстрактными. Что на самом деле означает человек в цикле и является ли это просто эвфемизмом для того, когда они исчезают совсем?

1. Человек в цикле как щит для ответственности

Используя термин человек в цикле бездумно, можно легко снять ответственность, не действительно взаимодействуя с ней. Как многие заметили, подпись человека в конце процесса не гарантирует этическую целостность, особенно если основная система плохо спроектирована или недостаточно понята.

Майса Хавваш, основатель и генеральный директор Scale X, написала о том, как концепция часто используется для снятия ответственности, и прямо заявила о том, как концепция часто используется. “Это фактически не отличается от других способов передачи бремени”. Хавваш рассказала Startup Beat, используя пример того, как менеджеры по персоналу часто используют политику подписания для того, чтобы компания избежала ответственности. “Если у вас есть эта политика и люди ее прочитали и подписали, то, как компания, вы технически не несете ответственности, верно?” – сказала она.

В результате появляется закономерность, знакомая во всей корпоративной системе, где ответственность смещается, а не устраняется. Хавваш видит это как ленивый выход, который избегает критического мышления или понимания областей, где это может повлиять на людей или сообщества. “Итак, вы смещаете бремя, и тогда не важно, понимают ли люди политику, не важно, имеет ли политика смысл”.

В этом контексте “человек в цикле” рискует стать менее значимым вмешательством и более процедурным прикрытием. Опасность здесь не только семантическая. Когда надзор сводится к подписанию, роль человека становится символической, а не существенной.

Хавваш ссылалась на недавнюю военную трагедию – школу в Минабе, Иран – где люди одобрили удар, но присутствие человека, принимающего решение, не обязательно означало этическую ясность или адекватное обсуждение. “Когда вы находитесь в войне или проводите сложную операцию, у вас нет роскоши времени, чтобы использовать человек в цикле как щит”.

2. Проектирование для ответственности, а не только надзора

Альтернатива заключается не в отказе от систем человека в цикле, а в серьезном отношении к ним как к обязательствам по проектированию. Это означает движение за пределы символического надзора к намеренным структурам ответственности.

“Есть эта большая гонка, чтобы получить больше ИИ на рынок. Есть мало размышлений с точки зрения проектирования, например, о том, какое влияние это окажет на сообщества, людей или конечных пользователей”, – сказала Хавваш.

Скорость стала доминирующей конкурентной переменной. В этой гонке ответственность часто откладывается, а не внедряется. Результатом является реактивная модель этики, где решение проблем происходит после развертывания, а не во время разработки.

Доступность может ускорить принятие, но она также приводит к более усиленным последствиям. Системы больше не ограничиваются техническими пользователями, поскольку они могут формировать решения для людей с различными уровнями понимания и контекста. В такой среде ответственность не может быть передана конечному пользователю.

3. Человек в цикле как точность и подотчетность

Абхай Гупта, сооснователь Frizzle, предлагает более операциональную точку зрения – одну, основанную на построении системы, где человеческий надзор является одновременно практичным и необходимым.

Его компания возникла из конкретной проблемы: перегруженных учителей. “В городе вы слышите о банкирах и консультантах, работающих 70 часов в неделю, но вы не слышите об учителях, работающих столько. Итак, из любопытства мы интервьюировали сотни учителей, и по всему спектру оценка была их самым большим временем затрат”.

Автоматизация оценки может показаться простой, но сложность рукописной математики вводит реальные ограничения для ИИ. “Есть проблема точности. ИИ не идеален, поэтому мы построили систему человека в цикле. Если ИИ не уверен – например, с неаккуратным почерком – он помечает это для учителя, чтобы просмотреть и одобрить или отклонить”.

Здесь роль человека не является просто декоративной. Система явно определяет свою собственную неопределенность и направляет эти случаи к человеку. “Для нас это вопрос точности. Всегда будут случаи на краю – может быть, 1-3% – где ИИ испытывает трудности, поэтому человек должен вмешаться”.

Этот подход переформулирует человек в цикле как механизм контроля качества. Но Гупта идет дальше: “В своей основе ИИ не является 100% точным – он может галлюцинировать или производить неправильные выходные данные. Человек в цикле действует как окончательный контроль качества перед тем, как результаты достигнут конечного пользователя. Это также вопрос ответственности. Кто-то должен быть ответственным за выходные данные, и сейчас это все еще должен быть человек”.

Важно, что роль человека также сохраняет нечто менее количественное: отношение к преподаванию. “Это также о сохранении человеческой стороны преподавания. У учителей разные стили, поэтому мы позволяем им настраивать, как доставляется обратная связь”

Переопределение Человека в цикле

Фраза “человек в цикле” несет в себе успокаивающую простоту. Она предполагает, что независимо от того, насколько совершенными становятся наши системы, человек остается в контроле, и мы не просто “призраки в машине”. Но когда стартапы все чаще развертывают ИИ в высокорисковых средах, эта уверенность требует проверки.

Более глубокая проблема заключается в проектировании. Если риски системы плохо поняты или намеренно минимизированы, вставка человека в конец не делает многое, чтобы исправить фундаментальные недостатки. Важно, что это также означает определение роли человека не как запасного, а как неотъемлемой части работы системы. Человек в цикле не должен просто одобрять результат. Стартапы должны стремиться расширить полномочия своего персонала, чтобы формировать их, бросать им вызов и, когда необходимо, переопределять их с полномочиями.