Що насправді означає Human-in-the-Loop?

На початку 20-го століття британський філософ Гілберт Райл придумав термін “привид у машині”. Писавши у Концепції розуму, Райл використовував метафору, щоб спростити дуалізм розуму та тіла, який підтримує існування розуму та тіла як окремих речовин. Для Райла це розділення було помилкою, оскільки когнітивні процеси та фізичні дії були нерозривні, складові однієї системи, а не двох взаємодіючих частин.

З появою штучного інтелекту подібна метафора з’являється, коли мова йде про користувачів інструментів штучного інтелекту для підвищення продуктивності: часто вживаний термін “людина у циклі”. Якщо люди та інтелектуальні системи тепер більш пов’язані, ніж будь-коли, чи будемо ми створювати безшовне з’єднання чи створювати зручну ілюзію контролю?

Стартапи сильно залежать від цієї концепції, щоб говорити про свої інструменти. Хоча це обіцяє інновації та впевненість, реальність часто буває складнішою. Відповідальність легко може стати розмитою, а підзвітність важче простежити.

Когда системи штучного інтелекту проникають глибше у чутливі сфери – від освіти до війни – ставки вже не абстрактні. Що насправді означає людина у циклі та чи це просто евфемізм для того, коли вони зникнуть зовсім?

1. Людина у циклі як щит для відповідальності

Якщо термін людина у циклі використовується недбало, він може стати легким способом перенести відповідальність, не дійсно займаючись нею. Багато людей помітили, що підпис людини в кінці процесу не гарантує етичної цілісності, особливо якщо основна система погано спроектована або недостатньо зрозуміла.

Майса Хавваш, засновниця та генеральний директор Scale X, написала про зміщення відповідальності та прямо говорить про те, як ця концепція часто застосовується. “Це насправді не схоже на інші способи перенесення відповідальності”, – сказала Хавваш Startup Beat, використовуючи приклад того, як менеджери з персоналу часто використовують політику підписання для перенесення відповідальності компанії. “Якщо у вас є така політика та люди її прочитали та підписали, то, як компанія, ви технічно не несете відповідальності, праві?” – сказала вона.

Виникає знайома схема поширення відповідальності через корпоративні системи, де відповідальність переноситься, а не ліквідується. Хавваш бачить це як лазівку, яка уникає критичного мислення або розуміння тих областей, де це може вплинути на людей чи спільноти. “Отже, ви переносите відповідальність, а потім вже не має значення, чи люди розуміють політику, чи політика має сенс”.

У цьому контексті “людина у циклі” ризикує стати менш значимою для змістовної інтервенції та більш про процедурний захист. Небезпека тут не лише семантична. Коли нагляд зводиться до підписання, роль людини стає символічною, а не суттєвою.

Хавваш посилалася на недавню військову трагедію – школу в Мінабі, Іран – де люди схвалили удар, але присутність людини у процесі прийняття рішень не обов’язково означала етичну ясність або адекватне обговорення. “Коли ви у війні або проводите складну операцію, у вас немає часу використовувати людину у циклі як щит”.

2. Проектування для відповідальності, а не лише нагляду

Альтернативою не є відмовитися від системи людини у циклі, а серйозно ставитися до них як до проектних зобов’язань. Це означає рухатися за межі символічного нагляду до свідомих структур відповідальності.

“Є великий похід, щоб швидше вивести штучний інтелект на ринок. Там мало думок про те, який вплив це матиме на спільноти, людей чи кінцевих користувачів”, – сказала Хавваш.

Швидкість стала домінантною конкурентною змінною. У цьому перегонах відповідальність часто відкладається, а не вбудовується. Результатом є реактивна модель етики, де виправлення проблем відбувається після розгортання, а не під час розробки.

Доступність може прискорити прийняття, але це також призводить до більш посиленого впливу. Системи вже не обмежуються технічними користувачами, оскільки вони можуть формувати рішення для людей з різним рівнем розуміння та контексту. У такому середовищі відповідальність не можна передати кінцевому користувачеві.

3. Людина у циклі як точність та підзвітність

Абхай Гупта, співзасновник Frizzle, пропонує більш оперативну перспективу – одну, яка ґрунтується на створенні системи, де нагляд людини є якісним та необхідним.

Його компанія виникла з конкретної проблеми: перевантажені вчителі. “У місті ви чуєте про банкірів та консультантів, які працюють 70 годин на тиждень, але ви не чуєте про вчителів, які працюють так само багато. Отже, з цікавості ми інтерв’ювали сотні вчителів, і по всьому було ясно, що оцінювання було їхнім найбільшим витратом часу”.

Автоматизація оцінювання може здатися простою, але складність рукописних математичних завдань вводить реальні обмеження для штучного інтелекту. “Є питання точності. Штучний інтелект не досконалий, тому ми створили систему людини у циклі. Якщо штучний інтелект не впевнений – наприклад, з нечитабельним рукописом – він позначає це для вчителя до перегляду та затвердження або відхилення”.

Тут роль людини не лише декоративна. Система явно ідентифікує свою власну невизначеність та перенаправляє такі випадки людині. “Для нас це питання точності. Залишаються випадки – можливо, 1-3% – де штучний інтелект бореться, тому людина повинна втрутитися”.

Цей підхід переформулює людину у циклі як механізм контролю якості. Але Гупта йде далі: “У своєму ядрі штучний інтелект не є 100% точним – він може галюцинувати або виробляти неправильні виходи. Людина у циклі діє як остаточний контроль якості перед виходом результатів до кінцевого користувача. Це також питання відповідальності. Хтось повинен бути відповідальним за вихід, і зараз це все ще повинна бути людина”.

Важливо, що роль людини також зберігає щось менш кількісне: відносний аспект викладання. “Це також про збереження людського боку викладання. Вчителі мають різні стилі, тому ми дозволяємо їм налаштовувати, як подається зворотний зв’язок”

Перевизначення Людини у Циклі

Фраза “людина у циклі” несе заспокійливу простоту. Вона підказує, що незалежно від того, наскільки наші системи стають просунутими, людина залишається під контролем, і ми не просто “привиди у машині”. Але коли стартапи все частіше розгортають штучний інтелект у високих ставках середовищ, ця впевненість вимагає перевірки.

Глибша проблема полягає у проектуванні. Якщо ризики системи погано зрозумілі або свідомо занижені, вставляння людини в кінець мало що робить для виправлення фундаментальних недоліків. Насамперед, це також означає визначення ролі людини не як запасного варіанту, а як інтегральної частини системи. Людина у циклі не повинна лише затверджувати результат. Стартапи повинні шукати можливість наділити свій персонал можливістю формувати їх, викликати їх та, коли це необхідно, перевершувати їх авторитетом.