Що насправді означає людина в циклі?

На початку XX століття британський філософ Гілберт Райл запровадив вислів «привид у машині». У праці «Поняття свідомості» Райл використав цю метафору, щоб заперечити дуалізм свідомості й тіла, за яким вони існують як окремі субстанції. На думку Райла, такий поділ був помилкою: пізнання та фізичні дії нероздільні й належать до єдиної системи, а не до двох частин, які взаємодіють.

Із появою ШІ схожа метафора виникає в розмовах про людей, які користуються його інструментами для підвищення продуктивності: часто вживаний вислів «людина в циклі». Якщо люди та інтелектуальні системи зараз поєднані тісніше, ніж будь-коли, ми створюємо безперервну єдність чи зручну ілюзію контролю?

Стартапи значною мірою спираються на це поняття, розповідаючи про свої інструменти. Воно обіцяє інновації та спокій, однак реальність часто складніша. Відповідальність легко розмивається, а визначити, хто має звітувати за результат, стає важче.

Коли системи ШІ дедалі глибше проникають у чутливі сфери, від освіти до війни, ставки вже не є абстрактними. Що насправді означає «людина в циклі» і чи не є це просто евфемізмом для ситуації, коли люди зникають із процесу зовсім?

1. Людина в циклі як щит від відповідальності

Якщо вживати цей вислів недбало, він може стати легким способом перекласти відповідальність, не ставлячись до неї серйозно. Як зауважує багато людей, підпис людини наприкінці процесу не гарантує етичної доброчесності, особливо якщо основну систему погано спроєктували або недостатньо розуміють.

Майса Хавваш, засновниця та генеральна директорка Scale X, писала про відхід від відповідальності й прямо говорить про те, як часто використовують це поняття. «Насправді це мало відрізняється від інших способів перекладання тягаря», — сказала вона виданню Startup Beat. Як приклад вона навела те, як керівники відділів персоналу часто використовують політику підтвердження підписом, щоб відвести юридичну відповідальність від компанії. «Якщо у вас є така політика, а люди її прочитали й підписали, то технічно компанія не несе відповідальності, чи не так?»

Так постає знайома для корпоративних систем схема: відповідальність переміщується, а не зникає. Хавваш вважає це ледачим виходом, який дозволяє уникати критичного мислення та розуміння того, де наслідки можуть зачепити людей чи громади. «Ви перекладаєте тягар, і після цього вже неважливо, чи розуміють люди політику та чи є в ній сенс».

У такому трактуванні «людина в циклі» ризикує означати не стільки змістовне втручання, скільки процедурне прикриття. Небезпека не лише в значенні слів. Коли нагляд зводять до підпису, роль людини стає символічною замість суттєвої.

Хавваш послалася на нещодавнє воєнне звірство — удар по школі в Мінабі, Іран. Люди схвалили удар, але присутність людини, яка ухвалює рішення, не обов’язково означала етичну ясність чи достатнє обмірковування. «Коли ви на війні або проводите складну операцію, у вас немає розкоші часу, щоб використовувати людину в циклі як щит».

2. Проєктування заради відповідальності, а не лише нагляду

Альтернатива полягає не у відмові від систем із людиною в циклі, а в серйозному ставленні до них як до проєктних зобов’язань. Це означає вихід за межі символічного нагляду до свідомо побудованих структур відповідальності.

«Тривають великі перегони за те, щоб вивести більше ШІ просто на ринок. Із погляду проєктування мало замислюються, наприклад, над подальшим впливом на громади, людей чи кінцевих користувачів», — сказала Хавваш.

Швидкість стала головним чинником конкуренції. У цих перегонах відповідальність часто відкладають, а не закладають у систему. Результатом стає реактивна модель етики: проблеми виправляють після впровадження замість того, щоб передбачати їх під час розробки.

Доступність може прискорювати впровадження, але водночас посилює наслідки. Системи вже не обмежуються технічними користувачами й можуть впливати на рішення людей із різними рівнями розуміння та різними обставинами. У такому середовищі не можна перекласти відповідальність на кінцевого користувача.

3. Людина в циклі як засіб точності та підзвітності

Абхай Гупта, співзасновник Frizzle, пропонує більш практичний погляд, заснований на побудові системи, де людський нагляд є водночас здійсненним і необхідним.

Його компанія виникла через конкретну проблему: перевантажених роботою вчителів. «У місті ви чуєте про банкірів і консультантів, які працюють 70 годин на тиждень, але не чуєте про вчителів, які працюють стільки ж. Тож із цікавості ми опитали сотні вчителів, і в усіх найбільше часу забирало оцінювання робіт».

Автоматизувати оцінювання, здавалося б, просто, але складність написаних від руки математичних робіт створює для ШІ реальні обмеження. «Є проблема точності. ШІ не ідеальний, тому ми створили систему з людиною в циклі. Якщо ШІ не впевнений, наприклад через нерозбірливий почерк, він позначає випадок для перевірки вчителем, який може схвалити чи відхилити результат».

Тут роль людини не суто декоративна. Система явно визначає власну невпевненість і передає такі випадки людині. «Для нас ідеться про точність. Завжди залишатимуться граничні випадки, можливо 1–3%, у яких ШІ матиме труднощі, тож людина повинна втрутитися».

Цей підхід переосмислює людину в циклі як механізм контролю якості. Але Гупта йде далі: «За своєю суттю ШІ не є на 100% точним: він може галюцинувати чи генерувати хибні результати. Людина в циклі — остання перевірка якості перед тим, як результати потраплять до кінцевого користувача. Це також питання відповідальності. Хтось повинен відповідати за результат, і зараз це все ще має бути людина».

Роль людини також зберігає дещо, що важче виміряти: міжособистісний аспект викладання. «Ідеться також про збереження людяності в освіті. Вчителі мають різні стилі, тож ми дозволяємо їм налаштовувати спосіб надання зворотного зв’язку».

Переосмислення людини в циклі

Вислів «людина в циклі» має заспокійливу простоту. Він навіює думку, що, хоч би якими досконалими ставали системи, людина зберігає контроль і ми не просто «привиди в машині». Однак зі зростанням використання ШІ стартапами в середовищах із серйозними наслідками це заспокоєння потребує перевірки.

Глибша проблема полягає у проєктуванні. Якщо ризики системи погано розуміють або навмисно применшують, додавання людини наприкінці майже не виправляє фундаментальних вад. Важливо також визначити роль людини не як резервний варіант, а як невіддільну частину роботи системи. Людина в циклі не повинна лише схвалювати результат. Стартапи мають прагнути наділяти працівників повноваженнями формувати результати, ставити їх під сумнів і за потреби скасовувати їх із реальною владою ухвалювати рішення.