Що таке Human-in-the-loop насправді?

На початку 20-го століття британський філософ Гілберт Райл придумав термін “призрак у машині”. У своїй роботі “Концепція розуму” Райл використовував цю метафору, щоб заперечити проти дуалізму тіла і свідомості, який вважає, що тіло і свідомість існують як окремі речовини. Для Райла це розділення було помилковим, оскільки когнітивні процеси і фізичні дії були нерозривними, складовими однієї системи, а не двох взаємодіючих частин.

З появою штучного інтелекту подібна метафора виникає, коли мова йде про користувачів інструментів штучного інтелекту для підвищення продуктивності: часто вживаний термін “людина у циклі”. Якщо люди і інтелектуальні системи тепер тісно пов’язані, чи будемо ми створювати безшовне з’єднання чи створювати зручну ілюзію контролю?

Стартапи сильно залежать від цієї концепції, коли говорять про свої інструменти. Хоча це обіцяє інновації та впевненість, реальність часто буває складнішою. Відповідальність легко може стати розмитою, а підзвітність важче простежити.

Відповідальність легко може стати розмитою, а підзвітність важче простежити.

1. Людина у циклі як щит для відповідальності

Якщо термін “людина у циклі” вживати недбало, він може стати легким способом перекласти відповідальність, не справляючись з нею серйозно. Багато людей помітили, що людський підпис у кінці процесу не гарантує етичної цілісності, особливо якщо система погано спроектована або недостатньо зрозуміла.

Maysa Hawwash, засновник і генеральний директор Scale X, написала про те, як концепція “людина у циклі” часто використовується для перекладання відповідальності. “Це фактично не схоже на інші способи перекладання відповідальності”. Hawwash сказав Startup Beat, використовуючи приклад того, як менеджери з персоналу часто використовують політику підпису для перекладання відповідальності компанії. “Якщо у вас є така політика і люди її прочитали та підписали, то компанія не несить відповідальності, правда?”

Що виникає, це знайома схема по всім корпоративним системам, де відповідальність перекладається, а не ліквідується. Hawwash вважає це ліньким виходом, який уникає критичного мислення або розуміння областей, де це може вплинути на людей чи громади. “Тому ви перекладаєте відповідальність, і тоді вже не важливо, чи люди розуміють політику, чи політика має сенс”.

У цьому контексті “людина у циклі” ризикує стати менше про значиму втручання і більше про процедурне прикриття. Небезпека тут не тільки семантична. Коли нагляд зменшується до підпису, людська роль стає символічною, а не суттєвою.

Hawwash посилався на недавню військову трагедію – школу в Мінабі, Іран – де люди схвалили удар, але присутність людського рішення не обов’язково означала етичну ясність або адекватне обговорення. “Коли ви перебуваєте у війні чи проводите складну операцію, у вас немає розкоші часу, щоб використовувати людину у циклі як щит”.

2. Проєктування для відповідальності, а не тільки нагляду

Альтернативою не є відмовитися від систем “людина у циклі”, а серйозно ставитися до них як до проєктних зобов’язань. Це означає рухатися далі символічного нагляду до свідомих структур відповідальності.

“Є великий похід, щоб якнайшвидше впровадити штучний інтелект на ринок. Не багато думок про те, який вплив це матиме на громади, людей чи кінцевих користувачів”, – сказав Hawwash.

Швидкість стала домінантною конкурентною змінною. У цьому перегонах відповідальність часто відкладається, а не впроваджується. Результатом є реактивна модель етики, де виправлення проблем відбувається після впровадження, а не під час розробки.

Доступність може прискорити впровадження, але це також призводить до більш помітних наслідків. Системи вже не обмежуються технічними користувачами, оскільки вони можуть формувати рішення для людей з різним рівнем розуміння та контексту. У такому середовищі відповідальність не може бути делегована кінцевому користувачеві.

3. Людина у циклі як точність і підзвітність

Abhay Gupta, співзасновник Frizzle, пропонує більш оперативну перспективу – одну, що ґрунтується на побудові системи, де людський нагляд є як практичним, так і необхідним.

Його компанія виникла з конкретної проблеми: перевантажені вчителі. “У місті ви чуєте про банкірів і консультантів, які працюють 70 годин на тиждень, але ви не чуєте про вчителів, які працюють так само багато. Тому з цікавості ми інтерв’ювали сотні вчителів, і по всьому борту оцінка була їхнім найбільшим витратом часу”.

Автоматизація оцінки може здатися простою, але складність рукописних математичних завдань вводить реальні обмеження для штучного інтелекту. “Є проблема точності. Штучний інтелект не досконалий, тому ми побудували систему “людина у циклі”. Якщо штучний інтелект не впевнений – наприклад, з нечитаемим рукописом – він позначає це для вчителя на перегляд та затвердження або відхилення”.

Тут людська роль не只是 декоративна. Система явно ідентифікує свою власну невизначеність і направляє ці випадки людині. “Для нас це питання точності. Залишаються випадки – можливо, 1-3% – де штучний інтелект бореться, тому людина повинна втрутитися”.

Цей підхід переформулює “людину у циклі” як механізм контролю якості. Але Gupta йде далі: “У своєму ядрі штучний інтелект не є 100% точним – він може галюцинувати або виробляти неправильні виходи. Людина у циклі діє як остаточний контроль якості перед тим, як результати досягають кінцевого користувача. Це також питання відповідальності. Хтось має бути відповідальним за вихід, і зараз це все ще повинна бути людина”.

Важливо, що людська роль також зберігає щось менш кількісне: відносний аспект викладання. “Це також про збереження людського боку викладання. Вчителі мають різні стилі, тому ми дозволяємо їм налаштовувати, як подається зворотний зв’язок”.

Перевизначення Людини у циклі

Фраза “людина у циклі” несе в собі заспокійливу простоту. Вона припускає, що незалежно від того, наскільки наші системи стають складними, людина залишається під контролем, і ми не просто “призраки у машині”. Але оскільки стартапи все частіше впроваджують штучний інтелект у високоризикові середовища, ця впевненість потребує перевірки.

Глибша проблема полягає у проєктуванні. Якщо ризики системи погано зрозумілі або свідомо занижені, вставляння людини на кінцевому етапі мало що робить для виправлення фундаментальних недоліків. Що важливо, це означає визначення ролі людини не як запасного варіанту, а як невід’ємної частини роботи системи. Людина у циклі не повинна просто схвалювати результат. Стартапи повинні прагнути наділити свій персонал можливістю формувати їх, викликати їх і, коли це необхідно, перевершувати їх з авторитетом.