Google Research залучає людей до ухвалення рішень щодо суб’єктивних класифікаторів ШІ

4 листопада 2026 року Google Research представила Agile Deliberation — інтерактивну систему для створення класифікаторів зображень за суб’єктивними категоріями, що супроводжується відкритим кодом і демонстраційним ноутбуком. У дослідженні за участю користувачів, яке складалося з 18 сесій, дослідники повідомили про кращі результати класифікації та менші зусилля порівняно з ручним уточненням запитів.

Система призначена для роботи з категоріями, межі яких залежать від особистих суджень, культурного контексту або робочих правил: здоровою їжею, мистецькими творами, що надихають, і зображеннями клікбейту, які обіцяють оманливу винагороду. В основі системи лежить припущення, що користувачі часто визначають власні критерії ухвалення рішень, розглядаючи складні приклади. У традиційному процесі маркування ці критерії вважають незмінними ще до початку анотування, тож зміни в намірах виявляються у вигляді непослідовних міток або довільних рішень моделі.

Agile Deliberation перетворює уточнюване визначення і на зрозумілу людям специфікацію, і на запит, що керує класифікатором на основі візуально-мовної моделі. Розробка спирається на інтерв’ю з п’ятьма фахівцями з модерації контенту та якісний аналіз 20 визначень із їхніх професійних робочих процесів. Аналіз показав, що спочатку фахівці окреслюють поняття, а потім уточнюють їх за допомогою граничних зображень.

Два етапи спільного уточнення понять

На етапі окреслення поняття початкову ідею розділяють на можливі позитивні й негативні підпоняття. Наприклад, користувач, який створює класифікатор здорової їжі, може включити до нього салати й боули з крупами, а оброблені продукти або сирі, неприготовані інгредієнти — виключити. Кожен вибір підкріплюють репрезентативними зображеннями, а підпоняття, що не описують значущих візуальних закономірностей, можна відкинути до створення першого класифікатора.

На етапі уточнення поняття система шукає семантично граничні зображення, а не просто відбирає випадки, у яких упевненість моделі наближається до 0.5. Дослідники стверджують, що рівень упевненості візуально-мовної моделі може бути погано відкалібрований щодо людського сприйняття неоднозначності: модель може бути впевнена у класифікації зображення, яке людині важко оцінити. Знайдені приклади дедуплікують і групують, а правило багаторукого бандита віддає перевагу кластерам, які раніше допомагали виправляти помилки або давали корисний зворотний зв’язок.

На етапі пошуку неоднозначностей пакет зображень формують навколо однієї зрозумілої проблеми — наприклад, вершкових соусів, вмісту цукру чи розміру порції — і створюють коротке пояснення неоднозначності кожного зображення. Користувачі позначають, чи належать зображення до сфери охоплення, і можуть додавати обґрунтування природною мовою. Система створює альтернативні визначення, перевіряє їх за всіма зібраними до цього моменту мітками, вибирає варіант із найкращим показником F1 і дає змогу редагувати його вручну.

У прототипі Gemini 2.5 Pro використовують для декомпозиції, а Gemini 2.5 Flash — для класифікації, створення запитів щодо граничних випадків і пошуку неоднозначностей. Ці моделі використовували без додаткового навчання чи донавчання, а інтерфейс працює в інтерактивному ноутбуці Colab.

Що показало дослідження за участю користувачів

Дев’ять учасників без професійного досвіду модерації контенту пройшли по дві сесії тривалістю приблизно 90 хвилин: одну з Agile Deliberation, а іншу — з ручним уточненням понять. Порядок використання систем рандомізували. Перевіряли два поняття: здорова їжа та модерація клікбейту за моделлю «плати, щоб грати». Кожна сесія включала близько 45 хвилин роботи над визначенням, анотування 200 відкладених тестових зображень, опитування та 15-хвилинне інтерв’ю. Також порівнювали класифікацію без прикладів і Modeling Collaborator — базовий варіант автоматизованої декомпозиції; учасники, які працювали вручну, могли переглядати докладні запити цієї системи.

У статті повідомляється, що для клікбейту за моделлю «плати, щоб грати» Agile Deliberation підвищила показник F1 на 11% порівняно з базовою класифікацією без прикладів, тоді як за ручного уточнення він зріс на 8% відносно власного базового показника. Для здорової їжі показник F1 зріс на 10% з Agile Deliberation і знизився на 3% за ручного уточнення. Покращення переважно зумовлені підвищенням точності, якому супроводжувало менше зниження повноти. Точність класифікації як окремий показник не використовували, оскільки персоналізовані визначення учасників спричинили незбалансований розподіл міток у тестових даних.

Усі учасники віддали перевагу Agile Deliberation перед ручним уточненням понять. За оцінками учасників, середній рівень зусиль становив 3.11 з Agile Deliberation і 4.67 під час ручної роботи; середні оцінки відчуття невпевненості, стресу чи роздратування дорівнювали відповідно 1.67 і 3.00. Обидві відмінності позначили як статистично значущі за p<.05. Практичне пояснення дали інтерв’ю: користувачам, які працювали вручну, доводилося самостійно вигадувати пошукові запити для знаходження контрприкладів, а деякі з них побоювалися, що зміна запиту, яка виправить одну помилку, погіршить роботу системи в інших випадках.

Обмеження дослідження та доступність коду

Оцінювання має й чіткі обмеження. Автори застерігають, що дев’ять учасників обмежують статистичну потужність і можливість узагальнювати результати. Крім того, кожен учасник працював із двома системами над різними поняттями, щоб визначення, сформоване під час першої сесії, не впливало на другу. Тому суб’єктивний досвід можна було порівнювати в межах групи учасників, а ефективність класифікаторів — лише між групами. У дослідженні не оцінювали внесок окремих компонентів і не перевіряли весь процес на інших генеративних моделях.

Репозиторій із відкритим вихідним кодом містить супровідний код і набір даних, а також покроковий ноутбук Demo.ipynb для Jupyter або Google Colab. Демонстраційний приклад створює індекс пошуку за найближчими сусідами на основі LAION400M. Для перевірки конвеєра стандартна конфігурація завантажує два фрагменти загальним обсягом приблизно 260 МБ; описана конфігурація зі 100 фрагментами потребує близько 13 ГБ. Пошук, завантаження зовнішніх зображень і виклики моделей можуть тривати від кількох секунд до кількох хвилин; для одного ключа API можуть діяти обмеження частоти запитів, а на кількох етапах підтримується кешування на диску. У застереженні в репозиторії зазначено, що це не продукт Google з офіційною підтримкою.

Практичний внесок Agile Deliberation полягає в тому, що суб’єктивний намір стає явною складовою розроблення класифікатора, яку можна переглядати й змінювати. Користувачі можуть перевіряти правила для позитивних і негативних випадків, розглядати граничні випадки, які виявили прогалини, та надавати обґрунтування для змін. Для команд, що займаються модерацією та добором контенту, це означає, що визначення категорії та людські судження, які формують її, стають частиною процесу розроблення класифікатора, доступного для перевірки.