Google Research привносит человеческое обсуждение в субъективные классификаторы ИИ

4 ноября 2026 года Google Research представила Agile Deliberation — интерактивную систему для создания классификаторов изображений по субъективным категориям. К ней прилагаются код с открытым исходным кодом и демонстрационный блокнот. По результатам исследования с участием пользователей, включавшего 18 сессий, исследователи сообщили, что система обеспечивает более высокие результаты классификации и требует меньше усилий, чем ручная доработка запросов.

Система предназначена для категорий, границы которых зависят от личных суждений, культурного контекста или рабочих правил: здоровой еды, вдохновляющих произведений искусства и изображений кликбейта, обещающих обманчивое вознаграждение. В основе подхода лежит предположение, что пользователи часто сами определяют границы своих решений, рассматривая сложные примеры. В традиционном процессе разметки эти границы считают заданными ещё до начала аннотирования, поэтому изменения намерений проявляются в непоследовательной разметке или произвольных решениях модели.

Agile Deliberation преобразует меняющееся определение категории в понятную человеку спецификацию, а также в запрос, на основе которого классификатор работает с моделью «зрение — язык». При разработке системы учитывались интервью с пятью экспертами по модерации контента и качественный анализ 20 определений из их профессиональной практики. Анализ показал, что сначала эксперты очерчивают границы понятий, а затем уточняют их на примерах изображений, находящихся на границе категорий.

Два этапа обсуждения понятий

На этапе определения границ понятие разделяют на предполагаемые положительные и отрицательные подклассы. Например, пользователь, создающий классификатор здоровой еды, может включить в него салаты и боулы с крупами, исключив обработанные продукты или сырые, не приготовленные ингредиенты. Каждый выбор иллюстрируют типичные изображения, а подклассы, не описывающие значимые визуальные признаки, можно отбросить до создания первого классификатора.

Затем при уточнении понятия система ищет изображения, семантически находящиеся на границе категорий, а не просто выбирает примеры, для которых уверенность модели приближается к 0,5. Исследователи отмечают, что уверенность модели «зрение — язык» может плохо соответствовать неоднозначности, которую воспринимает человек: модель может быть уверена в классификации изображения, которое человеку кажется сложным. Найденные примеры очищают от дубликатов и группируют; правило многорукого бандита отдаёт предпочтение кластерам, которые ранее помогали исправлять ошибки или давали полезную обратную связь.

На этапе поиска неоднозначностей изображения в пакете группируются вокруг одной понятной темы — например, сливочных соусов, содержания сахара или размера порции, — а для каждого изображения создаётся краткое объяснение его неоднозначности. Пользователи отмечают, относится ли изображение к заданной категории, и могут добавить пояснения на естественном языке. Система генерирует альтернативные определения, проверяет их по всем собранным к этому моменту меткам, выбирает вариант с наилучшей оценкой F1 и позволяет редактировать его вручную.

В прототипе для декомпозиции используется Gemini 2.5 Pro, а для классификации, поиска пограничных примеров и выявления неоднозначностей — Gemini 2.5 Flash. Эти модели использовались без дополнительного обучения или тонкой настройки, а интерфейс работает в интерактивном блокноте Colab.

Результаты исследования с участием пользователей

Девять участников без профессионального опыта модерации контента прошли по две сессии продолжительностью около 90 минут: одну с Agile Deliberation и одну с ручным обсуждением. Порядок работы с системами определялся случайным образом. Проверялись два понятия: здоровая еда и модерация кликбейта с оплатой за просмотр. Каждая сессия включала около 45 минут работы над определением, разметку 200 отложенных тестовых изображений, опрос и 15-минутное интервью. В сравнение также вошли классификация без примеров и Modeling Collaborator — базовый вариант с автоматической декомпозицией; участники, работавшие вручную, могли обращаться к подробным запросам этой системы.

В статье сообщается, что для категории «оплата за просмотр» Agile Deliberation повысила оценку F1 на 11% относительно базового результата классификации без примеров, тогда как при ручном обсуждении улучшение относительно собственного базового результата составило 8%. Для категории здоровой еды показатели изменились на 10% в лучшую сторону при использовании Agile Deliberation и снизились на 3% при ручном обсуждении. Улучшения были в основном обусловлены повышением точности, сопровождавшимся менее значительным снижением полноты. Точность классификации не использовалась, поскольку персонализированные определения участников привели к несбалансированному распределению меток в тестовых данных.

Все участники предпочли Agile Deliberation ручному обсуждению. По оценкам участников, средний уровень усилий составил 3,11 при работе с Agile Deliberation против 4,67 при ручной работе; средние оценки ощущения неуверенности, стресса или раздражения составили соответственно 1,67 и 3,00. Оба различия были обозначены как статистически значимые при p<0,05. Интервью помогли объяснить эти результаты на практике: пользователям ручного метода приходилось самим придумывать поисковые запросы для нахождения контрпримеров, а некоторые опасались, что изменение запроса, исправляющее одну ошибку, ухудшит работу системы в других случаях.

Ограничения исследования и доступность кода

У исследования есть и существенные ограничения. Авторы предупреждают, что девять участников — слишком мало для высокой статистической мощности и широкого обобщения результатов. Кроме того, каждый участник работал с двумя системами над разными понятиями, чтобы сформированное определение не повлияло на вторую сессию. Поэтому субъективный опыт можно было сравнить внутри группы участников, а качество классификации — только между группами. В исследовании не оценивался вклад отдельных компонентов и не проверялась работа всего конвейера с другими генеративными моделями.

В репозитории с открытым исходным кодом находятся сопутствующие кодовая база и набор данных, а также пошаговый блокнот Demo.ipynb для Jupyter или Google Colab. Демонстрационный пример создает индекс поиска методом ближайших соседей по набору данных LAION400M. При настройках по умолчанию для проверки конвейера загружаются два шарда общим объемом около 260 МБ; согласно документации, конфигурация со 100 шардами занимает около 13 ГБ. Поиск, загрузка изображений из внешних источников и вызовы моделей могут занимать от нескольких секунд до нескольких минут; на один ключ API может распространяться ограничение частоты запросов, а на нескольких этапах поддерживается кэширование на диск. В оговорке к репозиторию указано, что это не продукт Google с официальной поддержкой.

Практический вклад Agile Deliberation состоит в том, что субъективное намерение становится явной и подлежащей пересмотру частью разработки классификатора. Пользователи могут изучать правила для положительных и отрицательных примеров, рассматривать пограничные случаи, выявившие пробелы, и обосновывать предлагаемые изменения. Для команд, занимающихся модерацией и отбором материалов, это означает, что определение категории и формирующие его суждения людей становятся частью процесса разработки классификатора, доступной для изучения.