Взгляд Anderson
Модели глубокого обучения могут испытывать трудности с распознаванием изображений, сгенерированных ИИ

Ключевые моментыМодели ИИ показывают значительно худшие результаты на синтетических изображениях по…
Показать больше
- Модели ИИ показывают значительно худшие результаты на синтетических изображениях по сравнению с реальными, что создаёт риски для будущего качества данных.
- Синтетические изображения могут ухудшить точность моделей, поскольку они массово попадают в обучающие наборы данных без соответствующей маркировки.
- Все протестированные модели распознавания объектов демонстрировали одинаковые паттерны ошибок на определённых категориях сгенерированных ИИ изображений.
Новые исследования показывают, что современные модели ИИ значительно хуже распознают и интерпретируют изображения, сгенерированные ИИ, по сравнению с людьми. Это может стать проблемой в будущем, когда модели машинного обучения будут все чаще тренироваться на синтетических данных, и не всегда будет известно, являются ли данные “реальными” или нет.

Здесь мы видим модель предсказания resnext101_32x8d_wsl, испытывающую трудности в категории ‘бублик’. В тестах неудача распознавания считалась произошедшей, если основное целевое слово (в данном случае ‘бублик’) не было включено в топ-5 предсказанных результатов. Источник: https://arxiv.org/pdf/2208.10760.pdf
Новые исследования проверили две категории компьютерных моделей распознавания: распознавание объектов и визуальные ответы на вопросы (VQA).

Слева: успехи и неудачи системы распознавания объектов; справа: задачи VQA, предназначенные для изучения понимания ИИ сцен и изображений более исследовательским и значимым образом. Источники: https://arxiv.org/pdf/2105.05312.pdf и https://arxiv.org/pdf/1505.00468.pdf
Из десяти современных моделей, протестированных на наборах данных, сгенерированных фреймворками DALL-E 2 и Midjourney, лучшая модель смогла достичь только 60% и 80% точности в топ-5 результатов, тогда как ImageNet, обученная на реальных данных, может достичь 91% и 99% в тех же категориях, а человеческая точность обычно значительно выше.
Решая проблемы, связанные со сдвигом распределения (также известным как “дрейф модели”, когда модели предсказания испытывают снижение прогностической способности при переходе от обучающих данных к “реальным” данным), автор статьи заявляет:
‘Люди способны распознавать сгенерированные изображения и отвечать на вопросы о них легко. Мы заключаем, что а) глубокие модели испытывают трудности с пониманием сгенерированного контента и могут улучшиться после дообучения, и б) существует большой сдвиг распределения между сгенерированными изображениями и реальными фотографиями. Сдвиг распределения, кажется, зависит от категории.’
Учитывая объем синтетических изображений, уже наводнивших интернет после сенсационного открытия исходного кода на прошлой неделе мощной модели синтеза латентной диффузией Stable Diffusion, возникает возможность того, что эти “фальшивые” изображения могут повлиять на точность отраслевых наборов данных, таких как Common Crawl, и существенно изменить колебания точности с течением лет.
Хотя синтетические данные были провозглашены потенциальным спасением дефицитного сектора компьютерного зрения, который часто испытывает нехватку ресурсов и бюджетов для отбора и организации данных в огромном масштабе, новый поток изображений Stable Diffusion (вместе с общим ростом синтетических изображений с момента появления и коммерциализации DALL-E 2) вряд ли будут сопровождаться полезными метками, аннотациями и хэштегами, отличающими их как “фальшивые” на момент, когда жадные системы машинного зрения будут их собирать из интернета.
Скорость разработки в открытом исходном коде фреймворков синтеза изображений заметно опережает нашу способность категоризировать изображения из этих систем, что привело к растущему интересу к системам обнаружения “фальшивых” изображений, аналогичных системам обнаружения глубоких фейков, но предназначенным для оценки целых изображений, а не только участков лица.
Новая статья под названием Насколько хорошо глубокие модели понимают сгенерированные изображения написана Али Борджи из сан-францисской компании машинного обучения Quintic AI.
Данные
Исследование предшествует выпуску Stable Diffusion, и эксперименты используют данные, сгенерированные DALL-E 2 и Midjourney, по 17 категориям, включая слон, гриб, пицца, бретцель, трактор и кролик.

Примеры изображений, из которых тестируемые системы распознавания и VQA были вынуждены определить наиболее важную ключевую концепцию.
Изображения были получены через поиск в интернете и Twitter, и, в соответствии с политикой DALL-E 2 (по крайней мере, на момент исследования), не включали изображения с человеческими лицами. Были выбраны только изображения высокого качества, распознаваемые людьми.
Были созданы два набора изображений, один для задач распознавания объектов, другой для задач VQA.

Количество изображений в каждой тестируемой категории для распознавания объектов.
Тестирование распознавания объектов
Для тестов распознавания объектов были протестированы десять моделей, все обученные на ImageNet: AlexNet, ResNet152, MobileNetV2, DenseNet, ResNext, GoogleNet, ResNet101, Inception_V3, Deit и ResNext_WSL.
Некоторые классы в тестируемых системах были более детальными, чем другие, что потребовало применения усредненных подходов. Например, ImageNet содержит три класса, связанных с “часами”, и было необходимо определить некоторый арбитражный критерий, где включение любых “часов” в топ-5 полученных меток для любого изображения считалось успехом в этом случае.

Результаты моделей по 17 категориям.
Лучшей моделью в этом раунде стала resnext101_32x8d_ws, достигшая почти 60% для топ-1 (т.е. случаев, когда ее предпочтительное предсказание из пяти попыток было правильной концепцией, воплощенной в изображении) и 80% для топ-5 (т.е. когда желаемая концепция была хотя бы перечислена где-то в пяти попытках модели).
Автор предполагает, что эта модель показала хорошую производительность благодаря тому, что она была обучена для слабо-наблюдаемого предсказания хэштегов в социальных сетях. Однако эти ведущие результаты, отмечает автор, заметно ниже того, чего может достичь ImageNet на реальных данных, т.е. 91% и 99%. Он предполагает, что это связано с большим расхождением между распределением изображений ImageNet (которые также собраны из интернета) и сгенерированными изображениями.
Пять наиболее трудных категорий для системы, в порядке трудности, были воздушный змей, черепаха, белка, солнцезащитные очки и шлем. Статья отмечает, что класс воздушный змей часто путается с шаром, парашютом и зонтиком, хотя эти различия легко различимы для человеческих наблюдателей.
Определенные категории, включая воздушный змей и черепаху, вызвали универсальную неудачу во всех моделях, в то время как другие (заметно бретцель и трактор) привели к почти универсальному успеху во всех тестируемых моделях.

Поляризующие категории: некоторые из выбранных целевых категорий либо полностью обманули все модели, либо были довольно легко идентифицированы всеми моделями.
Авторы предполагают, что эти результаты указывают на то, что все модели распознавания объектов могут иметь схожие сильные и слабые стороны.
Тестирование визуального ответа на вопросы
Далее автор протестировал модели VQA на открытых и свободно-формулированных вопросах VQA с бинарными вопросами (т.е. вопросами, на которые можно ответить только “да” или “нет”). Статья отмечает, что современные модели VQA могут достичь 95% точности на наборе данных VQA-v2.
Для этого раунда тестирования автор отобрал и подготовил 50 изображений и сформулировал 241 вопрос вокруг них, 132 из которых имели положительные ответы, и 109 отрицательные. Средняя длина вопроса составляла 5,12 слова.
Этот раунд использовал модель OFA, независимый от задач и модальностей фреймворк для проверки понимания задач, недавно занявший первое место на VQA-v2 test-std. Модель OFA показала 77,27% точности на сгенерированных изображениях, по сравнению со своей собственной оценкой 94,7% в наборе данных VQA-v2 test-std.

Примеры вопросов и результатов из раздела VQA тестов. ‘GT’ означает ‘Истинное значение’, т.е. правильный ответ.
Автор статьи предполагает, что часть причины этого может заключаться в том, что сгенерированные изображения содержат семантические концепции, отсутствующие в наборе данных VQA-v2, и что вопросы, написанные для тестов VQA, могут быть более сложными, чем стандартные вопросы VQA-v2, хотя он считает, что первая причина более вероятна.
LSD в потоке данных?
Мнение
Новая распространенность ИИ-синтезированных изображений, которые могут представлять мгновенные соединения и абстракции основных концепций, не существующих в природе, и которые были бы чрезвычайно трудоемкими для производства с помощью традиционных методов, может представлять особую проблему для систем сбора данных со слабым надзором, которые могут не справляться со сбоями корректно, главным образом потому, что они не рассчитаны на обработку больших объемов неразмеченных синтетических данных.
В таких случаях может возникнуть риск того, что эти системы будут собирать определенный процент “странных” синтетических изображений в неправильные классы просто потому, что изображения содержат различные объекты, которые не действительно принадлежат вместе.

‘Астронавт, едущий на лошади’, возможно, стал наиболее эмблематическим визуальным представлением для нового поколения систем синтеза изображений – но такие ‘нереальные’ отношения могут войти в реальные системы обнаружения, если не принять меры. Источник: https://twitter.com/openai/status/1511714545529614338?lang=en
Если это не будет предотвращено на этапе предобработки перед обучением, такие автоматические конвейеры могут привести к тому, что в модели машинного обучения будут обучены неправдоподобные или даже уродливые ассоциации, снижая их эффективность и рискуя передать высокоуровневые ассоциации в последующие системы, подклассы и категории.
Альтернативно, разрозненные синтетические изображения могут оказать “охлаждающий” эффект на точность последующих систем, если в будущем появятся новые или измененные архитектуры, которые попытаются учесть ситуативные синтетические изображения и охватят слишком широкий круг случаев.
В любом случае синтетические изображения в эпоху после Stable Diffusion могут стать головной болью для сектора компьютерного зрения, чьи усилия сделали эти странные творения возможными – не в последнюю очередь потому, что они подвергают опасности надежды сектора на то, что сбор и организация данных могут быть в конечном итоге намного более автоматизированы, чем сейчас, и намного менее трудоемкими и дорогостоящими.
Опубликовано впервые 1 сентября 2022 года.












