Взгляд Anderson

Красота-фильтры являются потенциальным инструментом атаки глубоких фейков

mm
Добавьте Unite.AI в избранные источники в Google
Sources: https://www.youtube.com/watch?v=gtCpea_5qxw and https://www.youtube.com/watch?v=3wVpVH0Wa6E

Красота-фильтры теперь делают больше, чем просто скрывают недостатки: они могут помочь глубоким фейкам и морфингам обмануть системы обнаружения. Новое исследование показывает, что даже незначительные эффекты сглаживания могут запутать детекторы ИИ, делая фальшивые изображения похожими на реальные, а реальные – на фальшивые. Если эта тенденция продолжится, красота-фильтры могут столкнуться с ограничениями в контекстах с высокими ставками, от контроля границ до корпоративных видеозвонков.

 

В совместном исследовании 2024 года между Испанией и Италией исследователи сообщили, что 90% женщин в возрасте от 18 до 30 лет использовали красота-фильтры перед публикацией изображений в социальных сетях. В этом смысле красота-фильтры являются алгоритмическими или поддерживаемыми ИИ методами изменения внешности лица, чтобы оно было якобы улучшено по сравнению с исходным источником:

Из исследования 2024 года: пример женского (слева) и мужского (справа) лиц до и после красоты-фильтра. Фильтр изменил такие черты, как тон кожи, глаза, нос, губы, подбородок и скулы, чтобы повысить воспринимаемую привлекательность. Источник: https://arxiv.org/pdf/2407.11981

Из исследования 2024 года: пример женского (слева) и мужского (справа) лиц до и после красоты-фильтра. Фильтр изменил такие черты, как тон кожи, глаза, нос, губы, подбородок и скулы, чтобы повысить воспринимаемую привлекательность. Источник: https://arxiv.org/pdf/2407.11981

Такие фильтры также широко доступны в виде родной или дополнительной функциональности в популярных видеосистемах, включая Snapchat и Zoom, предлагая возможность сгладить “неидеальную” кожу и даже изменить возраст субъекта, до такой степени, что идентичность может быть значительно изменена:

Нажмите, чтобы воспроизвести: три женщины выключают свои видео-“украшения” фильтры, показывая, насколько их физиономия изменяется алгоритмами или ИИ. Источник: https://www.youtube.com/watch?v=gtCpea_5qxw

Это явление, казалось, достигло точки насыщения, как только технология стала относительно зрелой; исследование 2020 года из City University of London показало, что 90% молодых пользователей Snapchat в США, Франции и Великобритании использовали фильтры в своих приложениях, в то время как Meta сообщила, что более 600 миллионов молодых людей использовали фильтры на Facebook или Instagram.

Изучая негативные эффекты таких фильтров на психическое здоровье, отчет Psychology Today отметил, что среди изученных 90% молодых женщин в возрасте 20 лет либо использовали фильтры, либо в некотором смысле редактировали свои фотографии. Самые популярные фильтры были теми, которые выравнивали тон кожи; давали загорелый вид; отбеливали зубы; и даже уменьшали размер тела.

Лицом к лицу

Поскольку фильтры лица готовы получить выгоду от революции 2025 года в синтезе видео и, более generally, от продолжающегося интереса к этому исследовательскому сектору, степень, в которой мы можем “пересоздать” или переосмыслить себя в живых видеозвонках, все больше трется о обеспокоенность сообщества безопасности по поводу мошеннических или преступных видеодейпфейков.

Одна из проблем заключается в том, что диапазон ‘легких’ тестов, разработанных в последние годы для раскрытия видеодейпфейкера, который может попытаться обмануть большие суммы денег в корпоративном контексте, неизбежно становится менее эффективным, поскольку эти уязвимости учитываются в обучающих данных и во время вывода:

Нажмите, чтобы воспроизвести: три-четыре года назад махание рукой перед глубоким фейком было надежным тестом для видеозвонков, но мы видим, что целенаправленные усилия со стороны TikTok делают глубокие прорывы в классические “признаки”. Источники: Ibid и https://archive.is/mofRV#wavehands

Более критично, широкое использование фильтров изменения/украшения лица запутывает воду для нового и возникающего поколения детекторов глубоких фейков, задачей которых является сохранение мошенников вне видеозвонков в конференц-зале и подальше от уязвимых потенциальных жертв ‘похищения’ и ‘импостора’ мошенничества.

Легче сделать глубокий фейк убедительным, будь то фото или видео, если разрешение изображения низкое или изображение каким-то образом ухудшено, поскольку лежащая в основе система фейков может скрыть свои собственные недостатки за видимыми проблемами с подключением или платформой.

По сути, наиболее популярные красота-фильтры удаляют некоторые из наиболее полезных материалов для выявления видеодейпфейков, таких как текстура кожи и другие детали лица – и стоит рассмотреть, что чем старше лицо, тем больше таких деталей оно, вероятно, содержит, и поэтому использование фильтров омоложения может быть особой соблазном в этом случае.

Если бездетальный 'андроидный' вид является модным, детекторы глубоких фейков могут не иметь материала, который им нужен, чтобы различать реальные и фальшивые изображения и видеоперсонажи. Источник: https://www.instagram.com/reel/DMyGerPtTPF/?hl=en

Если бездетальный ‘андроидный’ вид является модным, детекторы глубоких фейков могут не иметь материала, который им нужен, чтобы различать реальные и фальшивые изображения и видеоперсонажи. Источник: https://www.instagram.com/reel/DMyGerPtTPF/?hl=en

Бумага Королевского общества конца 2024 года Что красиво, то хорошо: эффект ореола привлекательности в эпоху красоты-фильтров подтвердила, что использование фильтров повсеместно увеличивает общую привлекательность как для мужчин, так и для женщин (хотя повышенная привлекательность склонна снижать общую оценку интеллекта у женщин с красоты-фильтрами).

Следовательно, можно сказать, что это популярная технология; что она работает; и что это было бы своего рода культурным шоком, если бы она вдруг стала предметом ограничений безопасности или была запрещена в различных контекстах.

Однако в период, когда видеодейпфейки угрожают стать неотличимыми от настоящих видео-участников, как внешне, так и по речи, возможно, что глобальный “шум” от красота-фильтров может потребоваться смягчить в будущем по причинам безопасности.

Гладкие преступники

Проблема была наиболее недавно изучена в новой работе из Университета Кальяри в Италии, озаглавленной Обманчивая красота: оценка воздействия красота-фильтров на обнаружение глубоких фейков и морфинговых атак.

В новом исследовании исследователи применили красота-фильтры к лицам из двух эталонных наборов данных и протестировали несколько детекторов глубоких фейков и морфинговых атак на исходных и измененных изображениях.

Почти в каждом случае точность обнаружения снизилась после украшения; наиболее драматические падения произошли, когда фильтры сгладили морщины, осветлили тон кожи или незначительно изменили черты лица. Эти изменения удалили или искажали те подсказки, на которые полагаются модели обнаружения.

Например, лучшая модель на MorphDB потеряла более 9% точности после фильтрации, и проблема сохранялась на нескольких архитектурах обнаружения, указывая на то, что текущие системы не являются устойчивыми к обычным косметическим улучшениям.

Авторы заключили:

‘[Красота-]фильтры представляют угрозу для целостности биометрической аутентификации и систем судебной экспертизы, делая обнаружение глубоких фейков и морфинговых атак в таких условиях критической открытой задачей.

‘Будущая работа должна уделять приоритетное внимание разработке систем обнаружения цифровых манипуляций, которые являются устойчивыми к таким тонким, реальным изменениям, будь то злонамеренные или нет, для обеспечения надежного распознавания идентичности и проверки контента в повседневных и критических контекстах.’

Метод и данные

Чтобы оценить, как красота-фильтры влияют на обнаружение глубоких фейков и морфов, исследователи применили прогрессивный фильтр сглаживания и протестировали результаты на двух эталонных свёрточных нейронных сетях (CNN), связанных с целевой задачей: AlexNet и VGG19.

Каждая из двух эталонных наборов данных, протестированных, содержала примеры подходящих манипуляций с лицом. Первый был CelebDF, крупномасштабный видеоэталон, в котором представлены 590 реальных и 5 639 поддельных клипов, созданных с помощью передовых методов обмена лицами. Коллекция предлагает разнообразный диапазон условий освещения, поз головы и естественных выражений на 59 человек, что делает его хорошо подходящим для оценки устойчивости детекторов глубоких фейков в реальных медиасценариях:

Примеры затронутых лиц, из CelebDF. Источник: https://github.com/yuezunli/celeb-deepfakeforensics

Примеры затронутых лиц, из CelebDF. Источник: https://github.com/yuezunli/celeb-deepfakeforensics

Второй был AMSL (требуется регистрация), набор данных морфинговых атак, созданный из коллекции Face Research Lab London коллекции, содержащей как реальные, так и синтетически смешанные лица. Набор данных включает нейтральные и улыбающиеся выражения от 102 субъектов и был структурирован для отражения реалистичных задач для систем биометрической аутентификации, используемых в контекстах, таких как контроль границ.

Изображения из исходного набора данных Face Research Lab London (FRLL), используемого в AMSL. Источник: https://figshare.com/articles/dataset/Face_Research_Lab_London_Set/5047666?file=8541955

Изображения из исходного набора данных Face Research Lab London (FRLL), используемого в AMSL. Источник: https://figshare.com/articles/dataset/Face_Research_Lab_London_Set/5047666?file=8541955

Каждая сеть была обучена на 80% набора данных глубоких фейков или морфинговых атак, а оставшиеся 20% использовались для валидации. Чтобы протестировать устойчивость к украшению, исследователи затем применили прогрессивный фильтр сглаживания к тестовым изображениям, увеличивая радиус размытия от 3% до 5% высоты лица:

Примеры лиц из наборов данных CelebDF (вверху) и AMSL (внизу), показанные до и после применения сглаживающего красота-фильтра. Радиус фильтра был масштабирован относительно высоты лица, с c = 3% и c = 5%, производящими прогрессивно более сильные эффекты.

Примеры лиц из наборов данных CelebDF (вверху) и AMSL (внизу), показанные до и после применения сглаживающего красота-фильтра. Радиус фильтра был масштабирован относительно высоты лица, с c = 3% и c = 5%, производящими прогрессивно более сильные эффекты.

Что касается метрик, каждая модель оценивалась с использованием коэффициента равных ошибок (EER) на исходных и украшенных тестовых образцах. Анализ также сообщил о коэффициенте ошибок классификации бонифидных презентаций (BPCER) или коэффициенте ложных положительных результатов и коэффициенте ошибок классификации атакующих презентаций (APCER) или коэффициенте ложных отрицательных результатов, используя порог, установленный на исходных данных.

Морфированные лица из набора данных AMSL.

Чтобы еще больше оценить производительность, была изучена площадь под кривой ROC (AUC) и распределения баллов для реальных и фальшивых изображений.

Тесты

В результатах обнаружения глубоких фейков обе сети показали растущие коэффициенты равных ошибок по мере увеличения интенсивности украшения. EER AlexNet возрос с 22,3% на исходных изображениях до 28,1% на самом высоком уровне сглаживания, в то время как EER VGG19 увеличился с 30,2% до 35,2%. Снижение производительности следовало разным закономерностям в каждом случае:

Результаты обнаружения глубоких фейков на наборе данных CelebDF с использованием AlexNet и VGG19. Обе модели были протестированы на исходных и украшенных изображениях с возрастающей степенью сглаживания лица. Метрики включают коэффициент равных ошибок (EER), коэффициент ошибок классификации бонифидных презентаций (BPCER) и коэффициент ошибок классификации атакующих презентаций (APCER), используя пороги, фиксированные из исходного тестового набора. Точность обнаружения снизилась по мере увеличения интенсивности украшения, хотя закономерность ухудшения различалась между архитектурами.

Результаты обнаружения глубоких фейков на наборе данных CelebDF с использованием AlexNet и VGG19. Обе модели были протестированы на исходных и украшенных изображениях с возрастающей степенью сглаживания лица. Метрики включают коэффициент равных ошибок (EER), коэффициент ошибок классификации бонифидных презентаций (BPCER) и коэффициент ошибок классификации атакующих презентаций (APCER), используя пороги, фиксированные из исходного тестового набора. Точность обнаружения снизилась по мере увеличения интенсивности украшения, хотя закономерность ухудшения различалась между архитектурами.

По мере увеличения украшения AlexNet стала более склонна ошибочно принимать реальные лица за фейки, что показано постоянным ростом ее коэффициента ложных положительных результатов (BPCER). VGG19, с другой стороны, в основном испытывала трудности с обнаружением самих фейков, с растущим коэффициентом ложных отрицательных результатов (APCER). Обе модели реагировали по-разному на фильтры, указывая на то, что даже хорошо известные архитектуры могут терпеть неудачу по-разному при столкновении с косметическими изменениями.

Чтобы лучше понять эти результаты, исследователи применили фильтр украшения отдельно к реальным и фальшивым изображениям и измерили влияние на производительность обнаружения. Этот анализ, показанный в таблице результатов ниже, уточняет источник уязвимости каждой модели:

Точность обнаружения для AlexNet и VGG19 при частичном украшении на наборе данных CelebDF. Таблица сообщает о трех сценариях: украшенные реальные vs украшенные фейки (F-Real vs F-Fake); украшенные реальные vs исходные фейки (F-Real vs O-Fake); и исходные реальные vs украшенные фейки (O-Real vs F-Fake), с уменьшением точности, указывающим на снижение производительности детектора. AlexNet была наиболее затронута, когда реальные изображения были украшены, в то время как VGG19 испытывала трудности, когда украшение применялось к фейкам.

Точность обнаружения для AlexNet и VGG19 при частичном украшении на наборе данных CelebDF. Таблица сообщает о трех сценариях: украшенные реальные vs украшенные фейки (F-Real vs F-Fake); украшенные реальные vs исходные фейки (F-Real vs O-Fake); и исходные реальные vs украшенные фейки (O-Real vs F-Fake), с уменьшением точности, указывающим на снижение производительности детектора. AlexNet была наиболее затронута, когда реальные изображения были украшены, в то время как VGG19 испытывала трудности, когда украшение применялось к фейкам.

Для AlexNet производительность обнаружения снизилась, когда реальные изображения были украшены, но улучшилась, когда только фейки были сглажены. Для VGG19 производительность слегка улучшилась с украшенными реальными изображениями, но ухудшилась, когда фейки были отфильтрованы. Во всех случаях более сильное украшение снизило точность.

Боксплоты, показывающие распределения баллов вывода AlexNet и VGG19 на реальных и фальшивых образцах из набора данных CelebDF, при возрастающей степени украшения. По мере интенсификации сглаживания распределения баллов для реальных и фальшивых изображений становятся менее различимыми, указывая на снижение надежности обнаружения. AlexNet становится менее уверенной в идентификации реальных лиц, в то время как VGG19 становится более склонной неправильно классифицировать фейки.

Боксплоты, показывающие распределения баллов вывода AlexNet и VGG19 на реальных и фальшивых образцах из набора данных CelebDF, при возрастающей степени украшения. По мере интенсификации сглаживания распределения баллов для реальных и фальшивых изображений становятся менее различимыми, указывая на снижение надежности обнаружения. AlexNet становится менее уверенной в идентификации реальных лиц, в то время как VGG19 становится более склонной неправильно классифицировать фейки.

Украшение сделало баллы вывода AlexNet более униформированными на обоих реальных и фальшивых образцах, в то время как VGG19 показала большее разнообразие внутри каждого класса. Несмотря на эти противоположные эффекты на вариативность баллов, обе модели потеряли точность. Для AlexNet баллы для реальных лиц сместились ближе к баллам фейков. Для VGG19 баллы для реальных и фальшивых изображений начали перекрываться, снижая способность модели различать их.

В статье говорится:

‘Эти результаты имеют важные последствия и показывают, что необходимо учитывать потенциальное использование красота-фильтров в обнаружении глубоких фейков, поскольку они могут иметь непредсказуемое влияние на производительность. В частности, разные архитектуры реагируют по-разному на манипуляции с лицом, даже если эти манипуляции не предназначены для обмана.

‘Например, в зависимости от конкретного детектора глубоких фейков красота-фильтры могут значительно изменить вывод, делая реальные изображения похожими на фейки и, более критично, позволяя фейкам обмануть обнаружение.

‘Следовательно, необходимо сосредоточиться на разработке детекторов, более устойчивых к таким тонким, не обязательно злонамеренным изменениям, которые могут служить камуфляжем для злонамеренных манипуляций глубоких фейков.’

В сценарии морфинговой атаки синтетическое изображение было создано путем смешивания черт лица двух людей. Это изображение использовалось для обмана систем распознавания лиц, позволяя обеим исходным идентичностям аутентифицироваться как одному и тому же человеку. Такие атаки считаются особенно актуальными в контекстах безопасности, где биометрические системы могут быть обмануты для принятия морфированного изображения для официальной идентификации.

Таблица выше показывает результаты обнаружения морфинговых атак на изображениях AMSL до и после украшения, с обоими сетями, показывающими крутые увеличения ошибок по мере роста интенсивности сглаживания.

Таблица выше показывает результаты обнаружения морфинговых атак на изображениях AMSL до и после украшения, с обоими сетями, показывающими крутые увеличения ошибок по мере роста интенсивности сглаживания.

В сценарии морфинговой атаки производительность ухудшалась более резко, чем в обнаружении глубоких фейков. EER AlexNet возрос с 27,6% до 41,2%, а EER VGG19 – с 19,0% до 37,3%, в основном из-за ложных положительных результатов: реальные лица, неправильно классифицированные как морфы. При радиусе сглаживания 3% коэффициент ложных положительных результатов VGG19 достиг 90%.

Эта закономерность сохранялась, когда фильтры применялись выборочно. Сглаживание реальных лиц ухудшало обнаружение, в то время как сглаживание только морфированных лиц улучшало результаты. По мере интенсификации сглаживания обе сети показали снижение разделения между реальными и фальшивыми баллами, с VGG19, становящейся особенно нестабильной.

Эти результаты, по мнению авторов, указывают на то, что красота-фильтры могут помочь морфам избежать обнаружения даже более эффективно, чем глубокие фейки, что вызывает серьезные проблемы безопасности.

Частичные примеры (из-за нехватки места) того, как минимальное украшение (радиус сглаживания 3%) изменило классификацию AlexNet. Слева реальное изображение неправильно классифицируется как атака после фильтрации, а справа морфированное изображение неправильно классифицируется как бонифидное после фильтрации.

Частичные примеры (из-за нехватки места) того, как минимальное украшение (радиус сглаживания 3%) изменило классификацию AlexNet. Слева реальное изображение неправильно классифицируется как атака после фильтрации, а справа морфированное изображение неправильно классифицируется как бонифидное после фильтрации.

Наконец, исследователи обнаружили, что даже незначительные красота-фильтры могут существенно ухудшить производительность современных детекторов глубоких фейков и морфов.

Воздействие варьировалось в зависимости от архитектуры, с AlexNet, показывающей постепенное снижение, и VGG19, терпящей неудачу при минимальном фильтре. Поскольку эти фильтры являются общими и не являются по своей сути злонамеренными, их способность скрывать атаки представляет, по мнению авторов, практическую угрозу, особенно в биометрических системах. Статья подчеркивает необходимость моделей обнаружения, устойчивых к таким тонким манипуляциям с изображениями.

Вывод

Одна из причин, почему может быть трудно обучить системы обнаружения глубоких фейков, которые могут игнорировать красота-фильтры, заключается в отсутствии контрастного материала; в конечном итоге “украшенная” версия является той, которая широко распространяется, и, в отличие от видео, которое мы встроили ранее в качестве иллюстрации, очень редко “до” картинка применяется.

Другой препятствием является то, что многие из этих фильтров выполняют именно тот тип сглаживания, который характерен для операций сжатия при сохранении изображений или сжатии видео (благо для пропускной способности поставщиков, помимо цифрового макияжа для тех, кто использует фильтр).

Сектор исследований обнаружения глубоких фейков уже глубоко вовлечен в борьбу с реальными случаями ухудшения изображений из-за проблем, таких как плохое качество камер, чрезмерное сжатие или плохая связь – все такие условия являются прямой выгодой для мошенников глубоких фейков, которые вынуждены работать гораздо усерднее в сценарии с высоким качеством и высоким разрешением.

Будут ли красота-фильтры в конечном итоге восприняты как угроза безопасности, вероятно, будет зависеть от степени, в которой они доказывают препятствием для методов скрининга глубоких фейков или окажутся своего рода де-факто брандмауэром, который больше выигрывает от мошенников, чем от тех, кто с ними борется.

 

Опубликовано впервые в среду, 24 сентября 2025 года

Писатель о машинном обучении, специалист в области синтеза человеческого изображения. Бывший руководитель исследовательского контента в Metaphysic.ai, до его распада в DNEG's Brahma.ai.
Портфолио: martinanderson.ai
Контакт: martin@martinanderson.ai