Новый метод обнаружения глубоких фейков с точностью 99%

Команда компьютерных ученых в Университете Калифорнии в Риверсайде разработала новый метод обнаружения манипулированных выражений лица в видеороликах глубоких фейков. Этот метод может обнаруживать такие выражения с точностью до 99%, что делает его более точным, чем современные методы.

Новая исследовательская работа под названием «Обнаружение и локализация манипуляций с выражением лица» была представлена на зимней конференции по применению компьютерного зрения 2022 года.

Обнаружение любой манипуляции лица

Метод также оказался таким же точным, как и современные методы, в случаях, когда манипулировалась личность лица, а не выражения. Это означает, что новый подход можно использовать для обнаружения любой манипуляции лица и что это значительный шаг на пути к разработке автоматических инструментов для обнаружения манипулированных видеороликов.

Благодаря недавним достижениям в программном обеспечении для редактирования видео никогда не было проще заменить лицо одного человека на лицо другого или изменить исходные выражения. Обнаружение таких методов非常 важно, поскольку они все чаще используются в различных国内ных и международных конфликтах по всему миру. С другой стороны, выявление лиц с только замененными выражениями было чрезвычайно сложной задачей.

Амит Рой-Чаудхури – профессор электротехники и компьютерных наук в колледже Бourns по инженерии. Он также является соавтором исследования.

«То, что делает область исследований глубоких фейков более сложной, – это конкуренция между созданием, обнаружением и предотвращением глубоких фейков, которая станет все более интенсивной в будущем. С дальнейшими достижениями в области генеративных моделей глубокие фейки будут легче синтезировать и труднее отличать от реальных», – сказал он.

Изображение: UC Riverside

Обнаружение манипуляций с выражением (EMD)

Новый метод делит задачу на два компонента внутри глубокой нейронной сети. Первая ветвь распознает выражения лица и предоставляет информацию о регионах, содержащих выражение. Эти регионы могут включать рот, глаза, лоб и многое другое. Эта информация передается во вторую ветвь, которая представляет собой архитектуру кодирования-декодирования, ответственного за обнаружение и локализацию манипуляций.

Команда назвала эту структуру Обнаружение манипуляций с выражением (EMD), и она может обнаруживать и локализовать конкретные регионы, которые были изменены в изображении.

Газал Мазахери – докторант и руководитель исследования.

«Многозадачное обучение может использовать яркие особенности, изученные системами распознавания выражений лица, для улучшения обучения традиционных систем обнаружения манипуляций. Такой подход демонстрирует впечатляющие результаты в обнаружении манипуляций с выражением лица», – сказал Мазахери.

Исследователи провели эксперименты на двух сложных наборах данных манипуляций с лицом и продемонстрировали, что EMD работает лучше с манипуляциями выражения лица, а также с заменами личности. Он точно обнаружил 99% манипулированных видеороликов.