Новий метод виявляє глибокі підробки з точністю 99%

Команда комп’ютерних вчених з Університету Каліфорнії в Ріверсайді розробила новий метод для виявлення маніпульованих виразів обличчя в відеороликах з глибокими підробками. Цей метод може виявляти такі вирази з точністю до 99%, що робить його більш точним, ніж сучасні методи.

Нова дослідницька робота під назвою „Виявлення та локалізація маніпуляцій з виразами обличчя“ була представлена на зимовій конференції з застосунків комп’ютерного бачення 2022 року.

Виявлення будь-якої маніпуляції з обличчям

Цей метод також продемонстрував таку ж точність, як і сучасні методи, у випадках, коли особистість була замінена, а не вирази. Це означає, що новий підхід можна використовувати для виявлення будь-якого типу маніпуляції з обличчям, і це суттєвий крок у розвитку автоматичних інструментів для виявлення маніпульованих відеороликів.

Ніколи раніше не було так легко замінити обличчя однієї особи на іншу або змінити оригінальні вирази обличчя завдяки останнім досягненням у сфері відеомонтажу. Виявлення таких методів має велике значення, оскільки вони все частіше застосовуються у різних конфліктах по всьому світу. Однак виявлення облич з лише зміненими виразами обличчя було дуже складним завданням.

Аміт Рой-Чаудхурі — професор електротехніки та комп’ютерних наук у коледжі інженерії Борнса. Він також співавтор дослідження.

„Що робить область дослідження глибоких підробок ще більш складною, це конкуренція між створенням, виявленням та запобіганням глибоким підробкам, яка стане все більш жорсткою в майбутньому. З більшими досягненнями у сфері генеративних моделей глибокі підробки будуть легше синтезувати та важче відрізнити від реальних“, — сказав він.

Зображення: Університет Каліфорнії в Ріверсайді

Виявлення маніпуляцій з виразами обличчя (EMD)

Новий метод розділяє завдання на два компоненти у глибокій нейронній мережі. Перший напрямок розрізняє вирази обличчя та надає інформацію про регіони, які містять вираз. Ці регіони можуть включати рот, очі, лоб та інше. Ця інформація подається у другий напрямок, який являє собою архітектуру кодувача-розкодувача, відповідальну за виявлення та локалізацію маніпуляцій.

Команда назвала цю структуру Виявлення маніпуляцій з виразами обличчя (EMD), і вона може виявляти та локалізувати конкретні регіони, які були змінені на зображенні.

Газал Мазахері — докторант та керівник дослідження.

„Багатокритеріальне навчання може використовувати видатні особливості, вивчені системами розпізнавання виразів обличчя, для поліпшення навчання традиційних систем виявлення маніпуляцій. Такий підхід досягає вражаючих результатів у виявленні маніпуляцій з виразами обличчя“, — сказав Мазахері.

Дослідники провели експерименти на двох складних наборах даних маніпуляцій з обличчям, і вони продемонстрували, що EMD працює краще з маніпуляціями з виразами обличчя, а також з обміном особистості. Він точно виявив 99% маніпульованих відеороликів.