Погляд Anderson

Наші підсвідомі навички виявлення глибоких підробок можуть стати основою для майбутніх автоматизованих систем

Martin Anderson
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиДані ЕЕГ показують, що підсвідомі нейронні сигнали можуть відрізняти справжні обличчя…
Показати більше
  • Дані ЕЕГ показують, що підсвідомі нейронні сигнали можуть відрізняти справжні обличчя від підроблених, навіть коли глядачі свідомо не помічають різниці.
  • Дослідження припускає, що навчання детекторів діпфейків на основі мозкової активності, а не суб’єктивних людських суджень, може підвищити точність.
  • Учасники помилково визначили 69% справжніх облич як підроблені, що підкреслює ненадійність свідомого сприйняття для виявлення діпфейків.

Нові дослідження австралійських вчених свідчать про те, що наш мозок досить добре розпізнає складні глибокі підробки, навіть коли ми свідомо вважаємо, що зображення, які ми бачимо, є справжніми.

Цей висновок також припускає можливість використання нейронних реакцій людей на підроблені обличчя (а не їхніх висловлених думок) для навчання автоматизованих систем виявлення глибоких підробок. Такі системи будуть навчені на характеристиках підроблених зображень, а не на оцінках їхньої правдоподібності, а на наших інстинктивних механізмах розпізнавання облич.

‘Хоча мозок може «розпізнавати» різницю між справжніми та реалістичними обличчями, спостерігачі не можуть свідомо розрізняти їх. Наші висновки про розрив між реакцією мозку та поведінкою мають значення для того, як ми вивчаємо сприйняття підроблених облич, питання, які ми ставимо при запиті про ідентифікацію підроблених зображень, та можливі способи встановлення захисних стандартів проти зловживання підробленими зображеннями.’

Результати дослідження були отримані в результаті проведення декількох раундів тестів, призначених для оцінки того, як люди реагують на фальшиві зображення, включаючи зображення явно підроблених облич, автомобілів, інтер’єрів та перевернутих (тобто зверху вниз) облич.

Різні ітерації та підходи для експериментів, які включали дві групи учасників, яким потрібно було класифікувати швидко відображене зображення як «підроблене» або «справжнє». Перший раунд проходив на платформі Amazon Mechanical Turk з 200 добровольцями, тоді як другий раунд включав меншу кількість учасників, які відповідали на тести, підключені до апаратів ЕЕГ. Джерело: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Різні ітерації та підходи для експериментів, які включали дві групи учасників, яким потрібно було класифікувати швидко відображене зображення як «підроблене» або «справжнє». Перший раунд проходив на платформі Amazon Mechanical Turk з 200 добровольцями, тоді як другий раунд включав меншу кількість учасників, які відповідали на тести, підключені до апаратів ЕЕГ. Джерело: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

У статті стверджується:

‘Наші результати демонструють, що навіть після короткого огляду спостерігачі, можливо, здатні виявити підроблені обличчя. Однак їм важче розрізняти справжні обличчя від підроблених, і в деяких випадках вони вважали підроблені обличчя більш реальними, ніж справжні.’

‘Однак, використовуючи ЕЕГ з часовою роздільністю та методи багатовимірної класифікації патернів, ми виявили, що можливо відрізнити як нереалістичні, так і реалістичні підроблені обличчя від справжніх за допомогою активності мозку.’

‘Цей розрив між поведінкою та реакцією мозку щодо реалістичних облич дає важливу нову інформацію про сприйняття підроблених облич, а також має значення для все більш реалістичних класів облич, згенерованих з допомогою GAN.’

Стаття пропонує, що ця робота має «багато наслідків» у сфері прикладної кібербезпеки, і що розвиток систем виявлення глибоких підробок можливо, має спрямовуватися підсвідомими реакціями, виміряними за допомогою ЕЕГ-читань у відповідь на підроблені зображення, а не оцінками спостерігачами достовірності зображення.

Автори коментують*:

‘Це нагадує результати досліджень, які показали, що люди з прозопагнозією, які не можуть поведінково класифікувати чи розпізнавати обличчя як знайомі чи незнайомі, все ж таки демонструють сильніші автономні реакції на знайомі обличчя, ніж на незнайомі обличчя.’

‘Аналогічно, те, що ми показали в цьому дослідженні, полягає в тому, що хоча ми могли точно розшифрувати різницю між справжніми та реалістичними обличчями з активності мозку, ця різниця не спостерігалася поведінково. Натомість спостерігачі неправильно ідентифікували 69% справжніх облич як підроблені.’

Нова робота називається Are you for real? Decoding realistic AI-generated faces from neural activity і проведена чотирма дослідниками з Університету Сіднея, Університету Маккворі, Західно-Сіднейського університету та Університету Квінсленда.

Дані

Результати дослідження виникли з більш широкого дослідження людської здатності розрізняти явно фальшиві, гіперреалістичні (але все ж фальшиві) та справжні зображення, проведеного в два етапи.

Дослідники використовували зображення, створені генеративними змагальними мережами (GAN), розміщені компанією NVIDIA.

Зображення людських облич, згенерованих GAN та розміщені компанією NVIDIA. Джерело: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Зображення людських облич, згенерованих GAN та розміщені компанією NVIDIA. Джерело: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Дані складалися з 25 облич, автомобілів та спалень, на різних рівнях рендерингу, від «нереалістичного» до «реалістичного». Для порівняння облич (тобто для підходящого матеріалу, який не є підробленим) автори використовували вибірки з джерельних даних набору даних Flickr-Faces-HQ (FFHQ) від компанії NVIDIA. Для порівняння інших сценаріїв вони використовували матеріал з набору даних LSUN.

Зображення в кінцевому підсумку були представлені учаснику тесту або в нормальному вигляді, або перевернуті, і на різних частотах, при цьому всі зображення були змінені в розмірі до 256×256 пікселів.

Після збору всіх матеріалів було відібрано 450 стимульних зображень для тестів.

Представницькі приклади тестових даних.

Представницькі приклади тестових даних.

Тести

Самі тести спочатку проводилися онлайн через jsPsych на сайті pavlovia.org, з 200 учасниками, які оцінювали різні підмножини зібраних тестових даних. Зображення відображалися протягом 200 мілісекунд, після чого слідувала порожня сторінка, яка тривала до тих пір, поки спостерігач не прийняв рішення щодо того, чи є зображення «підробленим» чи «справжнім». Кожне зображення відображалося лише один раз, а весь тест тривав 3-5 хвилин.

Другий, більш показовий етап використовував учасників, підключених до апаратів ЕЕГ, і проводився на платформі Psychopy2. Кожна з двадцяти послідовностей містила 40 зображень, а всього було представлено 18 000 зображень протягом всього етапу тестування.

Зібрані дані ЕЕГ були розшифровані за допомогою програми MATLAB з інструментом CoSMoMVPA, використовуючи схему крос-валідації з виключенням одного зразка під лінійним дискримінантним аналізом (LDA).

Класифікатор LDA був компонентом, який міг розрізняти реакцію мозку на підроблені стимули та власну думку учасника щодо того, чи є зображення підробленим.

Результати

Дослідники були зацікавлені в тому, щоб дізнатися, чи можуть учасники тесту розрізняти справжні та підроблені обличчя, і тому об’єднали та обробили результати, виявивши, що учасники могли легко розрізняти справжні обличчя від нереалістичних, але мали труднощі з ідентифікацією реалістичних, згенерованих GAN підроблених облич. Незалежно від того, чи було зображення перевернутим, це мало мало значення.

Поведінкова дискримінація справжніх та синтезованих облич у другому раунді.

Поведінкова дискримінація справжніх та синтезованих облич у другому раунді.

Однак дані ЕЕГ свідчили про іншу історію.

У статті зазначається:

‘Хоча спостерігачі мали труднощі з розрізненням справжніх та підроблених облич та схильність надто часто класифікувати обличчя як підроблені, дані ЕЕГ містили інформацію, що стосується цього розрізнення, яка суттєво відрізнялася між реалістичними та нереалістичними обличчями, і ця інформація, як видається, була обмежена відносно коротким етапом обробки.’

Тут розрив між точністю ЕЕГ та заявленою думкою учасників (тобто щодо того, чи є обличчя підробленим чи ні) не є тотожним, при цьому дані ЕЕГ наближаються до істини більше, ніж явне сприйняття людей, залучених до цього процесу.

Тут розрив між точністю ЕЕГ та заявленою думкою учасників (тобто щодо того, чи є обличчя підробленим чи ні) не є тотожним, при цьому дані ЕЕГ наближаються до істини більше, ніж явне сприйняття людей, залучених до цього процесу.

Дослідники роблять висновок, що хоча спостерігачі можуть мати труднощі з неявним ідентифікуванням підроблених облич, ці обличчя мають «відмінні представлення в людській візуальній системі».

Розрив, виявлений у дослідженні, змусив дослідників розмірковувати про потенційну застосовність своїх висновків для майбутніх механізмів безпеки:

‘У прикладному середовищі, наприклад кібербезпека чи глибокі підробки, вивчення здатності виявлення реалістичних облич може бути найкраще здійснено за допомогою класифікаторів машинного навчання, застосованих до даних нейровізуалізації, а не націлювання на поведінкову продуктивність.’

Вони роблять висновок:

‘Розуміння розриву між реакцією мозку та поведінкою щодо виявлення підроблених облич матиме практичні наслідки для того, як ми підходимо до потенційно шкідливого та універсального поширення штучно створеної інформації.’

 

* Моє перетворення внутрішніх посилань на гіперпосилання.

Перша публікація 11 липня 2022 року.

Martin Anderson

Автор у галузі машинного навчання, фахівець у сфері синтезу зображень людей. Колишній керівник дослідницького контенту в Metaphysic.ai, до його злиття з Brahma.ai, що належить DNEG.
Веб‑сайт: martinanderson.ai
Контакт: martin@martinanderson.ai