Наші підсвідомі навички виявлення глибоких підробок можуть стати основою для майбутніх автоматизованих систем

Нові дослідження австралійських вчених свідчать про те, що наш мозок досить добре розпізнає складні глибокі підробки, навіть коли ми свідомо вважаємо, що зображення, які ми бачимо, є справжніми.

Цей висновок також припускає можливість використання реакцій людей на підроблені обличчя (а не їхніх висловлених думок) для навчання автоматизованих систем виявлення глибоких підробок. Такі системи будуть навчені на характеристиках підроблених зображень, а не на оцінках їхньої правдоподібності, а на наших інстинктивних механізмах розпізнавання облич.

‘Хоча мозок може «розпізнавати» різницю між справжніми та реалістичними обличчями, спостерігачі не можуть свідомо розрізняти їх. Наші висновки про розрив між реакцією мозку та поведінкою мають значення для того, як ми вивчаємо сприйняття підроблених облич, питання, які ми ставимо при запиті про ідентифікацію підроблених зображень, та можливі способи встановлення захисних стандартів проти зловживання підробленими зображеннями.’

Результати дослідження були отримані в результаті проведення декількох раундів тестів, призначених для оцінки того, як люди реагують на фальшиві зображення, включаючи зображення явно підроблених облич, автомобілів, інтер’єрів та перевернутих (тобто зверху вниз) облич.

Різні ітерації та підходи для експериментів, які включали дві групи учасників, яким потрібно було класифікувати швидко відображене зображення як «підроблене» або «справжнє». Перший раунд проходив на платформі Amazon Mechanical Turk з 200 добровольцями, тоді як другий раунд включав меншу кількість учасників, які відповідали на тести, підключені до апаратів ЕЕГ. Джерело: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

У статті стверджується:

‘Наші результати демонструють, що навіть після короткого огляду спостерігачі можуть виявити підроблені обличчя. Однак їм важче розрізняти справжні обличчя від підроблених, і в деяких випадках вони вважали підроблені обличчя більш реальними, ніж справжні.’

‘Однак, використовуючи методи аналізу ЕЕГ та класифікації з використанням лінійного дискримінантного аналізу, ми виявили, що можливо розшифрувати як нереалістичні, так і реалістичні обличчя з справжніх облич за допомогою активності мозку.’

‘Цей розрив між поведінкою та реакцією мозку щодо реалістичних облич дає важливу нову інформацію про сприйняття підроблених облич, а також має значення для все більш реалістичних класів облич, згенерованих з допомогою Ганів.’

Стаття пропонує, що ця робота має «багато наслідків» у сфері прикладної кібербезпеки, і що розвиток систем виявлення глибоких підробок повинен бути керований підсвідомими реакціями, виміряними за допомогою ЕЕГ-читань у відповідь на підроблені зображення, а не оцінками спостерігачами достовірності зображення.

Автори коментують:

‘Це нагадує результати досліджень, які показали, що люди з прозопагнозією, які не можуть поведінково класифікувати чи розпізнавати обличчя як знайомі чи незнайомі, все ж таки демонструють сильніші автономні реакції на знайомі обличчя, ніж на незнайомі незнайомі обличчя.’

‘Аналогічно, те, що ми показали в цьому дослідженні, полягає в тому, що хоча ми могли точно розшифрувати різницю між справжніми та реалістичними обличчями з активності мозку, ця різниця не спостерігалася поведінково. Натомість спостерігачі неправильно ідентифікували 69% справжніх облич як підроблені.’

Нова робота називається Are you for real? Decoding realistic AI-generated faces from neural activity і проведена чотирма дослідниками з Університету Сіднея, Університету Маккворі, Західно-Сіднейського університету та Університету Квінсленда.

Дані

Результати дослідження виникли з більш широкого дослідження людської здатності розрізняти явно фальшиві, гіперреалістичні (але все ж фальшиві) та справжні зображення, проведеного в два етапи.

Дослідники використовували зображення, створені генеративними суперницькими мережами (Ганами), розміщені компанією NVIDIA.

Зображення людських облич, згенерованих Ганами та розміщені компанією NVIDIA. Джерело: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Дані складалися з 25 облич, автомобілів та спальнь, на різних рівнях рендерингу, від «нереалістичного» до «реалістичного». Для порівняння облич (тобто для підходящого матеріалу, який не є підробленим) автори використовували вибірки з джерельних даних набору даних Flickr-Faces-HQ (FFHQ) від компанії NVIDIA. Для порівняння інших сценаріїв вони використовували матеріал з набору даних LSUN.

Зображення в кінцевому підсумку були представлені учаснику тесту або в нормальному вигляді, або перевернуті, і на різних частотах, при цьому всі зображення були змінені в розмірі до 256×256 пікселів.

Після збору всіх матеріалів було відібрано 450 стимульних зображень для тестів.

Представницькі приклади тестових даних.

Тести

Самі тести спочатку проводилися онлайн через jsPsych на сайті pavlovia.org, з 200 учасниками, які оцінювали різні підмножини зібраних тестових даних. Зображення відображалися протягом 200 мілісекунд, після чого слідувала порожня сторінка, яка тривала до тих пір, поки спостерігач не прийняв рішення щодо того, чи є зображення «підробленим» чи «справжнім». Кожне зображення відображалося лише один раз, а весь тест тривав 3-5 хвилин.

Другий, більш пізній етап використовував учасників, підключених до апаратів ЕЕГ, і проводився на платформі Psychopy2. Кожна з двадцяти послідовностей містила 40 зображень, а всього було представлено 18 000 зображень протягом всього етапу тестування.

Зібрані дані ЕЕГ були розшифровані за допомогою програми MATLAB з інструментом CoSMoMVPA, використовуючи схему крос-валідацию з виключенням одного зразка під лінійним дискримінантним аналізом (LDA).

Класифікатор LDA був компонентом, який міг розрізняти реакцію мозку на підроблені стимули та власну думку учасника щодо того, чи є зображення підробленим.

Результати

Дослідники були зацікавлені в тому, щоб дізнатися, чи можуть учасники тесту розрізняти справжні та підроблені обличчя, і тому об’єднали та обробили результати, виявивши, що учасники могли легко розрізняти справжні обличчя від нереалістичних, але мали труднощі з ідентифікацією реалістичних, згенерованих Ганами підроблених облич. Незалежно від того, чи було зображення перевернутим, це мало мало значення.

Поведінкова дискримінація справжніх та синтезованих облич у другому раунді.

Однак дані ЕЕГ свідчили про іншу історію.

У статті зазначається:

‘Хоча спостерігачі мали труднощі з розрізненням справжніх та підроблених облич та схильність до надкласифікації підроблених облич, дані ЕЕГ містили інформацію, що стосується цього розрізнення, яка суттєво відрізнялася між реалістичними та нереалістичними обличчями, і ця інформація, як видається, була обмежена відносно коротким етапом обробки.’

Тут розрив між точністю ЕЕГ та заявленою думкою учасників (тобто щодо того, чи є обличчя підробленим чи ні) не є тотожним, при цьому дані ЕЕГ наближаються до істини більше, ніж явна сприйняття людей, залучених до цього процесу.

Дослідники роблять висновок, що хоча спостерігачі можуть мати труднощі з неявним ідентифікуванням підроблених облич, ці обличчя мають «відмінні представлення в людській візуальній системі».

Розрив, виявлений у дослідженні, змусив дослідників розмірковувати про потенційну застосовність своїх висновків для майбутніх механізмів безпеки:

‘У прикладному середовищі, chẳng hạn як кібербезпека чи глибокі підробки, вивчення здатності виявлення реалістичних облич може бути найкраще здійснено за допомогою машинних класифікаторів, застосованих до нейровізуальних даних, а не націлювання на поведінкову продуктивність.’

Вони роблять висновок:

‘Поняття розриву між реакцією мозку та поведінкою щодо виявлення підроблених облич матиме практичні наслідки для того, як ми підходимо до потенційно шкідливого та універсального поширення штучно створеної інформації.’

* Моє перетворення внутрішніх посилань на гіперпосилання.

Перша публікація 11 липня 2022 року.