Наши бессознательные навыки обнаружения глубоких подделок могут стать основой для будущих автоматизированных систем

Новое исследование из Австралии показывает, что наш мозг очень хорошо распознает сложные глубокие подделки, даже когда мы сознательно считаем, что изображения, которые мы видим, являются реальными.

Этот результат еще больше подразумевает возможность использования нейронных реакций людей на поддельные лица (а не их заявленных мнений) для обучения автоматизированных систем обнаружения глубоких подделок. Такие системы будут обучаться на характеристиках поддельных изображений не на основе путаных оценок правдоподобности, а на основе наших инстинктивных механизмов восприятия лица.

‘Хотя мозг может «распознавать» разницу между реальными и реалистичными лицами, наблюдатели не могут сознательно различать их. Наши результаты о диссоциации между реакцией мозга и поведением имеют последствия для того, как мы изучаем восприятие поддельных лиц, вопросы, которые мы задаем при запросе об идентификации поддельных изображений, и возможные способы установления защитных стандартов против злоупотребления поддельными изображениями.’

Результаты были получены в ходе раундов тестирования, предназначенных для оценки того, как люди реагируют на ложные изображения, включая изображения явно поддельных лиц, автомобилей, интерьерных пространств и перевернутых (т.е. вверх тормашками) лиц.

Различные итерации и подходы для экспериментов, которые включали две группы испытуемых, которым необходимо было классифицировать кратковременно показанное изображение как «поддельное» или «реальное». Первый раунд проводился на Amazon Mechanical Turk с 200 волонтерами, а второй раунд включал меньшее количество волонтеров, реагирующих на тесты, подключенных к устройствам ЭЭГ. Источник: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Статья утверждает:

‘Наши результаты показывают, что даже после краткого взгляда наблюдатели могут быть в состоянии обнаружить поддельные лица. Однако они испытывают трудности в различении реальных лиц и поддельных лиц, и в некоторых случаях считают поддельные лица более реальными, чем реальные лица. ‘

‘Однако, используя временно-разрешенные ЭЭГ и методы классификации с множественными переменными, мы обнаружили, что возможно декодировать как нереалистичные, так и реалистичные лица из реальных лиц с помощью активности мозга. ‘

‘Эта диссоциация между поведением и нейронными реакциями на реалистичные лица дает важные новые доказательства о восприятии поддельных лиц, а также последствия, связанные с все более реалистичным классом лиц, сгенерированных с помощью ГАН.’

Статья предполагает, что новая работа имеет «несколько последствий» в прикладной кибербезопасности, и что разработка систем обнаружения глубоких подделок должна быть обусловлена бессознательной реакцией, измеренной на показаниях ЭЭГ в ответ на поддельные изображения, а не сознательной оценкой достоверности изображения.

Авторы комментируют*:

‘Это напоминает результаты, которые люди с прозопагнозией, которые не могут поведенчески классифицировать или распознавать лица как знакомые или незнакомые, тем не менее, демонстрируют более сильные автономные реакции на знакомые лица, чем на незнакомые лица. ‘

‘Аналогично, то, что мы показали в этом исследовании, заключается в том, что, хотя мы могли точно декодировать разницу между реальными и реалистичными лицами из нейронной активности, эта разница не была видна поведенчески. Вместо этого наблюдатели неправильно идентифицировали 69% реальных лиц как поддельные.’

Новая работа называется Вы реальные? Декодирование реалистичных лиц, сгенерированных с помощью ИИ, из нейронной активности, и исходит от четырех исследователей из Университета Сиднея, Университета Маккуори, Университета Западного Сиднея и Университета Квинсленда.

Данные

Результаты были получены в ходе более широкого исследования человеческой способности различать явно ложные, гиперреалистичные (но все еще ложные) и реальные изображения, проведенного в два раунда тестирования.

Исследователи использовали изображения, созданные с помощью генеративно-состязательных сетей (ГАН), поделенные компанией NVIDIA.

Изображения лиц, сгенерированные с помощью ГАН, предоставленные компанией NVIDIA. Источник: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Данные состояли из 25 лиц, автомобилей и спален, на различных уровнях рендеринга, от «нереалистичного» до «реалистичного». Для сравнения лиц (т.е. для подходящего не-поддельного материала) авторы использовали выборки из исходных данных набора данных Flickr-Faces-HQ (FFHQ) NVIDIA. Для сравнения других сценариев они использовали материал из набора данных LSUN.

Изображения в конечном итоге были представлены испытуемому либо в нормальном, либо в перевернутом виде, и на различных частотах, при этом все изображения были изменены до 256×256 пикселей.

После того, как все материал был собран, 450 изображений были отобраны для тестирования.

Представительные примеры тестовых данных.

Тесты

Тесты сами по себе были первоначально проведены онлайн, через jsPsych на pavlovia.org, с 200 участниками, оценивающими различные подмножества собранных тестовых данных. Изображения были представлены в течение 200 мс, за которыми следовал пустой экран, который сохранялся до тех пор, пока зритель не принял решение о том, является ли мельком показанное изображение «поддельным» или «реальным». Каждое изображение было представлено только один раз, и весь тест занял 3-5 минут.

Второй и более откровенный раунд использовал личных испытуемых, подключенных к устройствам ЭЭГ, и был представлен на платформе Psychopy2. Каждая из двадцати последовательностей содержала 40 изображений, с 18 000 изображений, представленных в整个 наборе тестовых данных.

Собранные данные ЭЭГ были декодированы с помощью MATLAB с помощью набора инструментов CoSMoMVPA, используя схему leave-one-out cross-validation под линейным дискриминантным анализом (LDA).

Классификатор LDA был компонентом, который смог сделать различие между реакцией мозга на поддельные стимулы и мнением субъекта о том, является ли изображение поддельным.

Результаты

Заинтересованные в том, чтобы увидеть, могут ли испытуемые ЭЭГ различать поддельные и реальные лица, исследователи объединили и обработали результаты, обнаружив, что участники могли легко различать реальные лица и нереалистичные лица, но, по-видимому, испытывали трудности в идентификации реалистичных, сгенерированных с помощью ГАН, поддельных лиц. То, является ли изображение вверх тормашками или нет, казалось, не имело большого значения.

Поведенческое различие реальных и сгенерированных синтетически лиц, во втором раунде.

Однако данные ЭЭГ рассказали другую историю.

Статья гласит:

‘Хотя наблюдатели испытывали трудности в различении реальных и поддельных лиц и склонны были переоценивать поддельные лица, данные ЭЭГ содержали сигнальную информацию, имеющую отношение к этому различию, которая существенно различалась между реалистичными и нереалистичными, и этот сигнал, казалось, был ограничен относительно короткой стадией обработки.’

Здесь расхождение между точностью ЭЭГ и заявленным мнением субъектов (т.е. о том, являются ли лица поддельными или нет) не идентичны, с данными ЭЭГ, которые приближаются к истине больше, чем манифестное восприятие людей, участвующих в этом.

Исследователи заключили, что, хотя наблюдатели могут испытывать трудности в неявном определении поддельных лиц, эти лица имеют «отличительные представления в человеческой зрительной системе».

Расхождение, обнаруженное исследователями, заставило их задуматься о потенциальной применимости своих результатов для будущих механизмов безопасности:

‘В прикладном контексте, таком как кибербезопасность или глубокие подделки, изучение способности обнаружения реалистичных лиц может быть лучше продлено с помощью классификаторов машинного обучения, примененных к данным нейровизуализации, а не нацеливаться на поведенческую производительность.’

Они заключают:

‘Понимание диссоциации между мозгом и поведением для обнаружения поддельных лиц будет иметь практические последствия для того, как мы справляемся с потенциально вредным и универсальным распространением искусственно сгенерированной информации.’

* Мое преобразование внутренних цитат в гиперссылки.

Опубликовано впервые 11 июля 2022 года.