Metoda e re e "Deepfake" zgjidh problemin "Face Host".

Pavarësisht disa viteve të hiperbolës mediatike në lidhje me potencialin që imazhet e falsifikuara të minojnë besimin tonë të gjatë në vërtetësinë e pamjeve video, të gjitha metodat e njohura aktualisht mbështeten në gjetjen e 'hostuesve të fytyrës' që janë gjerësisht të ngjashëm në formë me fytyrën e synuar.

Aty ku filmimi origjinal përmban një fytyrë të gjerë, por subjekti i synuar ka një fytyrë të ngushtë, rezultatet kanë qenë gjithmonë problematike, sepse një transferim i tillë përfshin prerjen e një pjese të fytyrës origjinale dhe rindërtimin e sfondit tani të ekspozuar. Paketat aktuale si DeepFaceLab dhe FaceSwap janë në gjendje të prodhojnë rezultate të kufizuara kur konfigurimi është i kundërt (i ngushtë>gjerë), por nuk kanë mundësi për të trajtuar në mënyrë bindëse këtë skenar.

Tani, një bashkëpunim midis Tencent dhe Universitetit Xiamen të Kinës ka zhvilluar një qasje e re, i titulluar HifiFace, i krijuar për të korrigjuar këtë mungesë.

Dy "deepfake" të HifiFace, i pari i Anne Hathaway, ku fitohet një ngjashmëri e mirë, pavarësisht nga forma e papërputhshme e fytyrës së hostit. HifiFace gjithashtu performon mirë në objektivat me syze, tradicionalisht një pengesë në falsifikimet e thella. Burimi: https://arxiv.org/pdf/2106.09965.pdf

Rimodelimi i një fytyre të thellë

Qasjet e mëparshme, si ajo e vitit 2019 Ndërrimi dhe riaktivizimi i subjektit agnostik të fytyrës (FSGAN), janë varur nga Montimi 3DMM (Modelet e Morphable 3D) ose metodologji të tjera të bazuara rreth njohjes ose transformimit të pikës referimi të fytyrës, ku linjat e fytyrës të fytyrës që duhet të 'mbishkruhen' diktojnë pak a shumë kufijtë e shkëmbimit:

Zbulimi i pikës referuese të fytyrës 3DMM. Burimi: https://github.com/Yinghao-Li/3DMM-fitting

Megjithëse metodat konkurruese janë mbështetur në veçoritë që rrjedhin nga rrjetet e njohjes së fytyrës, këto synojnë kryesisht në rindërtimin e teksturës dhe jo strukturës, dhe në mënyrë të ngjashme prodhojnë një efekt "si maskë" në rastet kur fytyra e pritës nuk është plotësisht e pajtueshme (dmth. kufijtë dhe forma të vijës së flokëve, nofullës dhe mollëzave).

Për të adresuar këto çështje, studiuesit kinezë, me bazë në Media Analytics dhe Laboratorin e Informatikës në Departamentin e Inteligjencës Artificiale të universitetit, zhvilluan një rrjet nga fundi në fund që regreson koeficientët e objektivit dhe fytyrës së burimit duke përdorur një model rindërtimi 3D. i cili më pas ri-kombinohet si informacion i formës dhe lidhet me informacionin e vektorit të identitetit nga një rrjet i njohjes së fytyrës.

Këto të dhëna gjeometrike më pas futen në një model kodues-dekoder si informacion strukturor, duke u përzier me shprehjen dhe disponimin e fytyrës së synuar, të cilat përdoren si burime ndihmëse për transferim të saktë.

Fusion semantik i fytyrës

Për më tepër, HifiFace përfshin një komponent Semantic Facial Fusion (SFF), i cili përdor një veçori të nivelit të ulët në kodues për të ruajtur informacionin hapësinor dhe strukturën, pa sakrifikuar identitetin e imazhit të synuar. Karakteristikat nga koduesi dhe dekoderi integrohen në një maskë përshtatëse të mësuar dhe informacioni i sfondit përzihet në dalje me anë të maskës së mësuar të fytyrës.

HifiFace në veprim. Burimi: https://johann.wang/HifiFace/

Në këtë mënyrë, HifiFace largohet nga përdorimi i kufijve të fytyrës së materialit origjinal si një kufi i fortë, duke përdorur segmentimin semantik të fytyrës të zgjeruar, ku modeli mund të kryejë shkrirje më të mirë adaptive në kufijtë e skajit të fytyrës.

Dy qasje paraprake (lart dhe poshtë majtas) dhe arkitektura e re HifiFace, e cila përbëhet nga një kodues, dekoder, nxjerrës identiteti të vetëdijshëm për formën 3D dhe modul SFF.

Në krahasim me metodat e mëparshme FSGAN, SimSwap FaceShifter, HifiFace demonstron një rindërtim superior të formës së fytyrës, pasi nuk është përafrues i elementeve 'fantazmë' ku kufizimet e fytyrës ngatërrojnë hartën e identitetit>identitetit, por duke i rindërtuar përfundimisht ato.

Testim

Studiuesit zbatuan sistemin duke përdorur VGGFace2 dhe DeepGlint Aziato-Celeb grupet e të dhënave. Fytyrat u rreshtuan nëpërmjet 5 pikave të jashtme dhe u prenë sërish në 256×256 piksele. Një rrjet përmirësimi i portretit u përdor gjithashtu për të gjeneruar një version 512×512 piksele, për një model shtesë me rezolucion më të lartë. Modelja është trajnuar nën Adami.

Megjithëse FaceShifter ruan mirë identitetin, ai nuk mund të trajtojë çështje të tilla si shprehja, ngjyra dhe mbyllja në mënyrë aq efektive sa HifiFace dhe ka një strukturë rrjeti më komplekse. FSGAN ka probleme në transferimin e ndriçimit nga burimi në objektiv.

Studiuesit përdorin FaceForensics ++ për krahasime sasiore, duke kampionuar dhjetë korniza secila në një grup videosh të konvertuara në metodat konkurruese dhe duke gjetur se HifiFace arriti një rezultat më të lartë të rikthimit të ID-së. Në testimin e një sërë faktorësh të tjerë, si cilësia e imazhit, studiuesit zbuluan gjithashtu se metoda e tyre ishte më e mirë se metodologjitë rivale.

Linjat e fytyrës së Benedict Cumberbatch riprodhohen me besnikëri.

Puna përfaqëson një lëvizje të mëtejshme drejt abstragimit të materialit burimor në mënyrë që të jetë vetëm një shabllon i përafërt në të cilin mund të transferohen identitete të sakta. Disa nga paketat aktuale FOSS, duke përfshirë DeepFaceLab, kanë funksionalitet të sapolindur për zëvendësimin e kokës së plotë, por, si HifiFace, këto nuk marrin parasysh flokët dhe janë më efektive në 'ndërtimin' e një fytyre sesa në gdhendjen e saj për t'u përshtatur. një burim i synuar i dëshiruar.