אימות פנים 'יצירתי' עם רשתות יריבות יצירתיות

מאמר חדש מאוניברסיטת סטנפורד הציע שיטה מתחילה להטעות מערכות אימות פנים בפלטפורמות כמו אפליקציות היכרויות, באמצעות רשת אדברסרית Generative (GAN) ליצירת תמונות פנים חלופיות המכילות את אותו מידע חיוני מזהה כמו פנים אמיתיות.

השיטה עקפה בהצלחה את תהליכי אימות הפנים באפליקציות היכרויות טינדר ובמבל, ובמקרה אחד אף העבירה פנים שהוחלפו בין מגדרים (גבריות) כאותנטיות לזהות המקור (הנשית).

זהויות שונות שנוצרו הכוללות את הקידוד הספציפי של מחבר המאמר (מוצג בתמונה הראשונה למעלה). מקור: https://arxiv.org/pdf/2203.15068.pdf

לדברי המחבר, העבודה מייצגת את הניסיון הראשון לעקוף את אימות הפנים באמצעות שימוש בתמונות שנוצרו שחדורות בתכונות זהות ספציפיות, אך המנסות לייצג זהות חלופית או שונה מהותית.

הטכניקה נבדקה על מערכת אימות פנים מקומית מותאמת אישית, ולאחר מכן בוצעה היטב במבחני קופסה שחורה מול שתי אפליקציות היכרויות שמבצעות אימות פנים בתמונות שהועלו על ידי המשתמש.

DELETE THIS מאמר מכונה מעקף אימות פנים, ומגיע מסנג'אנה סרדה, חוקרת במחלקה להנדסת חשמל באוניברסיטת סטנפורד.

שליטה במרחב הפנים

למרות 'הזרקת' תכונות ספציפיות לזיהוי (כלומר מפרצופים, סימני דרך, וכו') לתמונות מעוצבות הוא מרכיב עיקרי של התקפות נגד, המחקר החדש מציע משהו אחר: זה של מגזר המחקר יכולת צמיחה ל לִשְׁלוֹט המרחב הסמוי של GANs יאפשר בסופו של דבר פיתוח של ארכיטקטורות שיכולות ליצור עִקבִי זהויות חלופיות לזו של משתמש - ולמעשה, לאפשר חילוץ של תכונות זהות מתמונות זמינות באינטרנט של משתמש לא חושד כדי להשתלב בזהות בצורת 'צל'.

עקביות ויכולת ניווט היו האתגרים העיקריים בנוגע למרחב הסמוי של ה-GAN מאז הקמת רשתות יריבות גנרטיביות. GAN שהטמיע בהצלחה אוסף של תמונות אימון במרחב הסמוי שלו מספק מפה לא קלה ל'דחוף' תכונות מכיתה אחת לאחרת.

בעוד טכניקות וכלים כגון מיפוי הפעלת מחלקות משוקלל הדרגתי (Grad-CAM) יכול לעזור להקים כיוונים סמויים בין המעמדות המבוססים, ולאפשר טרנספורמציות (ראה תמונה למטה), האתגר הנוסף של הסתבכות בדרך כלל עושה מסע 'בקירוב', עם שליטה עדינה מוגבלת במעבר.

מסע גס בין וקטורים מקודדים במרחב הסמוי של GAN, דוחף זהות גברית שמקורה בנתונים לתוך הקידוד ה'נשי' בצד השני של אחד מישורי היפר ליניאריים רבים במרחב הסמוי המורכב והמעורפל. תמונה שנגזרה מחומר בכתובת https://www.youtube.com/watch?v=dCKbRCUyop8

היכולת 'להקפיא' ולהגן על מאפיינים ספציפיים לזיהוי תוך העברתם לתוך קידודים טרנספורמטיביים במקום אחר במרחב הסמוי מאפשרת ליצור פרט עקבי (ואפילו ניתן להנפשה) שזהותו נקראת על ידי מערכות מכונות כמישהו אחר.

שִׁיטָה

המחברת השתמשה בשני מערכי נתונים כבסיס לניסויים: מערך נתונים של משתמש אנושי המורכב מ-310 תמונות של פניה בפרק זמן של ארבע שנים, עם תאורה, גיל וזוויות ראייה משתנות), עם פרצופים חתוכים שחולצו באמצעות Caffe; ואת 108,501 התמונות המאוזנות מבחינה גזעית ב- FairFace מערך נתונים, חולץ וחתוך באופן דומה.

מודל אימות הפנים המקומי נגזר מיישום בסיס של FaceNet ו deepface, מאומן מראש על ConvNet Inception, כאשר כל תמונה מיוצגת על ידי וקטור 128 ממדים.

הגישה משתמשת בתמונות פנים מתת-קבוצה מאומנת מ-FairFace. על מנת לעבור אימות פנים, המרחק המחושב שנגרם על ידי תמונה של נורמה פרובניוס מתקזז מול משתמש היעד במסד הנתונים. כל תמונה מתחת לסף של 0.7 שווה לאותה זהות, אחרת האימות נחשב ככשל.

מודל StyleGAN כוונן במערך הנתונים האישי של המחברת, ויצר מודל שייצור וריאציות מזוהות של זהותה, אם כי אף אחת מהתמונות שנוצרו לא הייתה זהה לנתוני האימון. זה הושג על ידי הקפאה ארבעת השכבות הראשונות באבחון, כדי למנוע התאמה יתר של הנתונים ולייצר פלט מגוון.

למרות שהתקבלו תמונות מגוונות עם דגם StyleGAN הבסיסי, הרזולוציה הנמוכה והנאמנות הביאו לניסיון שני עם StarGAN V2, המאפשר אימון של תמונות זרעים לעבר פני מטרה.

מודל StarGAN V2 עבר הכשרה מוקדמת במשך כ-10 שעות באמצעות ערכת האימות של FairFace, בגודל אצווה של ארבע וגודל אימות של 8. בגישה המוצלחת ביותר, מערך הנתונים האישי של המחבר שימש כמקור עם נתוני ההדרכה כ- הפנייה.

ניסויי אימות

מודל אימות פנים נבנה על בסיס תת-קבוצה של 1000 תמונות, מתוך כוונה לאמת תמונה שרירותית מהסט. תמונות שעברו את האימות בהצלחה נבדקו לאחר מכן מול תעודת הזהות של המחבר עצמו.

משמאל, מחבר העיתון, תמונה אמיתית; באמצע, תמונה שרירותית שנכשלה באימות; מימין, תמונה לא קשורה ממערך הנתונים שעבר אימות כמחבר.

מטרת הניסויים הייתה ליצור פער רחב ככל האפשר בין הזהות החזותית הנתפסת תוך שמירה על המאפיינים המגדירים של זהות המטרה. זה הוערך עם מרחק מהלנוביס, מדד המשמש בעיבוד תמונה לחיפוש דפוסים ותבניות.

עבור המודל היצרני הבסיסי, התוצאות ברזולוציה נמוכה שהתקבלו מציגות גיוון מוגבל, למרות שעברו אימות פנים מקומי. StarGAN V2 הוכיח כי הוא מסוגל יותר ליצור תמונות מגוונות שהיו מסוגלות לאמת.

כל התמונות המתוארות עברו אימות פנים מקומי. למעלה נמצאים דורות הבסיס של StyleGAN ברזולוציה נמוכה, למטה, דורות StarGAN V2 בעלי רזולוציה גבוהה יותר ואיכותית יותר.

שלושת התמונות האחרונות שהוצגו לעיל השתמשו במערך הנתונים של המחבר עצמו כמקור והן כמקור, בעוד שהתמונות הקודמות השתמשו בנתוני אימון כפנייה ובמערך הנתונים של המחבר כמקור.

התמונות שנוצרו נבדקו מול מערכות אימות הפנים של אפליקציות ההיכרויות Bumble ו-Tinder, עם זהות המחבר כבסיס, ועברו אימות. דור 'זכר' של פניו של המחבר עבר גם את תהליך האימות של Bumble, אם כי היה צורך להתאים את התאורה בתמונה שנוצרה לפני שהיא התקבלה. טינדר לא קיבלה את הגרסה הגברית.

גרסאות 'זכר' לזהות הכותבת (הנשית).

סיכום

אלו הם ניסויים מכוננים בהקרנת זהות, בהקשר של מניפולציה של מרחב סמוי של GAN, שנותרה אתגר יוצא דופן בסינתזה של תמונות ומחקרים בזיוף עמוק. עם זאת, העבודה פותחת את הרעיון של הטמעת תכונות מאוד ספציפיות באופן עקבי על פני זהויות מגוונות, ושל יצירת זהויות 'חלופיות' ש'קוראות' כמו מישהו אחר.

פורסם לראשונה ב-30 במרץ 2022.