ניתוח פלסטי לפנים שנוצרו על ידי GAN

חדש מחקר מתוך דרום קוריאה מבטיחה לשפר את האיכות של נתוני פנים סינתטיים שנוצרו על ידי רשתות יריבות גנרטיביות (GANs).

המערכת מסוגלת לזהות חפצי תמונה המיוצרים על ידי תהליכי GAN, ולתקן אותם, אפילו עד כדי החלפת שיער שהוסתרה על ידי כובע, החלפת חלקי הפנים שחסרים לחלוטין במקור, והסרת חסימות כמו ידיים ומשקפי שמש , וגם עובד היטב על פלט נופי ואדריכלי.

שמאל לכל עמודה, הפלט המקורי של GAN עם פגמים, ואחריו שתי גישות נוספות לחפצים, ולבסוף בשיטה שבה השתמשו החוקרים הדרום קוריאנים. מקור: https://arxiv.org/pdf/2104.06118.pdf

רוב הגישות האחרונות לשיפור האיכות של תמונות שנוצרו על ידי GAN נקטו בעמדה שחפצים מהווים סכנה תעסוקתית של התהליך, תוך התייחסות למתודולוגיה כאל 'כוח הטבע', ולתוצאות הפסיכדליות או החריגות יותר שהיא יכולה לייצר כאל תוצר לוואי בלתי נמנע.

במקום זאת, המחקר הדרום קוריאני מציע למעשה "לתקן" תמונות מושפעות באופן שאינו מפריע להמשך השרשרת היצרנית, על ידי זיהוי היבטים הגורמים לחפצים, והפחתה או ביטול השפעתם ברשת GAN בפיקוח למחצה רמה החורגת ומרחיבה את מנגנוני התיקון העצמי המקוריים בארכיטקטורת GAN.

עבור הפרויקט, היה צורך ליצור מערך נתונים בעל תווית יד של תמונות שהושפעו קשות מחפצי GAN. בתחילה, החוקרים השתמשו ב- Frechet Inception Distance (FIDשל) מטרי שמעריך את איכות פלט GAN על ידי השוואת תכונות בתמונות, כיחידה מתאימה. 10,000 התמונות עם ציוני ה-FID הגבוהים ביותר מבין רצף של 200,000 תמונות שימשו כ'יחידות חפץ' בדידות. לאחר מכן, החוקרים סימנו ביד 2,000 תמונות שנוצרו, סיווגו כל אחת כ'רגילה' או מושפעת מחפצי FID. לאחר מכן נוצר מודל כדי לסווג את מערך הנתונים לדגימות חפצים, רגילות ואקראיות בעולם האמיתי.

לאחר מכן, מיפוי הפעלת מחלקות משוקלל הדרגתי (Grad-CAM) שימש ליצירת מסכות עבור אזורים מושפעי חפצים, ולמעשה אוטומציה של תיוג פגמים.

בתמונה למעלה, מסכות Grad-CAM הוחלו על פלט מה- LSUN-כנסייה בחוץ מערך הנתונים וה- מערך נתונים של CelebA-HQ.

על ידי ניתוח של 20 התוצאות הנפגעות ביותר מרצף של 20,000 תמונות, נוצרות מסכות פילוח, שאליהן ניתן להחליף תוצאות מייצגות אזור לאורך הדורות (שסביר להניח שהן מדויקות או משכנעות יותר מהחפצים) על ידי הורדת ההפעלה של היחידות המייצרות חפצים בדורות הבאים.

הערכה אנושית של התיקונים הביאה לכך ש-53% מהתמונות ה'מתוקנות' תויגו כ'רגילות', בעוד ש-97% מהתמונות המקוריות עדיין מדגימות שיפורים משמעותיים ביחס לתמונות המקוריות.

החוקרים טוענים כי ניתן להתאים את השיטה הזו, עם כמה עיבודים קלים מחדש, גם לשיטה של ​​NVIDIA StyleGAN2.

היתרונות של נתונים סינתטיים

בעיקר בכל הנוגע לנתוני פנים, המחסור הכללי של מערכי נתונים בעולם האמיתי לראייה ממוחשבת מהווה מכשול למחקר מגוון במגזרי מחקר חשובים, כגון זיהוי פנים, זיהוי רגשות, מחקר רפואי ומחקרים על פילוח פרטני יותר של הטופולוגיה של פנים, בין תחומים שונים אחרים.

התגובה הנוכחית כלפי שימוש חופשי בנתונים הפונים לאינטרנט וב אוסף אד הוק של תמונות פנים בעולם האמיתי להכללה במאגרי פנים מהווה מכשול נוסף למחקר, עם מספר הולך וגדל של מדינות ואומות נסדק on אינטרנט גירוד, וניכוס תמונות מדיה חברתית למטרות אלו.

במהלך עשר השנים האחרונות, מספר מצומצם של אוצרות גבוהה מערכי נתונים של פנים הציעו מפלט מאי ודאות מסוג זה, כאשר סביבם מתרכזים אתגרי מחקר ציבוריים שנתיים שונים. עם זאת, זה הוביל לטענת פרויקטים מחקריים שהטיו את המתודולוגיות שלהם במיוחד לכיוון אותם מערכי נתונים, עם תוצאות עקביות והשוות משנה לשנה שהושגו במחיר הגבוה של חוסר גיוון בחומר המקור - מצב שמחמיר מדי שנה. מחקר חדש מגביל את עצמו לגבולות אלה.

בנוסף, כמה ממערכי הנתונים ה'מסורתיים' הללו הגיעו תחת ביקורת בגלל היעדר גיוון גזעי, מה שמרמז שייתכן שייתכן שייתכן שאנשי ההשוואה האלה לא ייחשבו למשאבים מתאימים בעתיד הקרוב.

זה מסמל את הצורך בנתוני פנים באיכות גבוהה שהם מציאותיים, אך שבהם התמונות התורמות של "העולם האמיתי" השתנו הרבה ללא הכר. גם אם השימוש הזה בנתוני פנים אמיתיים 'בהסרה אחת' עלול בעצמו בסופו של דבר לעורר בעיות בנושא מוֹצָא של פרצופים שנוצרו על ידי GAN, זהו אבן נגף שלא צפויה לצוץ עד שהופעת מנגנונים משפטיים וטכניים לאיסוף נתונים מהסוג הזה יתבססו; ובנוגע לשינויים אפשריים במסגרות המשפטיות סביב הנושא, זה עדיין מסוכן פחות משימוש בתמונות של אנשים אמיתיים.

לקריאה נוספת:

שיפור הריאליזם של תמונות סינתטיות
תיקון אוטומטי של יחידות פנימיות ברשתות עצביות גנרטיביות