מפתחי TikTok מוחקים פנים ליישומים של מציאות מוגברת

ByteDance, החברה הסינית הרב-לאומית לאינטרנט מאחורי TikTok, פיתחה שיטה חדשה למחיקת פנים בווידאו, כך שניתן להטיל עיוותי זהות ואפקטים מוזרים אחרים על אנשים ביישומים של מציאות מוגברת. החברה טוענת כי הטכניקה כבר שולבה במוצרים מסחריים לנייד, אם כי היא אינה מציינת אילו מוצרים.

כאשר פנים בווידאו “מושמדות”, יש מספיק “בד פנים” כדי לייצר עיוותים מרתקים, כמו גם להטיל זהויות אחרות. דוגמאות שסופקו במאמר חדש מחוקרי ByteDance מדגימות את האפשרויות, כולל שחזור המאפיינים “המושמדים” בקונפיגורציות קומיות (ובוודאי גם מגעילות) שונות:

חלק מהאפשרויות לקונפיגורציה מחדש של פנים שנכללות במאמר של ByteDance. מקור: https://arxiv.org/pdf/2109.10760.pdf

לקראת סוף אוגוסט, התברר כי TikTok, האפליקציה הראשונה שאינה שייכת ל-Facebook להגיע ל-3 מיליארד התקנות, השיקה את TikTok Effect Studio (כרגע בבטא סגור), פלטפורמה למפתחי מציאות מוגברת (AR) ליצור אפקטים של AR לזרמי תוכן של TikTok.

בעצם, החברה תופסת את הפער לקהילות מפתחים דומות ב- Facebook’s AR Studio ו- Snap AR, עם קהילת AR R&D הוותיקה של Apple שתיגבר גם היא בקרוב על ידי חומרה חדשה במהלך השנה הקרובה.

ביטויים ריקים

ה- מאמר, בשם FaceEraser: Removing Facial Parts for Augmented Reality, מציין כי אלגוריתמים קיימים של in-painting/infill, כגון NVIDIA’s SPADE, מכוונים יותר להשלמת תמונות קטועות או מעורפלות, ולא לביצוע ההליך המוזר הזה של “איפור”, וכי חומר המידע הקיים הוא דל.

מאחר שאין מאגרי נתונים זמינים לאנשים שיש להם חלל עבה של בשר במקום שם, החוקרים יצרו ארכיטקטורת רשת חדשה הנקראת pixel-clone, שניתן להטיל על מודלים נוירוניים קיימים, ואשר מפתרת בעיות הקשורות לעקביות טקסטורה וצבע, שהוצגו (לפי המאמר) על ידי שיטות ישנות כגון StructureFlow ו- EdgeConnect.

זרימת עבודה כללית של pixel-clone בצינור החדש.

כדי לאמ