הוספת דיאלוג לסרטון אמיתי בעזרת בינה מלאכותית

מסגרת בינה מלאכותית חדשה יכולה לכתוב מחדש, להסיר או להוסיף מילים של אדם בסרטון מבלי לצלם מחדש, במערכת מקצה לקצה אחת.

לפני שלוש שנים, האינטרנט היה נדהם מכל אחת מ-20-30 מערכות עיבוד וידאו מבוססות בינה מלאכותית שמתפרסמות בפורטלים אקדמיים מדי שבוע; כפי שהדברים נראים, תחום המחקר הפופולרי הזה הפך לפורה כל כך עד שהוא כמעט מהווה ענף נוסף של "בינה מלאכותית רשלנית", ואני מכסה הרבה פחות מהדורות כאלה מאשר לפני שנתיים-שלוש.

עם זאת, מהדורה נוכחית אחת בתחום הזה תפסה את עיני: מערכת משולבת שיכולה להתערב בקליפים אמיתיים ולהכניס דיבור חדש לסרטון הקיים (במקום ליצור קליפ גנרטיבי שלם מפנים או פריים, דבר נפוץ הרבה יותר).

בדוגמאות למטה, אותן ערכתי יחד ממגוון רחב של סרטוני דוגמה הזמינים באתר ההשקה אתר הפרויקט, אנו רואים תחילה את קטע המקור האמיתי, ואז, מתחת, את דיבור הבינה המלאכותית המוטל באמצע הסרטון, כולל סינתזת קול וסינכרון שפתיים:

לחץ כדי לשחק. עריכה מקומית עם תפירה - אחת מכמה שיטות המוצעות על ידי FacEDiT. אנא עיינו באתר המקור לקבלת רזולוציה טובה יותר. מקור – https://facedit.github.io/

גישה זו היא אחת משלוש שפותחו עבור השיטה החדשה, הפעם תחת הכותרת 'עריכה מקומית עם תפירה', והגישה שמעניינת ביותר את המחברים (וגם אותי). בעיקרו של דבר, הסרטון מוארך באמצעות שימוש באחד הפריימים האמצעיים כנקודת מוצא לפרשנות חדשנית של בינה מלאכותית, ובפריים העוקבת (האמיתית) שלו כמטרה שהסרטון המוכנס באופן גנרטיבי צריך לשאוף להתאים אליה. בקליפים הנראים למעלה, פריימים אלה של 'זרע' ו'יעד' מיוצגים על ידי השהיית הסרטון העליון בעוד שהסרטון המתוקן למטה מספק מילוי גנרטיבי.

המחברים מציגים את גישת הסינתזה הזו של פנים וקול כשיטה משולבת מקצה לקצה הראשונה לעריכות וידאו מסוג זה המבוססות על בינה מלאכותית, תוך התבוננות בפוטנציאל של מסגרת מפותחת במלואה כמו זו עבור הפקת טלוויזיה וסרטים:

יוצרי סרטים ומפיקי מדיה צריכים לעתים קרובות לתקן חלקים ספציפיים בסרטונים מוקלטים - אולי מילה נאמרה בצורה שגויה או שהתסריט שונה לאחר הצילומים. לדוגמה, בסצנה האייקונית מתוך כביר (1997) שם רוז אומרת, "אני לעולם לא אוותר, ג'ק," ייתכן שהבמאי יחליט מאוחר יותר שכדאי שיהיה "לעולם לא אשכח אותך, ג'ק".

באופן מסורתי, שינויים כאלה דורשים צילום מחדש של כל הסצנה, דבר יקר וגוזל זמן. סינתזת פנים מדברות מציעה אלטרנטיבה מעשית על ידי שינוי אוטומטי של תנועת הפנים כך שתתאים לדיבור המתוקן, ובכך מבטלת את הצורך בצילום מחדש.

למרות שאינטראקציות מסוג זה של בינה מלאכותית עשויות להתמודד עם תרבותי או התנגדות של התעשייה, הם עשויים גם להוות סוג חדש של פונקציונליות במערכות חזותיות ובחבילות כלים המונחיות על ידי אדם. בכל מקרה, נכון לעכשיו, האתגרים הם טכניים בלבד.

מלבד הארכת סרטון באמצעות דיאלוג נוסף שנוצר על ידי בינה מלאכותית, המערכת החדשה יכולה גם לשנות דיבור קיים:

לחץ כדי לשחק. דוגמה לשינוי דיאלוג קיים במקום הוספת דיאלוג נוסף. אנא עיינו באתר המקור לקבלת רזולוציה טובה יותר.

מדינת האומנות

נכון לעכשיו, אין מערכות מקצה לקצה המציעות יכולת סינתזה מסוג זה; למרות שמספר הולך וגדל של פלטפורמות בינה מלאכותית גנרטיבית כמו זו של גוגל סדרת Veo, יכול לייצר אודיו, ומסגרות מגוונות אחרות יכולות ליצור אודיו מזויף עמוק, כיום צריך ליצור צינור מורכב למדי של ארכיטקטורות וטריקים מגוונים על מנת להפריע לצילומים אמיתיים באופן שבו המערכת החדשה - שכותרתה פייס-אדיט – יכול להגשים.

המערכת משתמשת שנאי דיפוזיה (DiT) בשילוב עם התאמת זרימה ליצירת תנועות פנים המותנות בתנועות סביבתיות (הקשריות) ובתוכן שמע דיבור. המערכת ממנפת חבילות פופולריות קיימות העוסקות בשחזור פנים, כולל דיוקן חי (נרכש לאחרונה על ידי קלינג).

בנוסף לשיטה זו, בהתחשב בכך שגישתם היא הראשונה המשלבת את האתגרים הללו לפתרון יחיד, המחברים יצרו מדד חדש בשם ספסל פנים, יחד עם מספר מדדי הערכה חדשים לחלוטין המתאימים למשימה ספציפית זו.

השמיים עבודה חדשה מכונה FaceEDiT: עריכה ויצירת פנים מדברות מאוחדות באמצעות מילוי תנועות פנים, ומגיע מארבעה חוקרים מאוניברסיטת פוהאנג למדע וטכנולוגיה (POSTECH) בקוריאה, המכון המתקדם למדע וטכנולוגיה של קוריאה (KAIST) ואוניברסיטת טקסס באוסטין.

שִׁיטָה

FacEDiT מאומן לשחזר תנועת פנים על ידי לימוד כיצד למלא חלקים חסרים בביצוע המקורי של שחקן, בהתבסס על התנועה שמסביב ועל אודיו של הדיבור. כפי שמוצג בסכימה למטה, תהליך זה מאפשר למודל לפעול כמילוי פערים במהלך האימון, ולחזות תנועות פנים התואמות את הקול תוך שמירה על עקביות עם הסרטון המקורי:

סקירה כללית של מערכת FacEDiT, המציגה כיצד תנועת פנים נלמדת באמצעות מילוי עצמי במהלך האימון, מונחית על ידי דיבור ערוך בעת ההסקה, ולבסוף מעובדת בחזרה לסרטון על ידי שימוש חוזר במראה הצילומים המקוריים, תוך החלפת התנועה הממוקדת בלבד. מָקוֹר

בזמן ההסקה, אותה ארכיטקטורה תומכת בשני פלטים שונים בהתאם לכמות המסכה של הסרטון: עריכות חלקיות, שבהן רק משפט אחד משתנה והשאר נשאר ללא שינוי; או יצירת משפטים מלאים, שבה תנועה חדשה מסונתזת כולה מאפס.

המודל מאומן באמצעות התאמת זרימה, אשר מתייחס לעריכות וידאו כמעין נתיב בין שתי גרסאות של תנועת פנים.

במקום ללמוד לנחש איך אמורה להיראות פנים ערוכות מאפס, התאמת זרימה לומדת לנוע בהדרגה ובצורה חלקה בין מציין מיקום רועש לתנועה הנכונה. כדי להקל על כך, המערכת מייצגת את תנועת הפנים כקבוצה קומפקטית של מספרים המופקים מכל פריים באמצעות גרסה של מערכת LivePortrait שהוזכרה לעיל (ראה סכמה לעיל).

וקטורי תנועה אלה נועדו לתאר הבעות פנים ותנוחת ראש מבלי הסתבכות זהות, כך שניתן יהיה לאתר שינויים בדיבור מבלי להשפיע על המראה הכללי של האדם.

אימון FaceEDiT

כדי לאמן את FacEDiT, כל סרטון וידאו חולק לסדרה של צילומי תנועה של פנים, וכל פריים שויך לקטע האודיו המתאים. לאחר מכן, חלקים אקראיים מנתוני התנועה הוסתרו, והמודל התבקש לנחש כיצד צריכות להיראות התנועות החסרות, תוך שימוש הן בדיבור והן בתנועה הסובבת ללא מסיכה לצורך הקשר.

מכיוון שהטווחים המוסתרים ומיקומם משתנים מדוגמת אימון אחת לאחרת, המודל לומד בהדרגה כיצד להתמודד הן עם עריכות פנימיות קטנות והן עם פערים ארוכים יותר, לצורך יצירת רצף מלא, בהתאם לכמות המידע שהוא מקבל.

שנאי הדיפוזיה הנ"ל של המערכת לומד לשחזר תנועה מוסתרת על ידי עידון קלטים רועשים לאורך זמן. במקום להזין דיבור ותנועה למודל בבת אחת, האודיו מושחל לכל בלוק עיבוד דרך קשב צולב, המסייע למערכת להתאים את תנועות השפתיים בצורה מדויקת יותר לדיבור האודיו.

כדי לשמר את הריאליזם לאורך כל העריכות, תשומת הלב מוטה לפריימים שכנים ולא לכל ציר הזמן, מה שמאלץ את המודל להתמקד בהמשכיות מקומית, ומונע הבהוב או קפיצות תנועה בקצוות של אזורים שהשתנו. הטמעות מיקום (המציינות למודל היכן כל פריים מופיע ברצף) עוזרות עוד יותר למודל לשמור על זרימה זמנית טבעית והקשר.

במהלך האימון, המערכת לומדת לחזות תנועת פנים חסרה על ידי שחזור טווחי מסיכה המבוססים על דיבור ותנועה סמוכה ללא מסיכה. בזמן ההסקה, אותה הגדרה נמצאת בשימוש חוזר, אך כעת המסכות מונחות על ידי עריכות בדיבור.

כאשר מילה או ביטוי מוכנסים, מוסרים או משתנים, המערכת מאתרת את האזור המושפע, מסווה אותו ומחדשת תנועה התואמת את האודיו החדש. יצירת רצף מלא מטופלת כמקרה מיוחד, שבו כל האזור מוסווה ומסונתז מאפס.

נתונים ובדיקות

עמוד השדרה של המערכת מורכב מ-22 שכבות עבור שנאי הדיפוזיה, כל אחת עם 16 ראשי תשומת לב וממדי הזנה קדימה של 1024 ו-2024 פיקסלים. תכונות תנועה ומראה מחולקות באמצעות קפוא רכיבי LivePortrait ודיבור מקודד באמצעות WavLM ושונה באמצעות קולקראפט.

שכבת הקרנה ייעודית ממפה את תכונות הדיבור ה-786-ממדיות לתוך המרחב הלטנטי של ה-DiT, כאשר רק מודולי ה-DiT וההקרנה מאומנים מאפס.

האימון בוצע תחת AdamW אופטימיזציה בקצב למידה יעד של 1e‑4, עבור מיליון צעדים, על שני מעבדי גרפיים A6000 (כל אחד עם 48GB של VRAM), בסך הכל גודל אצווה של שמונה.

ספסל פנים

מערך הנתונים של FacEDiTBench מכיל 250 דוגמאות, כל אחת עם קטע וידאו של הנאום המקורי והערוך, ותמלילים של שניהם. הסרטונים מגיעים משלושה מקורות, כאשר 100 קטעים מ... HDTF, 100 מ- שלום 3, ו-50 מ סלבריטאים-דאבכל אחד מהם נבדק ידנית כדי לוודא שהשמע והווידאו היו ברורים מספיק להערכה.

GPT‑4o שימש לתיקון כל תמליל כדי ליצור עריכות תקפות מבחינה דקדוקית. תמלילים מתוקנים אלה, יחד עם הנאום המקורי, הועברו ל-VoiceCraft כדי לייצר אודיו חדש; ובכל שלב, גם התמליל וגם הנאום שנוצר נבדקו ידנית לאיכות.

כל דגימה סומנה בסוג העריכה, עיתוי השינוי ואורך טווח השינויים, ועריכות סווגו כ הכנסות, מחיקות, או החלפותמספר המילים ששונו נע בין עריכות קצרות של מילה אחת עד 3 מילים, עריכות בינוניות של 4 עד 6 מילים, ועריכות ארוכות יותר של 7 עד 10 מילים.

שלושה מדדים מותאמים אישית הוגדרו להערכת איכות העריכה. רציפות פוטומטרית, כדי למדוד עד כמה התאורה והצבע של קטע ערוך משתלבים עם הסרטון שמסביב, על ידי השוואת הבדלים ברמת הפיקסלים בגבולות; המשכיות תנועה, כדי להעריך את העקביות של תנועת הפנים, על ידי מדידת שינויים בזרימה האופטית על פני פריימים ערוכים ולא ערוכים; ו- שימור זהות, כדי להעריך האם מראה האובייקט נשאר עקבי לאחר העריכה, על ידי השוואת הטמעות פנים מהרצפים המקוריים והנוצרים באמצעות ה- ארקפייס מודל זיהוי פנים.

בדיקות

מודל הבדיקה אומן על חומר משלושת מערכי הנתונים שהוזכרו לעיל, בסך הכל כ-200 שעות של תוכן וידאו, כולל ולוגים וסרטונים, כמו גם סרטוני יוטיוב ברזולוציה גבוהה.

כדי להעריך עריכת פנים מדברות, נעשה שימוש ב-FacEDiTBench, בנוסף ל-HDTF test split, שהפך לסטנדרט ביצועים עבור חבילת משימות זו.

מאחר שלא היו מערכות דומות ישירות המסוגלות לכלול פונקציונליות מקצה לקצה מסוג זה, בחרו המחברים מגוון מסגרות ששחזרו לפחות חלק מהפונקציונליות של היעד, ויכולות לשמש כבסיסים; כלומר, קיפייס; אקו-מימיק; EchoMimicV2; שלום; שלום 2; שלום 3; V-אקספרס; אניפורטרט, ו סאדדוקר.

מספר מדדים מבוססים שימשו גם להערכת איכות היצירה והעריכה, כאשר דיוק הסינכרון עם השפתיים הוערך באמצעות סינכרון נט, המדווח הן על השגיאה המוחלטת בין תנועות שפתיים לשמע (LSE-D) והן על ציון ביטחון (LSE-C); מרחק וידאו של פרשה (FVD) כימות עד כמה הסרטון נראה ריאליסטי באופן כללי; ו מדדי דמיון תפיסתיים נלמדים (LPIPS), מדידת דמיון תפיסתי בין פריימים שנוצרו לפריימים המקוריים.

לצורך עריכה, כל המדדים מלבד LPIPS יושמו רק על הקטע שעבר שינוי; לצורך יצירה, הוערך הסרטון כולו, ללא כל הכללת רציפות הגבולות.

כל מודל נוצר כדי לסנתז קטע וידאו תואם, אשר לאחר מכן חובר לסרטון המקורי (החוקרים מציינים ששיטה זו הציגה לעתים קרובות אי-רציפות גלויה, שבה הקטע הערוך פגש את הצילומים שמסביב). נבדקה גם גישה שנייה, שבה הסרטון כולו נוצר מחדש מהאודיו שעבר שינוי - אך פעולה זו באופן בלתי נמנע החליפה אזורים שלא נערך, ולא הצליחה לשמר את הביצועים המקוריים:

השוואה בין ביצועי עריכה במערכות שתוכננו במקור ליצירת פנים מדברות, כאשר FacEDiT עלתה על כל קווי הבסיס בכל מדד, והשיגה שגיאת סינכרון שפתיים נמוכה יותר (LSE-D), ביטחון סינכרון גבוה יותר (LSE-C), שימור זהות חזק יותר (IDSIM), ריאליזם תפיסתי גדול יותר (FVD) ומעברים חלקים יותר בין גבולות עריכה (Pcontinuity, Mcontinuity). עמודות בצללים אפורים מדגישות את הקריטריונים המרכזיים להערכת איכות הגבולות; ערכים מודגשים וקו תחתון מציינים את התוצאות הטובות ביותר והשנייה בטיב, בהתאמה.

בנוגע לתוצאות אלו, המחברים מעירים:

"המודל שלנו עולה בביצועיו באופן משמעותי על השיטות הקיימות במשימת העריכה. הוא משיג רציפות גבולות חזקה ושימור זהות גבוה, ומדגים את יכולתו לשמור על עקביות זמנית וחזותית במהלך העריכה. בנוסף, דיוק הסנכרון השפתיים המעולה שלו וה-FVD הנמוך שלו משקפים את הריאליזם של הווידאו המסונתז."

לחץ כדי לשחק. תוצאות, נאספו על ידי מחבר זה מהסרטונים שפורסמו באתר הפרויקט התומך. אנא עיינו באתר המקור לקבלת רזולוציה טובה יותר.

בנוסף, נערך מחקר בבני אדם, כדי להעריך את האיכות הנתפסת הן בעריכה והן ביצירה.

עבור כל השוואה, המשתתפים צפו בשישה סרטונים ודירגו אותם לפי איכותם הכוללת, תוך התחשבות בדיוק הסנכרון עם השפה, הטבעיות והריאליזם של תנועת הראש. בניסויי עריכה, המשתתפים דירגו גם את החלקות של המעברים בין קטעים ערוכים ללא ערוכים:

דירוגים ממוצעים שהוקצו על ידי מעריכים אנושיים, כאשר נמוך יותר פירושו טוב יותר. הן בעריכה והן ביצירה, המשתתפים שפטו עד כמה טבעי ומסונכרן כל סרטון נראה. בעריכה, הם גם דירגו עד כמה המעבר היה חלק בין דיבור ערוך ללא ערוך. מספרים מודגשים וקו תחתון מציינים את שני הציונים הגבוהים ביותר.

במחקר, FacEDiT דורג באופן עקבי במקום הגבוה ביותר, עם יתרון ברור, הן באיכות העריכה והן במעברים חלקים, וקיבל ציונים חזקים גם בהגדרת היצירה, דבר המצביע על כך שהיתרונות הנמדדים שלו מתורגמים לתוצאות מועדפות מבחינה תפיסתית.

עקב חוסר מקום, אנו מפנים את הקורא למאמר המקור לקבלת פרטים נוספים על מחקרי אבלציה, ובדיקות נוספות שבוצעו ודווחו בעבודה החדשה. למעשה, הצעות מחקר טיפוסיות מסוג זה מתקשות לייצר חלקים משמעותיים של תוצאות בדיקה, שכן ההצעה המרכזית עצמה היא בהכרח בסיס פוטנציאלי לעבודה מאוחרת יותר.

סיכום

אפילו לצורך הסקה, מערכות כגון זו עשויות לדרוש משאבי מחשוב משמעותיים בזמן ההסקה, מה שמקשה על משתמשי downstream - כאן, ככל הנראה, חנויות אפקטים חזותיים - לשמור את העבודה במקום. לכן, גישות שניתן להתאים למשאבים מקומיים מציאותיים תמיד יהיו עדיפות על ידי ספקים, אשר מחויבים מבחינה חוקית להגן על צילומי הלקוח ועל הקניין הרוחני הכללי.

אין בכך כדי לבקר את ההיצע החדש, שעשוי בהחלט לפעול בצורה מושלמת תחת משקלים כמותיים או אופטימיזציות אחרות, וזו ההיצע הראשון מסוגו שמושך אותי חזרה לתחום המחקר הזה מזה זמן רב.

פורסם לראשונה ביום רביעי, 17 בדצמבר 202. נערך ב-20:10 EET, באותו היום, לצורך תוספת מקום בפסקה הראשונה של הגוף.