ืืื ื ืืืืืืชืืช
ืขืืืืชื ืฉื Hunyuan Video Deepfakes
בגלל טיבו של חלק מהחומר שנדון כאן, מאמר זה יכיל פחות קישורים למקורות ואיורים מהרגיל.
משהו הראוי לציון קורה כרגע בקהילת הסינתזה של AI, אם כי חשיבותו עשויה להתברר רק לאחר זמן. חובבים מאמנים מודלים וידאו יוצרים של AI לשחזר דמויות של אנשים, באמצעות LoRAs מבוססי וידאו LoRAs במסגרת ה-Hunyuan Video הפתוחה של Tencent Hunyuan Video framework.*
לחץ לשחק. תוצאות מגוונות מ-Hunyuan-based LoRA customizations זמינות בחינם בקהילת Civit. על ידי אימון מודלים של low-rank adaptation (LoRAs), בעיות עם יציבות זמנית, שהטרידו את יצירת וידאו של AI במשך שנתיים, מופחתות באופן משמעותי. מקורות: civit.ai
בווידאו המוצג לעיל, דמויותיהן של השחקניות נטלי פורטמן, כריסטינה הנדריקס וסקרלט ג’והנסון, יחד עם מנהיג הטכנולוגיה אילון מאסק, הוכשרו לקבצים נלווים קטנים יחסית עבור מערכת הווידאו היוצרת של Hunyuan, שניתן להתקין ללא פילטרי תוכן (כגון פילטרים של NSFW) על מחשב המשתמש.
היוצר של ה-Christina Hendricks LoRA המוצג לעיל מצהיר כי רק 16 תמונות מסדרת הטלוויזיה Mad Men היו נדרשות כדי לפתח את המודל (שהוא הורדה בת 307mb בלבד); פוסטים מרובים מקהילת Stable Diffusion ב-Reddit ו-Discord אישרו כי LoRAs מסוג זה אינם דורשים כמויות גדולות של נתוני אימון, או זמני אימון ארוכים, במרבית המקרים.
Cלחץ לשחק. ארנולד שוורצנגר מובא לחיים ב-Hunyuan video LoRA שניתן להוריד ב-Civit. ראו https://www.youtube.com/watch?v=1D7B9g9rY68 לדוגמאות נוספות של Arnie, מאת החובב AI Bob Doyle.
Hunyuan LoRAs יכולים להיות מאומנים על תמונות סטטיות או וידאו, אם כי אימון על וידאו דורש משאבי חומרה רבים יותר וזמן אימון מוגבר.
מודל הווידאו Hunyuan מציג 13 מיליארד פרמטרים, ועוקף את 12 מיליארד הפרמטרים של Sora, ועולה על המודל הפחות מסוגל Hunyuan-DiT ששוחרר לקוד פתוח בקיץ 2024, שיש לו רק 1.5 מיליארד פרמטרים.
כפי שהיה לפני שנתיים וחצי עם Stable Diffusion ו-LoRA (ראו דוגמאות של ‘ילידי’ סלבריטאים כאן), המודל הבסיסי בשאלה היה בעל הבנה מוגבלת בהרבה של אישיות סלבריטאים, לעומת רמת הנאמנות שניתן להשיג דרך מימושי LoRA ‘ID-מוזרק’.
באופן יעיל, LoRA מותאם אישית, המתמקד באישיות, מקבל ‘נסיעה חינם’ על יכולות הסינתזה המשמעותיות של המודל הבסיסי Hunyuan, ומציע סינתזה אנושית הרבה יותר יעילה מאשר ניתן להשיג על ידי אוטו-אנקודרים של deepfakes מ-2017 או על ידי ניסיון להוסיף תנועה לתמונות סטטיות דרך מערכות כגון LivePortrait המפורסם.
כל ה-LoRAs המוצגים כאן זמינים להורדה בחינם מקהילת Civit הפופולרית מאוד, בעוד שמספר רב יותר של ‘static-image’ LoRAs ישנים יותר עשויים גם ליצור ‘זרע’ לתהליך יצירת וידאו (כלומר, image-to-video, שחרור עתידי ל-Hunyuan Video, אם כי פתרונות זמניים אפשריים, לשעה).
לחץ לשחק. לעיל, דוגמאות מ-‘static’ Flux LoRA; למטה, דוגמאות מ-Hunyuan video LoRA המציגות את המוזיקאי טיילור סוויפט. שני LoRAs אלה זמינים בחינם בקהילת Civit.
כאשר אני כותב, אתר Civit מציע 128 תוצאות חיפוש עבור ‘Hunyuan’. כמעט כולם באופן כלשהו NSFW מודלים; 22 מתארים סלבריטאים; 18 מיועדים להקלת יצירת פורנוגרפיה; ורק שבעה מהם מתארים גברים ולא נשים.
מהו החדש?
בגלל הטבע המשתנה של המונח deepfake, והבנה מוגבלת של הציבור בנוגע ל(המגבלות החמורות) של קדם-AI של וידאו אנושי, חשיבותו של Hunyuan LoRA אינה קלה להבנה עבור מי שעוקב באופן קסואלי אחר סצנת AI יוצרת. בואו נסקור חלק מההבדלים העיקריים בין Hunyuan LoRAs לגישות קודמות ליצירת וידאו של AI המבוססת על זהות.
1: התקנה מקומית ללא הגבלות
האספקט החשוב ביותר של Hunyuan Video הוא העובדה שניתן להוריד אותו במקום, ושהוא מציב מערכת יצירת וידאו של AI חזקה ובלתי צנזורה בידי המשתמש הקסואלי, כמו גם קהילת VFX (במידת היתר שרישיונות עשויים לאפשר ברחבי אזורים גאוגרפיים).
הפעם האחרונה שקרה היה עם שחרורו של מודל Stable Diffusion של Stability.ai בקיץ 2022. באותה עת, DALL-E2 של OpenAI תפס את דמיון הציבור, אם כי DALLE-2 היה שירות תשלום עם הגבלות משמעותיות (שגדלו עם הזמן).
כאשר Stable Diffusion הפך לזמין, ו-Low-Rank Adaptation איפשר ליצור תמונות של זהות כל אדם (סלבריטאים או לא), המוקד העצום של עניין המפתחים והצרכנים עזר ל-Stable Diffusion להעלות על פופולריות של DALLE-2; אם כי האחרון היה מערכת יותר כשירה מחוץ לקופסה, הרוטינות הצנזוריות שלו נתפסו כמגבילות על ידי רבים ממשתמשיו, ואין אפשרות להתאמה אישית.
באופן טעון, התרחיש הזה חל גם על Sora ו-Hunyuan – או, במדויק יותר, בין Sora-grade מערכות וידאו יוצרות פרופסוריות, ויריבים פתוחים קוד, מתוכם Hunyuan הוא הראשון – אך כנראה לא האחרון (כאן, ראו Flux עשוי להשיג קרקע משמעותית על Stable Diffusion).
משתמשים שרוצים ליצור פלט Hunyuan LoRA, אך חסרים ציוד בעל יכולת, יכולים, כרגיל, להעביר את היבט ה-GPU של האימון לשירותי חישוב מקוונים כגון RunPod. זה אינו זהה ליצירת סרטוני AI בפלטפורמות כגון Kaiber או Kling, מכיוון שאין מעורבת סינון סמנטי או סינון מבוסס תמונה (צנזורה) בשכירת GPU לתמיכה בזרימת עבודה מקומית.
… (rest of the translation remains the same)
