ืืื ื ืืืืืืชืืช
ืืืฉืื ืขืงืืืืช ื ืจืืืืืช ืืืฆืืจืช ืืืืื ืืจืืื
ה פרסום הציבורי האחרון של מודל האינטליגנציה המלאכותית Hunyuan Video הגביר את הדיונים המתמשכים על הפוטנציאל של מודלים רב-מודאליים גדולים ליצור סרטים שלמים ביום מן הימים.
הואיל וכך, כפי ש ציינו, זהו מצב עניינים מאוד רחוק בעת האלה, מסיבות אחדות. אחת מהן היא חלון התשומת הלב הקצר מאוד של רוב מייצרי הווידאו של AI, שמתקשים לשמור על עקביות אפילו בצילום קצר בודד, לא לדבר על סדרה של צילומים.
עוד נקודה היא שהפניות העקביות לתוכן וידאו (כגון סביבות שניתן לחקור, שלא צריכות להשתנות באופן אקראי אם אתה חוזר על צעדיך דרכן) יכולות להיעשות רק במודלים דיפוזיים על ידי טכניקות התאמה כגון לורה (LoRA), שמגבילה את היכולות מחוץ לקופסה של מודלים יסודיים.
לפיכך, התפתחות הווידאו היצרני נראית כאילו היא עומדת להיתקע, אלא אם יפותחו גישות חדשות לרציפות נרטיבית.
מתכון לרציפות
עם זאת, שיתוף פעולה חדש בין ארצות הברית לסין הציע את השימוש ב וידאו הדרכה כתבנית אפשרית למערכות רציפות נרטיביות עתידיות.
[וידאו רוחב=”1080″ גובה=”520″ mp4=”https://www.unite.ai/wp-content/uploads/2025/01/How-to-cook-sandwich-AE.mp4″][/וידאו]
לחץ לשחק. מערכת VideoAuteur מסדרת את ניתוח חלקים של תהליך בישול, כדי לייצר מאגר נתונים חדש ומפורט ושיטת תזמון ליצירת וידאו בישול. התייחס לאתר המקור לרזולוציה טובה יותר. מקור: https://videoauteur.github.io/
בשם VideoAuteur, העבודה מציעה צינור לשני שלבים ליצירת וידאו הדרכה בישול, באמצעות מצבים משולבים המשלבים קייפריימים וכותרות, ומגיעה לתוצאות המצטיינות ביותר – בוודאי בתחום המנוי רק מעט.
דף הפרויקט של VideoAuteur כולל גם מספר וידאו מרשימים יותר, שמשתמשים באותה טכניקה, כגון טריילר מוצע ל (non-existent) סרט קרוסאובר של Marvel/DC:
[וידאו רוחב=”640″ גובה=”360″ mp4=”https://www.unite.ai/wp-content/uploads/2025/01/Batman_vs._Ironman_Movie_Trailer_batman_vs_ironman_H.264.mp4″][/וידאו]
לחץ לשחק. שני גיבורי על מיקום חלופי נפגשים פנים אל פנים בטריילר מזויף מ VideoAuteur. התייחס לאתר המקור לרזולוציה טובה יותר.
הדף כולל גם וידאו קידום מוסטים באותו סגנון, לסדרת בעלי חיים של Netflix ופרסומת למכונית Tesla.
בפיתוח VideoAuteur, המחברים ניסו פונקציות אובדן שונות, וגישות חדשות. כדי לפתח זרימת עבודה ליצירת הדרכה, הם גם איספו CookGen, המאגר הגדול ביותר המתמקד בתחום הבישול, הכולל 200,000 קטעי וידאו עם משך ממוצע של 9.5 שניות.
בממוצע של 768.3 מילים לווידאו, CookGen הוא בניכר המאגר המפורט ביותר מסוגו. מודלים רב-מודאליים שונים שימשו, בין היתר, כדי לוודא שהתיאורים היו מפורטים, רלוונטיים ומדויקים ככל האפשר.
וידאו הדרכה נבחרו מכיוון שהדרכות הבישול הן מבניות וברורות, מה שהופך את הסימון והערכה למשימה קלה יותר.
המחברים טוענים:
‘הצינור האוטורגרסיבי הדו-שלבי שלנו, שכולל במאי נרטיב ארוך ויצירת וידאו מותנית ויזואלית, מדגים שיפורים מבטיחים בעקביות סמנטית ונאמנות ויזואלית בווידאו נרטיב ארוך שנוצר.
‘דרך ניסויים על מאגר הנתונים שלנו, אנו מוצאים שיפורים בעקביות מרחבית וזמנית ברצף וידאו.
‘אנו מקווים שעבודתנו תוכל להקל על מחקרים נוספים ביצירת וידאו נרטיב ארוך.’
ה עבודה החדשה נקראת VideoAuteur: Towards Long Narrative Video Generation, ובאה משמונה מחברים באוניברסיטת ג’ונס הופקינס, ByteDance, ו-ByteDance Seed.
איסוף נתונים
כדי לפתח CookGen, שמניעה מערכת יצרנית דו-שלבית ליצירת וידאו בישול AI, המחברים השתמשו בחומרים מ YouCook ו HowTo100M אוספים. המחברים משווים את היקף CookGen למאגרי נתונים קודמים שמתמקדים בפיתוח נרטיב בווידאו יצרני, כגון Flintstones dataset, Pororo קרטון מאגר, StoryGen, Tencent StoryStream, ו VIST.
[…]
… (the rest of the content remains the same, following the same structure and translation)
