훈련 중 프레임 셔플링으로 더 나은 생성 AI 비디오

이번 주 Arxiv에 게재된 새로운 논문은 이를 채택한 모든 사람이 해결해야 할 문제를 다루고 있습니다. 훈위안 비디오 or 완 2.1 AI 비디오 생성기는 이제 다음과 같은 기능을 제공하게 될 것입니다. 시간적 이상, 생성 프로세스가 생성된 비디오에서 중요한 순간을 갑자기 빠르게 진행시키거나, 혼동시키거나, 생략하거나, 그렇지 않으면 엉망으로 만드는 경향이 있는 경우:

클릭하여 재생. 새로운 세대의 생성 비디오 시스템 사용자에게 익숙해지고 있는 시간적 결함 중 일부는 새로운 논문에서 강조되었습니다. 오른쪽은 새로운 FluxFlow 접근 방식의 개선 효과입니다.  출처: https://haroldchen19.github.io/FluxFlow/

위의 비디오는 (경고: 다소 혼란스럽습니다) 예시 테스트 비디오의 발췌 부분을 담고 있습니다. 프로젝트 사이트 논문을 위해. 우리는 저자의 방법(비디오 오른쪽에 그림으로 표시됨)에 의해 점점 더 익숙해지는 여러 가지 문제가 해결되는 것을 볼 수 있습니다. 이는 효과적으로 데이터셋 전처리 모든 생성 비디오 아키텍처에 적용 가능한 기술입니다.

첫 번째 예에서는 '공을 가지고 노는 두 아이'를 특징으로 하며, 코그비디오X, 우리는 (위의 편집 비디오의 왼쪽과 아래의 구체적인 예에서) 네이티브 세대가 몇 가지 필수적인 미세 동작을 빠르게 건너뛰어 어린이의 활동을 '만화' 피치까지 가속화하는 것을 봅니다. 이와 대조적으로 동일한 데이터 세트와 방법은 새로운 전처리 기술인 플럭스플로우 (아래 영상의 이미지 오른쪽):

클릭하여 재생.

두 번째 예에서는 (사용 노바-0.6B) 고양이가 포함된 중앙 동작이 훈련 단계에서 어떤 식으로든 손상되었거나 상당히 샘플링이 부족하여 생성 시스템이 '마비'되어 피사체를 움직이지 못하는 것을 알 수 있습니다.

클릭하여 재생.

이 증후군은 동작이나 피사체가 '멈춰버리는' 현상으로, 다양한 이미지와 비디오 합성 그룹에서 HV와 Wan에 대해 가장 자주 보고되는 골치 아픈 문제 중 하나입니다.

이러한 문제 중 일부는 소스 데이터 세트의 비디오 자막 문제와 관련이 있습니다. 이번 주를 살펴보았습니다; 하지만 새로운 연구의 저자들은 대신 훈련 데이터의 시간적 품질에 노력을 집중하고, 그 관점에서 과제를 해결하면 유용한 결과를 얻을 수 있다는 설득력 있는 주장을 내세웁니다.

비디오 자막에 대한 이전 기사에서 언급했듯이 특정 스포츠의 특히 핵심 순간으로 추출하기 어렵기 때문에 중요한 이벤트(예: 슬램덩크)가 훈련 시간에 필요한 주의를 받지 못합니다.

클릭하여 재생.

위의 예에서 생성 시스템은 다음 동작 단계로 넘어가는 방법을 모르고, 한 포즈에서 다음 포즈로 비논리적으로 전환하면서 플레이어의 태도와 기하학을 변경합니다.

이것은 훈련에서 놓친 큰 움직임이지만 나비 날개짓과 같은 훨씬 작지만 중요한 움직임도 마찬가지로 취약합니다.

클릭하여 재생.  

슬램덩크와 달리 날개 펄럭임은 '희귀한' 일이 아니라 지속적이고 단조로운 사건입니다. 그러나 샘플링 과정에서 일관성이 상실되는데, 움직임이 너무 빨라서 시간적으로 확립하기가 매우 어렵기 때문입니다.

이것들은 특별히 새로운 문제는 아니지만 강력한 생성 비디오 모델이 지역 설치 및 무료 생성을 위해 매니아들에게 제공되면서 이제 더 많은 관심을 받고 있습니다.

Reddit과 Discord의 커뮤니티는 처음에 이러한 문제를 '사용자 관련'으로 취급했습니다. 이는 문제의 시스템이 매우 새롭고 최소한으로 문서화되어 있기 때문에 이해할 만한 추정입니다. 따라서 다양한 전문가가 여기에 문서화된 일부 결함에 대해 다양한(항상 효과적인 것은 아님) 해결책을 제안했습니다. 예를 들어, Hunyuan Video(HV) 및 Wan 2.1의 다양한 유형의 ComfyUI 워크플로의 다양한 구성 요소에서 설정을 변경하는 것입니다.

어떤 경우에는 빠른 동작을 생성하는 대신 HV와 Wan이 모두 생성됩니다. 느리게 동작. Reddit 및 ChatGPT(대부분 Reddit 활용)의 제안은 다음과 같습니다. 프레임 수 변경 요청된 세대에서 프레임 속도를 크게 낮추거나*.

이건 모두 절박한 문제입니다. 점점 더 커지는 진실은 우리가 아직 이 문제에 대한 정확한 원인이나 정확한 해결책을 알지 못한다는 것입니다. 분명히, 이 문제를 해결하기 위해 생성 설정을 괴롭히는 것은(특히 fps 속도가 너무 낮은 경우처럼 출력 품질이 저하되는 경우) 일시적인 방편일 뿐이며, 연구 현장에서 이처럼 새롭게 나타나는 문제를 이렇게 신속하게 다루는 것은 좋은 일입니다.

따라서 이번 주에는 자막이 학습에 어떤 영향을 미치는지 살펴보는 것 외에도 시간적 정규화에 대한 새로운 논문을 살펴보고 이것이 현재 생성적 비디오 장면에 어떤 개선 사항을 제공할 수 있는지 알아보겠습니다.

핵심 아이디어는 다소 단순하고 가벼우며, 그렇다고 해서 나쁘지는 않습니다. 그럼에도 불구하고 이 논문은 규정된 8페이지에 맞추기 위해 다소 채워 넣었으며, 필요에 따라 이 채우기는 건너뛸 것입니다.

VideoCrafter 프레임워크의 기본 세대에 있는 물고기는 정적인 반면, FluxFlow로 변경된 버전은 필수적인 변경 사항을 포착합니다. 출처: https://arxiv.org/pdf/2503.15417

The 새 일 제목이 시간적 정규화로 비디오 생성기가 더욱 강력해집니다, 그리고 Everlyn AI, 홍콩과학기술대학(HKUST), 센트럴플로리다대학(UCF), 홍콩대학(HKU)의 연구원 8명이 참여했습니다.

(이 글을 쓰는 시점에서 논문에 첨부된 자료에 몇 가지 문제가 있습니다. 프로젝트 사이트)

플럭스플로우

핵심 아이디어는 다음과 같습니다. 플럭스플로우저자의 새로운 사전 훈련 계획은 널리 퍼진 문제를 극복하는 것입니다. 꺼질 것 같은 그리고 시간적 불일치 소스 데이터가 학습 프로세스에 노출됨에 따라 시간 프레임 순서로 블록 및 블록 그룹을 섞음으로써:

FluxFlow의 핵심 아이디어는 데이터 증강의 한 형태로 블록과 블록 그룹을 예상치 못한 비시간적 위치로 옮기는 것입니다.

해당 논문에서는 다음과 같이 설명합니다.

'[아티팩트]는 근본적인 한계에서 비롯됩니다. 대규모 데이터 세트를 활용함에도 불구하고 현재 모델은 다양하고 그럴듯한 시간적 역학을 학습하기보다는 훈련 데이터의 단순화된 시간적 패턴(예: 고정된 보행 방향이나 반복적인 프레임 전환)에 의존하는 경우가 많습니다.

'이 문제는 훈련 중에 명시적인 시간적 증가가 부족하여 더욱 악화되며, 모델은 다양한 동작 시나리오에 걸쳐 일반화하기보다는 잘못된 시간적 상관관계(예: "프레임 #5는 프레임 #4를 따라야 함")에 과도하게 적합되기 쉽습니다.'

대부분의 비디오 생성 모델은 여전히 ​​너무 많은 것을 차용하고 있다고 저자는 설명합니다. 영상 합성, 시간 축을 대체로 무시하면서 공간적 충실도에 초점을 맞춥니다. 자르기, 뒤집기, 색상 지터링과 같은 기술은 정적 이미지 품질을 개선하는 데 도움이 되었지만, 프레임 간의 일관된 전환에 따라 동작의 환상이 달라지는 비디오에 적용하면 적절한 솔루션이 아닙니다.

이로 인해 깜빡이는 텍스처, 프레임 간의 갑작스러운 화면 전환, 반복적이거나 지나치게 단순한 동작 패턴 등의 문제가 발생합니다.

클릭하여 재생합니다.

이 논문에서는 일부 모델(다음 포함)이 다음과 같다고 주장합니다. 안정적인 영상확산 그리고 라마젠 – 점점 더 복잡해지는 아키텍처나 엔지니어링 제약을 보완하기 위해 컴퓨팅과 유연성 측면에서 비용이 발생합니다.

시간 데이터 증가는 이미 비디오에서 유용하다는 것이 입증되었습니다. 이해 작업(예: 프레임워크에서) 파인클리퍼, 세파르 그리고 SVFormer저자는 이 전략이 생성적 맥락에서 거의 적용되지 않는다는 점이 놀랍다고 주장합니다.

파괴적인 행동

연구자들은 훈련 중 시간 순서의 단순하고 구조화된 혼란이 모델이 현실적이고 다양한 동작으로 더 잘 일반화되도록 돕는다고 주장합니다.

'무질서한 시퀀스에서 학습함으로써 생성기는 그럴듯한 궤적을 복구하는 법을 배우고 시간적 엔트로피를 효과적으로 정규화합니다. FLUXFLOW는 차별적 및 생성적 시간적 증강 간의 격차를 메우고, 전반적인 [품질]을 개선하는 동시에 시간적으로 그럴듯한 비디오 생성을 위한 플러그 앤 플레이 향상 솔루션을 제공합니다.

'기존의 방법들이 구조적 변화를 도입하거나 후처리에 의존하는 것과 달리, FLUXFLOW는 데이터 수준에서 직접 작동하며, 학습 중에 통제된 시간적 교란을 도입합니다.'

클릭하여 재생합니다.

프레임 수준의 섭동은 시퀀스 내에서 세밀한 혼란을 초래한다고 저자는 말합니다. 이러한 종류의 혼란은 다음과 유사합니다. 마스킹 증강, 데이터 섹션이 무작위로 차단되어 시스템이 작동하지 않도록 합니다. 과적 합 데이터 포인트에 대해 더 나은 것을 장려합니다. 일반화.

테스트

이 글의 핵심 아이디어는 간단하기 때문에 전체 논문으로 다룰 수는 없지만, 그래도 살펴볼 수 있는 테스트 섹션이 있습니다.

저자는 공간 충실도를 유지하면서도 시간적 품질을 개선하는 것과 관련된 네 가지 질의, 동작/광학 흐름 역학을 학습하는 능력, 추가 단어 생성에서 시간적 품질을 유지하는 능력, 주요 하이퍼 매개변수에 대한 민감도를 테스트했습니다.

연구원들은 FluxFlow를 U-Net 기반, 비디오크래프터2; DiT-CogVideoX-2B 형태로 기반됨 AR-기반, NOVA-0.6B 형태.

공정한 비교를 위해 그들은 FluxFlow를 추가 교육 단계로 사용하여 아키텍처의 기본 모델을 미세 조정했습니다. 시대,에 오픈비드HD-0.4M 데이터 세트.

모델은 두 가지 인기 있는 벤치마크에 대해 평가되었습니다. UCF-101및 브이벤치.

UCF의 경우 프레셰 비디오 거리 (FVD) 및 시작 점수 (IS) 메트릭이 사용되었습니다. VBench의 경우 연구자들은 시간적 품질, 프레임별 품질, 전반적인 품질에 집중했습니다.

FluxFlow-Frame의 정량적 초기 평가. "+ Original"은 FLUXFLOW 없이 학습한 것을 나타내고, "+ Num × 1"은 다른 FluxFlow-Frame 구성을 나타냅니다. 가장 좋은 결과는 음영 처리되고, 두 번째로 좋은 결과는 각 모델에 대해 밑줄이 그어집니다.

이러한 결과에 대해 저자들은 다음과 같이 언급했습니다.

'FLUXFLOW-FRAME과 FLUXFLOW-BLOCK은 모두 시간적 품질을 크게 개선합니다. 이는 표 1, 2(즉, FVD, 피사체, 깜빡임, 동작 및 동적)의 측정 항목과 [아래 이미지]의 질적 결과에서 입증됩니다.

'예를 들어, VC2에서 드리프팅 카의 움직임, NOVA에서 꼬리를 쫓는 고양이, CVX에서 파도를 타는 서퍼는 FLUXFLOW를 통해 눈에 띄게 더 유동적이 됩니다. 중요한 점은 이러한 시간적 개선이 공간적 충실도를 희생하지 않고 달성된다는 것입니다. 이는 물보라, 연기 흔적, 파도 질감의 선명한 세부 사항과 공간적 및 전반적인 충실도 지표에서 입증됩니다.'

아래에 저자가 언급한 정성적 결과에서 선택한 내용을 볼 수 있습니다(전체 결과와 더 나은 해상도는 원본 논문을 참조하세요):

정성적 결과에서 선택한 내용입니다.

이 논문은 프레임 수준과 블록 수준 섭동이 모두 시간적 품질을 향상시키지만, 프레임 수준 방법이 더 나은 성과를 내는 경향이 있다고 제안합니다. 이는 더 미세한 세분성으로 인해 더 정확한 시간적 조정이 가능하기 때문입니다. 반면 블록 수준 섭동은 블록 내에서 밀접하게 결합된 공간적 및 시간적 패턴으로 인해 노이즈가 발생하여 효과성이 떨어질 수 있습니다.

결론

본 논문은 Bytedance-Tsinghua와 함께 캡션 협업 이번 주에 발표된 보고서를 통해 새로운 세대의 생성적 비디오 모델의 명백한 단점이 사용자 오류, 기관의 실수 또는 자금 제한에서 비롯된 것이 아니라 시간적 응집성과 일관성과 같은 더 시급한 과제를 이러한 덜 중요한 문제보다 우선시하는 연구 초점에서 비롯된 것이라는 점이 분명해졌습니다.

최근까지 무료로 이용 가능하고 다운로드 가능한 생성 비디오 시스템의 결과는 너무 형편없어서, 마니아 커뮤니티에서 문제를 바로잡기 위한 큰 노력이 나오지 않았습니다(문제가 근본적이고 쉽게 해결할 수 없는 것이 이유였습니다).

순수 AI가 생성하는 사실적인 비디오 출력의 오랜 예측 시대가 이제 훨씬 가까워졌으므로, 연구자와 일반 커뮤니티 모두가 남아 있는 문제를 해결하기 위해 더욱 깊고 생산적인 관심을 갖고 있다는 것이 분명합니다. 운이 좋다면 이러한 문제는 극복할 수 없는 장애물이 아닐 것입니다.

* Wan의 기본 프레임 속도는 16fps에 불과하며, 내 문제에 대한 대응으로 포럼에서 프레임 속도를 12fps까지 낮추고 다음을 사용하라고 제안한 것을 알 수 있습니다. 플로우 프레임 또는 이렇게 희소한 수의 프레임 사이의 간격을 보간하기 위해 다른 AI 기반 리플로우 시스템을 사용합니다.

첫 번째 게시일 21년 2025월 XNUMX일 금요일