더 나은 생성형 AI 비디오를 위한 FluxFlow

새로운 논문이 이번 주에 Arxiv에 발표되었으며, Hunyuan Video나 Wan 2.1 AI 비디오 생성기를 사용하는 사람들에게 익숙한 문제를 해결하고 있습니다: 시간적 왜곡(temporal aberrations), 생성 과정에서突然 속도 변경, 결합, 생략 또는 중요한 순간의 손실과 같은 문제입니다.

[비디오 width=”1208″ height=”636″ mp4=”https://www.unite.ai/wp-content/uploads/2025/03/examples_temporal_issues_bordered_1-1.mp4″ loop=”true”][/video]

재생하기. 새로운 FluxFlow 접근법의 개선 효과를 보여주는 일부 시간적 결함. 출처: https://haroldchen19.github.io/FluxFlow/

위의 비디오는 논문의 예제 테스트 비디오를 보여주고 있으며, 여러 가지 문제를 FluxFlow 방법으로 개선한 것을 볼 수 있습니다.

첫 번째 예제에서는 CogVideoX로 생성된 ‘아이들이 공을 던지는’ 장면에서, 원래 생성된 비디오는 중요한 미세 동작을 빠르게 건너뛰는 문제가 있지만, FluxFlow를 적용한 경우에는 더 나은 결과를 얻을 수 있습니다.

[비디오 width=”1208″ height=”636″ mp4=”https://www.unite.ai/wp-content/uploads/2025/03/example_A-KIDS-IN-PARK.mp4″ loop=”true”][/video]

재생하기.

두 번째 예제에서는 NOVA-0.6B로 생성된 고양이가 꼬리를 쫓는 장면에서, 원래 생성된 비디오는 고양이의 동작이 왜곡되거나欠損된 문제가 있지만, FluxFlow를 적용한 경우에는 더 나은 결과를 얻을 수 있습니다.

[비디오 width=”1208″ height=”636″ mp4=”https://www.unite.ai/wp-content/uploads/2025/03/example_B-CAT-CHASING-TAIL.mp4″ loop=”true”][/video]

재생하기.

이러한 문제는 Hunyuan Video와 Wan 2.1에서 자주 보고되는 버그입니다.

일부 문제는 원본 데이터셋의 비디오 캡션 문제와 관련이 있지만, 새로운 연구는 훈련 데이터의 시간적 특성에 초점을 맞추고 있습니다.

예를 들어, 스포츠와 같은 경우에는 중요한 이벤트(예: 덩크슛)를 구별하기 어렵기 때문에, 이러한 경우에는 훈련 데이터에서 이러한 이벤트를 올바르게 학습하기 어렵습니다.

[비디오 width=”1208″ height=”636″ mp4=”https://www.unite.ai/wp-content/uploads/2025/03/example_C-BASKETBALL.mp4″ loop=”true”][/video]

재생하기.

이러한 문제는 대규모 동작이 손실된 경우에도 발생할 수 있으며, 이러한 경우에는 생성된 비디오가 논리적으로 전환되지 않습니다.

[비디오 width=”1208″ height=”636″ mp4=”https://www.unite.ai/wp-content/uploads/2025/03/example_D-BUTTERFLY.mp4″ loop=”true”][/video]

재생하기.

이러한 문제는 새로운 것이 아니지만, 강력한 생성형 비디오 모델이 등장함에 따라 더 많은 관심을 받고 있습니다.

Reddit와 Discord의 커뮤니티에서는 이러한 문제를 사용자 관련 문제로 간주했지만, 실제로는 연구의 초점이 이러한 문제를 해결하는 데에 있지 않았습니다.

이러한 문제를 해결하기 위해 일부 사용자는 설정을 변경하거나 다양한 워크플로우를 사용하는 등의 방법을 시도했지만, 이러한 방법은 효과적이지 않습니다.

이러한 문제의 근본 원인은 아직 명확하지 않지만, 연구는 이러한 문제를 해결하기 위한 방법을 찾고 있습니다.

이번 주에 발표된 새로운 논문은 이러한 문제를 해결하기 위한 새로운 접근법을 제시하고 있습니다.

새로운 논문은 FluxFlow라는 새로운 프리트레이닝 스키마를 제안하며, 이는 훈련 데이터의 시간적 특성을 변경하여 생성형 비디오 모델의 성능을 향상시키는 방법입니다.

FluxFlow

FluxFlow의 핵심 아이디어는 훈련 데이터의 시간적 순서를 변경하여 생성형 비디오 모델의 성능을 향상시키는 것입니다.

FluxFlow의 핵심 아이디어는 블록과 블록 그룹을 비시간적 위치로 이동하여 데이터를 증강하는 것입니다.

이러한 방법은 생성형 비디오 모델의 성능을 향상시키는 데에 효과적입니다.

Disruptive Behavior

FluxFlow는 훈련 데이터의 시간적 순서를 변경하여 생성형 비디오 모델의 성능을 향상시키는 데에 효과적입니다.

이러한 방법은 생성형 비디오 모델의 성능을 향상시키는 데에 효과적입니다.

Tests

新的 논문은 FluxFlow의 성능을 평가하기 위한 테스트를 수행했습니다.

테스트 결과, FluxFlow는 생성형 비디오 모델의 성능을 향상시키는 데에 효과적임을 보여주었습니다.

Conclusion

新的 논문은 FluxFlow라는 새로운 프리트레이닝 스키마를 제안하며, 이는 훈련 데이터의 시간적 특성을 변경하여 생성형 비디오 모델의 성능을 향상시키는 방법입니다.

이러한 방법은 생성형 비디오 모델의 성능을 향상시키는 데에 효과적입니다.

* Wan의 기본 프레임 레이트는 16fps이며, 저자自身의 문제에 대한 해결책으로, 포럼에서는 프레임 레이트를 12fps로 낮추고 FlowFrames 또는 다른 AI 기반 리플로우 시스템을 사용하여 이러한 빈약한 프레임 수의 간격을 보간하는 것을 제안했습니다.

最初에 게시된 날: 2025년 3월 21일