AI 비디오가 고양이 셀카를 완벽하게 만들어줍니다

AI 비디오 생성기는 종종 사용자가 입력한 텍스트 프롬프트에서 원하는 결과를 거의 완벽하게 구현하지 못하는 경우가 많습니다. 하지만 새로운 고급 수정 사항을 적용하면 이러한 문제를 완전히 해결할 수 있습니다.

생성형 비디오 시스템은 종종 정말 창의적이거나 독특한 비디오를 만드는 데 어려움을 겪고, 사용자의 텍스트 프롬프트에 대한 기대를 충족시키지 못하는 경우가 많습니다.

이러한 현상의 부분적인 이유는 다음과 같습니다. 얽히게 함 – 비전/언어 모델은 소스 데이터 학습 시간에 있어 절충점을 찾아야 한다는 점입니다. 학습 시간이 너무 짧으면 개념은 유연하지만 완전히 정립되지 않고, 너무 길면 개념은 정확하지만 새로운 조합에 통합할 만큼 충분히 유연하지 못합니다.

아래 영상에서 그 개념을 이해하실 수 있습니다. 왼쪽은 많은 AI 시스템이 까다로운 지시(네 가지 예시 모두 영상 상단에 제시됨)에 대해 내놓는 어중간한 타협안입니다. 이 지시는 실제 학습 예제로는 적합하지 않을 정도로 비현실적인 요소들의 조합을 요구합니다. 오른쪽은 AI가 지시에 훨씬 더 충실하게 응답한 결과입니다.

클릭하여 재생 (음성 없음). 오른쪽 영상에서는 '팩토링된' WAN 2.2가 프롬프트에 정확히 부합하는 성능을 보여주는 반면, 왼쪽 영상에서는 '바닐라' WAN 2.2가 모호하게 해석된 모습을 보입니다. 더 나은 해상도와 더 많은 예시를 보시려면 원본 영상 파일을 참조하십시오. 다만, 여기에 소개된 영상들은 프로젝트 사이트에는 없으며, 본 기사를 위해 편집된 것입니다. 출처

음, 박수치는 오리의 손이 사람 손처럼 보이는 건 좀 아쉽지만(!), 오른쪽 예시들이 왼쪽 예시들보다 원래 글의 의도를 훨씬 더 잘 반영하고 있다는 건 분명합니다.

흥미롭게도, 소개된 두 아키텍처 모두 본질적으로는 다음과 같습니다. 같은 건축 – 대중적이고 매우 유능한 완 2.2올해 오픈 소스 및 취미 커뮤니티에서 상당한 인기를 얻은 중국 게임입니다.

차이점은 두 번째 생성 파이프라인이 다음과 같다는 것입니다. 인수분해된이 경우, 대규모 언어 모델(LLM)을 사용하여 비디오의 첫 번째(시드) 프레임을 재해석함으로써 시스템이 사용자의 요청을 훨씬 쉽게 제공할 수 있도록 했다는 의미입니다.

이 '시각적 앵커링'은 LLM으로 강화된 프롬프트에서 생성된 이미지를 '시작 프레임'으로 생성 파이프라인에 주입하고, 이를 활용하는 것을 포함합니다. 로라 '침입자' 프레임을 비디오 제작 과정에 통합하는 데 도움이 되는 해석 모델.

즉각적인 응답 속도 측면에서 그 결과는 상당히 놀랍습니다. 특히, 꽤 우아해 보이는 해결책이라는 점을 고려하면 더욱 그렇습니다.

클릭하여 재생 (음성 없음). '인수분해된' 비디오 생성 방식이 스크립트에 충실하게 구현된 추가 예시입니다. 더 나은 해상도와 더 많은 예시를 보시려면 원본 비디오 파일을 참조하십시오. 단, 여기에 소개된 버전은 프로젝트 사이트에는 없으며, 이 기사를 위해 편집된 것입니다.

이 해결책은 다음과 같은 형태로 제공됩니다. 새 용지 인수분해된 비디오 생성: 텍스트-비디오 확산 모델에서 장면 구성과 시간적 합성의 분리그리고 영상이 풍부하게 담긴 부록 프로젝트 웹 사이트.

현재 많은 시스템들이 모호하거나 불명확한 텍스트를 언어 모델을 사용하여 재작성함으로써 프롬프트 정확도를 높이려고 시도하지만, 본 연구는 이러한 전략이 모델의 한계로 인해 여전히 실패로 이어질 수 있다고 주장합니다. 내부 장면 표현 결함이 있습니다.

자세하게 다시 작성된 프롬프트가 있더라도, 텍스트를 비디오로 변환하는 모델은 종종 핵심 요소를 잘못 구성하거나 애니메이션의 논리를 깨뜨리는 호환되지 않는 초기 상태를 생성합니다. 첫 번째 프레임이 프롬프트의 설명을 제대로 반영하지 못하면, 모션 모델이 아무리 훌륭하더라도 결과 비디오는 복구될 수 없습니다.

논문 상태*:

'[텍스트-비디오] 모델은 종종 분포적으로 어긋난 프레임을 생성하지만 여전히 I2V 모델과 유사한 [평가 점수]를 달성합니다. 이는 다음을 나타냅니다. 장면의 그래픽 품질이 상대적으로 떨어지더라도 동작 모델링은 상당히 자연스럽게 유지됩니다..

'[이미지-비디오] 모델은 정확한 초기 장면에서 높은 [평가 점수]를 얻지만 시간적 일관성은 다소 떨어지는 상보적인 특성을 보이는 반면, I2V+텍스트 모델은 두 가지 측면의 균형을 맞춥니다.'

'이러한 대조는 다음을 시사합니다.' 현재 T2V 모델의 구조적 불일치장면 기반 학습과 시간적 합성은 서로 다른 귀납적 편향의 이점을 누리지만, 기존 아키텍처는 단일 모델 내에서 이 두 가지를 동시에 학습하려고 시도합니다.

생성 모드에 대한 진단적 비교 결과, 명시적인 장면 고정이 없는 모델은 동작 처리에서는 우수한 점수를 받았지만 장면 레이아웃에서는 종종 부족한 모습을 보였고, 이미지 기반 접근 방식은 정반대의 양상을 나타냈다.

두 데이터셋에 대한 비디오 생성 모드 비교 결과, I2V+텍스트 방식이 최상의 프레임 품질(FID)과 시간적 일관성(FVD)을 달성하는 것으로 나타났으며, 이는 장면 구성과 모션 처리를 분리하는 것의 이점을 강조합니다. 출처

이러한 연구 결과는 현재 모델들이 장면 레이아웃과 애니메이션을 동시에 학습하려고 시도하는 구조적 결함을 지적합니다. 두 작업은 서로 다른 유형의 학습을 요구함에도 불구하고 말입니다. 유도 바이어스그리고 이 두 가지는 별도로 처리하는 것이 더 좋습니다.

아마도 가장 흥미로운 점은 이 '꼼수'가 WAN 2.1 및 2.2와 같은 모델, 그리고 유사한 비디오 확산 모델의 로컬 설치에도 적용될 수 있다는 것입니다. 훈위안 비디오일화적으로, 취미 개발자들이 만든 결과물의 품질을 Kling이나 Runway 같은 상용 생성형 포털과 비교해 보면, 대부분의 주요 API 제공업체들이 LoRA를 이용한 WAN과 같은 오픈 소스 제품들을 개선하고 있으며, 새로운 논문에서 제시된 것과 같은 기법들을 사용하고 있는 것으로 보입니다. 따라서 이러한 접근 방식은 오픈 소스 소프트웨어(FOSS) 분야가 따라잡을 수 있는 발판이 될 수 있을 것입니다.

해당 방법에 대해 실시된 테스트 결과는 이 간단하고 모듈식 접근 방식이 최첨단 기술을 새롭게 제시한다는 것을 보여줍니다. T2V-CompBench 벤치마크모든 테스트 모델의 성능을 크게 향상시켰습니다. 저자들은 결론에서 자신들의 시스템이 정확도를 획기적으로 향상시키지만, (해결하도록 설계된 것도 아니고) 다른 문제는 해결하지 못한다고 지적합니다. 정체성 표류현재 생성형 AI 연구의 골칫거리입니다.

새로운 논문은 스위스 EPFL(Ecole Polytechnique Fédérale de Lausanne)의 연구원 4명이 작성한 것입니다.

방법 및 데이터

새로운 기술의 핵심 명제는 텍스트-비디오(T2V) 확산 모델이 원하는 텍스트 프롬프트에 실제로 맞는 시작 프레임에 '고정'되어야 한다는 것입니다.

모델이 시작 프레임을 존중하도록 하기 위해 새로운 방법은 다음과 같은 과정을 방해합니다. 표준 확산 공정 깨끗한 액체를 주입함으로써 숨어있는 타임스텝 0의 앵커 이미지에서 가져온 데이터를 일반적인 노이즈 입력 중 하나로 대체합니다. 이 익숙하지 않은 입력은 처음에는 모델을 혼란스럽게 하지만, 최소한의 LoRA(Long-Term Assessment, LORA)를 발생시킵니다. 미세 조정이를 통해 주입된 프레임을 노이즈 궤적의 일부가 아닌 고정된 시각적 기준점으로 처리하는 법을 학습합니다.

텍스트를 비디오로 변환하는 과정에서 시각적 앵커를 활용하는 2단계 방법: 왼쪽은 경량 LoRA를 사용하여 모델을 미세 조정하는 단계로, 입력된 깨끗한 잠재 데이터를 고정된 장면 제약 조건으로 처리합니다. 오른쪽은 프롬프트를 첫 번째 프레임의 캡션으로 분할하고, 이 캡션을 사용하여 비디오를 안내하는 앵커 이미지를 생성합니다.

추론 단계에서 해당 메서드는 프롬프트를 다시 작성하여 설명합니다. 첫 번째 프레임만레이아웃과 외관에 초점을 맞춰 그럴듯한 초기 장면 상태를 추출하기 위해 LLM을 사용합니다.

이렇게 재작성된 프롬프트는 이미지 생성기로 전달되어 후보 앵커 프레임을 생성합니다(사용자가 선택적으로 수정할 수 있음). 선택된 프레임은 잠재 데이터로 인코딩되어 첫 번째 타임스텝을 대체함으로써 확산 프로세스에 주입되고, 이를 통해 모델은 나머지 비디오를 생성할 수 있습니다. 초기 장면에 고정된 상태를 유지하면서 기본 아키텍처를 변경할 필요 없이 작동하는 프로세스입니다.

LoRA를 생성하여 해당 프로세스를 테스트했습니다. 완2.2-14B, 완2.1-1B및 CogVideo1.5-5BLoRA 교육은 다음 장소에서 진행되었습니다. 순위 256개 중, 무작위로 추출한 5000개의 클립에서 울트라비디오 수집.

학습은 6000단계 동안 진행되었으며, 48시간의 GPU 시간이 소요되었습니다.^† Wan-1B와 CogVideo-5B의 경우 96 GPU 시간이 소요되었고, Wan-14B의 경우 96 GPU 시간이 소요되었습니다. 저자들은 Wan-5B가 텍스트 전용 및 텍스트-이미지 조건화(이 경우 기존 프레임워크에 적용됨)를 기본적으로 지원하므로 미세 조정이 필요하지 않았다고 언급합니다.

테스트

해당 프로세스에 대해 수행된 실험에서 각 텍스트 프롬프트는 처음에 다음을 사용하여 다듬어졌습니다. Qwen2.5-7B-지시그 결과는 전체 장면에 대한 설명을 담은 상세한 '시드 이미지' 캡션을 생성하는 데 사용되었습니다. 그런 다음 이 캡션이 전달되었습니다. QwenImage이는 확산 과정에 삽입될 '마법의 프레임'을 생성하는 임무를 맡았습니다.

시스템 평가에 사용된 벤치마크에는 앞서 언급한 T2V-CompBench가 포함되었는데, 이는 모델이 일관된 장면 내에서 객체, 속성 및 동작을 얼마나 잘 보존하는지를 점수로 매겨 구성 이해도를 테스트하는 데 사용되었습니다. VBench 2.0보다 광범위한 논리성과 18개 지표 전반에 걸친 일관성을 평가하기 위해, 이 지표들은 다음과 같이 그룹화되었습니다. 창의력, 상식적인 추론, 제어 가능성, 인간의 충실함및 물리학:

T2V-CompBench의 7가지 평가 범주 모두에서, 인수분해된 T2V 방식은 테스트된 모든 모델에서 표준 및 업샘플링된 T2V 기준선보다 우수한 성능을 보였으며, 최대 53.25%의 성능 향상을 달성했습니다. 가장 높은 점수를 받은 변형 모델들은 자체 개발한 PixVerse-V3 벤치마크와 동등하거나 그 이상의 성능을 보였습니다.

이번 초기 테스트와 관련하여 저자들은 다음과 같이 언급합니다*:

'[모든 모델에서] 앵커 이미지를 추가하면 구성 성능이 일관되게 향상됩니다. 모든 소형 Factorized 모델(CogVideo 5B, Wan 5B 및 Wan 1B)은 대형 Wan 14B T2V 모델보다 우수한 성능을 보입니다.'

'저희가 개발한 인수분해된 WAN 5B는 벤치마크에서 최고 모델로 알려진 상용 PixVerse-V3 기준 모델보다도 우수한 성능을 보여줍니다. 이는 시각적 기반이 용량이 작은 모델에서도 장면 및 동작 이해도를 크게 향상시킨다는 것을 보여줍니다.

'각 모델 계열 내에서, 인수분해된 버전이 원래 모델보다 우수한 성능을 보입니다. 특히, 당사의 경량 앵커 접지형 LoRA on WAN 14B는 전체 재학습이 필요하지 않음에도 불구하고 사전 학습된 I2V 14B 변형 모델과 유사한 성능(0.661 대 0.666)을 달성합니다.'

다음은 VBench2.0 테스트였습니다.

인수분해된 T2V 접근 방식은 구성, 상식적 추론, 제어 가능성 및 물리적 측면에서 VBench 2.0 성능을 지속적으로 향상시켰으며, 일부 영역에서는 60% 이상의 향상을 보였습니다. 다만, 인간의 반응에 대한 충실도는 Veo 3의 기준선에는 미치지 못했습니다.

모든 아키텍처에서, 인수분해 방식은 VBench의 모든 범주에서 점수를 향상시켰지만, 특정 범주는 예외였습니다. 인간의 충실함이는 신속한 업샘플링에도 불구하고 약간 감소한 수치입니다. WAN 5B는 더 큰 WAN 14B보다 우수한 성능을 보였으며, 이는 시각적 접지가 규모보다 더 큰 영향을 미친다는 이전 T2V-CompBench 결과를 뒷받침합니다.

VBench에서의 성능 향상은 일관적이었지만, T2V-CompBench에서 나타난 향상보다 작았으며, 저자들은 이를 VBench의 더 엄격한 이진 점수 산정 방식 때문이라고 설명합니다.

정성적 검증을 위해 논문에서는 정지 이미지를 제공하지만, 더 명확한 이해를 위해서는 본문에 삽입된 합성 영상을 참조하시기 바랍니다. 단, 원본 영상은 더 많고 다양하며 해상도와 디테일도 더 뛰어납니다. 영상은 여기에서 확인하실 수 있습니다. LINK정성적 결과와 관련하여 논문은 다음과 같이 언급합니다.

'고정된 비디오는 일관적으로 더 정확한 장면 구성, 더 강력한 객체-속성 연결, 그리고 더 명확한 시간적 진행을 보여줍니다.'

인수분해 방식은 확산 단계 수를 50에서 15로 줄였을 때도 안정적인 성능을 유지했으며, T2V-CompBench에서 성능 저하가 거의 나타나지 않았습니다. 반면, 텍스트 전용 방식과 업샘플링된 방식은 동일한 조건에서 성능이 급격히 저하되었습니다.

이론적으로 단계 수를 줄이면 속도를 세 배로 높일 수 있지만, 앵커 이미지 생성에 드는 고정 비용 때문에 실제로는 전체 생성 파이프라인 속도가 2.1배만 빨라졌습니다. 그럼에도 불구하고, 이 결과는 앵커링이 샘플 품질을 향상시킬 뿐만 아니라 확산 과정을 안정화시켜 정확도 손실 없이 더 빠르고 효율적인 생성을 지원한다는 것을 보여줍니다.

프로젝트 웹사이트에서는 업샘플링된 결과와 새로운 방법의 결과 생성 예시를 제공하며, 그중 몇 가지 (해상도가 낮은) 편집된 예시를 여기에 제시합니다.

클릭하여 재생 (음성 없음). 업샘플링된 초기 소스와 저자들이 사용한 인수분해 방식 비교.

저자들은 다음과 같이 결론 지었다.

'저희 연구 결과는 용량 증가뿐 아니라 접지력 향상 또한 중요할 수 있음을 시사합니다. 최근 T2V 확산 분야의 발전은 모델 크기와 훈련 데이터 증가에 크게 의존해 왔지만, 대규모 모델조차도 텍스트만으로는 일관된 초기 장면을 추론하는 데 어려움을 겪는 경우가 많습니다.'

'이는 이미지 확산과는 대조적입니다. 이미지 확산에서는 크기 조정이 비교적 간단합니다. 비디오 모델에서는 각 구조적 개선 사항이 추가적인 시간 차원에 걸쳐 작동해야 하므로 크기 조정에 훨씬 더 많은 리소스가 필요합니다.'

'저희 연구 결과는 향상된 접지 기술이 규모 확장에 기여할 수 있음을 시사합니다. 이는 모션 합성이 시작되기 전에 올바른 장면을 설정하는 것과 같은 또 다른 병목 현상을 해결하기 때문입니다.'

"비디오 생성 과정을 장면 구성과 시간 모델링으로 분리함으로써, 모델 규모를 크게 늘리지 않고도 여러 일반적인 오류 모드를 완화할 수 있습니다. 우리는 이것이 미래의 아키텍처가 더욱 안정적이고 구조화된 비디오 합성을 향해 나아가도록 이끌어 줄 수 있는 보완적인 설계 원칙이라고 생각합니다."

결론

얽힘 문제는 매우 현실적이며 (훈련 전 개선된 큐레이션 및 배포 평가와 같은) 특별한 해결책이 필요할 수 있지만, 인수분해를 통해 여러 고집스럽고 '고착된' 개념 프롬프트 오케스트레이션이 훨씬 더 정확한 렌더링으로 '분리'되는 것을 지켜보는 것은 놀라운 경험이었습니다. 이는 단지 적당한 수준의 LoRA 조건화와 눈에 띄게 개선된 시작/시드 이미지의 개입만으로 가능했습니다.

지역 아마추어 개발자들이 사용하는 추론 방식과 상용 솔루션 간의 자원 격차는 생각만큼 크지 않을 수도 있습니다. 거의 모든 공급업체가 상당한 GPU 자원 투자에 대한 비용을 소비자에게 합리적으로 설명하려 하기 때문입니다.

경험적으로 볼 때, 현재 수많은 생성형 비디오 제공업체들이 중국산 오픈소스 소프트웨어(FOSS) 모델을 자체 브랜드화하고 '개선'한 버전을 사용하는 것으로 보입니다. 이러한 '중개자' 시스템들이 가진 주요 '경쟁 우위'는 LoRA 모델을 직접 학습시키거나, 더 많은 비용을 들여 약간 더 나은 결과를 얻으면서 모델 가중치를 정밀하게 조정했다는 점입니다.^††.

이러한 통찰력은 중국이 (반드시 이타적이거나 이상적인 이유 때문은 아니더라도) 인공지능 세대의 민주화를 추진하려는 반면, 서구 기업들은 모델 규모 확대와 규제 강화로 인해 결국 우수한 모델들이 API와 여러 단계의 콘텐츠 필터 뒤에 갇히게 되는 상황을 선호하는 상황에서, 이러한 격차를 더욱 줄이는 데 도움이 될 수 있습니다.

* 저자들의 강조이며, 제 의도는 아닙니다.

^† 논문에는 어떤 GPU가 선택되었는지, 또는 몇 대가 사용되었는지에 대한 구체적인 내용이 명시되어 있지 않습니다.

^†† LoRA 방식이 경제적이고 사용이 간편하며, 전체 중량을 고려했을 때 더 가능성이 높지만, 양자화 무게 정보는 항상 제공되는 것은 아닙니다.

첫 번째 게시일 19년 2025월 XNUMX일 금요일