DynamiCrafter: 오픈 도메인 이미지에 비디오 확산 先验을 사용한 애니메이션

컴퓨터 비전은 현재 AI 커뮤니티에서 가장 흥미롭고 잘 연구된 분야 중 하나이며, 컴퓨터 비전 모델의 빠른 향상에도 불구하고, 개발자가 여전히 고민하는 오랜挑戰은 이미지 애니메이션입니다. 오늘날에도 이미지 애니메이션 프레임워크는 자연스러운 역학을 보존하면서 원래 이미지의 외관을 유지하는 비디오 대응 항목으로 정적 이미지를 변환하는 데 어려움을 겪고 있습니다. 전통적으로 이미지 애니메이션 프레임워크는 인간의 머리카락이나 신체 동작과 같은 도메인 특정 동작 또는 유체 및 구름과 같은 확률적 역학과 같은 자연 풍경을 애니메이션화하는 데 주로 초점을 맞추고 있습니다. 이러한 접근 방식은 어느 정도 작동하지만 이미지 애니메이션 프레임워크의 적용 가능성을 더 일반적인 시각적 콘텐츠로 제한합니다.

さらに, 기존의 이미지 애니메이션 접근 방식은 주로 진동 및 확률적 동작의 합성 또는 특정 개체 카테고리에 대한 사용자 지정에 중점을 둡니다. 그러나 이러한 접근 방식의 주목할만한 결함은 이러한 방법에 강력한 가정들이 부과되어 특히 오픈 도메인 이미지 애니메이션과 같은 일반 시나리오에서 그들의 적용 가능성을 제한합니다. 지난 몇 년 동안, T2V 또는 텍스트에서 비디오 모델은 텍스트 프롬프트를 사용하여 생생하고 다양한 비디오를 생성하는 데 탁월한 성과를 보여주었으며, 이는 DynamiCrafter 프레임워크의 기초를 형성합니다.

DynamiCrafter 프레임워크는 현재 이미지 애니메이션 모델의 제한을 극복하고 그들의 적용 가능성을 일반 시나리오에涉及하는 오픈 월드 이미지로 확장하는 시도입니다. DynamiCrafter 프레임워크는 오픈 도메인 이미지에 대한 동적 콘텐츠를 합성하여 애니메이션 비디오로 변환하는 것을 시도합니다. DynamiCrafter의 핵심 아이디어는 이미지를 가이드로 생성 프로세스에 통합하여 이미 존재하는 텍스트에서 비디오 확산 모델의 동작 先验을 활용하는 것입니다. 주어진 이미지에 대해, DynamiCrafter 모델은 먼저 쿼리 변환기를 구현하여 이미지를 텍스트와 일치하는 풍부한 컨텍스트 표현 공간으로 투영하여 비디오 모델이 호환되는 방식으로 이미지 콘텐츠를 처리할 수 있도록 합니다.

… (rest of the translation remains the same, following the exact structure and rules provided)