Các khuôn khổ gần đây cố gắng tạo video từ văn bản hoặc T2V sử dụng mô hình khuếch tán để thêm sự ổn định vào quá trình đào tạo của chúng, và Mô hình khuếch tán video, một trong những người tiên phong trong các khuôn khổ tạo video từ văn bản, mở rộng kiến trúc khuếch tán hình ảnh 2D để chứa dữ liệu video và đào tạo mô hình trên cả video và hình ảnh từ đầu. Xây dựng trên cơ sở này và để thực hiện một máy tạo hình ảnh được đào tạo trước mạnh mẽ như Stable Diffusion, các công việc gần đây đã làm phồng kiến trúc 2D của chúng bằng cách xen kẽ các lớp thời gian giữa các lớp 2D được đào tạo trước và tinh chỉnh mô hình mới trên các tập dữ liệu lớn chưa được xem. Mặc dù cách tiếp cận của họ, các mô hình khuếch tán văn bản sang video gặp phải một thách thức đáng kể vì sự mơ hồ của các mô tả văn bản được sử dụng chỉ để tạo mẫu video thường dẫn đến mô hình văn bản sang video có sự kiểm soát yếu hơn trong quá trình tạo ra. Để giải quyết hạn chế này, một số mô hình cung cấp hướng dẫn nâng cao trong khi một số mô hình khác làm việc với các tín hiệu chính xác để kiểm soát cảnh hoặc chuyển động của con người trong các video được tổng hợp một cách chính xác. Mặt khác, có một số khuôn khổ tạo video từ văn bản sử dụng hình ảnh làm tín hiệu kiểm soát cho máy tạo video, dẫn đến việc mô hình hóa mối quan hệ thời gian chính xác hoặc chất lượng video cao.

Có thể nói rằng khả năng kiểm soát đóng vai trò quan trọng trong các nhiệm vụ tạo ra hình ảnh và video vì nó cho phép người dùng tạo ra nội dung họ mong muốn. Tuy nhiên, các khuôn khổ hiện có thường bỏ qua việc kiểm soát chính xác tư thế máy ảnh, điều này đóng vai trò như một ngôn ngữ điện ảnh để thể hiện các sắc thái câu chuyện sâu sắc hơn cho mô hình. Để giải quyết các hạn chế về khả năng kiểm soát hiện tại, trong bài viết này, chúng ta sẽ thảo luận về CameraCtrl, một ý tưởng mới nhằm mục đích cho phép kiểm soát tư thế máy ảnh chính xác cho các mô hình văn bản sang video. Sau khi định hình chính xác đường đi của máy ảnh, mô hình đào tạo một mô-đun máy ảnh có thể cắm và chơi trên mô hình văn bản sang video và để các thành phần khác không thay đổi. Hơn nữa, mô hình CameraCtrl cũng tiến hành một nghiên cứu toàn diện về ảnh hưởng của các tập dữ liệu khác nhau và đề xuất rằng các video có hình ảnh tương tự và phân bố máy ảnh đa dạng có thể tăng cường khả năng kiểm soát và tổng quát hóa của mô hình. Các thí nghiệm được thực hiện để phân tích hiệu suất của mô hình CameraCtrl trên các nhiệm vụ thế giới thực cho thấy hiệu quả của khuôn khổ trong việc đạt được kiểm soát máy ảnh chính xác và thích ứng với miền, mở ra con đường cho việc theo đuổi tạo ra video động và tùy chỉnh từ tư thế máy ảnh và đầu vào văn bản.

Bài viết này nhằm mục đích bao gồm khuôn khổ CameraCtrl một cách sâu sắc, và chúng ta sẽ khám phá cơ chế, phương pháp, kiến trúc của khuôn khổ cùng với so sánh với các khuôn khổ hiện đại. Vậy hãy bắt đầu.

CameraCtrl: Kiểm soát Máy ảnh cho Thế hệ T2V

Sự phát triển và tiến bộ gần đây của các mô hình khuếch tán đã thúc đẩy đáng kể việc tạo video từ văn bản trong những năm gần đây và cách mạng hóa các quy trình thiết kế nội dung. Khả năng kiểm soát đóng vai trò quan trọng trong các ứng dụng tạo video thực tế vì nó cho phép người dùng tùy chỉnh kết quả được tạo ra theo nhu cầu và yêu cầu của họ. Với khả năng kiểm soát cao, mô hình có thể tăng cường sự hiện thực, chất lượng và khả năng sử dụng của các video được tạo ra, và trong khi đầu vào văn bản và hình ảnh được sử dụng phổ biến bởi các mô hình để tăng cường khả năng kiểm soát tổng thể, chúng thường thiếu kiểm soát chính xác đối với chuyển động và nội dung. Để giải quyết hạn chế này, một số khuôn khổ đã đề xuất sử dụng các tín hiệu kiểm soát như khung xương tư thế, dòng quang học và các tín hiệu đa phương thức khác để cho phép kiểm soát chính xác hơn trong việc tạo video. Một hạn chế khác mà các khuôn khổ hiện có gặp phải là thiếu kiểm soát chính xác đối với việc kích thích hoặc điều chỉnh điểm máy ảnh trong quá trình tạo video vì khả năng kiểm soát máy ảnh là rất quan trọng vì nó không chỉ tăng cường sự hiện thực của các video được tạo ra mà còn cho phép người dùng tương tác với các góc nhìn tùy chỉnh, một tính năng thiết yếu trong phát triển trò chơi, thực tế tăng cường và thực tế ảo. Hơn nữa, việc quản lý chuyển động máy ảnh một cách khéo léo cho phép các nhà tạo nội dung nhấn mạnh mối quan hệ nhân vật, nhấn mạnh cảm xúc và hướng dẫn sự chú ý của khán giả mục tiêu, điều này rất quan trọng trong ngành công nghiệp điện ảnh và quảng cáo.

Để giải quyết và vượt qua những hạn chế này, khuôn khổ CameraCtrl, một mô-đun máy ảnh có thể học và chính xác có thể cắm và chơi với khả năng kiểm soát góc nhìn của máy ảnh cho việc tạo video từ văn bản. Tuy nhiên, việc tích hợp một máy ảnh tùy chỉnh vào một đường ống mô hình văn bản sang video hiện có là một nhiệm vụ dễ nói hơn làm, buộc khuôn khổ CameraCtrl phải tìm cách đại diện và tiêm máy ảnh vào kiến trúc mô hình một cách hiệu quả. Về cùng một lưu ý, khuôn khổ CameraCtrl áp dụng các bản nhúng Plucker như hình thức chính của các tham số máy ảnh, và lý do cho việc chọn các bản nhúng Plucker là khả năng của chúng trong việc mã hóa các mô tả hình học của thông tin tư thế máy ảnh. Hơn nữa, để đảm bảo tính tổng quát và khả năng áp dụng của mô hình CameraCtrl sau khi đào tạo, mô hình giới thiệu một mô hình kiểm soát máy ảnh chỉ chấp nhận các bản nhúng Plucker làm đầu vào. Để đảm bảo mô hình kiểm soát máy ảnh được đào tạo một cách hiệu quả, khuôn khổ và các nhà phát triển của nó tiến hành một nghiên cứu toàn diện để điều tra cách dữ liệu đào tạo khác nhau ảnh hưởng đến khuôn khổ từ dữ liệu tổng hợp đến dữ liệu thực tế. Kết quả thí nghiệm chỉ ra rằng việc thực hiện dữ liệu có phân bố tư thế máy ảnh đa dạng và hình ảnh tương tự với mô hình cơ sở ban đầu đạt được sự cân bằng tốt nhất giữa khả năng kiểm soát và tổng quát hóa. Các nhà phát triển của khuôn khổ CameraCtrl đã triển khai mô hình trên khuôn khổ AnimateDiff, cho phép kiểm soát chính xác trong việc tạo video trên các miền và thể loại khác nhau, chứng tỏ sự linh hoạt và tiện ích của nó trong nhiều ngữ cảnh tạo video khác nhau.

Khuôn khổ AnimateDiff áp dụng phương pháp tinh chỉnh LoRA hiệu quả để có được trọng số của mô hình cho các loại cảnh quay khác nhau. Khuôn khổ Direct-a-video đề xuất việc thực hiện một mô-đun máy ảnh để kiểm soát tư thế máy ảnh trong quá trình tạo video, nhưng nó chỉ có điều kiện trên ba tham số máy ảnh, hạn chế khả năng kiểm soát máy ảnh ở mức cơ bản. Mặt khác, các khuôn khổ như MotionCtrl thiết kế một bộ điều khiển chuyển động chấp nhận hơn ba tham số đầu vào và có thể tạo ra các video có tư thế máy ảnh phức tạp hơn. Tuy nhiên, việc cần phải tinh chỉnh một phần của các video được tạo ra cản trở khả năng tổng quát hóa của mô hình. Hơn nữa, một số khuôn khổ kết hợp các tín hiệu kiểm soát cấu trúc bổ sung như bản đồ độ sâu vào quá trình để tăng cường khả năng kiểm soát cho cả tạo hình ảnh và văn bản. Thông thường, mô hình cho các tín hiệu kiểm soát này vào một bộ mã hóa bổ sung, sau đó tiêm các tín hiệu vào một bộ tạo sử dụng các hoạt động khác nhau.

CameraCtrl: Kiến trúc Mô hình

Trước khi chúng ta có thể xem xét kiến trúc và mô hình đào tạo cho bộ mã hóa máy ảnh, điều quan trọng là chúng ta phải hiểu các đại diện máy ảnh khác nhau. Thông thường, tư thế máy ảnh đề cập đến các tham số nội tại và ngoại tại, và một trong những lựa chọn trực tiếp để cho phép một mô hình tạo video từ văn bản có điều kiện trên tư thế máy ảnh là cho mô hình đầu vào các giá trị thô về các tham số máy ảnh. Tuy nhiên, việc thực hiện một cách tiếp cận như vậy có thể không tăng cường kiểm soát máy ảnh chính xác vì một số lý do. Thứ nhất, trong khi ma trận quay được hạn chế bởi tính trực giao, vectơ dịch thường không bị hạn chế về độ lớn, dẫn đến sự không phù hợp trong quá trình học tập có thể ảnh hưởng đến sự nhất quán của kiểm soát. Thứ hai, sử dụng các tham số máy ảnh thô trực tiếp có thể làm cho mô hình khó khăn trong việc liên kết các giá trị này với các pixel hình ảnh, dẫn đến giảm kiểm soát đối với các chi tiết hình ảnh. Để tránh những hạn chế này, khuôn khổ CameraCtrl chọn các bản nhúng Plucker làm đại diện cho tư thế máy ảnh vì các bản nhúng Plucker có các mô tả hình học của từng pixel của khung hình video và có thể cung cấp một mô tả chi tiết hơn về thông tin tư thế máy ảnh.

Khả năng Kiểm soát Máy ảnh trong Các Máy tạo Video

Khi mô hình định hình đường đi của máy ảnh thành một chuỗi bản nhúng Plucker, tức là các bản đồ không gian, mô hình có thể sử dụng một mô hình mã hóa để trích xuất các tính năng máy ảnh, sau đó kết hợp các tính năng máy ảnh vào các máy tạo video. Tương tự như bộ điều chỉnh kiểu văn bản sang hình ảnh, mô hình CameraCtrl giới thiệu một bộ mã hóa máy ảnh được thiết kế đặc biệt cho video. Bộ mã hóa máy ảnh bao gồm một mô hình chú ý thời gian sau mỗi khối convolutional, cho phép nó bắt được các mối quan hệ thời gian của các tư thế máy ảnh trong suốt đoạn video. Như được chứng minh trong hình ảnh sau, bộ mã hóa máy ảnh chỉ chấp nhận đầu vào bản nhúng Plucker và cung cấp các tính năng đa quy mô. Sau khi có được các tính năng máy ảnh đa quy mô, mô hình CameraCtrl nhằm mục đích tích hợp các tính năng này vào kiến trúc U-Net của mô hình văn bản sang video một cách mượt mà và xác định các lớp nên được sử dụng để kết hợp thông tin máy ảnh một cách hiệu quả. Hơn nữa, vì đa số các khuôn khổ hiện có áp dụng kiến trúc U-Net có chứa cả các lớp chú ý thời gian và không gian, mô hình CameraCtrl tiêm các đại diện máy ảnh vào khối chú ý thời gian, một quyết định được hỗ trợ bởi khả năng của các lớp chú ý thời gian trong việc bắt được các mối quan hệ thời gian, phù hợp với bản chất nguyên nhân và tuần tự của một đường đi máy ảnh với các lớp chú ý không gian mô tả từng khung hình.

Học các Phân bố Máy ảnh

Đào tạo thành phần mã hóa máy ảnh trong khuôn khổ CameraCtrl trên một máy tạo video yêu cầu một lượng lớn video được gắn nhãn và chú thích tốt với mô hình có khả năng thu được đường đi máy ảnh sử dụng phương pháp cấu trúc từ chuyển động hoặc SfM. Khuôn khổ CameraCtrl cố gắng chọn tập dữ liệu có hình ảnh tương tự với dữ liệu đào tạo của mô hình văn bản sang video cơ sở và có phân bố tư thế máy ảnh rộng nhất có thể. Các mẫu trong tập dữ liệu được tạo ra bằng các công cụ ảo cho thấy phân bố máy ảnh đa dạng vì các nhà phát triển có thể điều chỉnh các tham số máy ảnh trong quá trình kết xuất, mặc dù nó cũng gặp phải sự chênh lệch phân bố khi so sánh với các tập dữ liệu chứa mẫu thế giới thực. Khi làm việc với các tập dữ liệu chứa mẫu thế giới thực, phân bố máy ảnh thường hẹp, và trong những trường hợp như vậy, khuôn khổ cần tìm sự cân bằng giữa sự đa dạng giữa các đường đi máy ảnh khác nhau và sự phức tạp của từng đường đi máy ảnh riêng lẻ. Sự phức tạp của từng đường đi máy ảnh riêng lẻ đảm bảo rằng mô hình học cách kiểm soát các đường đi phức tạp trong quá trình đào tạo, trong khi sự đa dạng giữa các đường đi máy ảnh khác nhau đảm bảo rằng mô hình không bị quá拟 hợp với các mẫu cố định. Hơn nữa, để theo dõi quá trình đào tạo của bộ mã hóa máy ảnh, khuôn khổ CameraCtrl đề xuất chỉ số căn chỉnh máy ảnh để đo lường chất lượng kiểm soát máy ảnh bằng cách lượng hóa sai số giữa đường đi máy ảnh của các mẫu được tạo ra và điều kiện máy ảnh đầu vào.

CameraCtrl: Thí nghiệm và Kết quả

Khuôn khổ CameraCtrl thực hiện mô hình AnimateDiff làm mô hình văn bản sang video cơ sở và một lý do chính cho điều này là chiến lược đào tạo của mô hình AnimateDiff cho phép mô-đun chuyển động của nó tích hợp với các mô hình văn bản sang hình ảnh cơ sở hoặc các mô hình LoRA văn bản sang hình ảnh để tạo video trên các thể loại và miền khác nhau. Mô hình sử dụng bộ tối ưu hóa Adam để đào tạo mô hình với tốc độ học cố định là 1e-4. Hơn nữa, để đảm bảo mô hình không ảnh hưởng tiêu cực đến khả năng tạo video của mô hình văn bản sang video ban đầu, khuôn khổ CameraCtrl sử dụng chỉ số FID hoặc khoảng cách khởi tạo Frechet để đánh giá chất lượng hình ảnh của video và so sánh chất lượng của video được tạo ra trước và sau khi bao gồm mô-đun máy ảnh.

Để đánh giá hiệu suất của nó, khuôn khổ CameraCtrl được đánh giá chống lại hai khuôn khổ kiểm soát máy ảnh hiện có: MotionCtrl và AnimateDiff. Tuy nhiên, vì khuôn khổ AnimateDiff chỉ hỗ trợ tám đường đi máy ảnh cơ bản, so sánh giữa CameraCtrl và AnimateDiff bị giới hạn ở ba đường đi cơ bản. Mặt khác, để so sánh với MotionCtrl, khuôn khổ chọn hơn một nghìn đường đi máy ảnh ngẫu nhiên từ tập dữ liệu hiện có, thêm vào các đường đi máy ảnh cơ sở, tạo video sử dụng các đường đi này và đánh giá chúng sử dụng các chỉ số TransErr và RotErr.

Như có thể quan sát được, khuôn khổ CameraCtrl vượt trội so với khuôn khổ AnimateDiff trong đường đi cơ bản và cung cấp kết quả tốt hơn khi so sánh với khuôn khổ MotionCtrl trên chỉ số đường đi phức tạp.

Hơn nữa, hình sau minh họa ảnh hưởng của kiến trúc mã hóa máy ảnh đến chất lượng tổng thể của các mẫu được tạo ra. Hàng a đến Hàng d đại diện cho kết quả được tạo ra với mã hóa máy ảnh được thực hiện trong kiến trúc: ControlNet, ControlNet với chú ý thời gian, T2I Adaptor và T2I adaptor với chú ý thời gian tương ứng.

Trong hình sau, hai hình đầu tiên hiển thị video được tạo ra bằng cách kết hợp mã hóa RGB của khuôn khổ SparseCtrl và phương pháp được sử dụng trong khuôn khổ CameraCtrl.

Lời Kết

Trong bài viết này, chúng ta đã thảo luận về CameraCtrl, một ý tưởng mới nhằm mục đích cho phép kiểm soát tư thế máy ảnh chính xác cho các mô hình văn bản sang video. Sau khi định hình chính xác đường đi của máy ảnh, mô hình đào tạo một mô-đun máy ảnh có thể cắm và chơi trên mô hình văn bản sang video và để các thành phần khác không thay đổi. Hơn nữa, mô hình CameraCtrl cũng tiến hành một nghiên cứu toàn diện về ảnh hưởng của các tập dữ liệu khác nhau và đề xuất rằng các video có hình ảnh tương tự và phân bố máy ảnh đa dạng có thể tăng cường khả năng kiểm soát và tổng quát hóa của mô hình. Các thí nghiệm được thực hiện để phân tích hiệu suất của mô hình CameraCtrl trên các nhiệm vụ thế giới thực cho thấy hiệu quả của khuôn khổ trong việc đạt được kiểm soát máy ảnh chính xác và thích ứng với miền, mở ra con đường cho việc theo đuổi tạo ra video động và tùy chỉnh từ tư thế máy ảnh và đầu vào văn bản.