Chỉnh sửa hình ảnh với Gaussian Splatting

Một sự hợp tác mới giữa các nhà nghiên cứu ở Ba Lan và Vương quốc Anh đề xuất khả năng sử dụng Gaussian Splatting để chỉnh sửa hình ảnh, bằng cách tạm thời diễn giải một phần của hình ảnh vào không gian 3D, cho phép người dùng sửa đổi và thao túng hình ảnh 3D, và sau đó áp dụng biến đổi.

Để thay đổi hướng của đầu mèo, phần liên quan được di chuyển vào không gian 3D thông qua Gaussian Splatting, và sau đó được thao túng bởi người dùng. Biến đổi sau đó được áp dụng. Quá trình này tương tự như các kỹ thuật mô hình khác nhau trong phần mềm Adobe, mà khóa giao diện cho đến khi một quá trình phức tạp hiện tại được hoàn thành. Nguồn: https://github.com/waczjoan/MiraGe/

Vì phần tử Gaussian Splatting được đại diện tạm thời bởi một lưới tam giác, và tạm thời进入 một trạng thái ‘CGI’, một động cơ vật lý tích hợp vào quá trình có thể diễn giải chuyển động tự nhiên, hoặc để sản xuất một hoạt hình.

Một động cơ vật lý tích hợp vào hệ thống MiraGe mới có thể thực hiện diễn giải tự nhiên của chuyển động vật lý, hoặc để thay đổi tĩnh hoặc sản xuất hoạt hình cho một hình ảnh.

Không có trí tuệ nhân tạo nào được sử dụng trong quá trình này, có nghĩa là không có Mô hình khuếch tán tiềm ẩn (LDMs) được sử dụng, không giống như hệ thống Firefly của Adobe, được đào tạo trên Adobe Stock (trước đây là Fotolia).

Hệ thống – được gọi là MiraGe – diễn giải các lựa chọn vào không gian 3D và suy luận hình học bằng cách tạo một hình ảnh phản chiếu của lựa chọn, và xấp xỉ tọa độ 3D có thể được thể hiện trong một Splat, sau đó diễn giải hình ảnh thành một lưới.

Nhấn để phát.Các ví dụ khác về các yếu tố đã được thay đổi thủ công bởi người dùng của hệ thống MiraGe, hoặc bị ảnh hưởng bởi biến dạng dựa trên vật lý.

Các tác giả so sánh hệ thống MiraGe với các phương pháp trước đó, và phát hiện ra rằng nó đạt được hiệu suất tốt nhất trong nhiệm vụ mục tiêu.

Người dùng của hệ thống mô hình zBrush sẽ quen thuộc với quá trình này, vì zBrush cho phép người dùng cơ bản ‘làm phẳng’ một mô hình 3D và thêm chi tiết 2D, trong khi vẫn giữ nguyên lưới cơ bản, và diễn giải chi tiết mới vào nó – một ‘đóng băng’ mà là ngược lại với phương pháp MiraGe, hoạt động nhiều như Firefly hoặc các thao túng mô hình khác của Photoshop, như biến dạng hoặc diễn giải 3D thô.

Các Splat Gaussian được tham số hóa cho phép MiraGe tạo ra các bản tái tạo chất lượng cao của các khu vực được chọn của một hình ảnh 2D, và áp dụng vật lý mềm cho lựa chọn tạm thời 3D.

Bản thảo cho biết:

‘[Chúng tôi] giới thiệu một mô hình mã hóa hình ảnh 2D bằng cách mô phỏng diễn giải của con người. Cụ thể, mô hình của chúng tôi nhận thức một hình ảnh 2D như một người sẽ xem một bức ảnh hoặc một tờ giấy, coi nó như một vật thể phẳng trong không gian 3D.

‘Cách tiếp cận này cho phép chỉnh sửa hình ảnh trực quan và linh hoạt, nắm bắt được những sắc thái của nhận thức con người trong khi cho phép các biến đổi phức tạp.’

Bản thảo mới mới có tiêu đề MiraGe: Chỉnh sửa hình ảnh 2D sử dụng Gaussian Splatting, và đến từ bốn tác giả trên Đại học Jagiellonian tại Kraków, và Đại học Cambridge. Mã nguồn đầy đủ cho hệ thống đã được phát hành trên GitHub.

Hãy cùng xem cách các nhà nghiên cứu giải quyết thách thức này.

Phương pháp

Tiếp cận MiraGe sử dụng Gaussian Mesh Splatting (GaMeS) tham số hóa, một kỹ thuật được phát triển bởi một nhóm bao gồm hai tác giả của bản thảo mới. GaMeS cho phép Gaussian Splats được diễn giải như các lưới CGI truyền thống, và trở thành đối tượng của các kỹ thuật biến dạng và sửa đổi tiêu chuẩn mà cộng đồng CGI đã phát triển trong vài thập kỷ qua.

MiraGe diễn giải ‘phẳng’ Gaussians, trong không gian 2D, và sử dụng GaMeS để ‘kéo’ nội dung vào không gian 3D GSplat-enabled, tạm thời.

Mỗi Gaussian phẳng được đại diện bởi ba điểm trong một đám mây tam giác, gọi là ‘súp tam giác’, mở ra hình ảnh được suy luận để thao túng. Nguồn: https://arxiv.org/pdf/2410.01521

Chúng ta có thể thấy ở góc dưới bên trái của hình ảnh trên rằng MiraGe tạo ra một ‘hình ảnh phản chiếu’ của phần của hình ảnh để được diễn giải.

Các tác giả cho biết:

‘[Chúng tôi] sử dụng một cách tiếp cận mới sử dụng hai máy ảnh đối lập được đặt dọc theo trục Y, đối xứng xung quanh gốc và hướng về nhau. Máy ảnh đầu tiên được giao nhiệm vụ tái tạo hình ảnh ban đầu, trong khi máy ảnh thứ hai mô hình hóa sự phản chiếu. Bức ảnh được coi như một tờ giấy trong suốt, nhúng trong bối cảnh không gian 3D. Sự phản chiếu có thể được đại diện hiệu quả bằng cách lật ngang [hình ảnh].

‘Cài đặt máy ảnh phản chiếu này tăng cường độ trung thực của các phản chiếu được tạo ra, cung cấp một giải pháp mạnh mẽ để nắm bắt chính xác các yếu tố trực quan.’

Bản thảo lưu ý rằng một khi việc trích xuất này đã được thực hiện, các điều chỉnh quan điểm mà thường sẽ khó khăn trở nên có thể truy cập được thông qua chỉnh sửa trực tiếp trong 3D. Trong ví dụ dưới đây, chúng ta thấy một lựa chọn của một hình ảnh của một người phụ nữ bao gồm chỉ cánh tay của cô ấy. Trong trường hợp này, người dùng đã nghiêng tay xuống một cách hợp lý, điều này sẽ là một nhiệm vụ khó khăn bằng cách chỉ đẩy các pixel xung quanh.

Một ví dụ về kỹ thuật chỉnh sửa MiraGe.

Thử nghiệm này bằng cách sử dụng các công cụ tạo sinh của Firefly trong Photoshop thường có nghĩa là bàn tay trở thành được tổng hợp, phá vỡ tính xác thực của chỉnh sửa. Ngay cả các hệ thống mạnh mẽ hơn, như ControlNet hệ thống phụ cho Stable Diffusion và các mô hình khuếch tán tiềm ẩn khác, như Flux, khó khăn để đạt được loại chỉnh sửa này trong một đường ống hình ảnh-hình ảnh.

Nỗ lực này đã bị chi phối bởi các phương pháp sử dụng các biểu diễn thần kinh ngầm (INRs), như SIREN và WIRE. Sự khác biệt giữa một biểu diễn ngầm và một biểu diễn rõ ràng là các tọa độ của mô hình không được địa chỉ hóa trực tiếp trong INRs, mà sử dụng một hàm liên tục.

Ngược lại, Gaussian Splatting cung cấp các tọa độ Cartesian X/Y/Z rõ ràng và có thể địa chỉ hóa, ngay cả khi nó sử dụng các hình elip Gaussian thay vì voxels hoặc các phương pháp khác để mô tả nội dung trong không gian 3D.

Ý tưởng sử dụng GSplat trong không gian 2D đã được trình bày nổi bật nhất, các tác giả lưu ý, trong sự hợp tác học thuật Trung Quốc năm 2024 GaussianImage, cung cấp một phiên bản 2D của Gaussian Splatting, cho phép tốc độ khung hình 1000fps. Tuy nhiên, mô hình này không có triển khai liên quan đến chỉnh sửa hình ảnh.

Sau khi GaMeS tham số hóa trích xuất khu vực được chọn vào một biểu diễn Gaussian/lưới, hình ảnh được tái tạo sử dụng kỹ thuật Material Points Method (MPM) đầu tiên được phác thảo trong một bản thảo CSAIL năm 2018.

Trong MiraGe, trong quá trình thay đổi, Gaussian Splat tồn tại như một đại diện thay thế cho một phiên bản lưới tương đương, giống như mô hình CGI 3DMM thường được sử dụng như các phương pháp dàn xếp cho các kỹ thuật kết xuất thần kinh ngầm như Neural Radiance Fields (NeRF).

Trong quá trình này, các đối tượng hai chiều được mô hình hóa trong không gian 3D, và các phần của hình ảnh không bị ảnh hưởng không được hiển thị cho người dùng cuối, để hiệu ứng ngữ cảnh của các thao túng không rõ ràng cho đến khi quá trình được kết thúc.

MiraGe có thể được tích hợp vào chương trình 3D mã nguồn mở phổ biến Blender, hiện được sử dụng thường xuyên trong các công việc bao gồm AI, chủ yếu cho mục đích hình ảnh-hình ảnh.

Một công việc cho MiraGe trong Blender, liên quan đến việc di chuyển cánh tay của một hình ảnh 2D.

Các tác giả cung cấp hai phiên bản của một phương pháp biến dạng dựa trên Gaussian Splatting – Amorphous và Graphite.

Phương pháp Amorphous sử dụng trực tiếp phương pháp GaMeS, và cho phép lựa chọn 2D được trích xuất di chuyển tự do trong không gian 3D, trong khi phương pháp Graphite hạn chế các Gaussians trong không gian 2D trong quá trình khởi tạo và đào tạo.

Các nhà nghiên cứu phát hiện ra rằng mặc dù phương pháp Amorphous có thể xử lý các hình dạng phức tạp tốt hơn Graphite, ‘nứt’ hoặc các hiện象 phụ được hiển thị rõ ràng hơn, nơi cạnh của biến dạng align với phần không bị ảnh hưởng của hình ảnh*.

Do đó, họ đã phát triển hệ thống ‘hình ảnh phản chiếu’ được đề cập:

‘[Chúng tôi] sử dụng một cách tiếp cận mới sử dụng hai máy ảnh đối lập được đặt dọc theo trục Y, đối xứng xung quanh gốc và hướng về nhau.

‘Máy ảnh đầu tiên được giao nhiệm vụ tái tạo hình ảnh ban đầu, trong khi máy ảnh thứ hai mô hình hóa sự phản chiếu. Bức ảnh được coi như một tờ giấy trong suốt, nhúng trong bối cảnh không gian 3D. Sự phản chiếu có thể được đại diện hiệu quả bằng cách lật ngang [hình ảnh].

‘Cài đặt máy ảnh phản chiếu này tăng cường độ trung thực của các phản chiếu được tạo ra, cung cấp một giải pháp mạnh mẽ để nắm bắt chính xác các yếu tố trực quan.’

Bản thảo lưu ý rằng MiraGe có thể sử dụng các động cơ vật lý bên ngoài như những có sẵn trong Blender, hoặc trong Taichi_Elements.

Dữ liệu và Kiểm tra

Để đánh giá chất lượng hình ảnh trong các thử nghiệm được thực hiện cho MiraGe, Tỷ lệ tín hiệu trên nhiễu (SNR) và MS-SIM được sử dụng.

Các tập dữ liệu được sử dụng là Bộ hình ảnh màu True Color Lossless của Kodak, và tập hợp xác thực DIV2K. Độ phân giải của các tập dữ liệu này phù hợp với một so sánh với công việc trước đó gần nhất, Gaussian Image. Các khuôn khổ đối thủ khác được thử nghiệm là SIREN, WIRE, Primitive đồ họa Neural tức thời của NVIDIA (I-NGP), và NeuRBF.

Các thí nghiệm diễn ra trên máy tính xách tay NVIDIA GEFORCE RTX 4070 và trên NVIDIA RTX 2080.

MiraGe cung cấp kết quả tốt nhất trong số các khuôn khổ trước đó, theo kết quả được trình bày trong bản thảo mới.

Về những kết quả này, các tác giả cho biết:

‘Chúng tôi thấy rằng đề xuất của chúng tôi vượt trội so với các giải pháp trước đó trên cả hai tập dữ liệu. Chất lượng được đo bằng cả hai chỉ số cho thấy sự cải thiện đáng kể so với tất cả các phương pháp trước đó.’

Kết luận

Sự thích nghi của MiraGe với Gaussian Splatting 2D rõ ràng là một nỗ lực mới và khiêm tốn trong việc tìm kiếm một giải pháp thay thế thú vị cho sự bất ổn và tùy tiện của việc sử dụng các mô hình khuếch tán để sửa đổi hình ảnh (tức là thông qua Firefly và các phương pháp khuếch tán dựa trên API khác, cũng như các kiến trúc mã nguồn mở như Stable Diffusion và Flux).

Mặc dù có nhiều mô hình khuếch tán có thể sửa đổi nhỏ các hình ảnh, LDMs bị giới hạn bởi cách tiếp cận ngữ nghĩa và thường ‘tưởng tượng quá mức’ đối với một yêu cầu sửa đổi dựa trên văn bản.

Do đó, khả năng tạm thời kéo một phần của hình ảnh vào không gian 3D, thao túng nó và thay thế nó trở lại vào hình ảnh, trong khi chỉ sử dụng hình ảnh nguồn làm tham chiếu, dường như là một nhiệm vụ mà Gaussian Splatting có thể phù hợp trong tương lai.

* Có một số nhầm lẫn trong bản thảo, khi nó trích dẫn ‘Amorphous-Mirage’ là phương pháp hiệu quả và có khả năng nhất, mặc dù nó có xu hướng tạo ra các Gaussians không mong muốn (hiện tượng phụ), trong khi cho rằng ‘Graphite-Mirage’ linh hoạt hơn. Dường như Amorphous-Mirage đạt được chi tiết tốt nhất, và Graphite-Mirage có tính linh hoạt tốt nhất. Vì cả hai phương pháp đều được trình bày trong bản thảo, với các điểm mạnh và điểm yếu đa dạng, sự ưu tiên của các tác giả, nếu có, không rõ ràng tại thời điểm này.

Được xuất bản lần đầu vào thứ Năm, ngày 3 tháng 10 năm 2024