Góc nhìn Anderson

Tái định hình Kiểu hình Cơ thể Người với Trí tuệ Nhân tạo

Martin Anderson
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhNeuralReshaper sử dụng mô hình tham số SMPL để cho phép kiểm soát chi tiết đối với cân…
Xem thêm
  • NeuralReshaper sử dụng mô hình tham số SMPL để cho phép kiểm soát chi tiết đối với cân nặng, chiều cao và tỷ lệ cơ thể.
  • Kiến trúc bộ mã hóa kép xử lý riêng biệt việc định hình lại cơ thể ở tiền cảnh và vẽ nền ở hậu cảnh để đạt kết quả chân thực.
  • Các phương pháp CGI dựa trên SMPL vẫn cần thiết vì GAN và NeRF chưa thể chỉnh sửa đáng tin cậy các tham số hình dạng cơ thể.

Một nghiên cứu hợp tác mới từ Trung Quốc cung cấp một phương pháp mới để tái định hình cơ thể người trong hình ảnh, bằng cách sử dụng một mạng lưới mã hóa thần kinh đôi được điều phối, được hướng dẫn bởi một mô hình tham số, cho phép người dùng cuối điều chỉnh trọng lượng, chiều cao và tỷ lệ cơ thể trong một giao diện người dùng tương tác.

Sự điều chỉnh tham số của hình dạng cơ thể, với các thanh trượt thay đổi ba tính năng có sẵn. Nguồn: https://arxiv.org/pdf/2203.10496.pdf

Sự điều chỉnh tham số của hình dạng cơ thể, với các thanh trượt thay đổi ba tính năng có sẵn. Nguồn: https://arxiv.org/pdf/2203.10496.pdf

Công việc này cung cấp một số cải tiến so với một dự án tương tự gần đây từ Alibaba, trong đó nó có thể thay đổi chiều cao và tỷ lệ cơ thể cũng như trọng lượng, và có một mạng lưới thần kinh chuyên dụng cho việc ‘điền vào’ nền (không tồn tại) có thể được tiết lộ bởi hình ảnh cơ thể ‘mỏng hơn’. Nó cũng cải tiến một phương pháp tham số trước đó cho việc tái định hình cơ thể bằng cách loại bỏ nhu cầu can thiệp sâu rộng của con người trong quá trình tạo ra sự biến đổi.

Được đặt tên là NeuralReshaper, kiến trúc mới này phù hợp với một mẫu 3D người tham số với một hình ảnh nguồn, và sau đó sử dụng sự biến dạng trong mẫu để điều chỉnh hình ảnh ban đầu theo các tham số mới.

Hệ thống này có thể xử lý các biến đổi cơ thể trên cả hình ảnh người mặc quần áo và bán khỏa thân (tức là đồ bơi).

Các biến đổi loại này hiện đang được quan tâm mạnh mẽ trong lĩnh vực nghiên cứu trí tuệ nhân tạo thời trang, đã sản xuất một số nền tảng dựa trên StyleGAN/CycleGAN và mạng lưới thần kinh tổng quát cho thử quần áo ảo có thể điều chỉnh các mặt hàng quần áo có sẵn để phù hợp với hình dạng và loại cơ thể của một hình ảnh được gửi bởi người dùng, hoặc giúp với sự phù hợp về hình ảnh.

Bài báo này có tiêu đề Single-image Human-body Reshaping with Deep Neural Networks, và đến từ các nhà nghiên cứu tại Đại học Zhejiang ở Hàng Châu, và Trường Truyền thông Sáng tạo tại Đại học Thành phố Hồng Kông.

Khớp mô hình SMPL

NeuralReshaper sử dụng mô hình Skinned Multi-Person Linear (SMPL) được phát triển bởi Viện Hệ thống Thông minh Max Planck và nhà sản xuất hiệu ứng hình ảnh nổi tiếng Industrial Light and Magic vào năm 2015.

Mô hình người tham số SMPL từ sự hợp tác Planck/ILM năm 2015. Nguồn: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Mô hình người tham số SMPL từ sự hợp tác Planck/ILM năm 2015. Nguồn: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Trong giai đoạn đầu của quá trình, một mô hình SMPL được tạo ra từ một hình ảnh nguồn mà các biến đổi cơ thể được mong muốn. Việc điều chỉnh mô hình SMPL với hình ảnh theo phương pháp của phương pháp Phục hồi Lưới người (HMR) được đề xuất bởi các trường đại học ở Đức và Mỹ vào năm 2018.

Các tham số cho biến dạng (trọng lượng, chiều cao, tỷ lệ cơ thể) được tính toán tại giai đoạn này, cùng với việc xem xét các tham số máy ảnh, chẳng hạn như độ dài tiêu cự. Các điểm then chốt 2D và sự căn chỉnh hình dạng tạo ra khuôn khổ cho biến dạng dưới dạng hình dạng 2D, một biện pháp tối ưu hóa bổ sung giúp tăng độ chính xác của ranh giới và cho phép việc điền vào nền một cách chân thực hơn trong quá trình xử lý sau.

Các giai đoạn điều chỉnh SMPL: trái, hình ảnh nguồn; thứ hai từ trái, kết quả tối ưu hóa thu được từ phương pháp được đề xuất vào năm 2016 bởi Viện Hệ thống Thông minh Max Planck; thứ ba từ trái, kết quả suy luận trực tiếp từ mô hình được đào tạo trước cho Phục hồi Hình dạng và Tư thế Người; thứ hai từ phải, kết quả thu được sau khi tối ưu hóa các điểm then chốt 2D; và cuối cùng, phải, sự phù hợp hoàn thành sau khi tối ưu hóa hình dạng (xem trên).

Các giai đoạn khớp SMPL: bên trái là ảnh nguồn; thứ hai là kết quả tối ưu hóa theo nghiên cứu năm 2016 do Viện Hệ thống Thông minh Max Planck chủ trì; thứ ba là kết quả suy luận trực tiếp của mô hình huấn luyện trước cho End-to-end Recovery of Human Shape and Pose; thứ tư là kết quả tối ưu hóa các điểm mốc 2D; thứ năm là kết quả khớp cuối cùng sau tối ưu hóa đường bao (xem trên).

Sau đó, biến dạng 3D được chiếu vào không gian hình ảnh của kiến trúc để tạo ra một trường biến dạng dày đặc sẽ xác định biến dạng. Quá trình này mất khoảng 30 giây cho mỗi hình ảnh.

Kiến trúc NeuralReshaper

NeuralReshaper chạy hai mạng lưới thần kinh song song: một bộ mã hóa tiền cảnh tạo ra hình dạng cơ thể biến đổi, và một bộ mã hóa nền tập trung vào việc điền vào các vùng nền vừa được lộ ra (trong trường hợp, chẳng hạn, làm mỏng cơ thể – xem hình dưới).

Khung U-net tích hợp đầu ra từ các tính năng của hai bộ mã hóa trước khi truyền kết quả đến một bộ giải mã thống nhất cuối cùng tạo ra một hình ảnh mới từ hai đầu vào. Kiến trúc này có một cơ chế dẫn đường biến dạng mới để cho phép tích hợp.

Huấn luyện và thí nghiệm

NeuralReshaper được thực hiện trong PyTorch trên một card đồ họa NVIDIA (NVDA ) 1080ti duy nhất với 11gb VRAM. Mạng lưới được đào tạo trong 100 lượt huấn luyện trên toàn bộ dữ liệu với bộ tối ưu hóa Adam, với bộ tạo có tốc độ học 0,0001 và bộ phân biệt có tốc độ học 0,0004. Việc đào tạo diễn ra trên một kích thước batch 8 cho một tập dữ liệu ngoài trời độc quyền (được rút ra từ COCO, MPII, và LSP), và 2 cho việc đào tạo trên tập dữ liệu DeepFashion.

Trái, hình ảnh gốc, phải, đầu ra được tái tạo của NeuralReshaper.

Trái, hình ảnh gốc, phải, đầu ra được tái tạo của NeuralReshaper.

Dưới đây là một số ví dụ độc quyền từ tập dữ liệu DeepFashion khi được đào tạo cho NeuralReshaper, với hình ảnh gốc luôn ở bên trái.

Các thuộc tính có thể điều khiển được tách biệt, và có thể được áp dụng riêng biệt.

Các biến đổi trên tập dữ liệu ngoài trời có thể khó khăn hơn, vì chúng thường đòi hỏi phải điền vào các nền phức tạp và phân biệt rõ ràng và thuyết phục về các loại cơ thể biến đổi:

Sự cần thiết của mô hình tham số

Như bài báo nhận xét, các biến đổi trên cùng một ảnh như vậy là một bài toán không chỉnh trong tổng hợp hình ảnh. Nhiều khung GAN và bộ mã hóa biến đổi có thể sử dụng các hình ảnh được ghép đôi (chẳng hạn như các dự án đa dạng được thiết kế để thực hiện biến đổi phác thảo>ảnh và biến đổi ảnh>phác thảo).

Tuy nhiên, trong trường hợp này, điều này sẽ đòi hỏi các hình ảnh ghép đôi có cùng người trong các cấu hình vật lý khác nhau, chẳng hạn như các hình ảnh ‘trước và sau’ trong quảng cáo giảm cân hoặc phẫu thuật thẩm mỹ – dữ liệu khó có được hoặc tạo ra.

Ngược lại, các mạng lưới GAN biến đổi có thể được đào tạo trên dữ liệu đa dạng hơn và thực hiện biến đổi bằng cách tìm kiếm hướng latent giữa mã latent nguồn (hình ảnh gốc) và lớp mong muốn (trong trường hợp này là ‘béo’, ‘gầy’, ‘cao’, v.v.). Tuy nhiên, cách tiếp cận này hiện vẫn còn hạn chế cho mục đích tái định hình cơ thể tinh chỉnh.

Các phương pháp Trường bức xạ thần kinh (NeRF) tiến bộ hơn nhiều trong mô phỏng toàn thân so với hầu hết các hệ thống dựa trên GAN, nhưng vẫn còn đặc trưng cho từng cảnh và tốn tài nguyên, với khả năng chỉnh sửa loại cơ thể hiện còn rất hạn chế (ngoài việc thu nhỏ toàn bộ cơ thể so với môi trường của nó).

Không gian latent của GAN khó kiểm soát; VAE chưa giải quyết được sự phức tạp của việc tái tạo toàn thân; và khả năng của NeRF trong việc tái tạo và chỉnh sửa cơ thể người một cách nhất quán và thực tế vẫn còn trong giai đoạn sơ khai. Do đó, việc kết hợp các phương pháp CGI ‘truyền thống’ như SMPL dường như sẽ tiếp tục trong lĩnh vực nghiên cứu tổng hợp hình ảnh người, như một phương pháp để thu thập và hợp nhất các tính năng, lớp và mã latent mà các tham số và khả năng khai thác của chúng chưa được hiểu đầy đủ trong những công nghệ mới nổi này.

Xuất bản lần đầu ngày 31 tháng 3 năm 2022.

Người viết về học máy, chuyên gia lĩnh vực tổng hợp hình ảnh con người. Cựu trưởng bộ phận nội dung nghiên cứu tại Metaphysic.ai, cho đến khi nó sáp nhập vào Brahma.ai của DNEG.
Trang web: martinanderson.ai
Liên hệ: martin@martinanderson.ai