Các nhà nghiên cứu sử dụng học sâu để chuyển đổi ảnh điểm đến thành 4D

Các nhà nghiên cứu tại Đại học Cornell đã phát triển một phương pháp mới sử dụng học sâu để chuyển đổi ảnh điểm đến trên thế giới thành 4D. Đội ngũ đã dựa vào ảnh du lịch công khai của các điểm nổi tiếng như Trevi Fountain ở Rome, và kết quả cuối cùng là hình ảnh 3D có thể điều khiển và hiển thị sự thay đổi về ngoại hình theo thời gian.

Phương pháp mới này lấy và tổng hợp hàng chục nghìn ảnh không được gắn thẻ và không có ngày, và đây là một bước tiến lớn cho tầm nhìn máy tính.

Công việc này có tiêu đề “Crowdsampling the Plenoptic Function”, và nó được trình bày tại Hội nghị ảo về Tầm nhìn Máy tính châu Âu, diễn ra từ ngày 23-28 tháng 8.

Noah Snavely là giáo sư trợ lý khoa học máy tính tại Cornell Tech và là tác giả chính của bài báo. Các đóng góp khác bao gồm sinh viên tiến sĩ Zhengqi Li của Cornell, tác giả đầu tiên của bài báo, cũng như Abe Davis, giáo sư trợ lý khoa học máy tính tại Khoa Máy tính và Khoa học Thông tin, và sinh viên tiến sĩ Wenqi Xian của Cornell Tech.

“Đây là một cách mới để mô hình hóa cảnh mà không chỉ cho phép bạn di chuyển đầu và xem, chẳng hạn như đài phun nước từ các góc nhìn khác nhau, mà còn cung cấp các điều khiển để thay đổi thời gian”, Snavely nói.

“Nếu bạn thực sự đến thăm Trevi Fountain trong kỳ nghỉ, cách nó trông sẽ phụ thuộc vào thời điểm bạn đến — vào ban đêm, nó sẽ được chiếu sáng bởi đèn lũy sáng từ dưới lên. Vào buổi chiều, nó sẽ được chiếu sáng bởi ánh nắng mặt trời, trừ khi bạn đến vào một ngày nhiều mây,” ông tiếp tục. “Chúng tôi đã học được toàn bộ phạm vi ngoại hình, dựa trên thời gian trong ngày và thời tiết, từ những bộ sưu tập ảnh không được tổ chức này, để bạn có thể khám phá toàn bộ phạm vi và đồng thời di chuyển xung quanh cảnh.”

Giới hạn của Tầm nhìn Máy tính Truyền thống

Vì có thể có rất nhiều kết cấu khác nhau cần được tái tạo, nên rất khó cho tầm nhìn máy tính truyền thống để thể hiện các địa điểm một cách chính xác thông qua ảnh.

“Thế giới thực rất đa dạng về ngoại hình và có nhiều loại vật liệu khác nhau — những thứ sáng bóng, nước, cấu trúc mỏng,” Snavely nói.

Ngoài những rào cản đó, tầm nhìn máy tính truyền thống cũng gặp khó khăn với dữ liệu không nhất quán. Hàm plenoptic là cách một thứ xuất hiện từ mọi góc nhìn có thể trong không gian và thời gian, nhưng để tái tạo điều này, cần hàng trăm webcam tại hiện trường. Không chỉ vậy, chúng phải được ghi lại suốt cả ngày và đêm. Điều này có thể được thực hiện, nhưng nó là một nhiệm vụ rất tốn tài nguyên khi xem xét số lượng cảnh mà phương pháp này sẽ được yêu cầu.

Học hỏi từ Các Ảnh Khác

Để vượt qua điều này, đội ngũ các nhà nghiên cứu đã phát triển phương pháp mới.

“Có thể không có ảnh được chụp vào lúc 4 giờ chiều từ góc nhìn này trong tập dữ liệu. Vì vậy, chúng tôi phải học hỏi từ ảnh được chụp vào lúc 9 giờ tối tại một vị trí, và ảnh được chụp vào lúc 4:03 từ một vị trí khác,” Snavely nói. “Và chúng tôi không biết độ chi tiết của khi những ảnh này được chụp. Nhưng sử dụng học sâu cho phép chúng tôi suy luận ra cách cảnh sẽ trông như thế nào tại bất kỳ thời điểm và vị trí nào.”

Một cách thể hiện cảnh mới gọi là Deep Multiplane Images đã được giới thiệu bởi các nhà nghiên cứu để nội suy ngoại hình trong bốn chiều, bao gồm 3D và thay đổi theo thời gian.

Theo Snavely, “Chúng tôi sử dụng cùng một ý tưởng được phát minh để tạo ra hiệu ứng 3D trong hoạt hình 2D để tạo ra hiệu ứng 3D trong cảnh thực, để tạo ra hình ảnh đa lớp sâu này bằng cách phù hợp với tất cả các phép đo rời rạc từ ảnh của du khách. Điều thú vị là nó xuất phát từ một kỹ thuật cổ điển rất cũ được sử dụng trong hoạt hình.”

Nghiên cứu đã chứng minh rằng mô hình được đào tạo có thể tạo ra một cảnh với 50.000 ảnh công khai từ các trang web khác nhau. Đội ngũ tin rằng nó có thể có những ý nghĩa trong nhiều lĩnh vực, bao gồm nghiên cứu tầm nhìn máy tính và du lịch ảo.

“Bạn có thể cảm nhận được sự hiện diện thực sự ở đó,” Snavely nói. “Nó hoạt động khá tốt cho nhiều cảnh.”

Dự án này đã nhận được sự hỗ trợ từ cựu CEO Google (GOOGL ) và nhà từ thiện Eric Schmidt, cũng như Wendt Schmidt.

https://www.youtube.com/watch?v=MAVFKWX8LYo&feature=emb_title