Làm thế nào để Khôi phục 3D từ Một View hoạt động?

Truyền thống, các mô hình cho việc khôi phục đối tượng 3D từ một view được xây dựng trên mạng nơ-ron convolutional đã thể hiện hiệu suất đáng chú ý trong các nhiệm vụ khôi phục. Trong những năm gần đây, việc khôi phục 3D từ một view đã trở thành một chủ đề nghiên cứu phổ biến trong cộng đồng trí tuệ nhân tạo. Bất kể phương pháp cụ thể được sử dụng, tất cả các mô hình khôi phục 3D từ một view đều chia sẻ cách tiếp cận chung là kết hợp một mạng nơ-ron mã hóa – giải mã trong khuôn khổ của chúng. Mạng nơ-ron này thực hiện việc suy luận phức tạp về cấu trúc 3D trong không gian đầu ra.

Trong bài viết này, chúng ta sẽ khám phá cách khôi phục 3D từ một view hoạt động trong thời gian thực và các thách thức hiện tại mà các khuôn khổ này phải đối mặt trong các nhiệm vụ khôi phục. Chúng ta sẽ thảo luận về các thành phần và phương pháp chính được sử dụng bởi các mô hình khôi phục 3D từ một view và khám phá các chiến lược có thể cải thiện hiệu suất của các khuôn khổ này. Ngoài ra, chúng ta sẽ phân tích các kết quả được tạo ra bởi các khuôn khổ hiện đại sử dụng phương pháp mã hóa – giải mã. Hãy cùng khám phá.

Khôi phục 3D từ Một View

Khôi phục 3D từ một view liên quan đến việc tạo ra một mô hình 3D của một đối tượng từ một view duy nhất, hoặc đơn giản hơn, từ một hình ảnh. Ví dụ, việc suy luận cấu trúc 3D của một đối tượng, chẳng hạn như một chiếc xe máy từ một hình ảnh, là một quá trình phức tạp. Nó kết hợp kiến thức về sự sắp xếp cấu trúc của các bộ phận, các tín hiệu hình ảnh cấp thấp và thông tin ngữ nghĩa cấp cao. Phạm vi này bao gồm hai khía cạnh chính: khôi phục và nhận dạng. Quá trình khôi phục phân biệt cấu trúc 3D của hình ảnh đầu vào sử dụng các tín hiệu như bóng, kết cấu và hiệu ứng hình ảnh. Ngược lại, quá trình nhận dạng phân loại hình ảnh đầu vào và lấy một mô hình 3D phù hợp từ cơ sở dữ liệu.

Các mô hình khôi phục 3D từ một view hiện tại có thể khác nhau về kiến trúc, nhưng chúng được thống nhất bởi việc bao gồm một cấu trúc mã hóa – giải mã trong khuôn khổ của chúng. Trong cấu trúc này, bộ mã hóa ánh xạ hình ảnh đầu vào đến một biểu diễn tiềm ẩn, trong khi bộ giải mã thực hiện việc suy luận phức tạp về cấu trúc 3D của không gian đầu ra. Để thực hiện thành công nhiệm vụ này, mạng nơ-ron phải tích hợp cả thông tin cấp cao và cấp thấp. Ngoài ra, nhiều phương pháp mã hóa – giải mã hiện đại phụ thuộc vào việc nhận dạng cho các nhiệm vụ khôi phục 3D từ một view, điều này hạn chế khả năng khôi phục của chúng. Hơn nữa, hiệu suất của các mạng nơ-ron convolutional hiện đại trong việc khôi phục 3D từ một view có thể được vượt qua mà không cần suy luận rõ ràng về cấu trúc 3D của đối tượng. Tuy nhiên, sự thống trị của việc nhận dạng trong các mạng nơ-ron convolutional trong các nhiệm vụ khôi phục đối tượng từ một view bị ảnh hưởng bởi các thủ tục thí nghiệm khác nhau, bao gồm cả giao thức đánh giá và thành phần dữ liệu. Các yếu tố này cho phép khuôn khổ tìm ra một giải pháp捷径, trong trường hợp này, là nhận dạng hình ảnh.

Truyền thống, các khuôn khổ khôi phục 3D từ một view tiếp cận các nhiệm vụ khôi phục bằng cách sử dụng phương pháp hình thành từ bóng, với kết cấu và mất nét phục vụ như các view kỳ lạ cho các nhiệm vụ khôi phục. Vì các kỹ thuật này sử dụng một tín hiệu độ sâu duy nhất, chúng có khả năng cung cấp lý do cho các bộ phận có thể nhìn thấy của một bề mặt. Hơn nữa, nhiều khuôn khổ khôi phục 3D từ một view sử dụng nhiều tín hiệu cùng với kiến thức cấu trúc để ước tính độ sâu từ một hình ảnh đơn sắc, một sự kết hợp cho phép các khuôn khổ này dự đoán độ sâu của các bề mặt có thể nhìn thấy. Các khuôn khổ ước tính độ sâu gần đây triển khai các cấu trúc mạng nơ-ron convolutional để trích xuất độ sâu trong một hình ảnh đơn sắc.

Tuy nhiên, để khôi phục 3D từ một view hiệu quả, các mô hình không chỉ phải suy luận về cấu trúc 3D của các đối tượng có thể nhìn thấy trong hình ảnh, mà chúng cũng cần phải suy đoán các bộ phận không nhìn thấy trong hình ảnh bằng cách sử dụng các tiên đề nhất định được học từ dữ liệu. Để đạt được điều này, đa số các mô hình hiện tại triển khai các cấu trúc mạng nơ-ron convolutional được đào tạo để ánh xạ hình ảnh 2D thành hình dạng 3D bằng cách sử dụng sự giám sát trực tiếp 3D, trong khi nhiều khuôn khổ khác triển khai các biểu diễn dựa trên voxel của hình dạng 3D và sử dụng một biểu diễn tiềm ẩn để tạo ra các phép lên convolution 3D. Một số khuôn khổ cũng phân chia không gian đầu ra một cách phân cấp để tăng hiệu quả tính toán và bộ nhớ, cho phép mô hình dự đoán các hình dạng 3D có độ phân giải cao hơn. Nghiên cứu gần đây tập trung vào việc sử dụng các hình thức giám sát yếu hơn cho dự đoán hình dạng 3D từ một view bằng cách sử dụng mạng nơ-ron convolutional, либо so sánh các hình dạng dự đoán và dự đoán thực tế để đào tạo các hồi quy hình dạng, hoặc sử dụng nhiều tín hiệu học để đào tạo các hình dạng trung bình giúp mô hình dự đoán biến dạng. Một lý do khác đằng sau sự hạn chế trong việc phát triển khôi phục 3D từ một view là sự hạn chế về lượng dữ liệu đào tạo có sẵn cho nhiệm vụ này.

Tiếp tục, khôi phục 3D từ một view là một nhiệm vụ phức tạp vì nó không chỉ diễn giải dữ liệu hình ảnh về mặt hình học, mà còn về mặt ngữ nghĩa. Mặc dù chúng không hoàn toàn khác biệt, chúng vẫn thuộc các phổ khác nhau từ việc khôi phục hình học đến việc nhận dạng ngữ nghĩa. Các nhiệm vụ khôi phục yêu cầu suy luận pixel theo pixel về cấu trúc 3D của đối tượng trong hình ảnh. Các nhiệm vụ khôi phục không yêu cầu sự hiểu biết ngữ nghĩa về nội dung của hình ảnh và có thể được thực hiện bằng cách sử dụng các tín hiệu hình ảnh cấp thấp, bao gồm kết cấu, màu sắc, bóng, bóng, góc nhìn và tiêu cự. Ngược lại, việc nhận dạng là một trường hợp cực đoan của việc sử dụng ngữ nghĩa hình ảnh, vì các nhiệm vụ nhận dạng sử dụng các đối tượng hoàn chỉnh và tương đương với việc phân loại đối tượng trong đầu vào và lấy hình dạng tương ứng từ cơ sở dữ liệu. Mặc dù các nhiệm vụ nhận dạng có thể cung cấp lý do mạnh mẽ về các bộ phận của đối tượng không nhìn thấy trong hình ảnh, nhưng giải pháp ngữ nghĩa chỉ khả thi nếu nó có thể được giải thích bởi một đối tượng hiện diện trong cơ sở dữ liệu.

Mặc dù các nhiệm vụ nhận dạng và khôi phục có thể khác nhau đáng kể, nhưng cả hai đều có xu hướng bỏ qua thông tin quý giá có trong hình ảnh đầu vào. Đó là lý do tại sao nên sử dụng cả hai nhiệm vụ này cùng nhau để đạt được kết quả tốt nhất và các hình dạng 3D chính xác cho việc khôi phục đối tượng, tức là cho các nhiệm vụ khôi phục 3D từ một view tối ưu, mô hình nên sử dụng kiến thức cấu trúc, các tín hiệu hình ảnh cấp thấp và sự hiểu biết cấp cao về đối tượng.

Cài Đặt Khôi Phục 3D từ Một View

Để giải thích cài đặt thông thường và phân tích cài đặt của một khuôn khổ khôi phục 3D từ một view, chúng ta sẽ triển khai một cài đặt tiêu chuẩn để ước tính hình dạng 3D bằng cách sử dụng một view hoặc hình ảnh của đối tượng. Dữ liệu được sử dụng cho mục đích đào tạo là dữ liệu ShapeNet và đánh giá hiệu suất trên 13 lớp, cho phép mô hình hiểu cách số lượng lớp trong một tập dữ liệu xác định hiệu suất ước tính hình dạng của mô hình.

Hầu hết các mạng nơ-ron convolutional hiện đại sử dụng một hình ảnh đơn để dự đoán các mô hình 3D có độ phân giải cao và các khuôn khổ này có thể được phân loại dựa trên biểu diễn đầu ra của chúng: bản đồ độ sâu, đám mây điểm và lưới voxel. Mô hình sử dụng OGN hoặc Mạng Octree Generating làm phương pháp đại diện của nó, phương pháp này đã vượt qua phương pháp lưới voxel và/hoặc có thể bao gồm các biểu diễn đầu ra thống trị. Ngược lại với các phương pháp hiện có sử dụng biểu diễn đầu ra, phương pháp OGN cho phép mô hình dự đoán các hình dạng có độ phân giải cao và sử dụng các octree để biểu diễn không gian bị chiếm một cách hiệu quả.

Các Đường Cơ Sở

Để đánh giá kết quả, mô hình triển khai hai đường cơ sở xem xét vấn đề thuần túy như một nhiệm vụ nhận dạng. Đường cơ sở đầu tiên dựa trên việc phân cụm, trong khi đường cơ sở thứ hai thực hiện việc lấy từ cơ sở dữ liệu.

Phân Cụm

Trong đường cơ sở phân cụm, mô hình sử dụng thuật toán K-Means để phân cụm hoặc nhóm các hình dạng đào tạo vào các phân cụm con, và chạy thuật toán trên các voxel hóa 32*32*32 được làm phẳng thành một vector. Sau khi xác định các phân cụm, mô hình chuyển đổi trở lại làm việc với các mô hình có độ phân giải cao hơn. Mô hình sau đó tính toán hình dạng trung bình trong mỗi phân cụm và ngưỡng hình dạng trung bình, nơi giá trị tối ưu được tính bằng cách tối đa hóa giá trị IoU trung bình hoặc Intersection over Union trên các mô hình. Vì mô hình biết mối quan hệ giữa các hình dạng 3D và hình ảnh trong dữ liệu đào tạo, mô hình có thể dễ dàng匹配 hình ảnh với phân cụm tương ứng của nó.

Lấy Từ Cơ Sở Dữ Liệu

Đường cơ sở lấy từ cơ sở dữ liệu học cách nhúng các hình dạng và hình ảnh vào một không gian chung. Mô hình xem xét sự tương tự giữa các ma trận hình dạng 3D trong tập dữ liệu đào tạo để xây dựng không gian nhúng. Mô hình đạt được điều này bằng cách sử dụng phương pháp Multi-Dimensional Scaling với ánh xạ Sammon để nén mỗi hàng trong ma trận thành một mô tả chiều thấp. Hơn nữa, để tính toán sự tương tự giữa hai hình dạng tùy ý, mô hình sử dụng mô tả trường sáng. Ngoài ra, mô hình đào tạo một mạng nơ-ron convolutional để ánh xạ hình ảnh đến một mô tả để nhúng hình ảnh vào không gian.

Phân Tích

Các mô hình khôi phục 3D từ một view theo đuổi các chiến lược khác nhau, dẫn đến việc chúng vượt qua các mô hình khác trong một số lĩnh vực, trong khi lại thiếu sót trong các lĩnh vực khác. Để so sánh các khuôn khổ khác nhau và đánh giá hiệu suất của chúng, chúng ta có các metric khác nhau, một trong số đó là điểm IoU trung bình.

Như có thể thấy trong hình ảnh trên, mặc dù có kiến trúc khác nhau, các mô hình khôi phục 3D hiện đại đang cung cấp hiệu suất gần như tương tự. Tuy nhiên, điều thú vị là mặc dù là một phương pháp nhận dạng thuần túy, khuôn khổ lấy từ cơ sở dữ liệu vượt qua các mô hình khác về điểm IoU trung bình và trung vị. Khuôn khổ phân cụm cung cấp kết quả vững chắc, vượt qua các khuôn khổ AtlasNet, OGN và Matryoshka. Tuy nhiên, kết quả bất ngờ nhất của phân tích này vẫn là Oracle (ORCL ) NN vượt qua tất cả các phương pháp khác, mặc dù sử dụng một kiến trúc lấy từ cơ sở dữ liệu hoàn hảo. Mặc dù việc tính toán điểm IoU trung bình giúp so sánh, nhưng nó không cung cấp một bức tranh đầy đủ vì sự biến thiên trong kết quả là cao, bất kể mô hình.

Các Metric Đánh Giá Thông Thường

Các mô hình khôi phục 3D từ một view thường sử dụng các metric đánh giá khác nhau để phân tích hiệu suất của chúng trên một loạt các nhiệm vụ. Dưới đây là một số metric đánh giá thông thường.

Intersection Over Union

Điểm Intersection Over Union trung bình là một metric thường được sử dụng như một thước đo định lượng để đánh giá các mô hình khôi phục 3D từ một view. Mặc dù IoU cung cấp một số thông tin về hiệu suất của mô hình, nhưng nó không được coi là metric duy nhất để đánh giá một phương pháp, vì nó chỉ cho thấy chất lượng của hình dạng dự đoán bởi mô hình nếu các giá trị đủ cao với sự chênh lệch đáng kể giữa các điểm số thấp và trung bình cho hai hình dạng cho trước.

Chamfer Distance

Khoảng cách Chamfer được định nghĩa trên các đám mây điểm và nó được thiết kế để có thể áp dụng cho các biểu diễn 3D khác nhau một cách thỏa đáng. Tuy nhiên, metric đánh giá khoảng cách Chamfer rất nhạy cảm với các điểm ngoại lệ, điều này làm cho nó trở thành một thước đo vấn đề để đánh giá hiệu suất của mô hình, với khoảng cách của điểm ngoại lệ từ hình dạng tham chiếu quyết định chất lượng của việc tạo ra.

F-Score

F-Score là một metric đánh giá thông thường được sử dụng rộng rãi bởi các mô hình khôi phục 3D từ nhiều view. Metric F-Score được định nghĩa là trung bình điều hòa giữa độ nhớ và độ chính xác, và nó đánh giá khoảng cách giữa các bề mặt của các đối tượng một cách rõ ràng. Độ chính xác đếm tỷ lệ phần trăm của các điểm được xây dựng lại nằm trong một khoảng cách được định nghĩa trước đến hình dạng thực tế, để đo lường độ chính xác của việc xây dựng lại. Độ nhớ đếm tỷ lệ phần trăm của các điểm trên hình dạng thực tế nằm trong một khoảng cách được định nghĩa trước đến việc xây dựng lại, để đo lường sự hoàn chỉnh của việc xây dựng lại. Hơn nữa, bằng cách thay đổi ngưỡng khoảng cách, các nhà phát triển có thể kiểm soát độ nghiêm ngặt của metric F-Score.

Phân Tích Theo Lớp

Sự tương đồng trong hiệu suất được cung cấp bởi các khuôn khổ trên không thể là kết quả của các phương pháp chạy trên các tập hợp con khác nhau của các lớp, và hình dưới đây cho thấy hiệu suất tương đối nhất quán trên các lớp khác nhau, với đường cơ sở lấy từ cơ sở dữ liệu Oracle NN đạt được kết quả tốt nhất trong số đó, và tất cả các phương pháp đều quan sát thấy sự biến thiên cao cho tất cả các lớp.

Hơn nữa, số lượng mẫu đào tạo có sẵn cho một lớp có thể dẫn đến việc giả định rằng nó ảnh hưởng đến hiệu suất theo lớp. Tuy nhiên, như được chứng minh trong hình dưới đây, số lượng mẫu đào tạo có sẵn cho một lớp không ảnh hưởng đến hiệu suất theo lớp, và số lượng mẫu trong một lớp và điểm IoU trung bình của nó không liên quan.

Phân Tích Chất Lượng

Các kết quả định lượng được thảo luận trong phần trên được hỗ trợ bởi các kết quả định lượng như được hiển thị trong hình dưới đây.

Đối với hầu hết các lớp, không có sự khác biệt đáng kể giữa đường cơ sở phân cụm và các dự đoán được thực hiện bởi các phương pháp dựa trên bộ giải mã. Phương pháp phân cụm không thể cung cấp kết quả khi khoảng cách giữa mẫu và hình dạng trung bình của phân cụm cao, hoặc trong các tình huống khi hình dạng trung bình không thể mô tả phân cụm một cách đủ tốt. Mặt khác, các khuôn khổ sử dụng các phương pháp dựa trên bộ giải mã và kiến trúc lấy từ cơ sở dữ liệu cung cấp các kết quả chính xác và hấp dẫn nhất, vì chúng có thể bao gồm các chi tiết tinh tế trong mô hình 3D được tạo ra.

Khôi Phục 3D từ Một View: Kết Luận

Trong bài viết này, chúng ta đã thảo luận về Khôi phục 3D từ Một View, và cách nó hoạt động, và đã thảo luận về hai đường cơ sở: Lấy từ Cơ Sở Dữ Liệu và Phân Cụm, với đường cơ sở lấy từ cơ sở dữ liệu vượt qua các mô hình hiện đại. Cuối cùng, mặc dù Khôi phục 3D từ Một View là một trong những chủ đề nóng nhất và được nghiên cứu nhiều nhất trong cộng đồng trí tuệ nhân tạo, và mặc dù đã đạt được những tiến bộ đáng kể trong những năm gần đây, Khôi phục 3D từ Một View vẫn còn xa để trở nên hoàn hảo với những chướng ngại vật đáng kể cần phải vượt qua trong những năm tới.