Các nhà nghiên cứu tạo ra Hologram 3D thời gian thực trên điện thoại thông minh bằng công nghệ AI

Điện thoại thông minh có thể sớm có khả năng tạo ra hologram 3D photorealistic, nhờ vào một mô hình AI được phát triển bởi các nhà nghiên cứu tại MIT. Hệ thống AI được phát triển bởi nhóm nghiên cứu MIT xác định cách tốt nhất để tạo ra hologram từ một loạt hình ảnh đầu vào.

Các nhà nghiên cứu từ MIT đã thiết kế các mô hình AI gần đây cho phép tạo ra hologram 3D photorealistic. Công nghệ này có thể có ứng dụng cho các thiết bị VR và AR, và hologram thậm chí có thể được tạo ra bởi một điện thoại thông minh.

Không giống như các màn hình 3D và VR truyền thống, chỉ tạo ra ảo giác về độ sâu và có thể gây buồn nôn và đau đầu, màn hình holographic có thể được nhìn bởi mọi người mà không gây ra căng thẳng cho mắt. Một rào cản lớn đối với việc tạo ra phương tiện holographic là xử lý dữ liệu cần thiết để tạo ra hologram. Mỗi hologram bao gồm một lượng lớn dữ liệu, cần thiết để tạo ra “độ sâu” của hologram. Do đó, việc tạo ra hologram thường đòi hỏi một lượng lớn sức mạnh tính toán. Để làm cho công nghệ holographic trở nên thực tế hơn, nhóm nghiên cứu MIT đã áp dụng mạng nơ-ron tích chập sâu để giải quyết vấn đề, tạo ra một mạng có khả năng tạo ra hologram nhanh chóng dựa trên hình ảnh đầu vào.

Phương pháp truyền thống để tạo ra hologram về cơ bản là tạo ra nhiều mảnh hologram và sau đó sử dụng mô phỏng vật lý để kết hợp các mảnh này thành một biểu diễn hoàn chỉnh của một vật thể hoặc hình ảnh. Điều này khác với phương pháp truyền thống được sử dụng để tạo ra hologram. Trong phương pháp truyền thống, hình ảnh được cắt thành các mảnh và một loạt bảng tra cứu được sử dụng để kết hợp các mảnh hologram lại với nhau, vì các bảng tra cứu đánh dấu ranh giới của các mảnh hologram khác nhau. Quá trình xác định ranh giới của các mảnh hologram bằng bảng tra cứu là khá tốn thời gian và đòi hỏi nhiều sức mạnh tính toán.

Theo IEEE Spectrum, nhóm nghiên cứu MIT đã thiết kế một phương pháp khác để tạo ra hologram. Sử dụng sức mạnh của mạng nơ-ron sâu, họ đã có thể cắt hình ảnh thành các mảnh có thể được tái biên dịch thành hologram bằng cách sử dụng ít “lát cắt” hơn. Phương pháp mới này tận dụng khả năng của mạng nơ-ron tích chập để phân tích hình ảnh và tách hình ảnh thành các mảnh rời. Phương pháp mới này giúp giảm đáng kể số lượng hoạt động mà hệ thống phải thực hiện.

Để thiết kế bộ tạo hologram AI của họ, nhóm nghiên cứu đã bắt đầu bằng cách xây dựng một cơ sở dữ liệu gồm khoảng 4000 hình ảnh được tạo bằng máy tính, với một hologram 3D tương ứng được gán cho mỗi hình ảnh. Mạng nơ-ron tích chập được đào tạo trên cơ sở dữ liệu này, học cách mỗi hình ảnh được liên kết với hologram của nó và cách tốt nhất để sử dụng các tính năng để tạo ra hologram. Khi hệ thống AI được cung cấp dữ liệu không nhìn thấy với thông tin độ sâu, nó có thể tạo ra hologram mới từ dữ liệu đó. Thông tin độ sâu được cung cấp thông qua việc sử dụng cảm biến lidar hoặc màn hình đa camera và được hiển thị dưới dạng hình ảnh được tạo bằng máy tính. Một số điện thoại iPhone mới có các thành phần này, có nghĩa là chúng có thể tạo ra hologram nếu được kết nối với loại màn hình phù hợp.

Hệ thống hologram AI mới này cần ít bộ nhớ hơn so với các phương pháp truyền thống. Hệ thống có thể tạo ra hologram 3D tại 60 khung hình mỗi giây với độ phân giải đầy đủ màu 1920 x 1080 bằng cách sử dụng khoảng 620 kilobyte bộ nhớ trong khi chạy trên một GPU thông dụng. Các nhà nghiên cứu đã có thể chạy hệ thống của họ trên iPhone 11 với tốc độ khoảng 1 hologram mỗi giây, trong khi trên Google (GOOGL ) Edge TPU, hệ thống có thể hiển thị 2 hologram mỗi giây. Điều này cho thấy hệ thống có thể được điều chỉnh cho điện thoại thông minh, thiết bị AR và VR nói chung. Hệ thống cũng có thể có ứng dụng cho việc in 3D thể tích hoặc trong thiết kế của các kính hiển vi holographic.

Trong tương lai, các cải tiến đối với công nghệ này có thể giới thiệu phần cứng và phần mềm theo dõi mắt, cho phép hologram thay đổi độ phân giải động khi người dùng nhìn vào các vị trí cụ thể.