Chuyển động Mắt Mô Phỏng Giúp Đào tạo Metaverse

Các kỹ sư máy tính tại Đại học Duke đã phát triển mắt ảo có thể mô phỏng cách con người nhìn thế giới. Mắt ảo này chính xác đến mức có thể được sử dụng để đào tạo chương trình thực tế ảo và thực tế tăng cường. Chúng sẽ chứng minh vô cùng có lợi cho các nhà phát triển muốn tạo ứng dụng trong metaverse.

Kết quả được trình bày vào ngày 4-6 tháng 5 tại Hội nghị Quốc tế về Xử lý Thông tin trong Mạng cảm biến (PSN).

Mắt ảo mới này được gọi là EyeSyn.

Đào tạo Thuật toán để Làm việc như Mắt

Maria Gorlatova là Giáo sư Trợ lý về Kỹ thuật Điện và Máy tính tại Duke.

“Nếu bạn quan tâm đến việc phát hiện xem một người có đang đọc một cuốn truyện tranh hay văn học tiên tiến bằng cách nhìn vào mắt họ alone, bạn có thể làm điều đó,” Gorlatova nói.

“Nhưng đào tạo loại thuật toán đó đòi hỏi dữ liệu từ hàng trăm người đeo thiết bị trong nhiều giờ,” Gorlatova tiếp tục. “Chúng tôi muốn phát triển phần mềm không chỉ giảm bớt các vấn đề về quyền riêng tư khi thu thập loại dữ liệu này, mà còn cho phép các công ty nhỏ không có nguồn lực như vậy tham gia vào trò chơi metaverse.”

Mắt người có thể làm được nhiều việc, chẳng hạn như chỉ ra xem chúng ta có chán hay hứng thú, nơi tập trung vào, hoặc nếu chúng ta là chuyên gia trong một nhiệm vụ nhất định.

“Điều mà bạn ưu tiên trong tầm nhìn của mình nói rất nhiều về bạn như một người,” Gorlatova nói. “Nó có thể vô tình tiết lộ các thiên vị về giới tính và chủng tộc, sở thích mà chúng ta không muốn người khác biết, và thông tin mà chúng ta có thể không biết về bản thân mình.”

Dữ liệu chuyển động mắt cực kỳ hữu ích cho các công ty xây dựng nền tảng và phần mềm trong metaverse. Nó có thể cho phép các nhà phát triển điều chỉnh nội dung theo phản hồi tương tác hoặc giảm độ phân giải trong tầm nhìn ngoại vi, điều này có thể tiết kiệm năng lực tính toán.

Đội ngũ các nhà khoa học máy tính, bao gồm cả cựu nghiên cứu sinh Guohao Lan và sinh viên tiến sĩ hiện tại Tim Scargill, đã thiết lập để phát triển mắt ảo để mô phỏng cách một người trung bình phản ứng với nhiều loại kích thích âm thanh. Để làm điều này, họ đã xem xét các tài liệu khoa học về nhận thức khám phá cách con người nhìn thế giới và xử lý thông tin ảo.

Lan hiện là giáo sư trợ lý tại Đại học Công nghệ Delft ở Hà Lan.

“Nếu bạn đưa EyeSyn nhiều đầu vào khác nhau và chạy nó đủ lần, bạn sẽ tạo ra một tập dữ liệu chuyển động mắt tổng hợp đủ lớn để đào tạo một phân loại器 (học máy) cho một chương trình mới,” Gorlatova nói.

Thử nghiệm Hệ thống

Các nhà nghiên cứu đã thử nghiệm độ chính xác của mắt ảo với dữ liệu công khai. Mắt ảo đầu tiên được phân tích video của Tiến sĩ Anthony Fauci khi ông trả lời báo chí trong các cuộc họp báo. Đội ngũ sau đó so sánh nó với dữ liệu từ chuyển động mắt của người xem thực. Họ cũng so sánh một tập dữ liệu ảo của mắt ảo nhìn vào nghệ thuật với các tập dữ liệu thực được thu thập từ người xem trong một bảo tàng nghệ thuật ảo. Kết quả cho thấy EyeSyn có thể khớp chặt với các mẫu tín hiệu nhìn thực và mô phỏng các cách khác nhau mà mắt con người phản ứng.

Gorlatova nói rằng những kết quả này cho thấy mắt ảo đủ tốt để các công ty sử dụng nó làm cơ sở để đào tạo các nền tảng và phần mềm metaverse mới.

“Dữ liệu tổng hợp alone không hoàn hảo, nhưng nó là một điểm khởi đầu tốt,” Gorlatova nói. “Các công ty nhỏ có thể sử dụng nó thay vì mất thời gian và tiền bạc để xây dựng các tập dữ liệu thế giới thực (với đối tượng người dùng). Và vì việc tùy chỉnh các thuật toán có thể được thực hiện trên hệ thống cục bộ, người dùng không phải lo lắng về việc dữ liệu chuyển động mắt riêng tư của họ trở thành một phần của cơ sở dữ liệu lớn.”