Ένας Αυθεντικός Μηχανισμός Εστίασης για ‘Φτηνές’ Εικονική Πραγματικότητα

Ερευνητές από το Ινστιτούτο Ηλεκτρολόγων και Ηλεκτρονικών Μηχανικών (IEEE) έχουν αναπτύξει μια μέθοδο για να αυξήσουν την αυθεντικότητα των φτηνών, προβολής-βασισμένων εγκαταστάσεων εικονικής πραγματικότητας, μέσω ειδικών γυαλιών που προκαλούν τις προβολές 3D εικόνων να μπαίνουν και να βγαίνουν από εστίαση με τον ίδιο τρόπο που θα happened αν τα αντικείμενα ήταν πραγματικά, υπερβαίνοντας ένα κρίσιμο εμπόδιο της αντίληψης για την πρακτική χρήση των συστημάτων προβολής σε ελεγχόμενα περιβάλλοντα.

Το σύστημα IEEE αναδημιουργεί επιπέδα βάθους για προβολές πραγματικών και CGI εικόνων που θα υπερθεθούν σε δωμάτια. Σε αυτή την περίπτωση, τρία CGI Stanford κουνέλια υπερθετόνται στο ίδιο επίπεδο βάθους με τρία πραγματικά αντικείμενα, και η ακαμψία τους ελέγχεται από το πού ο θεατής κοιτάζει και εστιάζει. 3D Προβολείς μπορούν να βάλουν footage σε σταθερές επιφάνειες, κινούμενες επιφάνειες, ή ακόμη και σύνθετη γεωμετρία, προσφέροντας ευρύτερη κάλυψη που είναι δύσκολο να αναπαράγεται υπό τις σκληρές περιορισμοί επεξεργασίας των συστημάτων εικονικής πραγματικότητας όπως το HoloLens. Source: https://www.youtube.com/watch?v=I8DGTQnxm38

Το σύστημα χρησιμοποιεί ηλεκτρικά εστιαζόμενες φακούς (ETL) που είναι ενσωματωμένοι στα γυαλιά του θεατή (τα οποία είναι σε κάθε περίπτωση απαραίτητα για να ξεχωρίσουν τα δύο ρεύματα εικόνων σε μια πειστική, ολοκληρωμένη 3D εμπειρία), και τα οποία επικοινωνούν με το σύστημα προβολής, το οποίο στη συνέχεια αλλάζει αυτόματα το επίπεδο ακαμψίας της προβολής που βλέπει ο θεατής.

Οι φακοί ETL αναφέρουν πίσω πληροφορίες σχετικά με την εστίαση του χρήστη και ορίζουν το επίπεδο ακαμψίας για την απόδοση της προβολής της γεωμετρίας. Η ανάπτυξη του συστήματος περιγράφεται σε ένα συνοδευτικό βίντεο, το οποίο είναι ενσωματωμένο στο τέλος του άρθρου.

Το έγγραφο, με τίτλο Μultifocal Stereoscopic Projection Mapping, προσφέρει ένα νέο επίπεδο χρηστικότητας σε ένα πεδίο που έχει περιοριστεί από την έλλειψη ολοκλήρωσης με τον τρόπο που οι χρήστες εστιάζουν σε διαφορετικά αντικείμενα, και το οποίο υπόσχεται να υπερβεί τα προβλήματα που έχουν τα συστήματα αυτά με τη σύγκρουση vergence–accommodation (VAC) – ένα σύνδρομο όπου η αντίληψη της απόστασης μεταξύ ενός αντικειμένου δεν ταιριάζει με την λογική απόσταση εστίασης, προκαλώντας το αντικείμενο να ‘παραπλέει’ με μη πειστική οξύτητα όπου θα έπρεπε να είναι ακαμψία στην περίπτωση της τοποθέτησής του.

Στα περιβάλλοντα εικονικής πραγματικότητας, όπως το Microsoft’s HoloLens, η απόδοση foveated χρησιμοποιείται για να συγκεντρώσει την επεξεργασία της δύναμης, την απόδοση λεπτομέρειας και την εστίαση με βάση το πού ο χρήστης του συσκευής κοιτάζει και εστιάζει. Ωστόσο, τα συστήματα εικονικής πραγματικότητας που φοριούνται, όπως το HoloLens, έχουν ένα πολύ υψηλότερο φορτίο υλικού,既然 ότι πρέπει να παραδώσουν την εικόνα 3D στον θεατή.

Το Πλεονέκτημα της Προβολής Εικονικής Πραγματικότητας

Αντίθετα, τα γυαλιά ETL απλά στέλνουν πληροφορίες εστίασης ως μια πρόσθετη μεταβλητή σε απομακρυσμένες γραμμές CGI, οι οποίες μπορούν να αλλάξουν την εστίαση της προβολής εικόνων πιο γρήγορα από το γύρο που η πληροφορία εστίασης πρέπει να κάνει σε μια συσκευή εικονικής πραγματικότητας (δηλ. πληροφορία εστίασης > αποστέλλεται σε απομακρυσμένο επεξεργαστή > αποδίδεται > αποστέλλεται πίσω στον φορέα), βελτιώνοντας την καθυστέρηση, η οποία είναι από μόνη της ένας πιθανός λόγος για τη διαταραχή του θεατή στα συστήματα εικονικής πραγματικότητας.

Στην πραγματικότητα, η απόδοση foveated χρησιμοποιείται τόσο για να προσαρμοστεί με τους περιορισμένους διαθέσιμους πόρους όσο και για να παρέχει μια αυθεντική εστιαστική εμπειρία για τον χρήστη, με μεγάλες περιοχές υπερθετόμενης εικόνας που είναι δύσκολο να επιτευχθούν σε συστήματα HoloLens, και περιορισμένη ‘letterbox απόδοση’ και ασταθείς άκρες ένας συνεχής παράγοντας.

Από το SIGGRAPH 98 – μια όραση εικονικής πραγματικότητας σε ένα περιβάλλον γραφείου, που αναφέρεται στο νέο έγγραφο. Source: https://www.youtube.com/watch?v=I8DGTQnxm38 και https://web.media.mit.edu/~raskar/UNC/Office/

Το έγγραφο παρατηρεί eine σειρά από γνωστά πλεονεκτήματα που η στερεοσκοπική χαρτογράφηση προβολής (PM) έχει πάνω από πιο σύγχρονες υλοποιήσεις εικονικής πραγματικότητας, οι οποίες βασίζονται σε βαρέα και εντατικά φορητά εξοπλισμό, όπως οι συγγραφείς σημειώνουν*:

Πρώτον, το πεδίο οράσεως (FOV) μπορεί να γίνει όσο το δυνατόν ευρύτερο με την αύξηση του αριθμού των προβολέων για να καλύψει το整ο περιβάλλον. Δεύτερον, τα γυαλιά active-shutter που χρησιμοποιούνται είναι συνήθως πολύ ελαφρύτερα, και, έτσι, το φυσικό τους φορτίο είναι λιγότερο από τα HMDs. Τρίτον, πολλοί χρήστες μπορούν να μοιράζονται την ίδια εμπειρία εικονικής πραγματικότητας εάν οι απόψεις τους είναι αρκετά κοντά η μία στην άλλη. Χάρη σε αυτά τα πλεονεκτήματα, οι ερευνητές έχουν βρει τη στερεοσκοπική χαρτογράφηση προβολής να είναι κατάλληλη για eine ευρεία γκάμα εφαρμογών, συμπεριλαμβανομένων αλλά όχι περιορισμένων σε οδηγούς μουσείων, αρχιτεκτονική σχεδίαση, σχεδίαση προϊόντων, ιατρική εκπαίδευση, διαμορφώσεις που αλλάζουν σχήμα, και τηλεδιάσκεψη.

Μια τέτοια υλοποίηση αναπτύχθηκε από τη Microsoft Research το 2012, πριν από την εστίαση της εταιρείας στις συσκευές εικονικής πραγματικότητας τα τελευταία χρόνια:

Οι ερευνητές του IEEE υποστηρίζουν ότι το νέο σύστημα εισόδου εστίασης είναι το πρώτο που αντιμετωπίζει το VAC με τον έλεγχο των πολυπλοκών επιπέδων εστίασης, και είναι επίσης το πρώτο που λύνει αυτό το πρόβλημα με einen γενικό και ευρέως εφαρμόσιμο τρόπο, χωρίς την ανάγκη για ακριβές, εξειδικευμένο εξοπλισμό προβολής.

Η διαδικασία απόδοσης εστίασης που αναπτύχθηκε από τους ερευνητές ενσωματώνει πληροφορίες εστίασης που λαμβάνονται από τα γυαλιά ETL του θεατή στην αρχή της διαδικασίας απόδοσης, αντί να απαιτείται η βάση του υπολογιστή να αποδώσει και στη συνέχεια να ακαμψήσει. Ανавис από την υλοποίηση, αυτό μπορεί να εξοικονομήσει πρόσθετους πόρους επεξεργασίας και να βελτιώσει την καθυστέρηση καθώς η εστιασμένη προσοχή του θεατή περιπλανιέται γύρω από τα εικονικά στοιχεία.

Η τεχνική αναφέρεται ότι λειτουργεί καλά σε eine ποικιλία πιθανών επιφανειών προβολής, συμπεριλαμβανομένων επίπεδων, μη-επιπεδών (δηλ. καμπυλών ή σύνθετης γεωμετρίας, όπως δούμιες στις οποίες μπορούν να τοποθετηθούν ιατρικές εικόνες ακτίνων-Χ) και κινούμενων επιφανειών.

Ένα mannequin εικονικής πραγματικότητας που χρησιμοποιεί 3D προβολή, σχεδιασμένο για ένα περιβάλλον ιατρικής εκπαίδευσης, που αναφέρεται στο έγγραφο. Source: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Τα συστήματα προβολής αυτού του τύπου απαιτούν σκοτεινά περιβάλλοντα, όπως περιβάλλοντα μουσείων, και το σύστημα ETL μειώνει την γωνία ορατότητας του θεατή, αν και οι ερευνητές υποστηρίζουν ότι η τάση προς την αύξηση του μεγέθους των ETL θα μετριάσει αυτό το περιορισμό με την πάροδο του χρόνου. Αν και οι συγγραφείς σημειώνουν επίσης ότι το σύστημα απαιτεί einen υψηλής ταχύτητας προβολέα για να παρέχει αρκετά καρέ για να χωρίσει σε δύο ρεύματα, έχουν χρησιμοποιήσει einen προβολέα off-the-shelf, εμπορικά διαθέσιμο για την υλοποίησή τους.

*Η μετατροπή μου των εσωτερικών παραπομπών σε υπερσυνδέσμους.