Ένα αυθεντικό σύστημα εστίασης για «φθηνή» επαυξημένη πραγματικότητα

Ερευνητές από το Ινστιτούτο Ηλεκτρολόγων και Ηλεκτρονικών Μηχανικών (IEEE) ανέπτυξαν μια μέθοδο για να αυξήσουν την αυθεντικότητα των χαμηλού κόστους εγκαταστάσεων επαυξημένης πραγματικότητας που βασίζονται σε προβολή, μέσω ειδικών γυαλιών που κάνουν τις προβαλλόμενες τρισδιάστατες εικόνες να μπαίνουν και να φεύγουν από την εστίαση. τρόπο που θα έκαναν εάν τα αντικείμενα ήταν πραγματικά, ξεπερνώντας ένα κρίσιμο αντιληπτικό εμπόδιο για πρακτική χρήση συστημάτων προβολής σε ελεγχόμενα περιβάλλοντα.

Το σύστημα IEEE αναδημιουργεί επίπεδα βάθους για προβαλλόμενες πραγματικές εικόνες και εικόνες CGI που θα τοποθετηθούν σε δωμάτια. Σε αυτήν την περίπτωση, τρία κουνελάκια CGI Stanford τοποθετούνται στο ίδιο επίπεδο βάθους με τρία αντικείμενα του πραγματικού κόσμου και η θολότητά τους ελέγχεται από το σημείο που κοιτάζει και εστιάζει ο θεατής. Οι 3D προβολείς μπορούν να τοποθετήσουν πλάνα σε σταθερές επιφάνειες, κινούμενες επιφάνειες ή ακόμα και πολύπλοκη γεωμετρία, προσφέροντας ευρεία κάλυψη που είναι δύσκολο να αναδημιουργηθεί υπό τους σοβαρούς περιορισμούς επεξεργασίας συστημάτων AR όπως το HoloLens. Πηγή: https://www.youtube.com/watch?v=I8DGTQnxm38

Το σύστημα χρησιμοποιεί ηλεκτρικά ρυθμιζόμενους φακούς (ETL) που είναι ενσωματωμένοι στα γυαλιά του θεατή (οι οποίοι σε κάθε περίπτωση είναι απαραίτητοι για τον διαχωρισμό των δύο ροών εικόνας σε μια πειστική, ολοκληρωμένη εμπειρία 3D) και οι οποίοι επικοινωνούν με το σύστημα προβολής, το οποίο στη συνέχεια αλλάζει αυτόματα το επίπεδο θολότητας της προβαλλόμενης εικόνας που βλέπει ο θεατής.

Οι φακοί ETL αναφέρουν πληροφορίες σχετικά με την εστιακή προσοχή του χρήστη και ρυθμίζουν το επίπεδο θολότητας σε βάση ανά επίπεδο για την απόδοση της προβαλλόμενης γεωμετρίας. Η ανάπτυξη του συστήματος περιγράφεται σε ένα συνοδευτικό βίντεο, που ενσωματώνεται στο τέλος αυτού του άρθρου.

Η χαρτί, Με τίτλο Πολυεστιακή Στερεοσκοπική Χαρτογράφηση Προβολής, προσφέρει ένα νέο επίπεδο χρηστικότητας σε ένα πεδίο που έχει περιοριστεί λόγω της έλλειψης ενσωμάτωσής του με τον τρόπο με τον οποίο οι χρήστες εστιάζουν σε διαφορετικά αντικείμενα, και το οποίο υπόσχεται να ξεπεράσει τα προβλήματα που είχαν τέτοια συστήματα με τη σύγκρουση σύγκλισης-διαμονής (VAC) – ένα σύνδρομο όπου η αντιληπτή απόσταση μεταξύ ενός αντικειμένου δεν ταιριάζει με τη λογική απόσταση εστίασής του, με αποτέλεσμα το αντικείμενο να «επιπλέει» με μη πειστικά ευκρινές τρόπο όπου θα πρέπει να αποεστιαστεί στο πλαίσιο της τοποθέτησής του.

Σε περιβάλλοντα AR, όπως το HoloLens της Microsoft, χρησιμοποιείται foveated απόδοση για συγκέντρωση της επεξεργαστικής ισχύος, απόδοσης λεπτομέρειας και εστίασης με βάση το πού κοιτάζει και εστιάζει ο χρήστης που φοράει τη συσκευή. Ωστόσο, τα φορητά συστήματα AR, όπως η λειτουργία HoloLens, έχουν πολύ υψηλότερο φορτίο υλικού ενσωματωμένου, αφού στην πραγματικότητα πρέπει να παραδώσουν την τρισδιάστατη εικόνα στον θεατή.

Το πλεονέκτημα της προβαλλόμενης επαυξημένης πραγματικότητας

Αντίθετα, τα γυαλιά με δυνατότητα ETL στέλνουν απλώς εστιακές πληροφορίες ως πρόσθετη μεταβλητή σε απομακρυσμένες σωληνώσεις CGI, οι οποίες μπορούν να αλλάξουν την εστίαση των προβαλλόμενων εικόνων πιο γρήγορα από το μετ' επιστροφής που πρέπει να κάνουν οι εστιακές πληροφορίες σε μια φορητή συσκευή AR (π. πληροφορίες εστίασης > αποστέλλονται στον απομακρυσμένο επεξεργαστή > αποδίδονται > αποστέλλονται πίσω στον χρήστη), βελτίωση της καθυστέρησης, η οποία είναι από μόνη της α πιθανή αιτία αποπροσανατολισμού των θεατών σε συστήματα AR.

Στην πραγματικότητα, η foveated rendering χρησιμοποιείται τόσο για να φιλοξενήσει τους περιορισμένους διαθέσιμους πόρους όσο και για να παρέχει μια αυθεντική εστιακή εμπειρία στον χρήστη, με μεγάλες περιοχές επάλληλων εικόνων που είναι δύσκολο να επιτευχθούν σε συστήματα τύπου HoloLens και περιορισμένη «απόδοση γραμματοκιβωτίων» και ασταθείς άκρες μια σταθερή καταγγελία.

Από το SIGGRAPH 98 – ένα όραμα επαυξημένης πραγματικότητας σε περιβάλλον γραφείου, που αναφέρεται στη νέα εργασία. Πηγή: https://www.youtube.com/watch?v=I8DGTQnxm38 και https://web.media.mit.edu/~raskar/UNC/Office/

Η εργασία παρατηρεί μια σειρά από γνωστά πλεονεκτήματα που έχει η στερεοσκοπική χαρτογράφηση προβολής (PM) έναντι των πιο σύγχρονων εφαρμογών επαυξημένης πραγματικότητας, οι οποίες βασίζονται σε βαρύ και έντονο εξοπλισμό που φοριέται από το σώμα, όπως σημειώνουν οι συγγραφείς*:

Πρώτον, το οπτικό πεδίο (FOV) μπορεί να γίνει όσο το δυνατόν ευρύτερο, αυξάνοντας τον αριθμό των προβολέων για να καλύψει ολόκληρο το περιβάλλον. Δεύτερον, τα γυαλιά ενεργού κλείστρου που χρησιμοποιούνται είναι συνήθως πολύ ελαφρύτερα και, επομένως, η φυσική τους επιβάρυνση είναι μικρότερη από τα HMD. Τρίτον, πολλοί χρήστες μπορούν να μοιράζονται την ίδια εμπειρία AR εάν οι απόψεις τους είναι αρκετά κοντά μεταξύ τους. Χάρη σε αυτά τα πλεονεκτήματα, οι ερευνητές βρήκαν ότι το στερεοσκοπικό PM είναι κατάλληλο για ένα ευρύ φάσμα εφαρμογών, συμπεριλαμβανομένων, ενδεικτικά, οδηγούς μουσείων, αρχιτεκτονικός σχεδιασμός, το σχεδιασμό του προϊόντος, ιατρική εκπαίδευση, διεπαφές που αλλάζουν σχήμακαι τηλεδιάσκεψη.

Μια τέτοια υλοποίηση επινοήθηκε από τη Microsoft Research το 2012, πριν από τη συγκέντρωση της εταιρείας σε AR εντός συσκευής τα τελευταία χρόνια:

Οι ερευνητές του IEEE υποστηρίζουν ότι το νέο σύστημα εισαγωγής εστίασης είναι το πρώτο που αντιμετωπίζει το VAC ελέγχοντας επίπεδα πολλαπλής εστίασης και είναι επίσης το πρώτο που επιλύει αυτό το πρόβλημα με έναν γενικό και ευρέως εφαρμόσιμο τρόπο, χωρίς την ανάγκη ακριβού, εξειδικευμένου εξοπλισμού προβολής.

Ο αγωγός απόδοσης με επίκεντρο την εστίαση που επινοήθηκε από τους ερευνητές ενσωματώνει εστιακές πληροφορίες που λαμβάνονται από τα γυαλιά ETL του θεατή στην αρχή της διαδικασίας απόδοσης, αντί να απαιτεί από τον βασικό υπολογιστή να αποδίδει και στη συνέχεια να θολώνει. Ανάλογα με την εφαρμογή, αυτό μπορεί να εξοικονομήσει περαιτέρω πόρους επεξεργασίας και να βελτιώσει τον λανθάνοντα χρόνο καθώς το εστιακό βλέμμα του θεατή περιπλανάται στα εικονικά στοιχεία.

Η τεχνική αναφέρεται ότι λειτουργεί καλά σε μια ποικιλία πιθανών επιφανειών προβολής, συμπεριλαμβανομένων επίπεδων, μη επίπεδων (δηλαδή καμπύλης ή σύνθετης γεωμετρίας, όπως ανδρείκελα στα οποία θα μπορούσαν να επιβληθούν ιατρικές εικόνες ακτίνων Χ) και κινούμενων επιφανειών.

Ένα μανεκέν μικτής πραγματικότητας που χρησιμοποιεί τρισδιάστατη προβολή, σχεδιασμένο για περιβάλλον ιατρικής εκπαίδευσης, που αναφέρεται στην εργασία. Source: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Τα συστήματα προβολής αυτού του τύπου απαιτούν σκοτεινά περιβάλλοντα, όπως ρυθμίσεις μουσείων, και το σύστημα ETL μειώνει τη διαθέσιμη γωνία θέασης του θεατή, αν και οι ερευνητές υποστηρίζουν ότι η τάση για αυξημένα μεγέθη διαφράγματος για εξοπλισμό ETL θα μετριάσει αυτόν τον περιορισμό με την πάροδο του χρόνου. Αν και οι συγγραφείς σημειώνουν επίσης ότι το σύστημα απαιτεί έναν προβολέα υψηλής ταχύτητας για να παρέχει αρκετά καρέ ώστε να χωριστούν σε δύο ροές, έχουν χρησιμοποιήσει έναν προβολέα εκτός ραφιού, διαθέσιμο στο εμπόριο για την υλοποίησή τους.

*Η μετατροπή των ενσωματωμένων παραπομπών μου σε υπερσυνδέσμους.