Ένας Αυθεντικός Μηχανισμός Εστίασης για «Φθηνή» Αυξημένη Πραγματικότητα

Ερευνητές από το Ινστιτούτο Ηλεκτρολόγων και Ηλεκτρονικών Μηχανικών (IEEE) έχουν αναπτύξει μια μέθοδο για να αυξήσουν την αυθεντικότητα των εγκαταστάσεων αυξημένης πραγματικότητας με βάση την προβολή, με ειδικά γυαλιά που προκαλούν τις προβολές των 3D εικόνων να μπαίνουν και να βγαίνουν από εστίαση με τον ίδιο τρόπο που θα happened αν τα αντικείμενα ήταν πραγματικά, υπερβαίνοντας ένα κρίσιμο εμπόδιο της αίσθησης για την πρακτική χρήση των συστημάτων προβολής σε ελεγχόμενα περιβάλλοντα.

Το σύστημα του IEEE αναδημιουργεί πλάνα βάθους για προβολές πραγματικών και CGI εικόνων που θα υπερθεθούν σε δωμάτια. Σε αυτή την περίπτωση, τρία CGI κοτόπουλα του Stanford υπερθετόνται στο ίδιο πλάνο βάθους με τρία πραγματικά αντικείμενα, και η ακαμψία τους ελέγχεται από το πού ο θεατής κοιτάζει και εστιάζει.  Οι προβολείς 3D μπορούν να τοποθετήσουν βίντεο σε σταθερές επιφάνειες, κινητές επιφάνειες ή ακόμη και σύνθετη γεωμετρία, προσφέροντας ευρύτερη κάλυψη που είναι δύσκολο να αναπαραχθεί υπό τις σκληρές περιορισμοί των συστημάτων AR όπως το HoloLens. Πηγή: https://www.youtube.com/watch?v=I8DGTQnxm38

Το σύστημα χρησιμοποιεί ηλεκτρικά εστιαζόμενες φακούς (ETL) που είναι ενσωματωμένοι στα γυαλιά του θεατή (τα οποία είναι σε κάθε περίπτωση απαραίτητα για να χωρίσουν τις δύο ροές εικόνων σε μια πειστική, ολοκληρωμένη 3D εμπειρία), και τα οποία επικοινωνούν με το σύστημα προβολής, το οποίο στη συνέχεια αλλάζει αυτόματα το επίπεδο ακαμψίας της προβολής που βλέπει ο θεατής.

Οι φακοί ETL αναφέρουν πληροφορίες σχετικά με την εστίαση του χρήστη και ορίζουν το επίπεδο ακαμψίας σε βάση πλάνου για την απόδοση της προβολής της γεωμετρίας. Η ανάπτυξη του συστήματος περιγράφεται σε ένα συνοδευτικό βίντεο, που είναι ενσωματωμένο στο τέλος του άρθρου.

Το έγγραφο, με τίτλο Μultifocal Stereoscopic Projection Mapping, προσφέρει ένα νέο επίπεδο ευχρηστίας σε ένα πεδίο που έχει περιοριστεί από την έλλειψη ολοκλήρωσης με τον τρόπο που οι χρήστες εστιάζουν σε διαφορετικά αντικείμενα, και το οποίο υπόσχεται να υπερβεί τα προβλήματα που έχουν τα συστήματα αυτά με τη σύγκρουση vergence-συσκευής (VAC) – ένα σύνδρομο όπου η αντιλαμβανόμενη απόσταση μεταξύ ενός αντικειμένου δεν ταιριάζει με τη λογική απόσταση εστίασης, khiến το αντικείμενο να «πλέει» σε ένα μη πειστικό τρόπο όπου θα έπρεπε να είναι ακαμψία στη συμφωνία με τη θέση του.

Στα περιβάλλοντα AR, όπως το Microsoft HoloLens, η απόδοση foveated χρησιμοποιείται για να συγκεντρώσει την ισχύ επεξεργασίας, την απόδοση λεπτομέρειας και εστίασης με βάση το πού ο χρήστης του συσκευής κοιτάζει και εστιάζει. Ωστόσο, τα φορητά συστήματα AR όπως το HoloLens έχουν ένα πολύ υψηλότερο φορτίο υλικού,既然 πρέπει να παραδώσουν την εικόνα 3D στον θεατή.

Το Πλεονέκτημα της Προβολής Αυξημένης Πραγματικότητας

Αντίθετα, τα γυαλιά ETL απλά στέλνουν πληροφορίες εστίασης ως μια πρόσθετη μεταβλητή σε απομακρυσμένες γραμμές CGI, οι οποίες μπορούν να αλλάξουν την εστίαση της προβολής πιο γρήγορα από το γύρο-ταξίδι που οι πληροφορίες εστίασης πρέπει να κάνουν σε μια φορητή συσκευή AR (δηλαδή πληροφορίες εστίασης > αποστέλλονται σε απομακρυσμένο επεξεργαστή > απόδοση > αποστέλλονται πίσω στον φορέα), βελτιώνοντας την καθυστέρηση, η οποία είναι από μόνη της ένας πιθανός λόγος για τη σύγχυση του θεατή στα συστήματα AR.

Στην πραγματικότητα, η απόδοση foveated χρησιμοποιείται όσο για να προσαρμοστεί η περιορισμένη διαθέσιμη πόρων όσο και για να παρέχει μια αυθεντική εμπειρία εστίασης για τον χρήστη, με μεγάλες περιοχές υπερθετόνων εικόνων που είναι δύσκολο να επιτευχθούν στα συστήματα HoloLens, και περιορισμένη «απόδοση letterbox» και ασταθείς άκρες ένας συνεχής λόγος.

Από το SIGGRAPH 98 – μια όραση της αυξημένης πραγματικότητας σε ένα περιβάλλον γραφείου, που αναφέρεται στην καινούρια έρευνα. Πηγή: https://www.youtube.com/watch?v=I8DGTQnxm38 και https://web.media.mit.edu/~raskar/UNC/Office/

Το έγγραφο παρατηρεί μια σειρά από γνωστά πλεονεκτήματα που η στερεοσκοπική χαρτογράφηση προβολής (PM) έχει πάνω από τις πιο σύγχρονες εφαρμογές της αυξημένης πραγματικότητας, οι οποίες βασίζονται σε βαρέα και έντονα φορητά εξοπλισμό, όπως σημειώνουν οι ερευνητές*:

Πρώτον, το πεδίο όρασης (FOV) μπορεί να γίνει τόσο ευρύ όσο είναι δυνατόν με την αύξηση του αριθμού των προβολέων για να καλύψει το整ο περιβάλλον. Δεύτερον, τα γυαλιά active-shutter που χρησιμοποιούνται είναι συνήθως πολύ ελαφρύτερα, και, ως εκ τούτου, το φυσικό τους φορτίο είναι λιγότερο από τα HMDs. Τρίτον, πολλοί χρήστες μπορούν να μοιράζονται την ίδια εμπειρία AR εάν οι απόψεις τους είναι αρκετά κοντά η μια στην άλλη. Díky σε αυτά τα πλεονεκτήματα, οι ερευνητές έχουν βρει ότι η στερεοσκοπική χαρτογράφηση προβολής είναι κατάλληλη για eine ευρύ φάσμα εφαρμογών, συμπεριλαμβανομένων αλλά όχι περιοριζόμενων σε οδηγούς μουσείων, αρχιτεκτονική σχεδίαση, σχεδίαση προϊόντων, ιατρική εκπαίδευση, διασύνδεση που αλλάζει σχήμα, και τηλεδιάσκεψη.

Μια τέτοια εφαρμογή αναπτύχθηκε από την Microsoft Research το 2012, πριν από την εστίαση της εταιρείας στις συσκευές AR τις τελευταίες χρόνια:

Οι ερευνητές του IEEE υποστηρίζουν ότι το νέο σύστημα εισαγωγής εστίασης είναι το πρώτο που αντιμετωπίζει τη VAC με τον έλεγχο των πλάνων εστίασης, και είναι επίσης το πρώτο που λύνει αυτό το πρόβλημα με einen γενικό και ευρέως εφαρμόσιμο τρόπο, χωρίς την ανάγκη για ακριβές, εξειδικευμένο εξοπλισμό προβολής.

Η διαδικασία απόδοσης εστίασης που αναπτύχθηκε από τους ερευνητές ενσωματώνει πληροφορίες εστίασης που λαμβάνονται από τα γυαλιά ETL του θεατή στην αρχή της διαδικασίας απόδοσης, και όχι απαραίτητα να απαιτείται η βάση του υπολογιστή να αποδώσει και στη συνέχεια να ακαμψιάσει. Ανάλογα με την εφαρμογή, αυτό μπορεί να σώσει πρόσθετες πόρους επεξεργασίας και να βελτιώσει την καθυστέρηση καθώς η εστίαση του θεατή περιπλανιέται γύρω από τα εικονικά στοιχεία.

Η τεχνική αναφέρεται ότι λειτουργεί καλά σε eine ποικιλία επιφανειών προβολής, συμπεριλαμβανομένων επίπεδων, μη-επιπεδών (δηλαδή καμπυλών ή σύνθετης γεωμετρίας, όπως ομοιώματα στα οποία μπορεί να τοποθετηθεί ιατρική εικόνα) και κινητών επιφανειών.

Ένα ομοίωμα mixed reality που χρησιμοποιεί 3D προβολή, σχεδιασμένο για ένα περιβάλλον ιατρικής εκπαίδευσης, που αναφέρεται στην έρευνα. Πηγή: https://link.springer.com/chapter/10.1007/978-1-4614-0064-6_23

Τα συστήματα προβολής αυτού του τύπου απαιτούν σκοτεινά περιβάλλοντα, όπως μουσεία, και το σύστημα ETL μειώνει τη γωνία όρασης του θεατή, αν και οι ερευνητές υποστηρίζουν ότι η τάση προς την αύξηση του μεγέθους της διαμέτρου για τον εξοπλισμό ETL θα μετριάσει αυτή την περιορισμένη κατάσταση με τον καιρό. Αν και οι συγγραφείς σημειώνουν επίσης ότι το σύστημα απαιτεί einen προβολέα υψηλής ταχύτητας για να παρέχει αρκετές καρέ για να χωριστούν σε δύο ροές, έχουν χρησιμοποιήσει einen προβολέα off-the-shelf, εμπορικά διαθέσιμο για την εφαρμογή τους.

*Η μετατροπή μου των εσωτερικών αναφορών σε υπερσυνδέσμους.