Ερευνητές Ανάπτυσσουν Νέες Τεχνικές για τη Βελτίωση των Κατεστραμμένων Εικόνων

Μια ομάδα ερευνητών στο Yale-NUS College έχουν αναπτύξει νέες προσεγγίσεις υπολογιστικής όρασης και βαθιάς μάθησης για την εξαγωγή πιο ακριβών δεδομένων από χαμηλού επιπέδου όραση σε βίντεο που προκαλούνται από περιβαλλοντικούς παράγοντες όπως η βροχή και οι νυκτερινές συνθήκες. Επίσης, βελτίωσαν την ακρίβεια της εκτίμησης της τρισδιάστατης στάσης του ανθρώπου σε βίντεο.

Η τεχνολογία υπολογιστικής όρασης, η οποία χρησιμοποιείται σε εφαρμογές όπως αυτόματες συστήματα επιτήρησης, αυτονομούς οχήματα και εργαλεία υγείας και κοινωνικής αποστάσεων, επηρεάζεται συχνά από περιβαλλοντικούς παράγοντες, οι οποίοι μπορούν να προκαλέσουν προβλήματα με τα εξαγόμενα δεδομένα.

Η νέα έρευνα παρουσιάστηκε στη Διάσκεψη για την Υπολογιστική Όραση και Αναγνώριση Προτύπων του 2021 (CVPR).

Περιβαλλοντική Επίδραση στις Εικόνες

Συνθήκες όπως το χαμηλό φως και τα ανθρωπογενή φαινόμενα φωτισμού όπως η λάμψη, η ακτινοβολία και τα φώτα πλημμύρας επηρεάζουν τις νυκτερινές εικόνες. Οι εικόνες της βροχής επηρεάζονται επίσης από τις ραβδώσεις της βροχής ή την συσσώρευση της βροχής.

Ο Αναπληρωτής Καθηγητής Ρόμπι Ταν του Yale-NUS College ηγήθηκε της ερευνητικής ομάδας.

«Πολυάριθμες συστήματα υπολογιστικής όρασης, όπως τα αυτόματα συστήματα επιτήρησης και τα αυτονομούς οχήματα, βασίζονται στην καθαρή ορατότητα των εισοδίων βίντεο για να λειτουργήσουν καλά. Για παράδειγμα, τα αυτονομούς οχήματα δεν μπορούν να λειτουργήσουν ανθεκτικά σε βαριά βροχή και τα αυτόματα συστήματα επιτήρησης συχνά αποτυγχάνουν τη νύχτα, ιδιαίτερα αν οι σκηνές είναι σκούρες ή υπάρχουν σημαντικές λάμψεις ή φώτα πλημμύρας», είπε ο Αναπληρωτής Καθηγητής Ταν.

Η ομάδα βασίστηκε σε δύο ξεχωριστές μελέτες που εισήγαγαν αλγόριθμους βαθιάς μάθησης για να ενισχύσουν την ποιότητα των νυκτερινών βίντεο και των βίντεο της βροχής.

Η πρώτη μελέτη επικεντρώθηκε στην ενίσχυση της λαμπρότητας ενώ ταυτόχρονα καταστέλλει τον θόρυβο και τις επιδράσεις του φωτισμού, όπως η λάμψη, η ακτινοβολία και τα φώτα πλημμύρας, για να δημιουργήσει καθαρές νυκτερινές εικόνες. Η νέα τεχνική έχει ως στόχο τη βελτίωση της σαφήνειας στις νυκτερινές εικόνες και βίντεο όταν υπάρχει απώθητη λάμψη, κάτι που οι υφιστάμενες μεθόδους δεν έχουν ακόμη επιτύχει.

Στις χώρες όπου η βαριά βροχή είναι συνηθισμένη, η συσσώρευση της βροχής επηρεάζει αρνητικά την ορατότητα στα βίντεο. Η δεύτερη μελέτη αποσκοπούσε να αντιμετωπίσει το πρόβλημα εισαγωγής μιας μεθόδου που χρησιμοποιεί την ευθυγράμμιση των καρέ, η οποία επιτρέπει καλύτερη οπτική πληροφορία χωρίς να επηρεάζεται από τις ραβδώσεις της βροχής, οι οποίες συχνά εμφανίζονται τυχαία σε διαφορετικά καρέ. Η ομάδα χρησιμοποίησε μια κινητή κάμερα για να εφαρμόσει την εκτίμηση του βάθους, η οποία βοήθησε στην αφαίρεση της επίδρασης της βροχής. Ενώ οι υφιστάμενες μεθόδους περιστρέφονται γύρω από την αφαίρεση των ραβδωσεων της βροχής, οι νεοαναπτυγμένες μεθόδους μπορούν να αφαιρέσουν τόσο τις ραβδώσεις της βροχής όσο και την επίδραση της βροχής ταυτόχρονα.

Εικόνα: Yale-NUS College

3D Εκτίμηση Στάσης Ανθρώπου

Παράλληλα με τις νέες τεχνικές, η ομάδα παρουσίασε επίσης την έρευνά της σχετικά με την 3D εκτίμηση στάσης ανθρώπου, η οποία μπορεί να χρησιμοποιηθεί σε βίντεο επιτήρησης, βιντεοπαιχνίδια και спортивικές μεταδόσεις.

Η 3D εκτίμηση στάσης ανθρώπου από ένα μονοοπτικό βίντεο, ή βίντεο που λαμβάνεται από μια seule κάμερα, έχει γίνει όλο και πιο ερευνημένη τα τελευταία χρόνια. Σε αντίθεση με τα βίντεο από πολλές κάμερες, τα μονοοπτικά βίντεο είναι πιο ευέλικτα και μπορούν να ληφθούν με μια seule κάμερα, όπως ένα κινητό τηλέφωνο.

Ωστόσο, η υψηλή δραστηριότητα όπως πολλαπλά άτομα στην ίδια σκηνή επηρεάζει την ακρίβεια στην ανίχνευση ανθρώπων. Αυτό είναι ιδιαίτερα αληθές όταν τα άτομα αλληλεπιδρούν στενά ή перекrývονται μεταξύ τους στο μονοοπτικό βίντεο.

Η μελέτη της ομάδας εκτίμησε την 3D στάση ανθρώπου από ένα βίντεο συνδυάζοντας δύο υφιστάμενες μεθόδους, οι οποίες ήταν οι top-down και bottom-up προσεγγίσεις. Η νέα μέθοδος παράγει πιο αξιόπιστες εκτιμήσεις στάσης σε περιβάλλοντα με πολλά άτομα όταν συγκρίνεται με τις άλλες δύο, και είναι καλύτερα εξοπλισμένη για να χειριστεί την απόσταση μεταξύ των ατόμων.

«Ως επόμενο βήμα στην έρευνά μας για την 3D εκτίμηση στάσης ανθρώπου, η οποία υποστηρίζεται από το Εθνικό Ίδρυμα Έρευνας, θα εξετάσουμε πώς να προστατεύσουμε τις πληροφορίες ιδιωτικότητας των βίντεο. Για τις μεθόδους βελτίωσης της ορατότητας, στοχεύουμε να συμβάλλουμε στις προόδους στον τομέα της υπολογιστικής όρασης, καθώς είναι κρίσιμες για πολλές εφαρμογές που μπορούν να επηρεάσουν την καθημερινή μας ζωή, όπως την ενεργοποίηση των αυτονομών οχημάτων να λειτουργούν καλύτερα σε δυσμενείς καιρικές συνθήκες», είπε ο Αναπληρωτής Καθηγητής Ταν.