Η γωνία του Anderson
Ματίνγκ εικόνων με τεχνητή νοημοσύνη που κατανοεί τις σκηνές

Βασικά σημείαΗ τεχνητή νοημοσύνη για matting χρησιμοποιεί πλέον την κατανόηση σκηνής για να…
Δείτε περισσότερα
- Η τεχνητή νοημοσύνη για matting χρησιμοποιεί πλέον την κατανόηση σκηνής για να αντικαταστήσει τις πράσινες οθόνες.
- Το νέο pipeline SPG-IM ξεπερνά κατά πολύ τις μεθόδους χωρίς trimap.
- Οι κειμενικές ετικέτες προσφέρουν μια οικονομική εναλλακτική στην ακριβή σχολιασμό σε επίπεδο pixel.
Στο ντοκιμαντέρ με πρόσθετο υλικό που συνόδευε την κυκλοφορία της έκδοσης DVD του 2003 για το Alien3 (1992), ο θρύλος των οπτικών εφέ Richard Edlund ανακάλεσε με τρόμο την «πάλη σούμο» της φωτοχημικής εξαγωγής ματ, η οποία κυριαρχούσε στη δουλειά των οπτικών εφέ από τα τέλη της δεκαετίας του 1930 έως τα τέλη της δεκαετίας του 1980. Ο Edlund περιέγραψε την απρόβλεπτη φύση της διαδικασίας ως «πάλη σούμο», συγκρίνοντάς την με τις ψηφιακές τεχνικές μπλε/πράσινης οθόνης που επικράτησαν στις αρχές της δεκαετίας του 1990 (και έκτοτε έχει επιστρέψει στη μεταφορά).
Η απομόνωση ενός στοιχείου του προσκηνίου (όπως ενός ανθρώπου ή ενός μοντέλου διαστημοπλοίου) από το φόντο, ώστε η αποκομμένη εικόνα να μπορεί να συνδυαστεί με ένα πλάνο φόντου, γινόταν αρχικά με τη λήψη του αντικειμένου του προσκηνίου μπροστά σε ομοιόμορφο μπλε ή πράσινο φόντο.

Επίπονες φωτοχημικές διαδικασίες απομόνωσης για ένα πλάνο οπτικών εφέ της ILM για το «Return of the Jedi» (1983).
Στο υλικό που προέκυπτε, το χρώμα του φόντου απομονωνόταν στη συνέχεια χημικά και χρησιμοποιούνταν ως πρότυπο για την επανεκτύπωση του αντικειμένου (ή του ανθρώπου) του προσκηνίου σε έναν οπτικό εκτυπωτή, ως «αιωρούμενο» αντικείμενο σε ένα κατά τα άλλα διαφανές καρέ φιλμ.
Η διαδικασία ήταν γνωστή ως επικάλυψη διαχωρισμού χρωμάτων (CSO) — αν και ο όρος συνδέθηκε τελικά περισσότερο με τα πρωτόγονα εφέ βίντεο «χρωματικού κλειδιού» που χρησιμοποιούνταν σε τηλεοπτικές παραγωγές χαμηλότερου προϋπολογισμού τις δεκαετίες του 1970 και του 1980 και επιτυγχάνονταν με αναλογικά μέσα, όχι με χημικές ή ψηφιακές μεθόδους.

Επίδειξη της επικάλυψης διαχωρισμού χρωμάτων το 1970, για την παιδική εκπομπή του BBC «Blue Peter». Πηγή: https://www.bbc.co.uk/archive/blue_peter_noakes_CSO/zwb9vwx
Σε κάθε περίπτωση, είτε επρόκειτο για στοιχεία φιλμ είτε βίντεο, το υλικό που είχε απομονωθεί μπορούσε στη συνέχεια να ενσωματωθεί σε οποιοδήποτε άλλο οπτικοακουστικό υλικό.
Αν και η αισθητά ακριβότερη και ιδιόκτητη διαδικασία ατμών νατρίου της Disney (η οποία χρησιμοποιούσε ειδικά το κίτρινο ως χρώμα-κλειδί και χρησιμοποιήθηκε επίσης στην ταινία τρόμου του Alfred Hitchcock The Birds του 1963) παρείχε καλύτερη ευκρίνεια και πιο καθαρά ματ, η φωτοχημική απομόνωση παρέμενε επίπονη και αναξιόπιστη.

Η ιδιόκτητη διαδικασία απομόνωσης με ατμούς νατρίου της Disney απαιτούσε φόντα με χρώματα κοντά στο κίτρινο άκρο του φάσματος. Εδώ, η Angela Lansbury αιωρείται κρεμασμένη από σύρματα κατά τη διάρκεια των γυρισμάτων μιας σκηνής με πολλά οπτικά εφέ για το «Bedknobs and Broomsticks» (1971). Πηγή
Πέρα από το ψηφιακό ματίνγκ
Τη δεκαετία του 1990, η ψηφιακή επανάσταση κατάργησε τα χημικά, όχι όμως και την ανάγκη για πράσινες οθόνες. Πλέον, ήταν δυνατή η αφαίρεση του πράσινου (ή οποιουδήποτε άλλου χρώματος) φόντου με απλή αναζήτηση των εικονοστοιχείων που βρίσκονταν εντός ενός εύρους ανοχής γύρω από αυτό το χρώμα, σε λογισμικό επεξεργασίας εικονοστοιχείων όπως το Photoshop, καθώς και σε μια νέα γενιά προγραμμάτων σύνθεσης βίντεο που μπορούσαν να αφαιρούν αυτόματα τα έγχρωμα φόντα μέσω χρωματικού κλειδιού. Σχεδόν μέσα σε μια νύχτα, εξήντα χρόνια του κλάδου της οπτικής εκτύπωσης πέρασαν στην ιστορία.
Η έρευνα στην υπολογιστική όραση με επιτάχυνση GPU κατά την τελευταία δεκαετία ανοίγει τον δρόμο για την τρίτη εποχή της εξαγωγής ματ, αναθέτοντας στους ερευνητές την ανάπτυξη συστημάτων που μπορούν να παράγουν ματ υψηλής ποιότητας χωρίς να χρειάζονται πράσινες οθόνες. Μόνο στο Arxiv, δημοσιεύονται κάθε εβδομάδα εργασίες σχετικά με καινοτομίες στην εξαγωγή προσκηνίου με βάση τη μηχανική μάθηση.
Όταν μπαίνουμε κι εμείς στο κάδρο
Αυτό το έντονο ενδιαφέρον της ακαδημαϊκής κοινότητας και της βιομηχανίας για την απομόνωση με τεχνητή νοημοσύνη έχει ήδη επηρεάσει την αγορά καταναλωτικών προϊόντων: όλοι γνωρίζουμε τις πρόχειρες, αλλά λειτουργικές εφαρμογές με τη μορφή φίλτρων στο Zoom και το Skype, τα οποία μπορούν να αντικαθιστούν τα φόντα του σαλονιού μας με τροπικά νησιά και άλλα παρόμοια σκηνικά κατά τις βιντεοκλήσεις.
Ωστόσο, για τα καλύτερα ματ εξακολουθεί να απαιτείται πράσινη οθόνη, όπως επισήμανε το Zoom την περασμένη Τετάρτη.

Αριστερά, ένας άνδρας μπροστά σε πράσινη οθόνη, με τα μαλλιά του να έχουν απομονωθεί με ακρίβεια μέσω της λειτουργίας Virtual Background του Zoom. Δεξιά, μια γυναίκα μπροστά σε ένα συνηθισμένο οικιακό περιβάλλον, με τα μαλλιά της να έχουν απομονωθεί αλγοριθμικά, με μικρότερη ακρίβεια και με υψηλότερες απαιτήσεις υπολογιστικής ισχύος. Πηγή: https://support.zoom.us/hc/en-us/articles/210707503-Changing-your-Virtual-Background-image
Μια επιπλέον ανάρτηση στην πλατφόρμα υποστήριξης του Zoom προειδοποιεί ότι η απομόνωση χωρίς πράσινη οθόνη απαιτεί επίσης μεγαλύτερη υπολογιστική ισχύ από τη συσκευή λήψης.
Η ανάγκη να απομονώνουμε το θέμα από το φόντο
Οι βελτιώσεις στην ποιότητα, τη φορητότητα και την οικονομία πόρων των συστημάτων εξαγωγής ματ «σε πραγματικές συνθήκες» (δηλαδή, απομόνωσης ανθρώπων χωρίς να απαιτούνται πράσινες οθόνες) έχουν σημασία για πολύ περισσότερους κλάδους και δραστηριότητες από ό,τι μόνο τα φίλτρα τηλεδιάσκεψης.
Για την ανάπτυξη συνόλων δεδομένων, η βελτιωμένη αναγνώριση προσώπου, ολόκληρου του κεφαλιού και ολόκληρου του σώματος προσφέρει τη δυνατότητα να διασφαλίζεται ότι άσχετα στοιχεία του φόντου δεν ενσωματώνονται στην εκπαίδευση μοντέλων υπολογιστικής όρασης με ανθρώπινα υποκείμενα· η ακριβέστερη απομόνωση θα βελτίωνε σημαντικά τις τεχνικές σημασιολογικής κατάτμησης, οι οποίες έχουν σχεδιαστεί για να διακρίνουν και να ενσωματώνουν κατηγορίες (δηλαδή «γάτα», «άνθρωπος», «βάρκα»), καθώς και τα συστήματα σύνθεσης εικόνων που βασίζονται σε VAE και μετασχηματιστές, όπως το νέο DALL-E 2 της OpenAI· τέλος, οι καλύτεροι αλγόριθμοι εξαγωγής θα μείωναν την ανάγκη για δαπανηρό χειροκίνητο rotoscoping σε κοστοβόρες ροές εργασίας οπτικών εφέ.
Στην πραγματικότητα, η άνοδος των πολυτροπικών μεθοδολογιών (συνήθως κειμένου/εικόνας), στις οποίες μια κατηγορία όπως η «γάτα» κωδικοποιείται τόσο ως εικόνα όσο και μέσω σχετικών αναφορών σε κείμενο, έχει ήδη αρχίσει να επηρεάζει την επεξεργασία εικόνας. Ένα πρόσφατο παράδειγμα είναι η αρχιτεκτονική Text2Live, η οποία χρησιμοποιεί πολυτροπική εκπαίδευση (κειμένου/εικόνας) για να δημιουργήσει βίντεο με, μεταξύ αναρίθμητων άλλων δυνατοτήτων, κρυστάλλινους κύκνους και καμηλοπαρδάλεις από γυαλί.
Δημιουργία μασκών με τεχνητή νοημοσύνη που λαμβάνει υπόψη τη σκηνή
Μεγάλο μέρος της έρευνας για την αυτόματη δημιουργία μασκών με τεχνητή νοημοσύνη έχει επικεντρωθεί στην αναγνώριση ορίων και στην αξιολόγηση ομάδων εικονοστοιχείων μέσα σε μια εικόνα ή ένα καρέ βίντεο. Ωστόσο, νέα έρευνα από την Κίνα παρουσιάζει μια ροή εργασίας εξαγωγής που βελτιώνει τον διαχωρισμό και την ποιότητα της μάσκας αξιοποιώντας περιγραφές της σκηνής σε μορφή κειμένου (μια πολυτροπική προσέγγιση που έχει κερδίσει έδαφος στον τομέα της έρευνας στην υπολογιστική όραση τα τελευταία 3-4 χρόνια) και υποστηρίζει ότι υπερτερεί των προηγούμενων μεθόδων σε αρκετά σημεία.

Παράδειγμα εξαγωγής με SPG-IM (τελευταία εικόνα, κάτω δεξιά), σε σύγκριση με προηγούμενες ανταγωνιστικές μεθόδους. Πηγή: https://arxiv.org/pdf/2204.09276.pdf
Η πρόκληση για τον υποτομέα της έρευνας στην εξαγωγή είναι να δημιουργηθούν ροές εργασίας που απαιτούν ελάχιστη χειροκίνητη επισήμανση και ανθρώπινη παρέμβαση — ιδανικά, καμία. Πέρα από τις επιπτώσεις στο κόστος, οι ερευνητές της νέας μελέτης επισημαίνουν ότι οι επισημάνσεις και οι χειροκίνητες κατατμήσεις που πραγματοποιούνται από εξωτερικούς εργαζομένους μέσω διαδικτυακών πλατφορμών, οι οποίοι προέρχονται από διαφορετικούς πολιτισμούς, μπορεί να οδηγήσουν στην επισήμανση ή ακόμη και στην κατάτμηση εικόνων με διαφορετικούς τρόπους, με αποτέλεσμα ασυνεπείς και μη ικανοποιητικούς αλγορίθμους.
Ένα παράδειγμα είναι η υποκειμενική ερμηνεία του τι ορίζεται ως «αντικείμενο προσκηνίου»:

Από τη νέα μελέτη: οι προηγούμενες μέθοδοι LFM και MODNet («GT» σημαίνει Ground Truth, δηλαδή «ιδανικό» αποτέλεσμα που συχνά επιτυγχάνεται χειροκίνητα ή με μη αλγοριθμικές μεθόδους) προσεγγίζουν με διαφορετικούς και ποικίλης αποτελεσματικότητας τρόπους τον ορισμό του περιεχομένου προσκηνίου, ενώ η νέα μέθοδος SPG-IM οριοθετεί αποτελεσματικότερα το «κοντινό περιεχόμενο» αξιοποιώντας το πλαίσιο της σκηνής.
Για να αντιμετωπίσουν αυτό το ζήτημα, οι ερευνητές ανέπτυξαν μια ροή εργασίας δύο σταδίων με τίτλο Situational Perception Guided Image Matting (SPG-IM). Η αρχιτεκτονική κωδικοποιητή/αποκωδικοποιητή δύο σταδίων περιλαμβάνει τα Situational Perception Distillation (SPD) και Situational Perception Guided Matting (SPGM).
Αρχικά, το SPD προεκπαιδεύει μετασχηματισμούς οπτικών χαρακτηριστικών σε κειμενικά, δημιουργώντας λεζάντες κατάλληλες για τις αντίστοιχες εικόνες. Στη συνέχεια, η πρόβλεψη της μάσκας προσκηνίου καθίσταται δυνατή με τη σύνδεση της ροής εργασίας με μια νέα τεχνική πρόβλεψης της οπτικής σημαντικότητας (saliency).
Στη συνέχεια, το SPGM παράγει μια εκτιμώμενη μάσκα άλφα με βάση την αρχική εικόνα RGB και τη μάσκα που δημιουργήθηκε στο πρώτο στάδιο.
Στόχος είναι η καθοδήγηση μέσω αντίληψης του πλαισίου, κατά την οποία το σύστημα κατανοεί το περιεχόμενο της εικόνας, ώστε να μπορεί, για παράδειγμα, να αντιμετωπίζει την πρόκληση της εξαγωγής σύνθετων μαλλιών από το φόντο με βάση τα γνωστά χαρακτηριστικά της συγκεκριμένης εργασίας.

Στο παρακάτω παράδειγμα, το SPG-IM αντιλαμβάνεται ότι τα σχοινιά αποτελούν αναπόσπαστο μέρος ενός «αλεξίπτωτου», ενώ το MODNet δεν καταφέρνει να διατηρήσει και να αποδώσει αυτές τις λεπτομέρειες. Αντίστοιχα, στο παραπάνω παράδειγμα, το MODNet χάνει αυθαίρετα ολόκληρη τη δομή του εξοπλισμού της παιδικής χαράς.
Το νέο άρθρο έχει τίτλο Situational Perception Guided Image Matting και προέρχεται από ερευνητές του OPPO Research Institute, της PicUp.ai και της Xmotors.
Έξυπνες αυτοματοποιημένες μάσκες
Το SPG-IM προτείνει επίσης ένα δίκτυο βελτίωσης Adaptive Focal Transformation (AFT), το οποίο μπορεί να επεξεργάζεται ξεχωριστά τις τοπικές λεπτομέρειες και το συνολικό πλαίσιο, διευκολύνοντας τη δημιουργία «έξυπνων μασκών».

Η κατανόηση του πλαισίου της σκηνής —στη συγκεκριμένη περίπτωση, «κορίτσι με άλογο»— μπορεί ενδεχομένως να διευκολύνει την εξαγωγή του προσκηνίου σε σύγκριση με προηγούμενες μεθόδους.
Το άρθρο αναφέρει:
«Πιστεύουμε ότι οι οπτικές αναπαραστάσεις από την εργασία μετατροπής εικόνας σε κείμενο, π.χ. η δημιουργία λεζαντών εικόνων, εστιάζουν σε σημασιολογικά πληρέστερα σήματα ανάμεσα σε α) αντικείμενα και β) ένα αντικείμενο και το περιβάλλον του, ώστε να δημιουργούν περιγραφές που καλύπτουν τόσο τη συνολική πληροφορία όσο και τις τοπικές λεπτομέρειες. Επιπλέον, σε σύγκριση με την δαπανηρή επισήμανση των εικονοστοιχείων για τη δημιουργία ματ εικόνας, οι λεκτικές ετικέτες μπορούν να συλλεχθούν μαζικά με πολύ χαμηλό κόστος.»
Ο κλάδος SPD της αρχιτεκτονικής προεκπαιδεύεται από κοινού με τον κειμενικό αποκωδικοποιητή βασισμένο σε μετασχηματιστές VirTex του University of Michigan, ο οποίος μαθαίνει οπτικές αναπαραστάσεις από λεζάντες με υψηλή σημασιολογική πυκνότητα.

Το VirTex εκπαιδεύει από κοινού ένα ConvNet και μετασχηματιστές μέσω ζευγών εικόνας-λεζάντας και μεταφέρει τις γνώσεις που αποκτήθηκαν σε επόμενες εργασίες όρασης, όπως η ανίχνευση αντικειμένων. Πηγή: https://arxiv.org/pdf/2006.06666.pdf
Μεταξύ άλλων δοκιμών και μελετών αφαίρεσης στοιχείων, οι ερευνητές δοκίμασαν το SPG-IM έναντι κορυφαίων μεθόδων που βασίζονται σε χάρτη τριών περιοχών: Deep Image Matting (DIM), IndexNet, Context-Aware Image Matting (CAM), Guided Contextual Attention (GCA), FBA και Semantic Image Matting (SIM).
Στις άλλες προγενέστερες αρχιτεκτονικές που δοκιμάστηκαν περιλαμβάνονταν οι προσεγγίσεις χωρίς χάρτη τριών περιοχών LFM, HAttMatting και MODNet. Για να είναι δίκαιη η σύγκριση, οι μέθοδοι δοκιμής προσαρμόστηκαν σύμφωνα με τις διαφορετικές μεθοδολογίες· όπου δεν ήταν διαθέσιμος ο κώδικας, οι τεχνικές της εργασίας αναπαράχθηκαν με βάση την αρχιτεκτονική που περιγραφόταν.
Το νέο άρθρο αναφέρει:
«Το SPG-IM μας υπερτερεί κατά πολύ όλων των ανταγωνιστικών μεθόδων χωρίς χάρτη τριών περιοχών ([LFM], [HAttMatting] και [MODNet]). Παράλληλα, το μοντέλο μας παρουσιάζει επίσης αξιοσημείωτη υπεροχή έναντι των κορυφαίων (SOTA) μεθόδων που βασίζονται σε χάρτη τριών περιοχών και των μεθόδων που καθοδηγούνται από μάσκες, και στις τέσσερις μετρικές, στα δημόσια σύνολα δεδομένων (δηλαδή τα Composition-1K, Distinction-646 και Human-2K), καθώς και στο δικό μας σημείο αναφοράς Multi-Object-1K.»
Και συνεχίζει:
«Είναι σαφές ότι η μέθοδός μας διατηρεί τις λεπτές λεπτομέρειες (π.χ. τις άκρες των τριχών, τις διαφανείς υφές και τα όρια), χωρίς την καθοδήγηση χάρτη τριών περιοχών. Επιπλέον, σε σύγκριση με άλλα ανταγωνιστικά μοντέλα χωρίς χάρτη τριών περιοχών, το SPG-IM μας διατηρεί καλύτερα τη συνολική σημασιολογική πληρότητα.»
Δημοσιεύτηκε για πρώτη φορά στις 24 Απριλίου 2022.















