Διαχωρίζοντας τους “Συνδεδεμένους” Ανθρώπους στην Υπολογιστική Όραση

Μια νέα εργασία από το Κέντρο Καινοτομίας της Hyundai Motor Group στη Σιγκαπούρη προσφέρει μια μέθοδο για τον διαχωρισμό των “συνδεδεμένων” ανθρώπων στην υπολογιστική όραση – αυτές τις περιπτώσεις όπου το πλαίσιο αναγνώρισης αντικειμένων έχει βρει έναν άνθρωπο που είναι με κάποιον τρόπο “πολύ κοντά” σε έναν άλλον άνθρωπο (όπως “αγκαλιά” ενέργειες ή “стояν πίσω” στάσεις), και δεν μπορεί να διαχωρίσει τους δύο ανθρώπους που αντιπροσωπεύονται, συγχέοντας τους για ένα μόνο άτομο ή οντότητα.

Δύο γίνονται ένα, αλλά αυτό δεν είναι καλό στην σεμαντική διαίρεση. Εδώ βλέπουμε το νέο σύστημα να επιτυγχάνει τα καλύτερα αποτελέσματα στην ατομική αναγνώριση των διπλωμένων ανθρώπων σε σύνθετα και απαιτητικά εικόνες. Source: https://arxiv.org/pdf/2210.03686.pdf

Αυτό είναι ένα αξιοσημείωτο πρόβλημα που έχει λάβει μεγάλη προσοχή στην ερευνητική κοινότητα τα τελευταία χρόνια. Η επίλυση του προβλήματος χωρίς τον φανερό αλλά συνήθως μη ανεκτό κόστος της υπερκλίμακας, ανθρωποκεντρικής προσαρμογής θα μπορούσε τελικά να επιτρέψει βελτιώσεις στην ατομική αναγνώριση ανθρώπων σε συστήματα κειμένου-εικόνας όπως η Stable Diffusion, η οποία συχνά “λιώνει” τους ανθρώπους μαζί όπου μια προωθούμενη στάση απαιτεί πολλαπλούς ανθρώπους να είναι κοντά ο ένας στον άλλον.

Εμπιστευθείτε τον τρόμο – τα μοντέλα κειμένου-εικόνας όπως το DALL-E 2 και η Stable Diffusion (και τα δύο παρουσιάζονται παραπάνω) δυσκολεύονται να αναπαραστήσουν ανθρώπους σε πολύ κοντινή απόσταση ο ένας από τον άλλον.

Αν και τα γενετικά μοντέλα όπως το DALL-E 2 και η Stable Diffusion δεν χρησιμοποιούν (κατά τη γνώση όλων, στην περίπτωση του κλειστού DALL-E 2) τώρα τη σεμαντική διαίρεση ή αναγνώριση αντικειμένων, αυτές οι απαίσιες ανθρώπινες πορτοκαλί δεν θα μπορούσαν να θεραπευτούν τώρα με την εφαρμογή τέτοιων υπερποτάμιων μεθόδων – γιατί η κατάσταση της τέχνης των βιβλιοθηκών και των πόρων αναγνώρισης αντικειμένων δεν είναι πολύ καλύτερη στο να διαχωρίζει ανθρώπους από τα CLIP-βασισμένα ροήματα των μοντέλων διάχυσης.

Για να αντιμετωπίσουν αυτό το ζήτημα, η νέα εργασία – με τίτλο Οι άνθρωποι δεν χρειάζονται να επισημάνουν περισσότερους ανθρώπους: Occlusion Copy & Paste για Occluded Human Instance Segmentation– προσαρμόζει και βελτιώνει μια πρόσφατη “κόψιμο και επικόλληση” προσέγγιση σε ημι-συνθετικά δεδομένα για να επιτύχει μια νέα οδηγία SOTA στην εργασία, ακόμη και ενάντια στις πιο απαιτητικές πηγές υλικού:

Η νέα μεθοδολογία Occlusion Copy & Paste οδηγεί目前 στο πεδίο ακόμη και ενάντια σε προηγούμενες προσεγγίσεις και μεθόδους που αντιμετωπίζουν την πρόκληση με πιο περίπλοκους και αφοσιωμένους τρόπους, όπως το μοντελοποίηση της οκλούσας.

Κόψτε Αυτό!

Η τροποποιημένη μέθοδος – με τίτλο Occlusion Copy & Paste – προέρχεται από την εργασία του 2021 Simple Copy-Paste, η οποία οδηγήθηκε από την Google Research, και πρότεινε ότι η επικάλυψη εξαγμένων αντικειμένων και ανθρώπων μεταξύ διαφόρων πηγών εικόνων εκπαίδευσης θα μπορούσε να βελτιώσει την ικανότητα ενός συστήματος αναγνώρισης εικόνας να διακρίνει κάθε παρουσία σε μια εικόνα:

Από την εργασία του 2021 της Google Research με τίτλο ‘Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation’, βλέπουμε στοιχεία από μια φωτογραφία ‘μεταναστεύοντας’ σε άλλες φωτογραφίες, με στόχο την εκπαίδευση ενός καλύτερου μοντέλου αναγνώρισης εικόνας. Source: https://arxiv.org/pdf/2012.07177.pdf

Η νέα έκδοση προσθέτει περιορισμούς και παραμέτρους σε αυτήν την αυτοματοποιημένη και αλγοριθμική “επικόλληση”, αναλογίζοντας τη διαδικασία σε ένα “καλάθι” εικόνων γεμάτο με πιθανές υποψηφίες για “μεταφορά” σε άλλες εικόνες, με βάση διάφορους κρίσιμους παράγοντες.

Το концепτουαλικό workflow για OC&P.

Ελέγχοντας τα Στοιχεία

Αυτοί οι περιορισμοί περιλαμβάνουν πιθανότητα ότι μια “κόψιμο και επικόλληση” θα συμβεί, η οποία εξασφαλίζει ότι η διαδικασία δεν συμβαίνει συνέχεια, κάτι που θα οδηγούσε σε ένα “συνθετικό” αποτέλεσμα που θα υπονόμευε την εμπλουτισμένη δεδομένων: η αριθμός εικόνων που ένα καλάθι θα έχει κάθε φορά, όπου ένας μεγαλύτερος αριθμός “τμημάτων” μπορεί να βελτιώσει την ποικιλία των παρουσίων, αλλά να αυξήσει τον χρόνο προεπεξεργασίας: και περιοχή, η οποία καθορίζει τον αριθμό των εικόνων που θα επικολληθούν σε μια “φιλοξενούμενη” εικόνα.

Σχετικά με το τελευταίο, η εργασία σημειώνει ‘Χρειαζόμαστε αρκετή οκλούση για να συμβεί, αλλά όχι πάρα πολλή, καθώς μπορεί να υπερφορτώσει την εικόνα, κάτι που μπορεί να είναι επιζήμιο για την εκπαίδευση.’

Οι άλλες δύο καινοτομίες για OC&P είναι στόχευση επικόλλησης και αυξημένη επικόλληση παρουσίας.

Η στόχευση επικόλλησης εξασφαλίζει ότι μια κατάλληλη εικόνα θα призητήσει κοντά σε μια υπάρχουσα παρουσία στην εικόνα-στόχο. Στην προηγούμενη προσέγγιση, από την προηγούμενη εργασία, το νέο στοιχείο ήταν περιορισμένο μόνο μέσα στα όρια της εικόνας, χωρίς καμία σκέψη για το контέκστ.

Αν και αυτό το ‘επικόλληση’, με στόχευση επικόλλησης, είναι φανερό στο ανθρώπινο μάτι, και η OC&P και η προηγούμενή της έχουν βρει ότι η αύξηση της οπτικής αυθεντικότητας δεν είναι απαραίτητα σημαντική, και θα μπορούσε ακόμη και να είναι ένα μειονέκτημα (δείτε ‘Πραγματικότητα Δαγκώνει’ παρακάτω).

Η αυξημένη επικόλληση παρουσίας εξασφαλίζει ότι οι επικολλημένες παρουσίες δεν θα δείχνουν ένα “διακριτό στυλ” που θα μπορούσε να οδηγήσει σε εξαίρεση ή “ειδική μεταχείριση” που θα μπορούσε να εμποδίσει την γενίκευση και την εφαρμογή. Η αυξημένη επικόλληση modulates οπτικά παράγοντες όπως η φωτεινότητα και η οξύτητα, η κλίμακα και η περιστροφή, και η κορεσμός – μεταξύ άλλων παραγόντων.

Από τα συμπληρωματικά υλικά της νέας εργασίας: η προσθήκη της OC&P σε υπάρχοντα πλαίσια αναγνώρισης οδηγεί σε ανώτερη ατομική αναγνώριση ανθρώπων σε πολύ κοντινή απόσταση. Source: https://arxiv.org/src/2210.03686v1/anc/OcclusionCopyPaste_Supplementary.pdf

Επιπλέον, η OC&P ρυθμίζει ένα ελάχιστο μέγεθος για κάθε επικολλημένη παρουσία. Για παράδειγμα, μπορεί να είναι δυνατό να εξαχθεί μια εικόνα ενός ανθρώπου από μια τεράστια σκηνή πλήθους, η οποία θα μπορούσε να επικολληθεί σε μια άλλη εικόνα – αλλά σε τέτοια περίπτωση, ο μικρός αριθμός pixel θα ήταν απίθανο να βοηθήσει στην αναγνώριση.，因此, το σύστημα εφαρμόζει ένα ελάχιστο μέγεθος με βάση το λόγο της ισοδύναμης πλευράς για την εικόνα-στόχο.

Παραπέρα, η OC&P θεσπίζει κλίμακα-ευαίσθητη επικόλληση, όπου, εκτός από το να αναζητάει παρόμοιους υποκειμένους με το αντικείμενο επικόλλησης, λαμβάνει υπόψη το μέγεθος των ορίων στην εικόνα-στόχο. Ωστόσο, αυτό δεν οδηγεί σε σύνθετες εικόνες που οι άνθρωποι θα θεωρούσαν ως πιστευτές ή πραγματικές (δείτε την εικόνα παρακάτω), αλλά αντίθετα συναρμολογεί σεμαντικά στοιχεία κοντά ο ένας στον άλλον με τρόπους που είναι χρήσιμοι κατά την εκπαίδευση.

Πραγματικότητα Δαγκώνει

Και η προηγούμενη εργασία στην οποία βασίζεται η OC&P, και η τρέχουσα εφαρμογή, θέτουν ένα χαμηλό premium στην αυθεντικότητα, ή την “φωτογραφική πραγματικότητα” της τελικής “μοντάζ” εικόνας. Αν και είναι σημαντικό ότι η τελική συναρμολόγηση δεν καταλήγει ολοσχερώς στο Dadaism (αλλιώς οι πραγματικοί déploys των εκπαιδευμένων συστημάτων θα μπορούσαν ποτέ να συναντήσουν στοιχεία σε τέτοιες σκηνές όπως εκπαιδεύτηκαν), και οι δύο πρωτοβουλίες έχουν βρει ότι μια αξιοσημείωτη αύξηση της “οπτικής πιστευτότητας” δεν μόνο προστίθεται στον χρόνο προεπεξεργασίας, αλλά ότι τέτοιες “βελτιώσεις της πραγματικότητας” είναι πιθανό να είναι αντιπαραγωγικές…. (the translation continues until the final source heading and tail anchor are complete)