Μειώνοντας Υψηλής Ανάλυσης Εικόνες Με Μηχανική Μάθηση

Νέα έρευνα από το Ηνωμένο Βασίλειο έχει προτείνει μια βελτιωμένη μέθοδο μηχανικής μάθησης για την αναδιαμόρφωση εικόνων, με βάση την αντίληψη της αξίας των διαφόρων τμημάτων του περιεχομένου της εικόνας, αντί να μειώνει αδιακρίτως τις διαστάσεις (και επομένως την ποιότητα και τις εξαγώγιμες λειτουργίες) για όλα τα πίξελ της εικόνας.

Ως μέρος ενός αυξανόμενου ενδιαφέροντος για συστήματα συμπίεσης που οδηγούνται από την τεχνητή νοημοσύνη, είναι μια προσέγγιση που θα μπορούσε τελικά να ενημερώσει новые κωδικοποιητές για την γενική συμπίεση εικόνων, αν και το έργο мотивείται από την ιατρική εικόνα, όπου η τυχαία μείωση των υψηλής ανάλυσης ιατρικών εικόνων θα μπορούσε να οδηγήσει στην απώλεια ζωτικής σημασίας πληροφοριών.

Παραστατική αρχιτεκτονική του νέου συστήματος. Το模块 της παραμόρφωσης παράγει einen χάρτη παραμόρφωσης που αντιστοιχεί σε περιοχές ενδιαφέροντος στην εικόνα. Η πυκνότητα και η κατεύθυνση των κόκκινων σημείων υποδεικνύουν αυτές τις περιοχές. Ο χάρτης χρησιμοποιείται όχι μόνο για την μείωση, αλλά και για την αναδόμηση των περιοχών πρωταρχικού ενδιαφέροντος όταν το περιεχόμενο της εικόνας είναι μη ομοιόμορφα αναβαθμισμένο στην άλλη πλευρά της διαδικασίας εκπαίδευσης.  Πηγή: https://arxiv.org/pdf/2109.11071.pdf

Το σύστημα εφαρμόζει σεμαντική τομείς στις εικόνες – ευρείες μπλοκ, που αντιπροσωπεύονται ως μπλοκ χρωμάτων στην εικόνα πάνω, που περιλαμβάνουν αναγνωρισμένες οντότητες μέσα στην εικόνα, όπως ‘δρόμος’, ‘ποδήλατο’, ‘βλάβη’, κ.λπ. Η διάθεση των σεμαντικών χαρτών χρησιμοποιείται για τον υπολογισμό των τμημάτων της φωτογραφίας που δεν πρέπει να μειωθούν υπερβολικά.

Τίτλος Μάθηση για μείωση για τομείς υψηλής ανάλυσης εικόνων, η νέα εργασία είναι μια συνεργασία μεταξύ ερευνητών από το Κέντρο Υπολογιστικών Ιατρικών Εικόνων στο Πανεπιστήμιο του Λονδίνου και ερευνητών από το Τμήμα Υγείας της Microsoft στο Κέιμπριτζ.

Η (Μερικά) Χαμηλή Ανάλυση Κόσμος της Εκπαίδευσης Οπτικής

Η εκπαίδευση των συστημάτων οπτικής είναι σημαντικά περιορισμένη από την ικανότητα των GPU. Τα σύνολα δεδομένων μπορεί να περιέχουν πολλές χιλιάδες εικόνες από τις οποίες πρέπει να εξαχθούν λειτουργίες, αλλά ακόμη και τα βιομηχανικά GPU tend να φτάνουν τα 24gb της VRAM, με συνεχείς ελλείψεις που επηρεάζουν τη διαθεσιμότητα και το κόστος.

Αυτό σημαίνει ότι τα δεδομένα πρέπει να τροφοδοτηθούν μέσω των περιορισμένων πυρήνων Tensor του GPU σε διαχειρίσιμες δόσεις, με 8-16 εικόνες τυπικές για πολλές ροές εργασίας εκπαίδευσης οπτικής.

Δεν υπάρχουν πολλές προφανείς λύσεις: ακόμη και αν η VRAM ήταν απεριόριστη και οι αρχιτεκτονικές CPU θα μπορούσαν να διαχειριστούν这一 είδους απόδοση από το GPU χωρίς να δημιουργήσουν einen αρχιτεκτονικό κομφλίκτ, πολύ υψηλές δόσεις θα tend να εξαγάγουν υψηλό-επίπεδο λειτουργίες με βάρος των πιο λεπτομερών μετασχηματισμών που μπορεί να είναι κρίσιμες για τη χρησιμότητα του τελικού αλγορίθμου.

Η αύξηση της ανάλυσης των εισαγωγικών εικόνων θα σημαίνει ότι πρέπει να χρησιμοποιηθούν μικρότερες δόσεις για να χωρέσουν τα δεδομένα στο ‘λατινικό χώρο’ του GPU εκπαίδευσης. Αυτό, αντίθετα, είναι πιθανό να παράγει ένα μοντέλο που είναι ‘παράξενο’ και υπερ-προσαρμοσμένο.

Όύτε η προσθήκη επιπλέον GPU βοηθά, τουλάχιστον στις πιο κοινούς αρχιτεκτονικές: ενώ οι ρυθμίσεις πολλαπλών GPU μπορούν να επιταχύνουν τους χρόνους εκπαίδευσης, μπορούν επίσης να συμβιβάσουν την ακεραιότητα των αποτελεσμάτων εκπαίδευσης, όπως δύο γειτονικές fabriques που εργάζονται στο ίδιο προϊόν, με μόνο μια τηλεφωνική γραμμή για να συντονίσουν τις προσπάθειές τους.

Εξυπνα Αναδιαμορφωμένες Εικόνες

Τι μένει είναι ότι τα πιο σχετικά τμήματα μιας τυπικής εικόνας για ένα σύνολο δεδομένων οπτικής θα μπορούσαν, με τη νέα μέθοδο, να διατηρηθούν ακέραια στην αυτόματη αναδιαμόρφωση που συμβαίνει όταν υψηλής ανάλυσης εικόνες πρέπει να μειωθούν για να ταιριάζουν σε μια πηγή ML.

Αυτό είναι ένα ξεχωριστό πρόβλημα από το πρόβλημα απωλείας λειτουργιών σε σύνολα δεδομένων οπτικής, όπου η ποιότητα χάνεται σε αυτόματες ροές αναδιαμόρφωσης因为 ο κωδικοποιητής συμπίεσης απορρίπτει πολύ (συνήθως ανεπανόρθωτα) πληροφορίες.

Αντίθετα, σε αυτή την περίπτωση, ακόμη και η αποθήκευση σε ένα(lossless) μορφότυπο εικόνας (όπως PNG με συμπίεση LZW) δεν μπορεί να ανακτήσει τις πληροφορίες που απορρίπτονται γενικά όταν η αναδιαμόρφωση (για παράδειγμα) μια μαγνητική τομογραφία (MRI) xuống από συχνά ρεκόρ διαστάσεων σε μια πιο πιστευτή τυπική ανάλυση 256×256 ή 512×512 pixels.

Για να κάνουν τα πράγματα χειρότερα, ανάλογα με τις απαιτήσεις του πλαισίου, μαύρες πλαισιώσεις θα προστεθούν συχνά σε ορθογώνιες πηγαίες εικόνες ως μια ρουτίνα εργασία δεδομένων, για να παράγουν μια πραγματικά τετραγωνική μορφή εισαγωγής για επεξεργασία νευρωνικών δικτύων, μειώνοντας περαιτέρω τον διαθέσιμο χώρο για πιθανώς κρίσιμες δεδομένα.

Οι ερευνητές από το UCL και τη Microsoft προτείνουν αντίθετα να κάνουν τη διαδικασία αναδιαμόρφωσης πιο έξυπνη, χρησιμοποιώντας фактиικά αυτό που έχει luôn ήταν ένα γενικό στάδιο στη ροή για να υπογραμμίσει περιοχές ενδιαφέροντος, αποφορτίζοντας κάποιο μέρος του ερμηνευτικού φόρτου από το σύστημα μηχανικής μάθησης μέσω του οποίου οι εικόνες θα περάσουν τελικά.

Η μέθοδος, οι ερευνητές ισχυρίζονται, βελτιώνει μια προσφορά του 2019 (εικόνα κάτω) που ζητούσε παρόμοιες κέρδη με την εστίαση της ποιότητας-προσοχής στα όρια των αντικειμένων.

Από ‘Εфективική Τομείς: Μάθηση Downsampling Near Semantic Boundaries’, Marin et al., 2019. Πηγή: https://arxiv.org/pdf/1907.07156.pdf

Όπως σημειώνει η νέα εργασία, αυτή η προσέγγιση υποθέτει ότι οι περιοχές ενδιαφέροντος συγκεντρώνονται στα όρια, ενώ παραδείγματα από ιατρική εικόνα, όπως σημειωμένες περιοχές καρκίνου, εξαρτώνται από υψηλότερο контекστό, και μπορεί να εμφανιστούν ως εύκολα-απορριπτέες λεπτομέρειες μέσα σε ευρύτερες περιοχές σε μια εικόνα, αντί στα όρια.

Μάθηση Downsampler

Η νέα έρευνα προτείνει einen μαθήσιμο downsampler που ονομάζεται module παραμόρφωσης, που εκπαιδεύεται μαζί με einen παράλληλο module τομείς, και μπορεί επομένως να ενημερωθεί για περιοχές ενδιαφέροντος που αναγνωρίζονται από σεμαντική τομείς, και να προτεραιοποιήσει αυτές κατά τη διαδικασία μείωσης.

Οι συγγραφείς ε-tested το σύστημα σε几个 δημοφιλείς σύνολα δεδομένων, συμπεριλαμβανομένων Cityscapes, DeepGlobe και einem τοπικό σύνολο δεδομένων Ιστολογίας Καρκίνου του Προστάτη, ‘PCa-Histo’.

Τρεις προσεγγίσεις: αριστερά, υπάρχουσα ‘ομοιόμορφη’ μείωση: στο κέντρο, η ‘βέλτιστη άκρη’ προσέγγιση από το 2019: και δεξιά, η αρχιτεκτονική πίσω από το νέο σύστημα, ενημερωμένη από αναγνώριση οντοτήτων σε ένα σεμαντικό layer τομείς.

Μια παρόμοια προσέγγιση έχει δοκιμαστεί για einen ταξινομητή που προτάθηκε το 2019, αλλά οι συγγραφείς του τρέχοντος εγγράφου ισχυρίζονται ότι αυτή η μέθοδος δεν κατορθώνει επαρκώς να κανονικοποιήσει τις περιοχές έμφασης, πιθανότατα χάνοντας κρίσιμες περιοχές σε einen ιατρικό контекστό.

Αποτελέσματα

Το module παραμόρφωσης στο νέο σύστημα είναι ένα μικρό Convolutional Νευρωνικό Δίκτυο (CNN), ενώ το layer τομείς είναι ένα βαθύ CNN αρχιτεκτονική που χρησιμοποιεί HRNetV2-W48. Pyramid Scene Parsing Network (PSP-net) χρησιμοποιήθηκε ως ένα στάδιο ελέγχου για τις δοκιμές CityScapes.

Τα ανωτέρω σύνολα δεδομένων ε-tested με το νέο πλαίσιο, χρησιμοποιώντας ομοιόμορφη αναδιαμόρφωση (η συνήθης μέθοδος), την μέθοδο βέλτιστης άκρης από το 2019, και την νέα προσέγγιση που αξιοποιεί την σεμαντική τομείς.

Οι συγγραφείς αναφέρουν ότι η νέα μέθοδος δείχνει ‘σαφή πλεονέκτημα στην αναγνώριση και διαφοροποίηση των πιο κλινικά σημαντικών κατηγοριών’, με μια αύξηση ακρίβειας 15-20%. Παρατηρούν επίσης ότι η απόσταση μεταξύ αυτών των κατηγοριών συχνά ορίζεται ως ‘το όριο από υγιή σε καρκίνο’.

Κατηγορία-προς-κατηγορία ανάλυση intersection over union (IoU) σε όλες τις τρεις μεθόδους: αριστερά, τυπική αναδιαμόρφωση: στο κέντρο, βέλτιστη άκρη: και δεξιά, η νέα προσέγγιση. CityScapes αναδιαμορφώθηκε σε ένα απλό 64 x 128, με PCaHisto вниз σε 80 x 800, και DeepGlobe вниз σε 300 pixels τετραγωνικά.

Η αναφορά αναφέρει ότι η μέθοδός τους ‘μπορεί να μάθει μια στρατηγική μείωσης, να διατηρήσει καλύτερα τις πληροφορίες και να επιτρέψει μια καλύτερη ανταλλαγή.’, καταλήγοντας στο συμπέρασμα ότι το νέο πλαίσιο ‘μπορεί να μάθει αποτελεσματικά πού να “επενδύσει” τον περιορισμένο προϋπολογισμό pixel στην μείωση για να επιτύχει την υψηλότερη συνολική απόδοση στην ακρίβεια τομείς’.

Η κύρια εικόνα για αυτό το άρθρο προέρχεται από το thispersondoesnotexist.com. Ενημερώθηκε 3:35pm GMT+2 για λάθος κειμένου.