Μοντέλα και πλατφόρμες AI
DiffSeg: Μη επιβλεπόμενη κατάτμηση τύπου zero-shot με το Stable Diffusion
Βασικά σημείαΤο DiffSeg δημιουργεί μάσκες κατάτμησης από τα επίπεδα αυτο-προσοχής του Stable…
Δείτε περισσότερα
- Το DiffSeg δημιουργεί μάσκες κατάτμησης από τα επίπεδα αυτο-προσοχής του Stable Diffusion χωρίς καμία εκπαίδευση ή ετικέτες.
- Η καινοτόμος διαδικασία συγχώνευσής του αποφεύγει τον καθορισμό αριθμού συστάδων σε αντίθεση με τις παραδοσιακές μη εποπτευόμενες μεθόδους.
- Ο αλγόριθμος επιτυγχάνει κορυφαία απόδοση σε μηδενική-προσαρμογή κατάτμησης σε benchmarks όπως τα Cityscapes και COCO-stuff.
Μία από τις βασικές προκλήσεις των μοντέλων υπολογιστικής όρασης είναι η δημιουργία μασκών κατάτμησης υψηλής ποιότητας. Οι πρόσφατες εξελίξεις στην επιβλεπόμενη εκπαίδευση μεγάλης κλίμακας έχουν επιτρέψει την κατάτμηση τύπου zero-shot σε εικόνες διαφορετικού ύφους. Παράλληλα, η μη επιβλεπόμενη εκπαίδευση έχει απλοποιήσει την κατάτμηση χωρίς εκτεταμένες επισημάνσεις. Ωστόσο, η κατασκευή ενός πλαισίου που μπορεί να κατατμήσει οποιαδήποτε εικόνα σε καθεστώς zero-shot, χωρίς επισημάνσεις, παραμένει δύσκολη. Η σημασιολογική κατάτμηση χωρίζει μια εικόνα σε μικρότερες περιοχές με κοινό σημασιολογικό περιεχόμενο και αποτελεί τη βάση για εφαρμογές όπως η ιατρική απεικόνιση, η επεξεργασία εικόνας και η αυτόνομη οδήγηση.

Για την πρόοδο της υπολογιστικής όρασης, η κατάτμηση εικόνων δεν πρέπει να περιορίζεται σε ένα σταθερό σύνολο δεδομένων με περιορισμένες κατηγορίες. Πρέπει να λειτουργεί ως ευέλικτη βασική εργασία για άλλες εφαρμογές. Το υψηλό κόστος συλλογής ετικετών ανά εικονοστοιχείο αποτελεί σημαντικό εμπόδιο. Το άρθρο εξετάζει τη σχέση αυτού του περιορισμού με τις επιβλεπόμενες μεθόδους και με την επιδίωξη κατάτμησης zero-shot χωρίς επισημάνσεις ή προηγούμενη πρόσβαση στα δεδομένα-στόχο. Θα δούμε πώς τα επίπεδα αυτοπροσοχής στα μοντέλα Stable Diffusion μπορούν να υποστηρίξουν ένα μοντέλο που κατατμεί οποιαδήποτε είσοδο σε καθεστώς zero-shot. Αυτά τα επίπεδα ενσωματώνουν έννοιες αντικειμένων που έχει μάθει το προεκπαιδευμένο μοντέλο.
DiffSeg: Ένας βελτιωμένος αλγόριθμος κατάτμησης τύπου zero-shot
Η σημασιολογική κατάτμηση χωρίζει μια εικόνα σε περιοχές με παρόμοιο σημασιολογικό περιεχόμενο και υποστηρίζει πολλές μεταγενέστερες εργασίες. Παραδοσιακά, εργασίες υπολογιστικής όρασης τύπου zero-shot έχουν αξιοποιήσει επιβλεπόμενη σημασιολογική κατάτμηση με μεγάλα σύνολα δεδομένων και επισημασμένες κατηγορίες. Η μη επιβλεπόμενη σημασιολογική κατάτμηση σε καθεστώς zero-shot παραμένει πρόκληση. Οι επιβλεπόμενες μέθοδοι είναι αποτελεσματικές, αλλά το κόστος επισήμανσης ανά εικονοστοιχείο είναι συχνά απαγορευτικό. Γι’ αυτό χρειάζονται μη επιβλεπόμενες μέθοδοι σε λιγότερο περιοριστικό καθεστώς zero-shot, χωρίς επισημασμένα δεδομένα ή προηγούμενη γνώση των δεδομένων-στόχου.
Το DiffSeg αντιμετωπίζει αυτόν τον περιορισμό με μια νέα στρατηγική μετεπεξεργασίας που αξιοποιεί το Stable Diffusion για τη δημιουργία ενός γενικού μοντέλου κατάτμησης, ικανού για μεταφορά zero-shot σε οποιαδήποτε εικόνα. Τα μοντέλα Stable Diffusion παράγουν αποτελεσματικά εικόνες υψηλής ανάλυσης βάσει κειμενικών προτροπών. Για τις εικόνες που δημιουργούν, μπορούν επίσης να παράγουν μάσκες κατάτμησης με αντίστοιχες προτροπές, συνήθως για τα κυρίαρχα αντικείμενα του προσκηνίου.
Αντίθετα, το DiffSeg δημιουργεί μάσκες κατάτμησης από τανυστές προσοχής των επιπέδων αυτοπροσοχής ενός μοντέλου διάχυσης. Ο αλγόριθμος περιλαμβάνει τρία βασικά στοιχεία: επαναληπτική συγχώνευση προσοχής, συνάθροιση προσοχής και καταστολή μη μεγίστων, όπως φαίνεται παρακάτω.

Ο αλγόριθμος διατηρεί οπτικές πληροφορίες σε πολλαπλές αναλύσεις, συναθροίζοντας τετραδιάστατους τανυστές προσοχής με χωρική συνέπεια. Η επαναληπτική συγχώνευση ξεκινά από δειγματοληπτικά επιλεγμένα σημεία αναφοράς. Οι μάσκες προσοχής συγχωνεύονται και τα σημεία αναφοράς που ανήκουν στο ίδιο αντικείμενο απορροφώνται σταδιακά. Το DiffSeg ελέγχει τη συγχώνευση με την απόκλιση KL, η οποία μετρά την ομοιότητα δύο χαρτών προσοχής.
Σε αντίθεση με μη επιβλεπόμενες μεθόδους κατάτμησης που βασίζονται στην ομαδοποίηση, το DiffSeg δεν απαιτεί να οριστεί εκ των προτέρων ο αριθμός των ομάδων. Μπορεί να παράγει κατάτμηση χωρίς πρόσθετους πόρους ή προηγούμενη γνώση. Πρόκειται για μια νέα μη επιβλεπόμενη μέθοδο κατάτμησης τύπου zero-shot που αξιοποιεί ένα προεκπαιδευμένο μοντέλο Stable Diffusion και κατατμεί εικόνες χωρίς πρόσθετους πόρους ή προηγούμενη γνώση των δεδομένων-στόχου.
DiffSeg: Θεμελιώδεις έννοιες
Το DiffSeg βασίζεται σε έννοιες από τα μοντέλα διάχυσης, τη μη επιβλεπόμενη κατάτμηση και την κατάτμηση τύπου zero-shot.
Μοντέλα διάχυσης
Ο αλγόριθμος αξιοποιεί τη γνώση προεκπαιδευμένων μοντέλων διάχυσης. Πρόκειται για δημοφιλή πλαίσια παραγωγικής τεχνητής νοημοσύνης στην υπολογιστική όραση, τα οποία χρησιμοποιούν μια διαδικασία διάχυσης προς τα εμπρός και μια αντίστροφη διαδικασία για τη δημιουργία εικόνων από δειγματοληπτικά παραγόμενο ισοτροπικό γκαουσιανό θόρυβο. Το Stable Diffusion είναι μια δημοφιλής παραλλαγή και χρησιμοποιείται σε επιβλεπόμενη κατάτμηση, ταξινόμηση zero-shot, σημασιολογική αντιστοίχιση, κατάτμηση με περιορισμένες επισημάνσεις και κατάτμηση ανοικτού λεξιλογίου. Αυτές οι εφαρμογές βασίζονται σε οπτικά χαρακτηριστικά υψηλής διάστασης και συχνά χρειάζονται πρόσθετη εκπαίδευση για την πλήρη αξιοποίησή τους.
Μη επιβλεπόμενη κατάτμηση
Η μη επιβλεπόμενη κατάτμηση επιδιώκει τη δημιουργία πυκνών μασκών κατάτμησης χωρίς επισημάνσεις. Για καλή απόδοση, όμως, τα αντίστοιχα μοντέλα χρειάζονται συνήθως προηγούμενη μη επιβλεπόμενη εκπαίδευση στο σύνολο δεδομένων-στόχο. Τα πλαίσια αυτά χωρίζονται σε δύο κατηγορίες: ομαδοποίηση με προεκπαιδευμένα μοντέλα και ομαδοποίηση βάσει αμεταβλητότητας. Η πρώτη αξιοποιεί διακριτικά χαρακτηριστικά που έχουν μάθει προεκπαιδευμένα μοντέλα. Η δεύτερη χρησιμοποιεί έναν γενικό αλγόριθμο ομαδοποίησης που βελτιστοποιεί την αμοιβαία πληροφορία δύο εικόνων, δημιουργώντας σημασιολογικές ομάδες και αποφεύγοντας εκφυλισμένες λύσεις κατάτμησης.
Κατάτμηση τύπου zero-shot
Η κατάτμηση zero-shot επιτρέπει την κατάτμηση χωρίς προηγούμενη εκπαίδευση στα δεδομένα-στόχο ή γνώση τους. Τα σχετικά μοντέλα έχουν επιδείξει σημαντικές δυνατότητες μεταφοράς, αλλά απαιτούν ορισμένες κειμενικές εισόδους και προτροπές. Το DiffSeg, αντίθετα, χρησιμοποιεί ένα μοντέλο διάχυσης χωρίς να χρειάζεται να ζητήσει και να συνθέσει πολλαπλές εικόνες και χωρίς να γνωρίζει το περιεχόμενο των αντικειμένων.
DiffSeg: Μέθοδος και αρχιτεκτονική
Το DiffSeg αξιοποιεί τα επίπεδα αυτοπροσοχής ενός προεκπαιδευμένου μοντέλου Stable Diffusion για την παραγωγή αποτελεσμάτων κατάτμησης υψηλής ποιότητας.
Το μοντέλο Stable Diffusion
Το Stable Diffusion αποτελεί βασικό στοιχείο του DiffSeg και είναι ένα δημοφιλές πλαίσιο παραγωγικής τεχνητής νοημοσύνης που βασίζεται στη διάχυση. Κατά τη διαδικασία προς τα εμπρός προστίθεται επαναληπτικά μικρή ποσότητα γκαουσιανού θορύβου σε κάθε χρονικό βήμα, μέχρι η εικόνα να μετατραπεί σε ισοτροπικό γκαουσιανό θόρυβο. Στην αντίστροφη διαδικασία, το μοντέλο αφαιρεί σταδιακά τον θόρυβο για να ανακτήσει την αρχική εικόνα.
Το πλαίσιο χρησιμοποιεί κωδικοποιητή-αποκωδικοποιητή και αρχιτεκτονική U-Net με επίπεδο προσοχής. Ο κωδικοποιητής συμπιέζει την εικόνα σε λανθάνοντα χώρο μικρότερων χωρικών διαστάσεων και ο αποκωδικοποιητής την αποσυμπιέζει. Το U-Net αποτελείται από μια στοίβα αρθρωτών δομικών στοιχείων, καθένα από τα οποία περιλαμβάνει είτε επίπεδο Transformer είτε επίπεδο ResNet.
Στοιχεία και αρχιτεκτονική
Τα επίπεδα αυτοπροσοχής των μοντέλων διάχυσης συγκεντρώνουν πληροφορίες για τα αντικείμενα σε χωρικούς χάρτες προσοχής. Το DiffSeg συγχωνεύει τους αντίστοιχους τανυστές σε έγκυρη μάσκα κατάτμησης. Η διαδικασία περιλαμβάνει συνάθροιση προσοχής, καταστολή μη μεγίστων και επαναληπτική συγχώνευση προσοχής.
Συνάθροιση προσοχής
Για μια εικόνα που περνά από τον κωδικοποιητή και τα επίπεδα U-Net, το Stable Diffusion παράγει συνολικά 16 τανυστές προσοχής, με πέντε τανυστές για καθεμία από τις διαστάσεις. Στόχος είναι η συνάθροιση τανυστών διαφορετικής ανάλυσης σε έναν τανυστή με τη μεγαλύτερη δυνατή ανάλυση. Για τον σκοπό αυτό, το DiffSeg αντιμετωπίζει διαφορετικά τις τέσσερις διαστάσεις.
Οι δύο τελευταίες διαστάσεις έχουν διαφορετικές αναλύσεις αλλά παραμένουν χωρικά συνεπείς, καθώς ο δισδιάστατος χωρικός χάρτης αντιστοιχεί σε συσχετίσεις μεταξύ θέσεων. Το DiffSeg επαναδειγματοληπτεί αυτές τις διαστάσεις όλων των χαρτών στη μεγαλύτερη ανάλυση, 64 × 64. Οι δύο πρώτες διαστάσεις, αντίθετα, προσδιορίζουν τη θέση αναφοράς των χαρτών προσοχής, όπως φαίνεται παρακάτω.

Επειδή οι διαστάσεις αυτές αναφέρονται στις θέσεις των χαρτών, η συνάθροιση πρέπει να λαμβάνει υπόψη αυτή την αντιστοιχία. Για να διατηρείται έγκυρη κατανομή, το πλαίσιο κανονικοποιεί το αποτέλεσμα μετά τη συνάθροιση και αποδίδει σε κάθε χάρτη βάρος ανάλογο της ανάλυσής του.
Επαναληπτική συγχώνευση προσοχής
Αφού υπολογιστεί ο τανυστής προσοχής, οι χάρτες του συγχωνεύονται σε ένα σύνολο υποψήφιων περιοχών αντικειμένων. Κάθε πρόταση περιλαμβάνει είτε κατηγορία επιφάνειας ή υλικού («stuff») είτε την ενεργοποίηση ενός αντικειμένου. Μια πιθανή λύση είναι η εφαρμογή K-Means στις κατανομές των τανυστών. Ωστόσο, το K-Means απαιτεί προκαθορισμένο αριθμό ομάδων και μπορεί να δώσει διαφορετικά αποτελέσματα για την ίδια εικόνα λόγω της στοχαστικής αρχικοποίησης. Το DiffSeg παρακάμπτει αυτά τα προβλήματα δημιουργώντας ένα πλέγμα δειγματοληψίας και συγχωνεύοντας επαναληπτικά τους χάρτες προσοχής.
Καταστολή μη μεγίστων
Η επαναληπτική συγχώνευση παράγει υποψήφιες περιοχές αντικειμένων ως πιθανοτικούς χάρτες προσοχής. Το DiffSeg χρησιμοποιεί καταστολή μη μεγίστων για τη μετατροπή τους σε έγκυρη μάσκα κατάτμησης. Κάθε στοιχείο είναι ήδη χάρτης κατανομής πιθανότητας. Για κάθε χωρική θέση, ο αλγόριθμος επιλέγει τον δείκτη του χάρτη με τη μεγαλύτερη πιθανότητα και αναθέτει τη θέση στην αντίστοιχη περιοχή.
DiffSeg: Πειράματα και αποτελέσματα
Για την αξιολόγηση της μη επιβλεπόμενης κατάτμησης χρησιμοποιούνται τα σύνολα αναφοράς Cityscapes και COCO-stuff-27. Το Cityscapes αφορά την αυτόνομη οδήγηση και περιλαμβάνει 27 κατηγορίες μεσαίου επιπέδου. Το COCO-stuff-27 προκύπτει από τη συγχώνευση 80 κατηγοριών αντικειμένων και 91 κατηγοριών επιφανειών ή υλικών του αρχικού COCO-stuff σε 27 κατηγορίες. Το DiffSeg αξιολογείται με τη μέση αναλογία τομής προς ένωση (mIoU) και την ακρίβεια εικονοστοιχείων (ACC). Επειδή δεν αποδίδει σημασιολογικές ετικέτες, χρησιμοποιείται ο ουγγρικός αλγόριθμος αντιστοίχισης για να αντιστοιχιστεί κάθε προβλεπόμενη μάσκα με μια μάσκα αναφοράς. Το πλαίσιο υπολογίζει ως ψευδώς αρνητικές τις επιπλέον προβλεπόμενες μάσκες που δεν αντιστοιχίζονται όταν οι προβλέψεις υπερβαίνουν τις μάσκες αναφοράς.
Εξετάζονται επίσης τρεις απαιτήσεις κατά την εξαγωγή αποτελεσμάτων: γλωσσική εξάρτηση (LD), μη επιβλεπόμενη προσαρμογή (UA) και βοηθητικές εικόνες (AX). Η LD σημαίνει ότι η μέθοδος χρειάζεται περιγραφικές κειμενικές εισόδους. Η UA σημαίνει ότι απαιτείται μη επιβλεπόμενη εκπαίδευση στο σύνολο δεδομένων-στόχο. Η AX σημαίνει ότι χρειάζονται πρόσθετες είσοδοι, ως συνθετικές εικόνες ή ως σύνολο εικόνων αναφοράς.
Αποτελέσματα
Στο COCO, το DiffSeg συγκρίνεται με δύο μεθόδους βάσης K-Means: K-Means-S και K-Means-C. Η K-Means-C χρησιμοποιεί έξι ομάδες, αριθμό που υπολογίζεται από τον μέσο αριθμό αντικειμένων στις εικόνες αξιολόγησης. Η K-Means-S χρησιμοποιεί διαφορετικό αριθμό ομάδων ανά εικόνα, σύμφωνα με τα αντικείμενα της επισήμανσης αναφοράς. Τα αποτελέσματα παρουσιάζονται παρακάτω.

Η μέθοδος βάσης K-Means ξεπερνά υπάρχουσες μεθόδους, αναδεικνύοντας την αξία των τανυστών αυτοπροσοχής. Η K-Means-S υπερέχει της K-Means-C, δείχνοντας ότι ο αριθμός των ομάδων είναι κρίσιμη υπερπαράμετρος που χρειάζεται προσαρμογή ανά εικόνα. Παρότι χρησιμοποιεί τους ίδιους τανυστές, το DiffSeg ξεπερνά και τις δύο μεθόδους βάσης, προσφέροντας καλύτερη κατάτμηση και αποφεύγοντας τα μειονεκτήματα του K-Means.
Στο Cityscapes, το DiffSeg επιτυγχάνει παρόμοια αποτελέσματα με πλαίσια που χρησιμοποιούν είσοδο χαμηλότερης ανάλυσης 320 και ξεπερνά πλαίσια με είσοδο υψηλότερης ανάλυσης 512, τόσο στην ακρίβεια όσο και στο mIoU.

Το DiffSeg χρησιμοποιεί αρκετές υπερπαραμέτρους, όπως φαίνεται στον ακόλουθο πίνακα.

Η συνάθροιση προσοχής αποτελεί βασικό στοιχείο της μεθόδου. Η ακόλουθη εικόνα δείχνει την επίδραση διαφορετικών βαρών συνάθροισης, με σταθερή ανάλυση της εικόνας εισόδου.

Οι χάρτες 64 × 64 στο σχήμα (β) δίνουν τις λεπτομερέστερες κατατμήσεις, αλλά παρουσιάζουν ορισμένες ορατές ασυνέχειες. Οι χάρτες 32 × 32 τείνουν να υπερκατατμούν λεπτομέρειες, αλλά παράγουν πιο συνεκτικά αποτελέσματα. Στο σχήμα (δ), οι χάρτες χαμηλής ανάλυσης δεν διαχωρίζουν περιοχές, επειδή ολόκληρη η εικόνα συγχωνεύεται σε ένα αντικείμενο με τις συγκεκριμένες υπερπαραμέτρους. Η αναλογική συνάθροιση στο σχήμα (α) επιτυγχάνει καλύτερη ισορροπία λεπτομέρειας και συνέπειας.
Τελικές σκέψεις
Η μη επιβλεπόμενη κατάτμηση τύπου zero-shot παραμένει σημαντική πρόκληση για την υπολογιστική όραση. Τα υπάρχοντα μοντέλα βασίζονται είτε σε μη επιβλεπόμενη προσαρμογή που δεν είναι zero-shot είτε σε εξωτερικούς πόρους. Εξετάσαμε πώς τα επίπεδα αυτοπροσοχής του Stable Diffusion επιτρέπουν την κατάτμηση οποιασδήποτε εισόδου χωρίς επισημάνσεις, αξιοποιώντας τις έννοιες αντικειμένων του προεκπαιδευμένου μοντέλου. Το DiffSeg χρησιμοποιεί αυτή τη δυνατότητα σε μια νέα στρατηγική μετεπεξεργασίας για γενική μεταφορά zero-shot. Βασίζεται στην ομοιότητα μεταξύ χαρτών προσοχής και στην ομοιότητα εντός των χαρτών προσοχής για την επαναληπτική συγχώνευσή τους σε έγκυρες μάσκες, επιτυγχάνοντας κορυφαίες επιδόσεις σε δημοφιλή σύνολα αναφοράς.












