Ένα από τα βασικά προβλήματα στα μοντέλα της υπολογιστικής όρασης είναι η δημιουργία υψηλής ποιότητας μασκών τομείς. Οι πρόσφατες προόδους στη μεγάλη κλίμακα της επιβλεπόμενης εκπαίδευσης έχουν ermögلیσαν την zero-shot τομείς σε διάφορους στυλ εικόνων. Επιπλέον, η μη επιβλεπόμενη εκπαίδευση έχει απλοποιήσει την τομείς χωρίς την ανάγκη για εκτεταμένες αναφορές. Παρά τις εξελίξεις αυτές, η κατασκευή ενός πλαισίου υπολογιστικής όρασης ικανό να τομείς οτιδήποτε σε ένα zero-shot ρύθμιση χωρίς αναφορές παραμένει ένα σύνθετο έργο. Η σεμαντική τομείς, một βασική έννοια στα μοντέλα υπολογιστικής όρασης, περιλαμβάνει τη διαίρεση μιας εικόνας σε μικρότερες περιοχές με ομοιόμορφες σεμαντικές. Αυτή η τεχνική αποτελεί την βάση για πολλές κατωτέρω εργασίες, όπως η ιατρική εικόνα, η επεξεργασία εικόνας, η αυτόνομη οδήγηση και πολλές άλλες.

Για να προωθήσουμε την ανάπτυξη των μοντέλων υπολογιστικής όρασης, είναι απαραίτητο να μην περιορίζεται η τομείς σε ένα σταθερό σύνολο δεδομένων με περιορισμένες κατηγορίες. Αντίθετα, πρέπει να λειτουργήσει ως một ευέλικτο θεμελιώδες έργο για διάφορες άλλες εφαρμογές. Ωστόσο, το υψηλό κόστος συλλογής ετικετών σε κάθε εικονοστοιχείο παρουσιάζει ένα σημαντικό πρόβλημα, περιορίζοντας την πρόοδο των μεθόδων zero-shot και επιβλεπόμενης τομείς που δεν απαιτούν αναφορές και δεν έχουν προηγουμένως πρόσβαση στο στόχο. Αυτό το άρθρο θα συζητήσει πώς οι στρώσεις αυτο-προσοχής στα σταθερά μοντέλα διάχυσης μπορούν να διευκολύνουν τη δημιουργία ενός μοντέλου ικανό να τομείς οποιαδήποτε είσοδο σε ένα zero-shot ρύθμιση, ακόμη και χωρίς σωστές αναφορές. Αυτές οι στρώσεις αυτο-προσοχής κατανοούν εγγενώς τις έννοιες των αντικειμένων που έχει μάθει ένα προ-εκπαιδευμένο σταθερό μοντέλο διάχυσης.

DiffSeg : Ένα Βελτιωμένο Αλγόριθμο Zero-Shot Τομείς

Η σεμαντική τομείς είναι μια διαδικασία που διαιρεί μια εικόνα σε διάφορες ενότητες, με κάθε ενότητα να μοιράζεται παρόμοιες σεμαντικές. Αυτή η τεχνική αποτελεί την βάση για πολλές κατωτέρω εργασίες. Παραδοσιακά, οι εργασίες υπολογιστικής όρασης zero-shot έχουν βασιστεί στην επιβλεπόμενη σεμαντική τομείς, χρησιμοποιώντας μεγάλα σύνολα δεδομένων με αναφερόμενες και ετικετεμένες κατηγορίες. Ωστόσο, η εφαρμογή της μη επιβλεπόμενης σεμαντικής τομείς σε ένα zero-shot ρύθμιση παραμένει ένα πρόβλημα. Ενώ οι παραδοσιακές επιβλεπόμενες μεθόδους είναι αποτελεσματικές, το κόστος ετικετών σε κάθε εικονοστοιχείο είναι συχνά απαγορευτικό, υπογραμμίζοντας την ανάγκη για την ανάπτυξη μη επιβλεπόμενων μεθόδων τομείς σε ένα λιγότερο περιοριστικό zero-shot ρύθμιση, όπου το μοντέλο δεν απαιτεί αναφορές ούτε προηγουμένως γνώση των δεδομένων.

Για να αντιμετωπίσουμε αυτό το περιορισμό, το DiffSeg εισάγει μια νέα στρατηγική μετα-επεξεργασίας, αξιοποιώντας τις ικανότητες του πλαισίου Σταθερής Διάχυσης για να κατασκευάσει ένα γενικό μοντέλο τομείς που μπορεί να εφαρμόσει zero-shot μεταφορά σε οποιαδήποτε εικόνα. Τα πλαισιά Σταθερής Διάχυσης έχουν αποδείξει την αποτελεσματικότητά τους στην παραγωγή υψηλής ανάλυσης εικόνων με βάση τις προϋποθέσεις των προτύπων. Για τις παραγώμενες εικόνες, αυτά τα πλαισιά μπορούν να παράγουν μάσκες τομείς χρησιμοποιώντας αντίστοιχες κειμενικές προτροπές, που συνήθως περιλαμβάνουν μόνο τα κυρίαρχα αντικείμενα του προσώπου.

Αντίθετα, το DiffSeg είναι μια καινοτόμος στρατηγική μετα-επεξεργασίας που δημιουργεί μάσκες τομείς χρησιμοποιώντας tensors προσοχής από τις στρώσεις αυτο-προσοχής σε ένα μοντέλο διάχυσης. Ο αλγόριθμος DiffSeg αποτελείται από τρία βασικά συστατικά: τη μερική συγχώνευση προσοχής, την συσσώρευση προσοχής και την μη-μέγιστη καταστολή, όπως φαίνεται στην ακόλουθη εικόνα.

Το DiffSeg διατηρεί τις οπτικές πληροφορίες σε πολλαπλά επίπεδα ανάλυσης συσσωρευώντας τους 4D tensors προσοχής με χωρική συνεχή, και χρησιμοποιώντας μια διαδικασία μερικής συγχώνευσης με δειγματοληψία σημείων αναφοράς. Αυτά τα σημεία αναφοράς χρησιμεύουν ως η βάση για τη συγχώνευση των μασκών προσοχής με τα ίδια αντικείμενα-σημεία που απορροφώνται τελικά. Το πλαισίο DiffSeg ελέγχει τη διαδικασία συγχώνευσης με τη βοήθεια μεθόδου KL divergence για τη μέτρηση της ομοιότητας μεταξύ δύο μασκών προσοχής.

Σε σύγκριση με τις μεθόδους μη επιβλεπόμενης τομείς που βασίζονται σε συσσωμάτωση, οι dévelopers δεν χρειάζεται να ορίσουν τον αριθμό των συσσωματώσεων εκ των προτέρων στο αλγόριθμο DiffSeg, και ακόμη και χωρίς καμία προηγουμένως γνώση, ο αλγόριθμος DiffSeg μπορεί να παράγει τομείς χωρίς τη χρήση πρόσθετων πόρων. Γενικά, ο αλγόριθμος DiffSeg είναι “Μια νέα μη επιβλεπόμενη και zero-shot μέθοδος τομείς που αξιοποιεί ένα προ-εκπαιδευμένο μοντέλο Σταθερής Διάχυσης, και μπορεί να τομείς εικόνες χωρίς πρόσθετους πόρους ή προηγουμένως γνώση.”

DiffSeg : Θεμελιώδεις Έννοιες

Το DiffSeg είναι ένας καινοτόμος αλγόριθμος που βασίζεται στις γνώσεις των Μοντέλων Διάχυσης, της Μη Επιβλεπόμενης Τομείς και της Zero-Shot Τομείς.

Μοντέλα Διάχυσης

Ο αλγόριθμος DiffSeg βασίζεται στις γνώσεις των προ-εκπαιδευμένων μοντέλων διάχυσης. Τα μοντέλα διάχυσης είναι ένα από τα πιο δημοφιλή γενετικά πλαισιά για τα μοντέλα υπολογιστικής όρασης, και μαθαίνουν τη διαδικασία διάχυσης προς τα εμπρός και προς τα πίσω από μια δειγματοληψία ισοτροπικής گوασιάνικης θορύβου εικόνας για να παράγει μια εικόνα. Η Σταθερή Διάχυση είναι η πιο δημοφιλής παραλλαγή των μοντέλων διάχυσης, και χρησιμοποιείται για να εκτελέσει eine σειρά από εργασίες, συμπεριλαμβανομένης της επιβλεπόμενης τομείς, της zero-shot ταξινόμησης, της σεμαντικής-αντιστοίχισης, της ετικετών-αποδοτικής τομείς και της ανοικτής-λεξικού τομείς. Ωστόσο, το μόνο πρόβλημα με τα μοντέλα διάχυσης είναι ότι βασίζονται σε υψηλο-διαστατικά οπτικά χαρακτηριστικά για να εκτελέσουν αυτές τις εργασίες, και συχνά απαιτούν πρόσθετη εκπαίδευση για να επωφεληθούν πλήρως από αυτά τα χαρακτηριστικά.

Μη Επιβλεπόμενη Τομείς

Ο αλγόριθμος DiffSeg είναι στενά συνδεδεμένος με τη μη επιβλεπόμενη τομείς, μια σύγχρονη πρακτική του AI που στοχεύει στην παραγωγή πυκνών μασκών τομείς χωρίς την χρήση αναφορών. Ωστόσο, για να επιτύχει καλή απόδοση, τα μοντέλα μη επιβλεπόμενης τομείς χρειάζονται κάποια προηγουμένως μη επιβλεπόμενη εκπαίδευση στο στόχο σύνολο δεδομένων. Τα μοντέλα μη επιβλεπόμενης τομείς που βασίζονται στο AI μπορούν να χαρακτηριστούν σε δύο κατηγορίες: συσσωμάτωση με προ-εκπαιδευμένα μοντέλα, και συσσωμάτωση με βάση την αμεταβλητότητα. Στην πρώτη κατηγορία, τα πλαισιά χρησιμοποιούν τις διακριτικές λειτουργίες που έχουν μάθει τα προ-εκπαιδευμένα μοντέλα για να παράγουν μάσκες τομείς, ενώ τα πλαισιά που ανήκουν στην δεύτερη κατηγορία χρησιμοποιούν einen γενικό αλγόριθμο συσσωμάτωσης που βελτιώνει την αμοιβαία πληροφορία μεταξύ δύο εικόνων για να τομείς εικόνες σε σεμαντικές συσσωματώσεις και να αποφεύγει τη διολίσθηση της τομείς.

Zero-Shot Τομείς

Ο αλγόριθμος DiffSeg είναι στενά συνδεδεμένος με τις μεθόδους zero-shot τομείς, μια μέθοδος με την ικανότητα να τομείς οτιδήποτε χωρίς προηγουμένως εκπαίδευση ή γνώση των δεδομένων. Τα μοντέλα zero-shot τομείς έχουν αποδείξει εξαιρετικές ικανότητες μεταφοράς zero-shot σε πρόσφατο χρόνο, αν και απαιτούν κάποια κειμενική είσοδο και προτροπές. Αντίθετα, ο αλγόριθμος DiffSeg χρησιμοποιεί ένα μοντέλο διάχυσης για να παράγει τομείς χωρίς να ζητά και να συνθέτει πολλαπλές εικόνες και χωρίς να γνωρίζει το περιεχόμενο του αντικειμένου.

DiffSeg : Μέθοδος και Αρχιτεκτονική

Ο αλγόριθμος DiffSeg χρησιμοποιεί τις στρώσεις αυτο-προσοχής σε ένα προ-εκπαιδευμένο σταθερό μοντέλο διάχυσης για να παράγει υψηλής ποιότητας εργασίες τομείς.

Σταθερό Μοντέλο Διάχυσης

Η Σταθερή Διάχυση είναι μια από τις θεμελιώδεις έννοιες στο πλαισίο DiffSeg. Η Σταθερή Διάχυση είναι ένα γενετικό πλαισίο AI, και ένα από τα πιο δημοφιλή μοντέλα διάχυσης. Một από τις κύριες ιδιότητες ενός μοντέλου διάχυσης είναι η διαδικασία διάχυσης προς τα εμπρός και προς τα πίσω. Στη διαδικασία διάχυσης προς τα εμπρός, μια μικρή ποσότητα گوασιάνικης θορύβου προστίθεται σε μια εικόνα διαρκώς σε κάθε βήμα χρόνου μέχρι η εικόνα να γίνει μια ισοτροπική گوασιάνικη θορύβου εικόνα. Αντίθετα, στη διαδικασία διάχυσης προς τα πίσω, το μοντέλο διάχυσης αφαιρεί διαρκώς τη θορύβου από την ισοτροπική گوασιάνικη θορύβου εικόνα για να ανακτήσει την αρχική εικόνα χωρίς گوασιάνικη θορύβου.

Το πλαισίο Σταθερής Διάχυσης χρησιμοποιεί einen encoder-decoder, και μια αρχιτεκτονική U-Net με στρώσεις αυτο-προσοχής, όπου χρησιμοποιεί έναν encoder για να συμπιέσει μια εικόνα σε ένα χώρο με μικρότερες χωρικές διαστάσεις, και χρησιμοποιεί τον decoder για να αποσυμπιέσει την εικόνα. Η αρχιτεκτονική U-Net αποτελείται από einen σωρό από modulaire μπλοκ, όπου κάθε μπλοκ αποτελείται από einen από τους δύο ακόλουθους συνδυασμούς: μια στρώση Transformer, και μια στρώση ResNet.

Συστατικά και Αρχιτεκτονική

Οι στρώσεις αυτο-προσοχής στα μοντέλα διάχυσης ομαδοποιούν τις πληροφορίες των εγγενών αντικειμένων με τη μορφή χωρικών μασκών προσοχής, και το DiffSeg είναι μια νέα στρατηγική μετα-επεξεργασίας για να συγχωνεύσει τους tensors προσοχής σε μια έγκυρη μάσκα τομείς, με την πορεία να αποτελείται από τρία κύρια συστατικά: συσσώρευση προσοχής, μη-μέγιστη καταστολή, και μερική συγχώνευση προσοχής.

Συσσώρευση Προσοχής

Για μια είσοδο εικόνας που περνάει από τις στρώσεις U-Net, και τον Encoder, το μοντέλο Σταθερής Διάχυσης παράγει συνολικά 16 tensors προσοχής, με 5 tensors για κάθε μια από τις διαστάσεις. Ο κύριος στόχος της παραγωγής 16 tensors είναι να συσσωρευθούν αυτοί οι tensors προσοχής με διαφορετικές ανάλυσεις σε einen tensor με την υψηλότερη δυνατή ανάλυση. Για να επιτύχει αυτό, ο αλγόριθμος DiffSeg αντιμετωπίζει τις 4 διαστάσεις διαφορετικά.

Από τις τέσσερις διαστάσεις, οι δύο τελευταίες διαστάσεις στις στρώσεις προσοχής έχουν διαφορετικές ανάλυσεις, αλλά είναι χωρικά συνεχείς, поскольку η 2D χωρική χάρτα του πλαισίου DiffSeg αντιστοιχεί στην συσχέτιση μεταξύ των θέσεων και των χωρικών θέσεων. Ως αποτέλεσμα, το πλαισίο DiffSeg δειγματοληψία αυτών των δύο διαστάσεων όλων των μασκών προσοχής στην υψηλότερη ανάλυση όλων, 64 x 64. Αντίθετα, οι δύο πρώτες διαστάσεις υποδεικνύουν την αναφορά θέσης των μασκών προσοχής, όπως φαίνεται στην ακόλουθη εικόνα.

Ως αυτές οι διαστάσεις αναφέρονται στη θέση των μασκών προσοχής, οι μάσκες προσοχής πρέπει να συσσωρευθούν ανάλογα. Επιπλέον, για να διασφαλιστεί ότι η συσσωρευμένη μάσκα προσοχής έχει μια έγκυρη κατανομή, το πλαισίο κανονικοποιεί την κατανομή μετά τη συσσώρευση με κάθε μάσκα προσοχής να ανατίθεται ένα βάρος αναλογικό στην ανάλυση της.

Μερική Συγχώνευση Προσοχής

Ενώ ο κύριος στόχος της συσσώρευσης προσοχής ήταν να υπολογίσει einen tensor προσοχής, ο κύριος στόχος είναι να συγχωνεύσει τις μάσκες προσοχής στο tensor σε einen σωρό από προτάσεις αντικειμένων, όπου κάθε πρόταση περιλαμβάνει είτε την κατηγορία “stuff” είτε την ενεργοποίηση ενός seul αντικειμένου. Η προτεινόμενη λύση για να επιτύχει αυτό είναι να εφαρμόσει einen αλγόριθμο K-Means στις έγκυρες κατανομές των tensors για να βρει τις συσσωματώσεις των αντικειμένων. Ωστόσο, η χρήση του αλγορίθμου K-Means δεν είναι η βέλτιστη λύση, καθώς ο αλγόριθμος K-Means απαιτεί από τους χρήστες να ορίσουν τον αριθμό των συσσωματώσεων εκ των προτέρων. Επιπλέον, η εφαρμογή του αλγορίθμου K-Means μπορεί να οδηγήσει σε διαφορετικά αποτελέσματα για την ίδια εικόνα, καθώς είναι στοχαστικά εξαρτημένο από την αρχικοποίηση. Για να υπερβεί αυτό το εμπόδιο, το πλαισίο DiffSeg προτείνει να δημιουργήσει einen δειγματοληψία πλέγματος για να δημιουργήσει τις προτάσεις συγχωνεύοντας τις μάσκες προσοχής μερικά.

Μη-Μέγιστη Καταστολή

Ο προηγούμενος βήμα της μερικής συγχώνευσης προσοχής οδηγεί σε einen λίστα από προτάσεις αντικειμένων με τη μορφή πιθανοτικών μασκών προσοχής, όπου κάθε πρόταση αντικειμένου περιλαμβάνει την ενεργοποίηση του αντικειμένου. Το πλαισίο DiffSeg χρησιμοποιεί την μη-μέγιστη καταστολή για να μετατρέψει την λίστα από προτάσεις αντικειμένων σε eine έγκυρη μάσκα τομείς, και η διαδικασία αυτή είναι μια αποτελεσματική προσέγγιση, καθώς κάθε στοιχείο της λίστας είναι ήδη eine χάρτα της πιθανοτικής κατανομής. Για κάθε χωρική θέση σε όλες τις χάρτες, ο αλγόριθμος λαμβάνει τον δείκτη της μεγαλύτερης πιθανότητας και αναθέτει μια συμμετοχή με βάση τον δείκτη της αντίστοιχης χάρτας.

DiffSeg : Πειράματα και Αποτελέσματα

Τα πλαισιά που εργάζονται στην μη επιβλεπόμενη τομείς χρησιμοποιούν δύο αναφορές τομείς, τις Cityscapes και COCO-stuff-27. Η αναφορά Cityscapes είναι ένα σύνολο δεδομένων για την αυτόνομη οδήγηση με 27 μεσαίες κατηγορίες, ενώ η αναφορά COCO-stuff-27 είναι eine εκδοχή του αρχικού συνόλου δεδομένων COCO-stuff, που συνδυάζει 80 αντικείμενα και 91 κατηγορίες σε 27 κατηγορίες. Επιπλέον, για να αναλύσει την απόδοση της τομείς, το πλαισίο DiffSeg χρησιμοποιεί την μέση τομή της ένωσης ή mIoU και την ακρίβεια pixel ή ACC, και поскольку ο αλγόριθμος DiffSeg δεν μπορεί να παρέχει μια σεμαντική ετικέτα, χρησιμοποιεί τον αλγόριθμο Hungarian matching για να αναθέσει eine έγκυρη μάσκα με κάθε προβλεπόμενη μάσκα. Σε περίπτωση που ο αριθμός των προβλεπόμενων μασκών υπερβαίνει τον αριθμό των μασκών αναφοράς, το πλαισίο θα λάβει υπόψη τις μη συζευγμένες προβλεπόμενες εργασίες ως ψευδείς αρνητικές.

Επιπλέον, το πλαισίο DiffSeg τονίζει τις ακόλουθες τρεις εργασίες για να τρέξει inference: Language Dependency ή LD, Unsupervised Adaptation ή UA, και Auxiliary Image ή AX. Language Dependency σημαίνει ότι η μέθοδος χρειάζεται περιγραφικές κειμενικές εισόδους για να διευκολύνει την τομείς για την εικόνα, Unsupervised Adaptation αναφέρεται στην ανάγκη για τη μέθοδο να χρησιμοποιήσει μη επιβλεπόμενη εκπαίδευση στο στόχο σύνολο δεδομένων, ενώ Auxiliary Image αναφέρεται στην ανάγκη για τη μέθοδο να χρησιμοποιήσει πρόσθετες εισόδους, είτε ως συνθετικές εικόνες, είτε ως πισίνα αναφοράς εικόνων.

Αποτελέσματα

Στην αναφορά COCO, το πλαισίο DiffSeg περιλαμβάνει δύο βασικές γραμμές K-Means, K-Means-S και K-Means-C. Η βασική γραμμή K-Means-C περιλαμβάνει 6 συσσωματώσεις που υπολογίζονται με την μέση τιμή του αριθμού των αντικειμένων στις εικόνες που αξιολογούνται, ενώ η βασική γραμμή K-Means-S χρησιμοποιεί einen συγκεκριμένο αριθμό συσσωματώσεων για κάθε εικόνα με βάση τον αριθμό των αντικειμένων που περιέχονται στην αναφορά της εικόνας, και τα αποτελέσματα και στις δύο βασικές γραμμές παρουσιάζονται στην ακόλουθη εικόνα.

Όπως φαίνεται, η βασική γραμμή K-Means υπερβαίνει τις υπάρχουσες μεθόδους, αποδεικνύοντας το όφελος της χρήσης των tensors προσοχής. Τι είναι ενδιαφέρον είναι ότι η βασική γραμμή K-Means-S υπερβαίνει την βασική γραμμή K-Means-C, που υποδηλώνει ότι ο αριθμός των συσσωματώσεων είναι ένας θεμελιώδης υπερπαράμετρος, και η ρύθμιση της είναι σημαντική για κάθε εικόνα. Επιπλέον, ακόμη και όταν βασίζεται στις ίδιες μάσκες προσοχής, το πλαισίο DiffSeg υπερβαίνει τις βασικές γραμμές K-Means, αποδεικνύοντας την ικανότητα του πλαισίου DiffSeg να παρέχει όχι μόνο καλύτερη τομείς, αλλά και να αποφεύγει τα μειονεκτήματα που προκύπτουν από τη χρήση των βασικών γραμμών K-Means.

Στην αναφορά Cityscapes, το πλαισίο DiffSeg παρέχει αποτελέσματα παρόμοια με τα πλαισιά που χρησιμοποιούν εισόδους με χαμηλότερη ανάλυση 320, ενώ υπερβαίνει τα πλαισιά που χρησιμοποιούν εισόδους με υψηλότερη ανάλυση 512 σε ακρίβεια και mIoU.

Όπως αναφέρθηκε προηγουμένως, το πλαισίο DiffSeg χρησιμοποιεί plusieurs υπερπαράμετρους, όπως φαίνεται στην ακόλουθη εικόνα.

Η συσσώρευση προσοχής είναι eine από τις θεμελιώδεις έννοιες που χρησιμοποιούνται στο πλαισίο DiffSeg, και τα αποτελέσματα της χρήσης διαφορετικών βαρών συσσώρευσης παρουσιάζονται στην ακόλουθη εικόνα με την ανάλυση της εικόνας να παραμένει σταθερή.

Όπως φαίνεται, οι υψηλής ανάλυσης χάρτες στη Φιγούρα (β) με 64 x 64 χάρτες παρέχουν τις πιο λεπτομερείς τομείς, αν και οι τομείς έχουν κάποιες ορατές ρωγμές, ενώ οι χαμηλής ανάλυσης χάρτες 32 x 32 tend να υπερ-τομείς τις λεπτομέρειες, αν και οδηγούν σε ενισχυμένες συνεκτικές τομείς. Στη Φιγούρα (δ), οι χαμηλής ανάλυσης χάρτες αποτυγχάνουν να παράγουν οποιαδήποτε τομείς, καθώς η ολόκληρη εικόνα συγχωνεύεται σε einen seul αντικείμενο με τις υπάρχουσες ρυθμίσεις υπερπαραμέτρων. Τέλος, στη Φιγούρα (α) που χρησιμοποιεί στρατηγική αναλογικής συσσώρευσης, οι τομείς παρέχουν ενισχυμένες λεπτομέρειες και ισορροπημένη συνεκτικότητα.

Τελικές Σκέψεις

Η μη επιβλεπόμενη zero-shot τομείς παραμένει ένα από τα μεγαλύτερα εμπόδια για τα μοντέλα υπολογιστικής όρασης, και τα υπάρχοντα μοντέλα είτε βασίζονται σε μη zero-shot μη επιβλεπόμενη προσαρμογή είτε σε εξωτερικούς πόρους. Για να υπερβεί αυτό το εμπόδιο, έχουμε συζητήσει πώς οι στρώσεις αυτο-προσοχής στα σταθερά μοντέλα διάχυσης μπορούν να διευκολύνουν την κατασκευή ενός μοντέλου ικανό να τομείς οποιαδήποτε είσοδο σε ένα zero-shot ρύθμιση χωρίς σωστές αναφορές, καθώς αυτές οι στρώσεις αυτο-προσοχής κρατούν τις εγγενείς έννοιες των αντικειμένων που έχει μάθει ένα προ-εκπαιδευμένο σταθερό μοντέλο διάχυσης. Έχουμε επίσης συζητήσει το DiffSeg, μια νέα στρατηγική μετα-επεξεργασίας, που στοχεύει να αξιοποιήσει το πλαισίο Σταθερής Διάχυσης για να κατασκευάσει ένα γενικό μοντέλο τομείς που μπορεί να εφαρμόσει zero-shot μεταφορά σε οποιαδήποτε εικόνα. Ο αλγόριθμος DiffSeg βασίζεται στη Δια-Προσοχή Ομοιότητα και την Ενδο-Προσοχή Ομοιότητα για να συγχωνεύσει τις μάσκες προσοχής μερικά σε έγκυρες μάσκες τομείς για να επιτύχει την καλύτερη απόδοση σε δημοφιλείς αναφορές.