Μοντέλα και πλατφόρμες AI
AnomalyGPT: Ανίχνευση Βιομηχανικών Ανωμαλιών με LVLMs
Βασικά σημείαΗ AnomalyGPT εξαλείφει τον χειροκίνητο ορισμό κατωφλίων για την ανίχνευση βιομηχανικών…
Δείτε περισσότερα
- Η AnomalyGPT εξαλείφει τον χειροκίνητο ορισμό κατωφλίων για την ανίχνευση βιομηχανικών ανωμαλιών χρησιμοποιώντας Μεγάλες ΟπτικοΓλωσσικές Μοντέλα (LVLMs).
- Το μοντέλο επιτυγχάνει τον εντοπισμό ανωμαλιών σε επίπεδο pixel μέσω ενός καινοτόμου αποκωδικοποιητή και ενός εκπαιδευτή προτροπών.
- Η AnomalyGPT επιτρέπει διαδραστικό διάλογο σχετικά με τις ανωμαλίες και διακρίνεται σε σενάρια μάθησης με λίγα παραδείγματα.
Πρόσφατα, τα Μεγάλα Μοντέλα Οπτικής Γλώσσας (LVLMs) όπως το LLava και το MiniGPT-4 έχουν αποδείξει την ικανότητα να κατανοούν εικόνες και να επιτυγχάνουν υψηλή ακρίβεια και αποδοτικότητα σε διάφορες οπτικές εργασίες. Ενώ τα LVLMs διακρίνονται στην αναγνώριση κοινών αντικειμένων λόγω των εκτεταμένων συνόλων δεδομένων εκπαίδευσης, τους λείπει συγκεκριμένη γνώση τομέα και έχουν μια περιορισμένη κατανόηση των τοπικών λεπτομερειών εντός των εικόνων. Αυτό περιορίζει την αποτελεσματικότητά τους στις εργασίες Ανίχνευσης Βιομηχανικών Ανωμαλιών (IAD). Από την άλλη πλευρά, τα υπάρχοντα πλαίσια IAD μπορούν μόνο να αναγνωρίσουν τις πηγές των ανωμαλιών και απαιτούν χειροκίνητες ρυθμίσεις ορίων για να διακρίνουν μεταξύ κανονικών και μη φυσιολογικών δειγμάτων,περιορίζοντας έτσι την πρακτική εφαρμογή τους.
Ο πρωταρχικός σκοπός ενός πλαισίου IAD είναι να ανιχνεύσει και να εντοπίσει τη θέση ανωμαλιών σε βιομηχανικές σκηνές και εικόνες προϊόντων. Ωστόσο, λόγω του απρόβλεπτου χαρακτήρα και της σπανιότητας των πραγματικών δειγμάτων εικόνας, τα μοντέλα εκπαιδεύονται συνήθως μόνο με κανονικά δεδομένα. Διακρίνουν μη φυσιολογικά δείγματα από κανονικά με βάση τις αποκλίσεις από τα τυπικά δείγματα. Επί του παρόντος, τα πλαίσια IAD και τα μοντέλα παρέχουν κυρίως βαθμολογίες ανωμαλιών για τα δείγματα δοκιμής. Επιπλέον, η διάκριση μεταξύ κανονικών και μη φυσιολογικών περιπτώσεων για κάθε κατηγορία αντικειμένων απαιτεί τη χειροκίνητη ρύθμιση κατωφλίων, καθιστώντας τα ακατάλληλα για πραγματικές εφαρμογές.

Για να διερευνηθούν η χρήση και η εφαρμογή των Μεγάλων Μοντέλων Οπτικής Γλώσσας για την αντιμετώπιση των προκλήσεων που θέτουν τα πλαίσια IAD, το AnomalyGPT, μια νέα προσέγγιση IAD βασισμένη σε LVLM, εισήχθη. Το AnomalyGPT μπορεί να ανιχνεύσει και να εντοπίσει τη θέση ανωμαλιών χωρίς να απαιτείται χειροκίνητη ρύθμιση κατωφλίων. Επιπλέον, το AnomalyGPT μπορεί επίσης να παρέχει σχετικές πληροφορίες για την εικόνα για να αλληλεπιδράσει διαδραστικά με τους χρήστες, επιτρέποντάς τους να κάνουν ερωτήσεις με βάση την ανωμαλία ή τις συγκεκριμένες ανάγκες τους.
Βιομηχανική Ανίχνευση Ανωμαλιών και Μεγάλα Μοντέλα Οπτικής Γλώσσας
Τα υπάρχοντα πλαίσια IAD μπορούν να κατηγοριοποιηθούν σε δύο κατηγορίες.
- Ανίχνευση Ανωμαλιών με βάση την Ανακατασκευή.
- Ανίχνευση Ανωμαλιών με βάση τη Διανυσματική Αναπαράσταση Χαρακτηριστικών.
Σε ένα πλαίσιο Ανίχνευσης Ανωμαλιών με βάση την Ανακατασκευή, ο πρωταρχικός σκοπός είναι να ανακατασκευάσει δείγματα ανωμαλιών στα αντίστοιχα κανονικά αντίγραφα δειγμάτων, και να ανιχνεύσει ανωμαλίες με τον υπολογισμό του σφάλματος ανακατασκευής. SCADN, RIAD, AnoDDPM, και InTra χρησιμοποιούν διαφορετικά πλαίσια ανακατασκευής που κυμαίνονται από Παραγωγικά Αντιπαλικά Δίκτυα (GAN) και αυτο-κωδικοποιητές, σε μοντέλα διάχυσης και μετασχηματιστές.
Από την άλλη πλευρά, σε ένα πλαίσιο Ανίχνευσης Ανωμαλιών με βάση τη Διανυσματική Αναπαράσταση Χαρακτηριστικών, ο πρωταρχικός σκοπός είναι να επικεντρωθεί στην μοντελοποίηση της διανυσματικής αναπαράστασης των κανονικών δεδομένων. Μέθοδοι όπως το PatchSSVD προσπαθούν να βρουν μια υπερσφαίρα που μπορεί να περιβάλλει στενά τα κανονικά δείγματα, ενώ πλαίσια όπως το PyramidFlow και το Cfl προβάλλουν τα κανονικά δείγματα σε μια κανονική κατανομή χρησιμοποιώντας ροές κανονικοποίησης. Τα πλαίσια CFA και PatchCore έχουν καθιερώσει μια τράπεζα μνήμης κανονικών δειγμάτων από διανυσματικές αναπαραστάσεις τμημάτων εικόνας, και χρησιμοποιούν την απόσταση μεταξύ της διανυσματικής αναπαράστασης του δείγματος δοκιμής και της κανονικής διανυσματικής αναπαράστασης για να ανιχνεύσουν ανωμαλίες.
Και οι δύο αυτές μέθοδοι ακολουθούν το «μία κατηγορία, ένα μοντέλο», ένα υπόδειγμα μάθησης που απαιτεί μεγάλο αριθμό κανονικών δειγμάτων για να μάθει τις κατανομές κάθε κατηγορίας αντικειμένων. Η απαίτηση για μεγάλο αριθμό κανονικών δειγμάτων καθιστά αυτές τις μεθόδους μη πρακτικές για νέες κατηγορίες αντικειμένων, και περιορίζει την εφαρμογή τους σε δυναμικά περιβάλλοντα προϊόντων. Από την άλλη πλευρά, το πλαίσιο AnomalyGPT χρησιμοποιεί ένα υπόδειγμα μάθησης εντός συμφραζομένων για κατηγορίες αντικειμένων, επιτρέποντάς του να εκτελεί συμπερασμό μόνο με λίγα κανονικά δείγματα.
Προχωρώντας, έχουμε τα Μεγάλα Μοντέλα Οπτικής Γλώσσας ή LVLMs. LLMs ή Μεγάλα Μοντέλα Γλώσσας έχουν απολαύσει τεράστια επιτυχία στη βιομηχανία NLP, και τώρα εξερευνώνται για τις εφαρμογές τους σε οπτικές εργασίες. Το πλαίσιο BLIP-2 χρησιμοποιεί το Q-former για να εισαγάγει οπτικά χαρακτηριστικά από τον Μετασχηματιστή Όρασης στο μοντέλο Flan-T5. Επιπλέον, το πλαίσιο MiniGPT συνδέει το τμήμα εικόνας του πλαισίου BLIP-2 και το μοντέλο Vicuna με ένα γραμμικό στρώμα, και πραγματοποιεί μια διαδικασία λεπτομερούς προσαρμογής δύο σταδίων χρησιμοποιώντας δεδομένα εικόνας-κειμένου. Αυτές οι προσεγγίσεις δείχνουν ότι τα πλαίσια LLM μπορεί να έχουν κάποιες εφαρμογές για οπτικές εργασίες. Ωστόσο, αυτά τα μοντέλα έχουν εκπαιδευτεί σε γενικά δεδομένα, και τους λείπει η απαιτούμενη εξειδίκευση τομέα για ευρεία εφαρμογή.
Πώς Λειτουργεί το AnomalyGPT;
Στον πυρήνα του, το AnomalyGPT είναι ένα καινοτόμο διαλογικό μοντέλο IAD μεγάλης οπτικής γλώσσας που σχεδιάστηκε κυρίως για την ανίχνευση βιομηχανικών ανωμαλιών και τον ακριβή εντοπισμό τους χρησιμοποιώντας εικόνες. Το πλαίσιο AnomalyGPT χρησιμοποιεί ένα LLM και ένα προ-εκπαιδευμένο κωδικοποιητή εικόνας για να ευθυγραμμίσει εικόνες με τις αντίστοιχες περιγραφές κειμένου χρησιμοποιώντας προσομοιωμένα δεδομένα ανωμαλιών. Το μοντέλο εισάγει μια μονάδα αποκωδικοποίησης και μια μονάδα εκμάθησης προτροπών για να βελτιώσει την απόδοση των συστημάτων IAD, και να επιτύχει εντοπισμό σε επίπεδο pixel.
Αρχιτεκτονική Μοντέλου

Η παραπάνω εικόνα απεικονίζει την αρχιτεκτονική του AnomalyGPT. Το μοντέλο πρώτα περνά την εικόνα ερώτησης στον κωδικοποιητή εικόνας με παγωμένες παραμέτρους. Το μοντέλο στη συνέχεια εξάγει χαρακτηριστικά σε επίπεδο patch από τα ενδιάμεσα στρώματα και τα εισάγει σε έναν αποκωδικοποιητή εικόνας για να υπολογίσει την ομοιότητα τους με μη φυσιολογικά και κανονικά κείμενα για να λάβει τα αποτελέσματα για τον εντοπισμό. Το μοντέλο εκμάθησης προτροπών στη συνέχεια μετατρέπει αυτά τα αποτελέσματα σε διανυσματικές αναπαραστάσεις που είναι κατάλληλες για να χρησιμοποιηθούν ως εισαγωγές στο LLM μαζί με τις εισαγωγές κειμένου του χρήστη. Το μοντέλο LLM στη συνέχεια χρησιμοποιεί τις διανυσματικές αναπαραστάσεις, τις εισαγωγές εικόνας, και τις εισαγωγές κειμένου του χρήστη για να ανιχνεύσει ανωμαλίες, να προσδιορίσει την ακριβή θέση τους, και να δημιουργήσει τελικές απαντήσεις για τον χρήστη.
Αποκωδικοποιητής
Για να επιτύχει εντοπισμό σε επίπεδο pixel, το μοντέλο AnomalyGPT αναπτύσσει έναν αποκωδικοποιητή εικόνας με βάση την αντιστοίχιση χαρακτηριστικών που υποστηρίζει τόσο τα πλαίσια IAD με λίγα δείγματα όσο και τα μη επιβλεπόμενα πλαίσια IAD. Η σχεδίαση του αποκωδικοποιητή που χρησιμοποιείται στο AnomalyGPT εμπνέεται από τα πλαίσια WinCLIP, PatchCore, και APRIL-GAN. Το μοντέλο διαιρεί τον κωδικοποιητή εικόνας σε 4 στάδια, και εξάγει τα ενδιάμεσα χαρακτηριστικά σε επίπεδο τμημάτων εικόνας από κάθε στάδιο.
Ωστόσο, αυτά τα ενδιάμεσα χαρακτηριστικά δεν έχουν περάσει από την τελική ευθυγράμμιση εικόνας-κειμένου, και δεν μπορούν να συγκριθούν άμεσα με χαρακτηριστικά. Για να αντιμετωπίσει αυτό το πρόβλημα, το μοντέλο AnomalyGPT εισάγει επιπλέον στρώματα για να προβάλει τα ενδιάμεσα χαρακτηριστικά, και να τα ευθυγραμμίσει με χαρακτηριστικά κειμένου που αντιπροσωπεύουν κανονικές και μη φυσιολογικές σημασίες.
Μοντέλο Εκμάθησης Προτροπών
Το πλαίσιο AnomalyGPT εισάγει ένα μοντέλο εκμάθησης προτροπών που προσπαθεί να μετατρέψει το αποτέλεσμα του εντοπισμού σε διανυσματικές αναπαραστάσεις για να εκμεταλλευτεί τις λεπτομερείς σημασίες από εικόνες, και επίσης να διατηρεί τη σημασιολογική συνέπεια μεταξύ των εξόδων του αποκωδικοποιητή και του LLM. Επιπλέον, το μοντέλο ενσωματώνει εκπαιδεύσιμες διανυσματικές αναπαραστάσεις, μη σχετικές με τις εξόδους του αποκωδικοποιητή, στο μοντέλο εκμάθησης προτροπών για να παρέχει πρόσθετη πληροφορία για την εργασία IAD. Τέλος, το μοντέλο εισάγει τις διανυσματικές αναπαραστάσεις και τις αρχικές πληροφορίες εικόνας στο LLM.
Το μοντέλο εκμάθησης προτροπών αποτελείται από εκπαιδεύσιμες βασικές διανυσματικές αναπαραστάσεις, και ένα συνελικτικό νευρωνικό δίκτυο. Το δίκτυο μετατρέπει το αποτέλεσμα του εντοπισμού σε διανυσματικές αναπαραστάσεις, και σχηματίζει ένα σύνολο διανυσματικών αναπαραστάσεων που στη συνέχεια συνδυάζονται με τις διανυσματικές αναπαραστάσεις εικόνας στο LLM.
Προσομοίωση Ανωμαλιών
Το μοντέλο AnomalyGPT υιοθετεί τη μέθοδο NSA για να προσομοιώσει μη φυσιολογικά δεδομένα. Η μέθοδος NSA χρησιμοποιεί την τεχνική Cut-paste χρησιμοποιώντας τη μέθοδο επεξεργασίας εικόνας Poisson για να μειώσει τις ασυνέχειες που εισάγονται κατά την επικόλληση τμημάτων εικόνας. Cut-paste είναι μια κοινή τεχνική στα πλαίσια IAD για τη δημιουργία προσομοιωμένων μη φυσιολογικών εικόνων.
Η τεχνική Cut-paste περιλαμβάνει το κόψιμο ενός μπλοκ περιοχής από μια εικόνα τυχαία, και την επικόλληση σε μια τυχαία θέση σε μια άλλη εικόνα, δημιουργώντας έτσι ένα τμήμα προσομοιωμένων ανωμαλιών. Αυτά τα προσομοιωμένα μη φυσιολογικά δείγματα μπορούν να βελτιώσουν την απόδοση των μοντέλων IAD, αλλά υπάρχει ένα μειονέκτημα, καθώς μπορούν συχνά να παράγουν ορατές ασυνέχειες. Η μέθοδος επεξεργασίας εικόνας Poisson στοχεύει να αντιγράψει απρόσκοπτα ένα αντικείμενο από μια εικόνα σε μια άλλη, λύνοντας τις μερικές διαφορικές εξισώσεις Poisson.

Η παραπάνω εικόνα απεικονίζει την σύγκριση μεταξύ Poisson και Cut-paste επεξεργασίας εικόνας. Όπως φαίνεται, υπάρχουν ορατές ασυνέχειες στη μέθοδο Cut-paste, ενώ τα αποτελέσματα από την επεξεργασία Poisson φαίνονται πιο φυσικά.
Περιεχόμενο Ερωτήσεων και Απαντήσεων
Για να διεξαγάγει την προσαρμογή προτροπών στο Μεγάλο Μοντέλο Οπτικής Γλώσσας, το μοντέλο AnomalyGPT γεννάει μια αντίστοιχη ερώτηση κειμένου με βάση την εικόνα ανωμαλίας. Κάθε ερώτηση αποτελείται από δύο κύρια μέρη. Το πρώτο μέρος της ερώτησης αποτελείται από μια περιγραφή της εικόνας εισαγωγής που παρέχει πληροφορίες για τα αντικείμενα που υπάρχουν στην εικόνα μαζί με τις αναμενόμενες ιδιότητές τους. Το δεύτερο μέρος της ερώτησης είναι να ανιχνεύσει την παρουσία ανωμαλιών μέσα στο αντικείμενο, ή να ελέγξει αν υπάρχει ανωμαλία στην εικόνα.
Το LVLM πρώτα απαντά στην ερώτηση αν υπάρχει ανωμαλία στην εικόνα; Αν το μοντέλο ανιχνεύσει ανωμαλίες, συνεχίζει να καθορίζει την τοποθεσία και τον αριθμό των μη φυσιολογικών περιοχών. Το μοντέλο διαιρεί την εικόνα σε ένα πλέγμα 3×3 από διαφορετικές περιοχές για να επιτρέψει στο LVLM να δείξει την θέση των ανωμαλιών λεκτικά, όπως φαίνεται στην παρακάτω εικόνα.

Το μοντέλο LVLM λαμβάνει περιγραφική γνώση και βασικές πληροφορίες για την εικόνα εισόδου, ώστε να κατανοεί καλύτερα τα στοιχεία της εικόνας.
Δεδομένα και Μέτρα Αξιολόγησης
Το μοντέλο διεξάγει τους πειραματισμούς του κυρίως στα δεδομένα VisA και MVTec-AD. Το σύνολο δεδομένων MVTech-AD αποτελείται από 3629 εικόνες για εκπαίδευση, και 1725 εικόνες για δοκιμή που χωρίζονται σε 15 διαφορετικές κατηγορίες, καθιστώντας το ένα από τα πιο δημοφιλή σύνολα δεδομένων για τα πλαίσια IAD. Οι εικόνες εκπαίδευσης έχουν μόνο κανονικές εικόνες, ενώ οι εικόνες δοκιμής έχουν και κανονικές και μη φυσιολογικές εικόνες. Από την άλλη πλευρά, το σύνολο δεδομένων VisA αποτελείται από 9621 κανονικές εικόνες, και σχεδόν 1200 μη φυσιολογικές εικόνες που χωρίζονται σε 12 διαφορετικές κατηγορίες.
Συνεχίζοντας, όπως και τα υπάρχοντα πλαίσια IAD, το μοντέλο AnomalyGPT χρησιμοποιεί την AUC, δηλαδή το εμβαδόν κάτω από την καμπύλη λειτουργικών χαρακτηριστικών δέκτη (ROC) ως μέτρο αξιολόγησης, με AUC σε επίπεδο pixel και εικόνας για να αξιολογήσει την απόδοση του εντοπισμού ανωμαλιών, και την ανίχνευση ανωμαλιών, αντίστοιχα. Ωστόσο, το μοντέλο χρησιμοποιεί επίσης την ακρίβεια σε επίπεδο εικόνας για να αξιολογήσει την απόδοση της προτεινόμενης προσέγγισης, επειδή αυτή επιτρέπει να καθορίσει την παρουσία ανωμαλιών χωρίς την απαίτηση για χειροκίνητη ρύθμιση κατωφλίων.
Αποτελέσματα
Ποσοτικά Αποτελέσματα
Ανίχνευση Βιομηχανικών Ανωμαλιών με Λίγα Δείγματα
Το μοντέλο AnomalyGPT συγκρίνει τα αποτελέσματά του με προηγούμενα πλαίσια ανίχνευσης ανωμαλιών με λίγα δείγματα, συμπεριλαμβανομένων των PaDiM, SPADE, WinCLIP, και PatchCore ως βάση.

Η παραπάνω εικόνα συγκρίνει τα αποτελέσματα του μοντέλου AnomalyGPT σε σύγκριση με τα πλαίσια ανίχνευσης ανωμαλιών με λίγα δείγματα. Και στα δύο σύνολα δεδομένων, η μέθοδος που ακολουθεί το AnomalyGPT υπερέχει έναντι των προσεγγίσεων που ακολουθούν τα προηγούμενα μοντέλα σε όρους AUC σε επίπεδο εικόνας, και επίσης επιστρέφει καλή ακρίβεια.
Ανίχνευση Βιομηχανικών Ανωμαλιών χωρίς Εποπτεία
Σε ένα περιβάλλον εκπαίδευσης χωρίς εποπτεία με ένα μεγάλο αριθμό κανονικών δειγμάτων, το AnomalyGPT εκπαιδεύει ένα μοντέλο σε δείγματα που λαμβάνονται από όλες τις κατηγορίες σε ένα σύνολο δεδομένων. Οι προγραμματιστές του AnomalyGPT έχουν επιλέξει το πλαίσιο UniAD επειδή έχει εκπαιδευτεί με την ίδια πειραματική διάταξη και θα χρησιμεύσει ως βάση για σύγκριση. Επιπλέον, το μοντέλο συγκρίνει επίσης με τα πλαίσια JNLD και PaDim χρησιμοποιώντας την ίδια ενοποιημένη πειραματική διάταξη.

Η παραπάνω εικόνα συγκρίνει την απόδοση του AnomalyGPT σε σύγκριση με άλλα πλαίσια.
Ποιοτικά Αποτελέσματα

Η παραπάνω εικόνα απεικονίζει την απόδοση του μοντέλου AnomalyGPT στην ανίχνευση ανωμαλιών χωρίς εποπτεία, ενώ η εικόνα που ακολουθεί δείχνει την απόδοση του μοντέλου στη μάθηση εντός συμφραζομένων με ένα δείγμα.

Το μοντέλο AnomalyGPT είναι ικανό να δείξει την παρουσία ανωμαλιών, να σημειώσει την τοποθεσία τους, και να παρέχει αποτελέσματα εντοπισμού σε επίπεδο pixel. Όταν το μοντέλο είναι σε λειτουργία μάθησης εντός συμφραζομένων με ένα δείγμα, η απόδοση του εντοπισμού του μοντέλου είναι ελαφρώς χαμηλότερη σε σύγκριση με την ανίχνευση ανωμαλιών χωρίς εποπτεία λόγω της απουσίας εκπαίδευσης.
Συμπέρασμα
Το AnomalyGPT είναι ένα καινοτόμο διαλογικό μοντέλο ανίχνευσης ανωμαλιών-οπτικής γλώσσας που σχεδιάστηκε για να εκμεταλλευτεί τις δυνατότητες των μεγάλων μοντέλων οπτικής γλώσσας. Μπορεί όχι μόνο να ανιχνεύσει ανωμαλίες σε μια εικόνα, αλλά και να καθορίσει την ακριβή τους τοποθεσία. Επιπλέον, το AnomalyGPT διευκολύνει διαλόγους πολλαπλών γύρων που επικεντρώνονται στην ανίχνευση ανωμαλιών και παρουσιάζει εξαιρετική απόδοση στη μάθηση εντός συμφραζομένων με λίγα δείγματα. Το AnomalyGPT διεισδύει στις πιθανές εφαρμογές των LVLMs στην ανίχνευση ανωμαλιών, εισάγοντας νέες ιδέες και δυνατότητες για τη βιομηχανία IAD.












