AnomalyGPT: Mendeteksi Anomalies Industri menggunakan LVLMs

Baru-baru ini, Large Vision Language Models (LVLMs) seperti LLava dan MiniGPT-4 telah menunjukkan kemampuan untuk memahami gambar dan mencapai akurasi dan efisiensi yang tinggi dalam beberapa tugas visual. Meskipun LVLMs unggul dalam mengenali objek umum karena dataset pelatihan yang luas, mereka kekurangan pengetahuan domain spesifik dan memiliki pemahaman yang terbatas tentang detail lokal dalam gambar. Ini membatasi efektivitas mereka dalam tugas Deteksi Anomalies Industri (IAD). Di sisi lain, kerangka kerja IAD yang ada hanya dapat mengidentifikasi sumber anomali dan memerlukan pengaturan ambang batas manual untuk membedakan antara sampel normal dan anomali, sehingga membatasi implementasi praktisnya.

Tujuan utama kerangka kerja IAD adalah untuk mendeteksi dan melokalisasi anomali dalam skenario industri dan gambar produk. Namun, karena ketidakpastian dan kelangkaan sampel gambar dunia nyata, model biasanya dilatih hanya pada data normal. Mereka membedakan sampel anomali dari sampel normal berdasarkan deviasi dari sampel tipikal. Saat ini, kerangka kerja IAD dan model utama menyediakan skor anomali untuk sampel uji. Selain itu, membedakan antara instance normal dan anomali untuk setiap kelas item memerlukan spesifikasi ambang batas manual, sehingga membuatnya tidak cocok untuk aplikasi dunia nyata.

Untuk mengeksplorasi penggunaan dan implementasi Large Vision Language Models dalam mengatasi tantangan yang diajukan oleh kerangka kerja IAD, AnomalyGPT, sebuah pendekatan IAD baru berbasis LVLM, diperkenalkan. AnomalyGPT dapat mendeteksi dan melokalisasi anomali tanpa memerlukan pengaturan ambang batas manual. Selain itu, AnomalyGPT juga dapat menyediakan informasi yang relevan tentang gambar untuk berinteraksi dengan pengguna, memungkinkan mereka untuk mengajukan pertanyaan lanjutan berdasarkan anomali atau kebutuhan spesifik mereka.

Deteksi Anomalies Industri dan Large Vision Language Models

Kerangka kerja IAD yang ada dapat dikategorikan menjadi dua kategori. 

1. Deteksi Anomalies berbasis Rekonstruksi. 
2. Deteksi Anomalies berbasis Embedding Fitur. 

Dalam kerangka kerja Deteksi Anomalies berbasis Rekonstruksi, tujuan utama adalah merekonstruksi sampel anomali ke sampel normal yang sesuai, dan mendeteksi anomali dengan menghitung kesalahan rekonstruksi. SCADN, RIAD, AnoDDPM, dan InTra menggunakan kerangka kerja rekonstruksi yang berbeda, mulai dari Jaringan Adversarial Generatif (GAN) dan autoencoder, hingga model difusi dan transformer. 

Di sisi lain, dalam kerangka kerja Deteksi Anomalies berbasis Embedding Fitur, tujuan utama adalah untuk memfokuskan pada pemodelan embedding fitur data normal. Metode seperti PatchSSVD mencoba menemukan hipersfer yang dapat mengikat sampel normal dengan ketat, sedangkan kerangka kerja seperti PyramidFlow dan Cfl memproyeksikan sampel normal ke distribusi Gaussian menggunakan aliran normalisasi. CFA dan PatchCore telah membangun bank memori sampel normal dari embedding patch, dan menggunakan jarak antara embedding sampel uji dan embedding normal untuk mendeteksi anomali. 

Kedua metode ini mengikuti paradigma “satu kelas satu model”, sebuah paradigma pembelajaran yang memerlukan sejumlah besar sampel normal untuk mempelajari distribusi setiap kelas objek. Persyaratan untuk sejumlah besar sampel normal membuatnya tidak praktis untuk kategori objek baru, dan dengan aplikasi terbatas dalam lingkungan produk dinamis. Di sisi lain, kerangka kerja AnomalyGPT menggunakan paradigma pembelajaran dalam konteks untuk kategori objek, memungkinkan untuk melakukan interferensi hanya dengan beberapa sampel normal. 

Melangkah lebih jauh, kita memiliki Large Vision Language Models atau LVLMs. LLMs atau Large Language Models telah menikmati kesuksesan besar dalam industri NLP, dan sekarang sedang dieksplorasi untuk aplikasi dalam tugas visual. Kerangka kerja BLIP-2 menggunakan Q-former untuk memasukkan fitur visual dari Vision Transformer ke dalam model Flan-T5. Selain itu, kerangka kerja MiniGPT menghubungkan segmen gambar dari kerangka kerja BLIP-2 dan model Vicuna dengan lapisan linier, dan melakukan proses fine-tuning dua tahap menggunakan data gambar-teks. Pendekatan ini menunjukkan bahwa kerangka kerja LLM mungkin memiliki beberapa aplikasi untuk tugas visual. Namun, model ini telah dilatih pada data umum, dan mereka kekurangan keahlian domain spesifik yang diperlukan untuk aplikasi yang luas. 

Bagaimana AnomalyGPT Bekerja?

AnomalyGPT pada intinya adalah sebuah model bahasa visi besar yang dirancang khusus untuk mendeteksi anomali industri dan menunjukkan lokasi tepatnya menggunakan gambar. Kerangka kerja AnomalyGPT menggunakan LLM dan pengkode gambar pra-dilatih untuk menyelaraskan gambar dengan deskripsi teks yang sesuai menggunakan data anomali yang distimulasi. Model ini memperkenalkan modul dekoder, dan modul pembelajar prompt untuk meningkatkan kinerja sistem IAD, dan mencapai output lokalisisasi tingkat piksel. 

Arsitektur Model

Gambar di atas menggambarkan arsitektur AnomalyGPT. Model ini pertama-tama melewati gambar kueri ke pengkode gambar yang dibekukan. Model ini kemudian mengekstrak fitur tingkat patch dari lapisan intermediate, dan memberikan fitur-fitur ini ke dekoder gambar untuk menghitung kesamaannya dengan teks abnormal dan normal untuk mendapatkan hasil untuk lokalisisasi. Pembelajar prompt kemudian mengubahnya menjadi embedding prompt yang sesuai untuk digunakan sebagai input ke LLM bersama dengan input teks pengguna. Model LLM kemudian menggunakan embedding prompt, input gambar, dan input teks pengguna untuk mendeteksi anomali, menunjukkan lokasinya, dan membuat respons akhir untuk pengguna. 

Dekoder

Untuk mencapai lokalisisasi anomali tingkat piksel, model AnomalyGPT menggunakan dekoder gambar berbasis pencocokan fitur yang ringan yang mendukung baik kerangka kerja IAD few-shot dan unsupervised. Desain dekoder yang digunakan dalam AnomalyGPT terinspirasi oleh kerangka kerja WinCLIP, PatchCore, dan APRIL-GAN. Model ini membagi pengkode gambar menjadi 4 tahap, dan mengekstrak fitur-fitur tingkat patch intermediate dengan setiap tahap. 

Namun, fitur-fitur intermediate ini belum melalui penyelarasan gambar-teks akhir, sehingga tidak dapat dibandingkan langsung dengan fitur-fitur. Untuk mengatasi masalah ini, model AnomalyGPT memperkenalkan lapisan tambahan untuk memproyeksikan fitur-fitur intermediate, dan menyelaraskannya dengan fitur-fitur teks yang mewakili semantik normal dan abnormal. 

Pembelajar Prompt

Kerangka kerja AnomalyGPT memperkenalkan pembelajar prompt yang berusaha untuk mengubah hasil lokalisisasi menjadi embedding prompt untuk memanfaatkan semantik yang halus dari gambar, dan juga mempertahankan konsistensi semantik antara output dekoder dan LLM. Selain itu, model ini mengintegrasikan embedding prompt yang dapat dipelajari, tidak terkait dengan output dekoder, ke dalam pembelajar prompt untuk menyediakan informasi tambahan untuk tugas IAD. Akhirnya, model ini memberikan embedding dan informasi gambar asli ke LLM. 

Pembelajar prompt terdiri dari embedding prompt dasar yang dapat dipelajari, dan jaringan saraf konvolusional. Jaringan ini mengubah hasil lokalisisasi menjadi embedding prompt, dan membentuk sebuah set embedding prompt yang kemudian digabungkan dengan embedding gambar ke dalam LLM. 

Simulasi Anomali

Model AnomalyGPT mengadopsi metode NSA untuk mensimulasikan data anomali. Metode NSA menggunakan teknik Cut-paste dengan menggunakan metode editing gambar Poisson untuk mengurangi diskontinuitas yang diperkenalkan oleh pemolesan segmen gambar. Cut-paste adalah teknik yang umum digunakan dalam kerangka kerja IAD untuk menghasilkan gambar anomali yang disimulasikan. 

Teknik Cut-paste melibatkan memotong sebuah blok wilayah dari gambar secara acak, dan menempelkannya ke lokasi acak di gambar lain, sehingga menciptakan sebagian anomali yang disimulasikan. Sampel anomali yang disimulasikan ini dapat meningkatkan kinerja model IAD, tetapi ada kelemahan, karena mereka sering menghasilkan diskontinuitas yang terlihat. Metode editing Poisson bertujuan untuk mengkloning objek dari satu gambar ke gambar lain dengan menyelesaikan persamaan diferensial Poisson. 

Gambar di atas menggambarkan perbandingan antara editing Poisson dan Cut-paste. Seperti yang dapat dilihat, ada diskontinuitas yang terlihat pada metode Cut-paste, sedangkan hasil dari editing Poisson tampak lebih alami. 

Konten Pertanyaan dan Jawaban

Untuk melakukan penyetelan prompt pada Large Vision Language Model, model AnomalyGPT menghasilkan pertanyaan teks yang sesuai berdasarkan gambar anomali. Setiap pertanyaan terdiri dari dua komponen utama. Bagian pertama pertanyaan terdiri dari deskripsi gambar input yang menyediakan informasi tentang objek yang ada di gambar bersama dengan atribut yang diharapkan. Bagian kedua pertanyaan adalah untuk mendeteksi keberadaan anomali dalam objek, atau memeriksa apakah ada anomali dalam gambar. 

Model LLM pertama-tama merespons pertanyaan apakah ada anomali dalam gambar? Jika model mendeteksi anomali, maka model tersebut melanjutkan untuk menentukan lokasi dan jumlah area anomali. Model ini membagi gambar menjadi grid 3×3 yang terdiri dari wilayah yang berbeda untuk memungkinkan LLM untuk menunjukkan posisi anomali secara lisan seperti yang ditunjukkan pada gambar di bawah. 

Model LLM diberikan pengetahuan deskriptif tentang input dengan pengetahuan dasar tentang gambar input yang membantu model memahami komponen gambar dengan lebih baik. 

Dataset dan Metrik Evaluasi

Model ini melakukan eksperimen utamanya pada dataset VisA dan MVTec-AD. Dataset MVTec-AD terdiri dari 3629 gambar untuk pelatihan, dan 1725 gambar untuk pengujian yang dibagi di seluruh 15 kategori yang berbeda, sehingga menjadikannya salah satu dataset paling populer untuk kerangka kerja IAD. Gambar pelatihan memiliki fitur gambar normal saja, sedangkan gambar pengujian memiliki fitur gambar normal dan anomali. Di sisi lain, dataset VisA terdiri dari 9621 gambar normal, dan sekitar 1200 gambar anomali yang dibagi di seluruh 12 kategori yang berbeda. 

Melangkah lebih jauh, seperti kerangka kerja IAD yang ada, model AnomalyGPT menggunakan AUC atau Area Under the Receiver Operating Characteristics sebagai metrik evaluasi, dengan AUC tingkat piksel dan AUC tingkat gambar digunakan untuk menilai kinerja lokalisisasi anomali, dan deteksi anomali secara berturut-turut. Namun, model ini juga menggunakan akurasi tingkat gambar untuk menilai kinerja pendekatan yang diusulkan karena memungkinkan untuk menentukan keberadaan anomali tanpa memerlukan pengaturan ambang batas manual. 

Hasil

Hasil Kuantitatif

Deteksi Anomalies Industri Few-Shot

Model AnomalyGPT membandingkan hasilnya dengan kerangka kerja IAD few-shot sebelumnya, termasuk PaDiM, SPADE, WinCLIP, dan PatchCore sebagai baseline. 

Gambar di atas membandingkan hasil model AnomalyGPT dengan kerangka kerja IAD few-shot. Di seluruh dataset, metode yang diikuti oleh AnomalyGPT outperforms pendekatan yang diadopsi oleh model sebelumnya dalam hal AUC tingkat gambar, dan juga mengembalikan akurasi yang baik. 

Deteksi Anomalies Industri Tidak Terawasi

Dalam pengaturan pelatihan tidak terawasi dengan sejumlah besar sampel normal, AnomalyGPT melatih satu model pada sampel yang diperoleh dari semua kelas dalam dataset. Pengembang AnomalyGPT telah memilih kerangka kerja UniAD karena dilatih dalam pengaturan yang sama, dan akan bertindak sebagai baseline untuk perbandingan. Selain itu, model ini juga membandingkan dengan kerangka kerja JNLD dan PaDim menggunakan pengaturan yang sama. 

Gambar di atas membandingkan kinerja AnomalyGPT dibandingkan dengan kerangka kerja lain. 

Hasil Kualitatif

Gambar di atas menggambarkan kinerja model AnomalyGPT dalam metode deteksi anomali tidak terawasi, sedangkan gambar di bawah menunjukkan kinerja model dalam metode pembelajaran konteks satu-shot. 

Model AnomalyGPT dapat menunjukkan keberadaan anomali, menandai lokasinya, dan menyediakan hasil lokalisisasi tingkat piksel. Ketika model berada dalam metode pembelajaran konteks satu-shot, kinerja lokalisisasi model sedikit lebih rendah dibandingkan dengan metode pelatihan tidak terawasi karena kurangnya pelatihan. 

Kesimpulan

AnomalyGPT adalah sebuah model bahasa visi besar yang dirancang khusus untuk memanfaatkan kemampuan Large Vision Language Models. Model ini tidak hanya dapat mendeteksi anomali dalam gambar, tetapi juga menunjukkan lokasi yang tepat. Selain itu, AnomalyGPT juga memfasilitasi dialog multi-giliran yang berfokus pada deteksi anomali dan menunjukkan kinerja yang luar biasa dalam pembelajaran konteks satu-shot. AnomalyGPT memperkenalkan ide dan kemungkinan baru untuk industri IAD dengan memanfaatkan LVLMs dalam deteksi anomali.