Model Difusi Pengurangan Kebisingan adalah kerangka kerja AI generatif yang mensintesis gambar dari kebisingan melalui proses pengurangan kebisingan iteratif. Mereka dipuji karena kemampuan pembuatan gambar yang luar biasa dan keragamannya, yang sebagian besar dapat dikaitkan dengan metode bimbingan kondisional, termasuk bimbingan klasifikasi dan bimbingan bebas klasifikasi. Model-model ini telah terbukti sangat sukses dalam membuat gambar yang beragam dan berkualitas tinggi. Studi-studi terbaru telah menunjukkan bahwa teknik bimbingan seperti kapion kelas dan label memainkan peran penting dalam meningkatkan kualitas gambar yang dihasilkan oleh model-model ini.

Namun, model difusi dan metode bimbingan menghadapi keterbatasan dalam kondisi tertentu. Metode Bimbingan Bebas Klasifikasi (CFG) yang menggunakan label drop, menambah kompleksitas pada proses pelatihan, sedangkan metode Bimbingan Klasifikasi (CG) memerlukan pelatihan klasifikasi tambahan. Kedua metode ini terbatas oleh ketergantungannya pada kondisi eksternal yang sulit diperoleh, sehingga membatasi potensinya dan mengurungnya dalam pengaturan kondisional.

Untuk mengatasi keterbatasan ini, pengembang telah merumuskan pendekatan yang lebih umum untuk bimbingan difusi, yang dikenal sebagai Panduan Perhatian Diri (SAG). Metode ini memanfaatkan informasi dari sampel antara model difusi untuk menghasilkan gambar. Kami akan membahas SAG dalam artikel ini, membahas cara kerjanya, metodologi, dan hasilnya dibandingkan dengan kerangka kerja dan pipeline yang ada saat ini.

Panduan Perhatian Diri: Meningkatkan Kualitas Sampel Model Difusi

Model Difusi Pengurangan Kebisingan (DDMs) telah menjadi populer karena kemampuan mereka untuk membuat gambar dari kebisingan melalui proses pengurangan kebisingan iteratif. Kemampuan sintesis gambar dari model-model ini sebagian besar disebabkan oleh metode bimbingan difusi yang digunakan. Meskipun kekuatan mereka, model difusi dan metode bimbingan berbasis menghadapi tantangan seperti kompleksitas tambahan dan biaya komputasi yang meningkat.

Untuk mengatasi keterbatasan saat ini, pengembang telah memperkenalkan metode Panduan Perhatian Diri, suatu formulasi yang lebih umum dari bimbingan difusi yang tidak bergantung pada informasi eksternal dari bimbingan difusi, sehingga memfasilitasi pendekatan kondisional dan fleksibel untuk membimbing kerangka kerja difusi. Pendekatan yang dipilih oleh Panduan Perhatian Diri pada akhirnya membantu meningkatkan kemampuan metode bimbingan tradisional untuk kasus dengan atau tanpa persyaratan eksternal.

Panduan Perhatian Diri didasarkan pada prinsip formulasi umum, dan asumsi bahwa informasi internal yang terkandung dalam sampel antara dapat berfungsi sebagai bimbingan juga. Berdasarkan prinsip ini, metode SAG pertama-tama memperkenalkan Bimbingan Kabur, solusi sederhana dan langsung untuk meningkatkan kualitas sampel. Bimbingan kabur bertujuan untuk memanfaatkan sifat kabur Gaussian untuk menghilangkan detail skala halus secara alami dengan membimbing sampel antara menggunakan informasi yang dihilangkan sebagai hasil kabur Gaussian. Meskipun metode Bimbingan Kabur memang meningkatkan kualitas sampel dengan skala bimbingan moderat, metode ini gagal mereplikasi hasilnya pada skala bimbingan besar karena sering memperkenalkan ambiguitas struktural di seluruh wilayah.

Dengan asumsi bahwa perhatian diri sangat penting untuk menangkap informasi yang menonjol, metode Panduan Perhatian Diri menggunakan peta perhatian diri dari model difusi untuk mengaburkan wilayah yang mengandung informasi yang menonjol, dan dalam prosesnya, membimbing model difusi dengan informasi residu yang diperlukan. Metode ini kemudian memanfaatkan peta perhatian selama proses balik model difusi, untuk meningkatkan kualitas gambar dan menggunakan kondisi diri untuk mengurangi artefak tanpa memerlukan pelatihan tambahan atau informasi eksternal.

Untuk merangkum, metode Panduan Perhatian Diri

1. Merupakan pendekatan baru yang menggunakan peta perhatian diri internal dari kerangka kerja difusi untuk meningkatkan kualitas gambar sampel yang dihasilkan tanpa memerlukan pelatihan tambahan atau bergantung pada kondisi eksternal.
2. Metode SAG berusaha untuk menggeneralisasi metode bimbingan kondisional menjadi metode kondisional yang dapat diintegrasikan dengan model difusi apa pun tanpa memerlukan sumber daya tambahan atau kondisi eksternal, sehingga meningkatkan kemampuan kerangka kerja berbasis bimbingan.
3. Metode SAG juga berusaha untuk menunjukkan kemampuan ortogonalnya terhadap metode kondisional yang ada dan kerangka kerja, sehingga memfasilitasi peningkatan kinerja dengan memungkinkan integrasi yang fleksibel dengan metode dan model lain.

Melanjutkan, metode Panduan Perhatian Diri belajar dari temuan kerangka kerja yang terkait, termasuk Model Difusi Pengurangan Kebisingan, Bimbingan Sampel, Metode Perhatian Diri AI Generatif, dan Representasi Internal Model Difusi. Namun, pada intinya, metode Panduan Perhatian Diri menerapkan pembelajaran dari DDPM atau Model Difusi Probabilistik Pengurangan Kebisingan, Bimbingan Klasifikasi, Bimbingan Bebas Klasifikasi, dan Perhatian Diri dalam Kerangka Kerja Difusi.

Panduan Perhatian Diri: Preliminaries, Metodologi, dan Arsitektur

Model Difusi Probabilistik Pengurangan Kebisingan atau DDPM

DDPM atau Model Difusi Probabilistik Pengurangan Kebisingan adalah model yang menggunakan proses pengurangan kebisingan iteratif untuk memulihkan gambar dari kebisingan putih. Secara tradisional, model DDPM menerima gambar input dan jadwal varians pada langkah waktu untuk memperoleh gambar menggunakan proses maju yang dikenal sebagai proses Markovian.

Klasifikasi dan Bimbingan Bebas Klasifikasi dengan Implementasi GAN

GAN atau Jaringan Adversarial Generatif memiliki keunggulan dalam perdagangan keanekaragaman untuk kesetiaan, dan untuk membawa kemampuan ini dari kerangka kerja GAN ke model difusi, kerangka kerja Panduan Perhatian Diri mengusulkan untuk menggunakan metode bimbingan klasifikasi yang menggunakan klasifikasi tambahan. Sebaliknya, metode bimbingan bebas klasifikasi juga dapat diimplementasikan tanpa menggunakan klasifikasi tambahan untuk mencapai hasil yang sama. Meskipun metode ini menghasilkan hasil yang diinginkan, metode ini masih tidak layak secara komputasi karena memerlukan label tambahan, dan juga membatasi kerangka kerja pada model difusi kondisional yang memerlukan kondisi tambahan seperti teks atau kelas bersama dengan detail pelatihan tambahan yang menambah kompleksitas model.

Menggeneralisasi Bimbingan Difusi

Meskipun metode Bimbingan Klasifikasi dan Bimbingan Bebas Klasifikasi menghasilkan hasil yang diinginkan dan membantu dengan pembuatan kondisional dalam model difusi, metode ini bergantung pada input tambahan. Untuk setiap langkah waktu, input untuk model difusi terdiri dari kondisi umum dan sampel terganggu tanpa kondisi umum. Selanjutnya, kondisi umum mencakup informasi internal dalam sampel terganggu atau kondisi eksternal, atau keduanya. Bimbingan yang dihasilkan diformulasikan dengan menggunakan regresor imajiner dengan asumsi bahwa dapat memprediksi kondisi umum.

Meningkatkan Kualitas Gambar menggunakan Peta Perhatian Diri

Bimbingan Difusi Umum menyiratkan bahwa memungkinkan untuk memberikan bimbingan pada proses balik model difusi dengan mengekstrak informasi yang menonjol dalam kondisi umum yang terkandung dalam sampel terganggu. Berdasarkan hal ini, metode Panduan Perhatian Diri menangkap informasi yang menonjol untuk proses balik secara efektif sambil membatasi risiko yang timbul sebagai akibat dari masalah out-of-distribution dalam model difusi pra-terlatih.

Bimbingan Kabur

Bimbingan kabur dalam Panduan Perhatian Diri didasarkan pada Kabur Gaussian, metode penyaringan linier di mana sinyal input dikonvolusi dengan filter Gaussian untuk menghasilkan output. Dengan peningkatan deviasi standar, Kabur Gaussian mengurangi detail skala halus dalam sinyal input, dan menghasilkan sinyal input yang tidak dapat dibedakan secara lokal dengan menghaluskan sinyal ke arah konstan.

Berdasarkan pembelajaran ini, kerangka kerja Panduan Perhatian Diri memperkenalkan Bimbingan Kabur, suatu teknik yang secara sengaja menghilangkan informasi dari rekonstruksi antara selama proses difusi, dan sebagai gantinya, menggunakan informasi ini untuk membimbing prediksi menuju peningkatan relevansi gambar terhadap informasi input. Bimbingan kabur pada dasarnya menyebabkan prediksi asli menyimpang lebih dari prediksi input kabur. Selanjutnya, sifat kabur yang baik mencegah sinyal output menyimpang secara signifikan dari sinyal asli dengan penyimpangan moderat.

Dalam pipeline Panduan Perhatian Diri, sinyal input pertama-tama dikaburkan menggunakan filter Gaussian, dan kemudian didifusikan dengan kebisingan tambahan untuk menghasilkan sinyal output. Dengan melakukan ini, pipeline SAG mengurangi efek sampingan dari kabur yang mengurangi kebisingan Gaussian, dan membuat bimbingan bergantung pada konten daripada bergantung pada kebisingan acak.

Hasil ini mungkin merupakan hasil dari ambiguitas struktural yang diperkenalkan dalam kerangka kerja oleh kabur global yang membuat pipeline SAG sulit untuk menyelaraskan prediksi input asli dengan input yang terdegradasi, menghasilkan output yang berisik.

Mekanisme Perhatian Diri

Seperti yang disebutkan sebelumnya, model difusi biasanya memiliki komponen perhatian diri yang terintegrasi, dan ini adalah salah satu komponen yang lebih penting dalam kerangka kerja model difusi. Mekanisme Perhatian Diri diimplementasikan di inti model difusi, dan memungkinkan model untuk memperhatikan bagian yang menonjol dari input selama proses generatif seperti yang ditunjukkan dalam gambar berikut dengan masker frekuensi tinggi di baris atas, dan masker perhatian diri di baris bawah dari gambar yang dihasilkan.

Metode Panduan Perhatian Diri yang diusulkan membangun pada prinsip yang sama, dan memanfaatkan kemampuan peta perhatian diri dalam model difusi. Secara keseluruhan, metode Panduan Perhatian Diri mengaburkan patch yang diperhatikan dalam sinyal input atau dengan kata lain, menyembunyikan informasi patch yang diperhatikan oleh model difusi. Selanjutnya, sinyal output dalam Panduan Perhatian Diri mengandung wilayah yang utuh dari sinyal input, yang berarti tidak menghasilkan ambiguitas struktural dari input, dan memecahkan masalah kabur global.

Panduan Perhatian Diri: Eksperimen dan Hasil

Untuk mengevaluasi kinerjanya, pipeline Panduan Perhatian Diri disampling menggunakan 8 GPU Nvidia GeForce RTX 3090, dan dibangun di atas model IDDPM, ADM, dan Stable Diffusion yang sudah dilatih sebelumnya.

Generasi Tak Bersyarat dengan Panduan Perhatian Diri

Untuk mengukur efektivitas pipeline SAG pada model tak bersyarat dan menunjukkan sifat bebas kondisi yang tidak dimiliki oleh Bimbingan Klasifikasi dan Bimbingan Bebas Klasifikasi, pipeline SAG dijalankan pada model yang sudah dilatih sebelumnya tanpa kondisi pada 50.000 sampel.

Seperti yang dapat dilihat, implementasi pipeline SAG meningkatkan metrik FID, sFID, dan IS dari input tak bersyarat sambil menurunkan nilai recall pada saat yang sama. Selanjutnya, perbaikan kualitatif sebagai hasil dari implementasi pipeline SAG jelas terlihat dalam gambar berikut di mana gambar di atas adalah hasil dari model ADM dan Stable Diffusion, sedangkan gambar di bawah adalah hasil dari model ADM dan Stable Diffusion dengan pipeline SAG.

Generasi Bersyarat dengan SAG

Integrasi pipeline SAG dalam kerangka kerja yang ada menghasilkan hasil yang luar biasa dalam generasi tak bersyarat, dan pipeline SAG mampu melakukan generasi bersyarat juga.

Stable Diffusion dengan Panduan Perhatian Diri

Meskipun kerangka kerja Stable Diffusion asli menghasilkan gambar berkualitas tinggi, mengintegrasikan kerangka kerja Stable Diffusion dengan pipeline Panduan Perhatian Diri dapat meningkatkan hasilnya secara drastis. Untuk mengevaluasi efeknya, pengembang menggunakan prompt kosong untuk Stable Diffusion dengan benih acak untuk setiap pasangan gambar, dan menggunakan evaluasi manusia pada 500 pasangan gambar dengan dan tanpa Panduan Perhatian Diri.

Selanjutnya, implementasi SAG dapat meningkatkan kemampuan kerangka kerja Stable Diffusion karena menggabungkan Bimbingan Bebas Klasifikasi dengan Panduan Perhatian Diri dapat memperluas jangkauan model Stable Diffusion ke sintesis gambar-ke-teks. Selanjutnya, gambar yang dihasilkan dari model Stable Diffusion dengan Panduan Perhatian Diri memiliki kualitas yang lebih tinggi dengan artefak yang lebih sedikit berkat efek kondisi diri dari pipeline SAG seperti yang ditunjukkan dalam gambar berikut.

Keterbatasan Saat Ini

Meskipun implementasi pipeline Panduan Perhatian Diri dapat secara signifikan meningkatkan kualitas gambar yang dihasilkan, metode ini memiliki beberapa keterbatasan.

Salah satu keterbatasan utama adalah ortogonalitas dengan Bimbingan Klasifikasi dan Bimbingan Bebas Klasifikasi. Seperti yang dapat dilihat dalam gambar berikut, implementasi SAG memang meningkatkan skor FID dan skor prediksi yang berarti bahwa pipeline SAG mengandung komponen ortogonal yang dapat digunakan dengan metode bimbingan tradisional secara bersamaan.

Namun, metode ini masih memerlukan model difusi untuk dilatih dengan cara tertentu yang menambah kompleksitas serta biaya komputasi.

Selanjutnya, implementasi Panduan Perhatian Diri tidak meningkatkan konsumsi memori atau waktu, yang merupakan indikasi bahwa overhead yang dihasilkan dari operasi seperti masking dan kabur dalam SAG adalah negligible. Namun, metode ini masih menambah biaya komputasi karena termasuk langkah tambahan dibandingkan dengan pendekatan tanpa bimbingan.

Pemikiran Akhir

Dalam artikel ini, kami telah membahas tentang Panduan Perhatian Diri, suatu formulasi baru dan umum dari metode bimbingan yang menggunakan informasi internal yang tersedia dalam model difusi untuk menghasilkan gambar berkualitas tinggi. Panduan Perhatian Diri didasarkan pada prinsip formulasi umum, dan asumsi bahwa informasi internal yang terkandung dalam sampel antara dapat berfungsi sebagai bimbingan juga. Pipeline Panduan Perhatian Diri adalah suatu pendekatan bebas kondisi dan bebas pelatihan yang dapat diimplementasikan di berbagai model difusi, dan menggunakan kondisi diri untuk mengurangi artefak dalam gambar yang dihasilkan, serta meningkatkan kualitas secara keseluruhan.