Bagaimana Stable Diffusion Dapat Berkembang sebagai Produk Konsumen Arus Utama

Ironisnya, Stable Diffusion, kerangka sintesis gambar AI yang telah menghebohkan dunia, sebenarnya tidak stabil dan tidak benar-benar “difus” – setidaknya, belum.

Jangkauan penuh kemampuan sistem ini tersebar di berbagai penawaran yang terus berubah dari sejumlah pengembang yang dengan giat menukar informasi dan teori terbaru di berbagai forum di Discord – dan sebagian besar prosedur instalasi untuk paket yang mereka buat atau modifikasi sangat jauh dari “plug and play”.

Bahkan, mereka cenderung memerlukan instalasi melalui baris perintah atau BAT-driven melalui GIT, Conda, Python, Miniconda, dan kerangka pengembangan lainnya yang sangat mutakhir – paket perangkat lunak yang sangat jarang ditemukan di antara konsumen umum sehingga instalasinya sering diblokir oleh vendor antivirus dan anti-malware sebagai bukti sistem host yang dikompromikan.

Hanya beberapa tahap dari serangkaian tahap yang diperlukan untuk instalasi Stable Diffusion standar. Banyak distribusi juga memerlukan versi tertentu dari Python, yang mungkin bertentangan dengan versi yang sudah terinstal di mesin pengguna – meskipun ini dapat dihindari dengan instalasi berbasis Docker dan, sampai batas tertentu, dengan menggunakan lingkungan Conda.

Benang diskusi di komunitas Stable Diffusion SFW dan NSFW dipenuhi dengan tips dan trik terkait peretasan skrip Python dan instalasi standar, untuk memungkinkan fungsionalitas yang ditingkatkan atau untuk memecahkan berbagai kesalahan ketergantungan dan masalah lainnya.

Hal ini meninggalkan konsumen rata-rata, yang tertarik untuk menghasilkan gambar luar biasa dari prompt teks, hampir sepenuhnya pada belas kasihan dari sejumlah besar antarmuka web API yang dimonetisasi, sebagian besar menawarkan jumlah generasi gambar gratis yang minimal sebelum memerlukan pembelian token.

Selain itu, hampir semua penawaran berbasis web ini menolak untuk mengeluarkan konten NSFW (yang sebagian besar mungkin terkait dengan subjek non-pornografi yang umum, seperti ‘perang’) yang membedakan Stable Diffusion dari layanan OpenAI yang disensor, DALL-E 2.

‘Photoshop untuk Stable Diffusion’

Yang ditunggu-tunggu oleh dunia yang lebih luas adalah ‘Photoshop untuk Stable Diffusion’ – sebuah aplikasi yang dapat diinstal di berbagai platform yang menggabungkan fungsionalitas terbaik dan paling kuat dari arsitektur Stability.ai, serta berbagai inovasi cerdas dari komunitas pengembang SD yang muncul, tanpa jendela baris perintah yang mengambang, rutinitas instalasi dan pemutakhiran yang tidak jelas dan berubah-ubah, atau fitur yang hilang.

Apa yang kita miliki sekarang, di sebagian besar instalasi yang lebih mampu, adalah sebuah halaman web yang elegan yang dilintasi oleh jendela baris perintah yang terlepas, dan URL-nya adalah localhost port:

Serupa dengan aplikasi sintesis CLI-driven seperti FaceSwap, dan DeepFaceLab yang berbasis BAT, instalasi ‘prepack’ dari Stable Diffusion menunjukkan akar baris perintahnya, dengan antarmuka yang diakses melalui localhost port (lihat bagian atas gambar di atas) yang berkomunikasi dengan fungsionalitas Stable Diffusion berbasis CLI.

Tanpa ragu, aplikasi yang lebih terstruktur akan segera muncul. Sudah ada beberapa aplikasi integral yang dapat diunduh, seperti GRisk dan NMKD (lihat gambar di bawah) – tetapi tidak ada yang, sampai saat ini, mengintegrasikan rentang penuh fitur yang beberapa implementasi Stable Diffusion yang lebih maju dan kurang dapat diakses dapat menawarkan.

Paket awal Stable Diffusion, sedikit ‘diaplikasikan’. NMKD adalah yang pertama mengintegrasikan output CLI langsung ke GUI.

Mari kita lihat seperti apa implementasi yang lebih halus dan integral dari keajaiban sumber terbuka ini mungkin terlihat – dan tantangan apa yang mungkin dihadapinya.

Pertimbangan Hukum untuk Aplikasi Stable Diffusion Komersial yang Didanai Penuh

Faktor NSFW

Kode sumber Stable Diffusion telah dirilis di bawah lisensi yang sangat memungkinkan yang tidak melarang implementasi komersial dan karya turunan yang membangun secara luas dari kode sumber.

Di samping berbagai paket Stable Diffusion berbasis Patreon yang sedang berkembang, serta sejumlah besar plugin aplikasi yang sedang dikembangkan untuk Figma, Krita, Photoshop, GIMP, dan Blender (di antara lainnya), tidak ada alasan praktis mengapa sebuah rumah pengembangan perangkat lunak yang didanai dengan baik tidak dapat mengembangkan aplikasi Stable Diffusion yang jauh lebih canggih dan mampu. Dari perspektif pasar, ada setiap alasan untuk percaya bahwa beberapa inisiatif tersebut sudah dalam proses.

Di sini, upaya tersebut segera menghadapi dilema tentang apakah aplikasi tersebut akan memungkinkan filter NSFW asli Stable Diffusion (sebuah fragmen kode) untuk dimatikan.

‘Mengubur’ Tombol NSFW

Meskipun lisensi sumber terbuka Stability.ai untuk Stable Diffusion mencakup daftar aplikasi yang cukup dapat diinterpretasikan yang tidak boleh digunakan (yang mungkin termasuk konten pornografi dan deepfakes), satu-satunya cara vendor dapat secara efektif melarang penggunaan tersebut adalah dengan mengompilasi filter NSFW menjadi eksekusi yang tidak transparan daripada parameter dalam file Python, atau memaksakan perbandingan checksum pada file Python atau DLL yang berisi direktif NSFW, sehingga render tidak dapat terjadi jika pengguna mengubah pengaturan ini.

Ini akan meninggalkan aplikasi yang diklaim ‘dikebiri’ dengan cara yang sama seperti DALL-E 2 saat ini, yang mengurangi daya tarik komersialnya. Juga, tak terelakkan, versi ‘dokter’ dari komponen-komponen ini (baik elemen runtime Python asli atau file DLL yang dikompilasi, seperti yang sekarang digunakan dalam seri alat peningkatan gambar AI Topaz) kemungkinan akan muncul di komunitas peretasan/torrent untuk mengaktifkan kembali pembatasan tersebut, dengan hanya menggantikan elemen-elemen yang menghalangi, dan membatalkan persyaratan checksum.

Akhirnya, vendor mungkin memilih untuk hanya mengulangi peringatan Stability.ai tentang penyalahgunaan yang ditampilkan dalam jalur pertama dari banyak distribusi Stable Diffusion saat ini.

Namun, pengembang sumber terbuka kecil yang saat ini menggunakan pengakuan santai dengan cara ini memiliki sedikit yang hilang dibandingkan dengan perusahaan perangkat lunak yang telah menginvestasikan sejumlah besar waktu dan uang untuk membuat Stable Diffusion menjadi fitur lengkap dan dapat diakses – yang mengundang pertimbangan yang lebih dalam.

Tanggung Jawab Deepfake

Seperti yang telah kami catat baru-baru ini, basis data estetika LAION, bagian dari 4,2 miliar gambar yang digunakan untuk melatih model Stable Diffusion, berisi sejumlah besar gambar selebriti, yang memungkinkan pengguna untuk secara efektif membuat deepfakes, termasuk deepfake selebriti pornografi.

Dari artikel kami sebelumnya, empat tahap Jennifer Connelly selama empat dekade karirnya, diinferensikan dari Stable Diffusion.

Ini adalah masalah yang terpisah dan lebih kontroversial daripada pembuatan ‘abstrak’ pornografi (yang biasanya tidak menggambarkan ‘orang nyata’ (meskipun gambar-gambar tersebut diinferensikan dari beberapa foto nyata dalam materi pelatihan).

Karena sejumlah negara bagian AS dan negara mengembangkan, atau telah mengesahkan, undang-undang melawan deepfake pornografi, kemampuan Stable Diffusion untuk membuat selebriti pornografi dapat berarti bahwa aplikasi komersial yang tidak sepenuhnya disensor (yaitu yang dapat membuat materi pornografi) mungkin masih perlu beberapa kemampuan untuk menyaring wajah selebriti.

Satu metode adalah dengan menyediakan daftar hitam istilah yang tidak akan diterima dalam prompt pengguna, yang terkait dengan nama selebriti dan karakter fiksi yang mungkin mereka asosiasikan. Kemungkinan besar, pengaturan tersebut perlu diaktifkan dalam lebih dari satu bahasa, karena data asli fitur bahasa lain. Pendekatan lain bisa dengan mengintegrasikan sistem pengenalan selebriti seperti yang dikembangkan oleh Clarifai.

Ini mungkin perlu bagi produsen perangkat lunak untuk mengintegrasikan metode tersebut, mungkin awalnya dimatikan, yang dapat membantu mencegah aplikasi Stable Diffusion mandiri dari menghasilkan wajah selebriti, sampai undang-undang baru yang dapat membuat fungsionalitas tersebut ilegal.

Sekali lagi, bagaimanapun, fungsionalitas tersebut dapat dengan mudah dibongkar dan dibalik oleh pihak yang berkepentingan; namun, produsen perangkat lunak dapat, dalam kejadian tersebut, mengklaim bahwa ini secara efektif merupakan tindakan vandalisme yang tidak disahkan – selama peretasan semacam itu tidak dibuat terlalu mudah.

Fitur yang Dapat Dimasukkan

Fungsionalitas inti dalam setiap distribusi Stable Diffusion akan diharapkan dari setiap aplikasi komersial yang didanai dengan baik. Ini termasuk kemampuan untuk menggunakan prompt teks untuk menghasilkan gambar yang sesuai (teks-ke-gambar); kemampuan untuk menggunakan sketsa atau gambar lain sebagai pedoman untuk gambar yang dihasilkan baru (gambar-ke-gambar); sarana untuk menyesuaikan seberapa “imajinatif” sistem itu harus diarahkan; cara untuk mempertukarkan waktu render dengan kualitas; dan “dasar” lainnya, seperti penyimpanan gambar/prompt otomatis opsional, dan penskalaan rutin opsional melalui RealESRGAN, dan setidaknya “perbaikan wajah” dasar dengan GFPGAN atau CodeFormer.

Itu adalah “instalasi vanilla”. Mari kita lihat beberapa fitur yang lebih maju yang saat ini sedang dikembangkan atau diperluas, yang dapat dimasukkan ke dalam aplikasi Stable Diffusion yang lengkap dan tradisional.

Pembekuan Stokastik

Bahkan jika Anda menggunakan kembali benih dari render sebelumnya yang sukses, itu sangat sulit untuk membuat Stable Diffusion mengulangi transformasi dengan akurat jika bagian mana pun dari prompt atau gambar sumber (atau keduanya) diubah untuk render berikutnya.

Ini adalah masalah jika Anda ingin menggunakan EbSynth untuk menerapkan transformasi Stable Diffusion ke video nyata dengan cara yang konsisten secara temporal – meskipun teknik ini dapat sangat efektif untuk bidikan sederhana kepala dan bahu:

Gerakan terbatas dapat membuat EbSynth menjadi medium yang efektif untuk mengubah transformasi Stable Diffusion menjadi video realistis. Sumber: https://streamable.com/u0pgzd

EbSynth bekerja dengan mengextrapolasi sejumlah kecil ‘frame yang diubah’ menjadi video yang telah di-render menjadi serangkaian file gambar (dan yang dapat kemudian dirakit kembali menjadi video).

Dalam contoh ini dari situs EbSynth, sejumlah kecil frame dari video telah dilukis dengan cara artistik. EbSynth menggunakan frame ini sebagai pedoman gaya untuk mengubah seluruh video sehingga sesuai dengan gaya yang dilukis. Sumber: https://www.youtube.com/embed/eghGQtQhY38

Dalam contoh di bawah, yang menampilkan hampir tidak ada gerakan dari (nyata) instruktur yoga blonde di sebelah kiri, Stable Diffusion masih memiliki kesulitan mempertahankan wajah yang konsisten, karena tiga gambar yang diubah sebagai ‘frame kunci’ tidak sepenuhnya identik, meskipun mereka semua berbagi benih numerik yang sama.

Di sini, bahkan dengan prompt dan benih yang sama di semua tiga transformasi, dan perubahan sangat sedikit antara frame sumber, otot-otot tubuh bervariasi dalam ukuran dan bentuk, tetapi lebih penting lagi, wajah tidak konsisten, menghambat konsistensi temporal dalam render EbSynth potensial.

Video EbSynth/SD di bawah ini sangat inovatif, di mana jari-jari pengguna berubah menjadi (berturut-turut) sepasang kaki berpakaian dan seekor bebek, inkonsistensi celana panjang tersebut menggambarkan masalah yang dihadapi Stable Diffusion dalam mempertahankan konsistensi di seluruh frame kunci yang berbeda, bahkan ketika frame sumber sangat mirip satu sama lain dan benih konsisten.

Jari-jari pria berubah menjadi pria berjalan dan bebek, melalui Stable Diffusion dan EbSynth. Sumber: https://old.reddit.com/r/StableDiffusion/comments/x92itm/proof_of_concept_using_img2img_ebsynth_to_animate/

Pengguna yang membuat video ini menyatakan bahwa transformasi bebek, yang secara argumentatif lebih efektif dari keduanya, jika kurang menarik dan asli, hanya memerlukan satu frame kunci yang diubah, sedangkan diperlukan 50 gambar Stable Diffusion untuk membuat celana panjang, yang menunjukkan inkonsistensi temporal lebih banyak. Pengguna juga mencatat bahwa diperlukan lima upaya untuk mencapai konsistensi untuk setiap frame kunci.

Oleh karena itu, akan menjadi manfaat besar bagi aplikasi Stable Diffusion yang komprehensif untuk menyediakan fungsionalitas yang mempertahankan karakteristik hingga tingkat maksimum di seluruh frame kunci.

Satu kemungkinan adalah aplikasi untuk memungkinkan pengguna untuk ‘membekukan’ kode stokastik untuk transformasi pada setiap frame, yang saat ini hanya dapat dicapai dengan memodifikasi kode sumber secara manual. Seperti contoh di bawah ini menunjukkan, ini membantu konsistensi temporal, meskipun tidak sepenuhnya menyelesaikannya:

Seorang pengguna Reddit mengubah footage webcam dari dirinya sendiri menjadi orang-orang terkenal yang berbeda dengan tidak hanya mempertahankan benih (yang dapat dilakukan oleh setiap implementasi Stable Diffusion), tetapi dengan memastikan bahwa parameter stochastic_encode() identik dalam setiap transformasi. Ini dicapai dengan memodifikasi kode, tetapi bisa dengan mudah menjadi sakelar yang dapat diakses pengguna. Jelas, bagaimanapun, ini tidak sepenuhnya menyelesaikan semua masalah temporal. Sumber: https://old.reddit.com/r/StableDiffusion/comments/wyeoqq/turning_img2img_into_vid2vid/

Inversi Teks Berbasis Cloud

Solusi yang lebih baik untuk menghasilkan karakter dan objek yang konsisten secara temporal adalah dengan “membakar” mereka ke dalam Inversi Teks – sebuah file 5KB yang dapat dilatih dalam beberapa jam berdasarkan hanya lima gambar yang diberi anotasi, yang kemudian dapat dipanggil dengan prompt khusus, memungkinkan, misalnya, penampilan persisten karakter baru untuk dimasukkan dalam sebuah narasi.

Gambar yang terkait dengan tag yang sesuai dapat diubah menjadi entitas diskrit melalui Inversi Teks, dan dipanggil tanpa ambiguitas, dan dalam konteks dan gaya yang tepat, oleh kata-kata token khusus. Sumber: https://huggingface.co/docs/diffusers/training/text_inversion

Inversi Teks adalah file tambahan untuk model yang sangat besar dan terlatih penuh yang digunakan oleh Stable Diffusion, dan secara efektif “diselipkan” ke dalam proses penggunaan/prompt, sehingga mereka dapat berpartisipasi dalam adegan yang dihasilkan oleh model, dan mendapat manfaat dari pengetahuan model yang luas tentang objek, gaya, lingkungan, dan interaksi.

Namun, meskipun Inversi Teks tidak memerlukan waktu lama untuk dilatih, itu memerlukan sejumlah besar VRAM; menurut berbagai walkthrough saat ini, sekitar 12, 20, dan bahkan 40GB.

Karena sebagian besar pengguna kasual tidak mungkin memiliki kapasitas GPU seperti itu, layanan cloud sudah muncul yang akan menangani operasi, termasuk versi Hugging Face. Meskipun ada implementasi Google Colab yang dapat membuat inversi teks untuk Stable Diffusion, persyaratan VRAM dan waktu yang diperlukan mungkin membuat ini menantang bagi pengguna Colab tingkat gratis.

Untuk potensi aplikasi Stable Diffusion yang lengkap dan terinstal, melewati tugas berat ini ke server cloud perusahaan tampaknya merupakan strategi moneterisasi yang jelas (mengasumsikan bahwa aplikasi Stable Diffusion yang rendah biaya atau gratis dipenuhi dengan fungsionalitas non-gratis seperti ini, yang tampaknya mungkin dalam banyak aplikasi yang akan muncul dari teknologi ini dalam 6-9 bulan mendatang).

Selain itu, proses yang agak rumit dari mengannotasi dan memformat gambar dan teks yang dikirimkan dapat mendapat manfaat dari otomatisasi dalam lingkungan yang terintegrasi. Faktor “adiktif” menciptakan elemen unik yang dapat menjelajahi dan berinteraksi dengan dunia luas Stable Diffusion akan tampaknya sangat menggoda, baik bagi penggemar umum maupun pengguna muda.

Penimbangan Prompt yang Fleksibel

Terdapat banyak implementasi saat ini yang memungkinkan pengguna untuk menetapkan penekanan yang lebih besar pada bagian dari prompt teks yang panjang, tetapi instrumentalitas bervariasi cukup banyak di antara mereka, dan sering kali kikuk atau tidak intuitif.

Contohnya, garpu Stable Diffusion yang sangat populer oleh AUTOMATIC1111, misalnya, dapat menurunkan atau meningkatkan nilai kata prompt dengan mengelilinginya dengan tanda kurung tunggal atau ganda (untuk pengurangan penekanan) atau tanda kurung siku untuk penekanan ekstra.

Tanda kurung siku dan/atau tanda kurung dapat mengubah sarapan Anda dalam versi ini dari penimbangan prompt Stable Diffusion, tetapi itu adalah mimpi buruk kolesterol baik cara mana pun.

Iterasi lain dari Stable Diffusion menggunakan tanda seru untuk penekanan, sedangkan yang paling fleksibel memungkinkan pengguna untuk menetapkan bobot ke setiap kata dalam prompt melalui GUI.

Sistem harus juga memungkinkan bobot prompt negatif – tidak hanya untuk penggemar horor, tetapi karena mungkin ada misteri yang kurang mengancam dan lebih mendidik dalam ruang laten Stable Diffusion daripada yang dapat kita panggil dengan bahasa terbatas kita.

Outpainting

Tidak lama setelah open-sourcing Stable Diffusion yang sensasional, OpenAI mencoba – sebagian besar sia-sia – untuk merebut kembali beberapa kejayaan DALL-E 2 dengan mengumumkan ‘outpainting’, yang memungkinkan pengguna untuk memperluas gambar di luar batasnya dengan logika semantik dan koherensi visual.

Alami, ini sejak itu diimplementasikan dalam berbagai bentuk untuk Stable Diffusion, serta di Krita, dan harus dimasukkan dalam versi Stable Diffusion yang komprehensif dan seperti Photoshop.

Augmentasi berbasis ubin dapat memperluas render standar 512×512 hampir tak terbatas, selama prompt, gambar yang ada, dan logika semantik memungkinkan. Sumber: https://github.com/lkwq007/stablediffusion-infinity

Karena Stable Diffusion dilatih pada gambar 512x512px (dan karena berbagai alasan lain), itu sering memotong kepala (atau bagian tubuh lainnya) dari subjek manusia, bahkan ketika prompt jelas menunjukkan ‘penekanan kepala’, dll.

Contoh khas dari ‘pemenggalan’ Stable Diffusion; tetapi outpainting dapat mengembalikan George ke dalam gambar.

Implementasi outpainting apa pun sebagaimana yang diilustrasikan pada gambar animasi di atas (yang didasarkan secara eksklusif pada perpustakaan Unix, tetapi seharusnya dapat direplikasi di Windows) juga harus diatur sebagai obat satu-klik/prompt untuk masalah ini.

Saat ini, sejumlah pengguna memperluas kanvas dari gambar yang “dipenggal” ke atas, mengisi area kepala kasar, dan menggunakan img2img untuk menyelesaikan render yang rusak.

Pemaskaran Efektif yang Memahami Konteks

Pemaskaran dapat menjadi urusan yang sangat mengandalkan keberuntungan di Stable Diffusion, tergantung pada garpu atau versi yang bersangkutan. Seringkali, di mana memungkinkan untuk menggambar masker yang kohesif, area yang ditentukan akhirnya diisi dengan konten yang tidak mempertimbangkan konteks gambar secara keseluruhan.

Pada satu kesempatan, saya memmasker keluar kornea dari gambar wajah, dan memberikan prompt ‘mata biru’ sebagai masker inpaint – hanya untuk menemukan bahwa saya tampaknya sedang melihat melalui dua mata manusia yang dipotong keluar ke gambar jauh dari serigala yang tidak biasa. Saya kira saya beruntung itu bukan Frank Sinatra.

Penyuntingan semantik juga memungkinkan dengan mengidentifikasi noise yang membangun gambar pada awalnya, yang memungkinkan pengguna untuk mengatasi elemen struktural tertentu dalam render tanpa mengganggu sisa gambar:

Mengubah satu elemen dalam gambar tanpa pemaskaran tradisional dan tanpa mengubah konten yang berdekatan, dengan mengidentifikasi noise yang pertama kali menghasilkan gambar dan mengatasi bagian-bagian yang menyumbang pada area target. Sumber: https://old.reddit.com/r/StableDiffusion/comments/xboy90/a_better_way_of_doing_img2img_by_finding_the/

Metode ini didasarkan pada sampel K-Diffusion.

Filter Semantik untuk Kesalahan Fisiologis

Seperti yang telah kita sebutkan sebelumnya, Stable Diffusion dapat sering menambah atau menghilangkan anggota tubuh, sebagian besar karena masalah data dan kekurangan dalam anotasi yang menyertai gambar yang melatihnya.

Seperti anak nakal yang menjulurkan lidahnya dalam foto grup sekolah, kekejaman biologis Stable Diffusion tidak selalu langsung terlihat, dan Anda mungkin telah membagikan karya AI terbaru Anda di Instagram sebelum Anda menyadari tangan ekstra atau anggota tubuh yang meleleh.

Sangat sulit untuk memperbaiki kesalahan semacam ini sehingga akan berguna jika aplikasi Stable Diffusion penuh ukuran berisi sistem pengenalan anatomi yang menggunakan segmentasi semantik untuk menghitung apakah gambar yang masuk menampilkan kekurangan anatomi yang parah (seperti pada gambar di atas), dan membuangnya demi render baru sebelum menampilkannya kepada pengguna.

Tentu saja, Anda mungkin ingin menghasilkan gambar dewi Kali, atau Dokter Octopus, atau bahkan menyelamatkan bagian yang tidak terpengaruh dari gambar yang terkena anggota tubuh, sehingga fitur ini harus menjadi toggle opsional.

Jika pengguna dapat mentolerir aspek telemetri, kegagalan semacam itu bahkan dapat dikirim secara anonim dalam upaya federatif belajar yang dapat membantu model masa depan untuk meningkatkan pemahaman mereka tentang logika anatomi.

Peningkatan Wajah Otomatis Berbasis LAION

Seperti yang saya catat dalam tinjauan sebelumnya tentang tiga hal yang Stable Diffusion dapat alamatkan di masa depan, tidak boleh hanya bergantung pada GFPGAN untuk mencoba “memperbaiki” wajah yang dihasilkan dalam render pertama.

“Perbaikan” GFPGAN sangat generik, sering kali merusak identitas individu yang digambarkan, dan beroperasi hanya pada wajah yang telah di-render dengan buruk, karena telah menerima waktu pemrosesan atau perhatian yang tidak lebih dari bagian lain dari gambar.

Oleh karena itu, program profesional untuk Stable Diffusion harus dapat mengenali wajah (dengan perpustakaan ringan seperti YOLO), menerapkan daya GPU yang tersedia untuk merender ulang, dan kemudian menggabungkan wajah yang diperbaiki ke render asli, atau menyimpannya secara terpisah untuk komposisi manual. Saat ini, ini adalah operasi yang cukup “manual”.

Dalam kasus di mana Stable Diffusion telah dilatih pada sejumlah gambar selebriti yang memadai, memungkinkan untuk fokuskan kapasitas GPU sepenuhnya pada render ulang wajah gambar yang dihasilkan, yang biasanya merupakan perbaikan yang signifikan – dan, tidak seperti GFPGAN, menggambar pada data yang dilatih LAION, bukan hanya mengatur piksel yang di-render.

Pencarian LAION di Aplikasi

Sejak pengguna mulai menyadari bahwa mencari basis data LAION untuk konsep, orang, dan tema dapat membantu penggunaan Stable Diffusion yang lebih baik, beberapa penjelajah LAION online telah dibuat, termasuk haveibeentrained.com.

Fungsi pencarian di haveibeentrained.com memungkinkan pengguna untuk menjelajahi gambar yang memungkinkan Stable Diffusion, dan menemukan apakah objek, orang, atau ide yang mereka inginkan untuk menghasilkan dari sistem kemungkinan telah dilatih ke dalamnya. Sistem semacam itu juga berguna untuk menemukan entitas yang berdekatan, seperti cara selebriti dikelompokkan, atau ‘ide berikutnya’ yang mengikuti dari ide saat ini. Sumber: https://haveibeentrained.com/?search_text=bowl%20of%20fruit

Meskipun basis data web ini sering mengungkapkan beberapa tag yang menyertai gambar, proses generalisasi yang terjadi selama pelatihan model membuatnya tidak mungkin bahwa gambar tertentu dapat dipanggil dengan menggunakan tag sebagai prompt.

Tambah lagi, penghapusan ‘kata berhenti’ dan praktik stemming dan lemmatisasi dalam Pemrosesan Bahasa Alami berarti bahwa banyak frasa yang ditampilkan dipisahkan atau dihilangkan sebelum dilatih ke Stable Diffusion.

Namun, cara pengelompokan estetika mengikat bersama dalam antarmuka ini dapat mengajarkan pengguna akhir banyak tentang logika (atau, bisa dibilang, ‘kepribadian’) dari Stable Diffusion, dan membuktikan sebagai bantuan untuk produksi gambar yang lebih baik.

Kesimpulan

Terdapat banyak fitur lain yang saya ingin lihat dalam implementasi asli desktop dari Stable Diffusion, seperti analisis gambar asli berbasis CLIP, yang membalik proses Stable Diffusion standar dan memungkinkan pengguna untuk menghasilkan frasa dan kata-kata yang sistem akan secara alami asosiasikan dengan gambar sumber, atau render.

Tambah lagi, penskalaan berbasis ubin yang sebenarnya akan menjadi tambahan yang disambut, karena ESRGAN hampir sama kasarnya dengan GFPGAN. Beruntung, rencana untuk mengintegrasikan implementasi txt2imghd dari GOBIG sedang dengan cepat membuat ini menjadi kenyataan di seluruh distribusi, dan tampaknya pilihan yang jelas untuk iterasi desktop.

Beberapa permintaan populer lain dari komunitas Discord menarik bagi saya, seperti kamus prompt terintegrasi dan daftar seniman dan gaya yang dapat diterapkan, meskipun buku catatan di aplikasi atau leksikon frasa yang dapat disesuaikan tampaknya tambahan yang logis.

Batasan saat ini dari animasi manusia di Stable Diffusion, meskipun telah dimulai oleh CogVideo dan proyek lainnya, masih sangat embrionik, dan bergantung pada penelitian hulu tentang prioritas temporal yang berkaitan dengan gerakan manusia yang autentik.

Untuk saat ini, video Stable Diffusion secara ketat psikedelik, meskipun mungkin memiliki masa depan yang cerah dalam puppetry deepfake, melalui EbSynth dan inisiatif teks-ke-video lainnya yang relatif baru (dan patut dicatat bahwa tidak ada orang yang disintesis atau ‘diubah’ dalam video promosi terbaru Runway).

Fungsi lain yang berharga akan menjadi lulusan transparan Photoshop, yang sudah lama ditetapkan di editor tekstur Cinema4D, di antara implementasi serupa lainnya. Dengan ini, satu dapat dengan mudah memindahkan gambar antara aplikasi dan menggunakan setiap aplikasi untuk melakukan transformasi yang mereka lakukan dengan baik.

Akhirnya, dan mungkin yang paling penting, program desktop Stable Diffusion penuh harus dapat tidak hanya dengan mudah beralih di antara titik-titik (yaitu, versi model yang mendasari yang menggerakkan sistem), tetapi juga harus dapat memperbarui Inversi Teks khusus yang bekerja dengan rilis model resmi sebelumnya, tetapi mungkin rusak oleh versi model yang lebih baru (seperti yang telah ditunjukkan oleh pengembang di Discord resmi).

Ironisnya, organisasi yang paling berada di posisi untuk menciptakan matriks alat yang kuat dan terintegrasi untuk Stable Diffusion, Adobe, telah sekutu dengan Content Authenticity Initiative sehingga mungkin tampak seperti langkah PR yang terbelakang bagi perusahaan – kecuali jika mereka memilih untuk menghambat kekuatan generatif Stable Diffusion sebagaimana OpenAI telah melakukannya dengan DALL-E 2, dan memposisikannya sebagai evolusi alami dari saham fotografi stok yang cukup besar.

Publikasi pertama 15 September 2022.