Mengapa Konsep Entanglement Berarti Anda Tidak Bisa Memiliki Video AI ‘Sesuai Keinginan’

Alat video AI menjanjikan kontrol total, tetapi ‘entanglement konsep’ tersembunyi mengikat identitas, ekspresi, dan perilaku bersama, memaksa hack dan trik template yang menghancurkan mitos tentang keajaiban GenAI yang mudah.

Opini Sejak saya terakhir membahas topik ini secara panjang lebar lima tahun yang lalu, masalah entanglement konsep dalam sistem AI yang dilatih telah meluas ke berbagai pengguna, tanpa benar-benar dipahami dengan baik dalam konteksnya sendiri.

Waktu itu, sistem autoencoder deepfake (yaitu DeepFaceLab yang sudah tidak berfungsi dan FaceSwap yang kurang berfokus pada konten dewasa, keduanya berasal dari rilis kode Reddit yang sudah tidak berfungsi dan hampir segera dilarang pada tahun 2017) adalah satu-satunya pilihan untuk membuat deepfake orang yang relatif fotorealistik.

Sistem-sistem ini bergantung pada dataset pelatihan wajah yang luas yang dimaksudkan untuk memberikan model AI dengan informasi tentang A) bagaimana orang tersebut terlihat dalam keadaan istirahat (embedding referensi kanonik) dan B) bagaimana mereka terlihat dalam berbagai situasi yang dapat dipantulkan oleh wajah, dari tidur hingga tertawa, horor, bosan, sinis, sedih, dan sebagainya.

Identitas tidak datang sendiri, tetapi bersama dengan ekspresi wajah. Selain itu, beberapa emosi mungkin hanya memiliki data wajah yang tersedia dari sudut yang ekstrem, yang akan cenderung mengasosiasikan sudut dengan emosi dan sebaliknya.

Masalahnya adalah identitas kanonik biasanya harus disimpulkan dari tangkapan wajah yang tidak netral, sehingga distribusi cenderung bergeser ke arah ‘senyum default’. Ini karena volume besar foto paparazzi di acara merah yang diambil dari data pelatihan yang diweb-scrap, serta alasan lain yang sama spekulatif mengapa dataset mungkin bias ke jenis gambar tertentu.

Dengan kata lain, sistem autoencoder harus mencoba mengekstrak konsep identitas ‘netral’ dari ribuan gambar di mana fitur wajah terdistorsi oleh ekspresi wajah normal.

Hal ini juga harus mencoba memisahkan konsep wajah semantik dari berbagai emosi dari sudut yang diambil wajah. Ini berarti bahwa jika hanya ekspresi wajah ‘terkejut’ yang tersedia diambil dari sudut profil, sistem yang dilatih hanya dapat mereproduksi emosi itu secara optimal dari sudut itu.

Menghadap Ke Depan

Ketika pendekatan berbasis difusi mengambil alih adegan gambar dan video GenAI dari tahun 2022, sistem generatif menjadi jauh lebih baik dalam mengekstrapolasi ekspresi wajah yang akurat ketika diberi data wajah yang terbatas.

Bahkan tantangan yang sangat sulit membuat tampilan profil yang meyakinkan hampir sepenuhnya telah diatasi, pada tingkat keadaan saat ini, sementara data ekspresi telah cukup efektif dipisahkan dari identitas – sehingga jenis puppeteering deepfake langsung yang dipioniri oleh sistem DeepFaceLive memiliki banyak aplikasi difusi offline yang efektif, dengan penerapan waktu nyata yang mungkin menjadi perkembangan di masa depan:

Klik untuk memutar. Dari proyek ‘FlashPortrait’, contoh beragam mengarahkan avatar melalui video sumber. Dalam hal ini, tidak masalah sisi mana ‘domain realistis’ berada, jika ada. Sumber 

Namun, ketika kanvas GenAI meluas dan outputnya menjadi lebih canggih, masalah entanglement hanya menyebar ke berbagai area lain – dan saat ini sedang ‘diperbaiki’ dengan beberapa trik yang cukup murah dan sudah ketinggalan zaman. Jika Anda tidak tahu apa trik-trik itu, Anda mungkin memiliki pandangan yang lebih positif tentang seberapa cepat video dan gambar AI berkembang dan mengatasi bug lama.

Kucing yang Berbicara

Mudah-mudahan jelas mengapa identitas dan emosi terbukti sulit dipisahkan untuk sistem autoencoder lama pada tahun 2017. Ini karena a) Terlalu banyak data dari satu jenis, ATAU terlalu spesifik versi data penting, yang akan menyebabkan bias distribusi; dan/atau B) arsitektur model tidak cukup untuk memisahkan kualitas-kualitas ini, dan cenderung ‘mengikatnya bersama’ pada saat inferensi, kecuali pengguna mengambil langkah-langkah ekstra untuk memastikan keseimbangan dalam dataset mereka.

Untuk alasan yang sama, masalah serupa telah muncul di berbagai model video sumber terbuka dan propietary selama beberapa tahun terakhir, meskipun mereka telah tertutupi oleh tingkat kritik yang lebih besar seputar halusinasi, kurangnya sensor, dan topik lainnya.

Sebagai contoh, di sistem Wan2.+, banyak pengguna menemukan bahwa sangat sulit untuk mencegah karakter yang dihasilkan berbicara terus-menerus, dan sering juga sulit untuk mencegah mereka menatap kamera.

Masalah terakhir (menatap kamera, atau mematahkan dinding keempat) mendahului munculnya sistem sintesis video, karena muncul dalam berbagai sistem difusi hanya gambar, karena prevalensi foto ‘menatap kamera’ di dataset yang diweb-scrap seperti LAION.

Masalah seputar karakter ‘berbicara terus-menerus’ berasal dari kelimpahan video ‘influencer’ di YouTube, yang secara alami menawarkan ribuan jam wacana langsung ke lensa, sering dikurasi menjadi dataset di mana ilmuwan peneliti dapat mencuci web-scrap dengan memberikan konteks akademis.

Namun, kecuali kurator asli atau kurator selanjutnya mengambil langkah-langkah untuk membatasi jumlah video jenis ini, dan menyeimbangkannya dengan jenis footage yang lebih beragam, bias yang parah akan berkembang dalam model video, yang akan memerlukan perbaikan berbasis prompt dan sistem tambahan pihak ketiga yang beragam.

Menghadapi masalah ‘keberbicaraan’ Wan, pengguna Reddit u/Several-Estimate-681 menemukan solusi yang menggunakan pengaturan dalam sistem Infinite Talk V2V – kerangka yang dirancang untuk mendorong keberbicaraan gaya influencer – yang memungkinkan pengguna untuk membisukan karakter yang dihasilkan:

Klik untuk memutar: Hanya dengarkan – solusi untuk mencapai perhatian karakter di Wan2.+. Sumber 

Jelas, jalan pintas seperti ini tidak mewakili solusi arsitektur tingkat rendah, dan, tanpa solusi sebenarnya yang ditemukan dan diimplementasikan oleh pembuat model dasar (karena hobiis casual tidak biasanya memiliki jutaan dolar untuk merekayasa ulang atau menghaluskan pekerjaan seperti itu), ini berarti bahwa permainan ‘whack a mole’ entanglement kemungkinan akan disetel ulang ke nol pada rilis versi berikutnya.

Murah dan Rapuh

Tidak ada yang inheren dalam arsitektur difusi yang membuat masalah ini tak terhindarkan; memang, jika ada cara untuk menerapkan kurasi, triage, dan anotasi berkualitas tinggi yang sangat efektif pada dataset hyperscale dengan jutaan poin data, hampir semua masalah ini akan hilang.

Namun, tingkat perhatian terhadap detail seperti itu akan setara dengan Proyek Manhattan dalam hal logistik, cakupan, sumber daya yang dibutuhkan, dan upaya jangka panjang. Dalam iklim di mana arsitektur baru, atau bahkan versi arsitektur baru bisa menghapus luasnya upaya seperti itu, tidak ada komitmen saat ini untuk membuat jenis komitmen ini.

Sebagai akibatnya, sejauh yang sesuai dengan memperoleh model yang dapat digunakan, pendekatan termurah tetap dipilih. Salah satu contoh ‘kekurangan’ adalah augmentasi data, yang, ketika diterapkan secara liberal dan pada jenis dataset videoklip yang salah, dapat memiliki hasil yang lucu:

Karena augmentasi data sering membalikkan arah video sumber di dataset, model AI dapat terkadang belajar beberapa ‘gerakan mustahil’. – Sumber

Namun, secara keseluruhan, batu yang bergulir ke atas dan orang yang mematahkan karakter dengan mengaktifkan ‘mode influencer’ cenderung dianggap sebagai kerusakan kolateral dalam sistem generatif yang, meskipun memiliki kelemahan yang berkelanjutan dan Achilles, dapat dibujuk untuk menghasilkan hasil yang mengesankan dan headline yang cukup mengagumkan.

solusi Boilerplate

Pada periode saat ini, ratusan domain video generatif, hampir semua di antaranya melanggar serangkaian hukum baru dan tekanan terhadap GenAI, menikmati waktu mereka sebelum hukum, daftar blokir, atau jenis deplatforming lainnya menghapus layanan komersial ini.

Situs yang lebih besar dan lebih dikenal, seperti Kling dan Grok, cenderung mematuhi beberapa bentuk sensor diri (akhirnya), atau merespons kritik dengan mengubah jenis konten yang difasilitasi oleh platform mereka untuk pengguna.

Tapi di belakang nama-nama besar itu ada ratusan operasi lain yang beroperasi dengan cepat, terus-menerus memenuhi permintaan untuk jenis konten baru (dan sering lebih ekstrem).

Jenis penyediaan yang murah ini tidak memungkinkan biaya dan upaya yang sangat tinggi untuk melatih model dasar dari awal. Bahkan, fine-tuning, yang biayanya jauh lebih rendah, sering kali tidak memungkinkan.

Oleh karena itu, situs-situs ini menawarkan ‘template’, yang berperilaku 100% identik dalam prakteknya dengan LoRA yang dilatih khusus, yang telah digunakan oleh hobiis AI selama lebih dari empat tahun sekarang, untuk melatih identitas, gaya, objek, dan (dalam kasus LoRA video) gerakan atau tindakan yang diinginkan ke dalam LoRA tambahan yang didedikasikan.

Dengan LoRA yang ditempatkan di antara pengguna dan model dasar, hasil yang diperoleh akan sangat spesifik untuk apa LoRA itu dilatih, dan, biasanya, kinerja model yang lebih luas akan dirusak oleh pengaruh LoRA yang melengkung, yang akan mereproduksi subjeknya dengan sangat baik, tetapi juga akan menempatkan materi itu ke dalam permintaan apa pun (jika situs GenAI video yang beroperasi dengan cepat memungkinkan tingkat kontrol ini – mereka tidak; mereka hanya menawarkan [TINDAKAN PILIHAN ANDA] template, dan menafsirkan input teks/gambar/video Anda dengan cara yang paling mungkin menghasilkan aplikasi template yang sukses).

Untuk alasan yang jelas, saya tidak bisa menyematkan contoh situs web dalam artikel ini; tetapi literatur penelitian baru-baru ini menawarkan beberapa contoh analog. Di sini, misalnya, proyek EffectMaker menunjukkan prinsip ini dalam aksi, di mana tindakan spesifik diterapkan pada gambar yang disediakan pengguna:

Klik untuk memutar. Di EffectMaker, efek yang diperhalus dapat diterapkan pada input khusus. Sumber 

Even dalam keadaan yang sangat terkurasi dan terarah seperti ini, pengguna sering mengeluh bahwa beberapa upaya yang membakar token perlu dilakukan untuk mendapatkan hasil yang baik, dan kita tidak harus mengatribusikan kekurangan penyedia atau praktik tajam apa yang lebih mungkin kesalahan kerangka GenAI ‘hit-and-miss’ DiT yang kongenital.

Masyarakat yang lebih luas, bisa dibilang, mendapatkan kesan tentang kemampuan GenAI dari contoh yang dipilih, yang tidak mewakili apa yang pengguna pemula akan dapatkan.  Jika pengguna menghabiskan enam upaya untuk template (yaitu LoRA yang disediakan oleh situs AI), mereka cenderung menerbitkan dan memuji yang terbaik dari upaya tersebut, mengkonvey kesan bahwa hasil seperti itu dapat diperoleh dengan mengquery model dasar – dan mengkonvey kesan bahwa model dasar generatif jauh lebih terpisah dari yang sebenarnya.

Kesimpulan

Literatur terus memeriksa masalah entanglement, yang pertama kali muncul sekitar tahun 2020, dalam kolaborasi A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation Max Planck/Google.

Beberapa penerus Disentanglement via Contrast (DisCo) secara berkala muncul, dan adegan tetap hidup dengan kesadaran akan masalah yang jauh melampaui kesadaran publik tentang apa yang AI tidak bisa lakukan dalam hal ini.

Sebuah studi Tiongkok dari 2024 menunjukkan bahwa resolusi entanglement mungkin tidak diperlukan sama sekali untuk memecahkan masalah yang dibawanya. Secara historis, ini benar, karena banyak masalah yang tidak dapat dipecahkan dalam penglihatan komputer telah diatasi bukan dengan diselesaikan, tetapi dengan dilampaui melalui teknik dan pendekatan yang sama sekali baru.

Sampai pesaing diskrit seperti itu muncul, tampaknya kita akan terus perlu menerapkan perbaikan cepat dan perban pada kelemahan dan keterbatasan GenAI, dan menoleransi penilaian yang berlebihan dari fleksibilitas dan kelenturan model dasar.

Pertama kali diterbitkan pada hari Senin, 23 Maret 2026