Kelebihan Mendapatkan Gemuk Melalui AI

Sistem AI baru dapat merealisasikan perubahan bentuk tubuh orang dalam foto, membuat mereka lebih gemuk, kurus, atau lebih berotot, tanpa mengubah wajah, pakaian, atau latar belakang. Sistem ini dilatih pada dataset sintetis yang menampilkan setiap identitas di berbagai jenis tubuh.

Selain penggunaan AI yang semakin umum sebagai metode menghaluskan bentuk tubuh di jejaring sosial, atau (potensial) untuk mengubah jenis tubuh untuk tujuan VFX, penggunaan pembelajaran mesin untuk mengubah penampilan individu dapat berfungsi sebagai sarana untuk membantu individu dengan gangguan makan untuk memahami interpretasi dysmorfik dari penampilan mereka, serta menawarkan alat motivasi potensial untuk tujuan olahraga dan kebugaran umum:

Dari makalah ‘Estimasi Ukuran Tubuh pada Wanita dengan Anoreksia Nervosa dan Kontrol Sehat menggunakan Avatar 3D’, antarmuka untuk memvisualisasikan perubahan bentuk tubuh. Individu dengan dysmorfia tubuh mungkin mengalami kesulitan untuk mengasosiasikan interpretasi realistis dari tubuh mereka dengan gambar serupa, sehingga memberikan klinisi metrik untuk respon dysmorfik, di antara tujuan lain. Sumber: https://www.nature.com/articles/s41598-017-15339-z.pdf

Selain itu, sub-rantai fashion try-on dalam penelitian penglihatan komputer juga memiliki minat dalam menyediakan visualisasi yang akurat di berbagai jenis tubuh. Sementara itu, kerangka kerja seperti DiffBody 2024 dari Universitas Tsukuba Jepang, telah menciptakan beberapa fungsi yang menarik dalam bidang ini:

Beberapa transformasi yang mungkin menggunakan teknik DiffBody sebelumnya. Sumber: https://arxiv.org/pdf/2401.02804

Karena model dasar AI dioptimalkan untuk bentuk tubuh yang konvensional atau umum, ukuran yang tidak biasa seperti ‘obesitas’ biasanya tidak tersedia dalam model standar, atau datang dengan bias yang menghukum.

Keperluan Berpasangan

Salah satu tantangan terbesar dalam menciptakan sistem AI yang dapat merealisasikan penambahan atau pengurangan lemak dan otot pada gambar individu – tanpa mengubah identitas, lingkungan, atau pakaian – adalah bahwa ini melibatkan pelatihan berpasangan, di mana sistem AI secara efektif mempelajari gambar ‘sebelum’ dan ‘sesudah’ yang mendefinisikan transformasi yang diinginkan:

Jenis pelatihan ini telah kembali menjadi populer selama musim panas karena kesuksesan model Kontext dari Black Forest Labs, di mana data berpasangan ini digunakan untuk mengajarkan berbagai transformasi pada model:

Dari situs Flux Kontext, contoh transformasi yang mencerminkan jenis data sumber yang diperlukan untuk melatih model yang dapat mempertahankan integritas gambar saat melakukan perubahan besar. Sumber: https://bfl.ai/models/flux-kontext

Jelas, dalam kasus mengembangkan model yang dapat secara signifikan mengubah penampilan seseorang (tanpa membayangkan gambar secara keseluruhan), satu memerlukan sesuatu yang benar-benar tidak mungkin di dunia nyata: gambar ‘sebelum’ dan ‘sesudah’ yang radikal, diambil hanya beberapa detik apart.

Satunya jalan adalah data sintetis. Beberapa proyek jenis ini telah menggunakan pasangan kontras individu yang dibuat secara manual di Photoshop; namun, ini tidak realistis dalam skala besar, dan proses otomatis atau semi-otomatis yang didorong AI sekarang semakin dipertimbangkan sebagai pilihan yang lebih baik.

Masalah dengan pendekatan berbasis GAN dan sebagian besar pendekatan SMPL/X (di mana figur CGI virtual digunakan sebagai semacam mekanisme pertukaran antara gambar nyata dan transformasi yang diinginkan), dan dengan pendekatan yang menggunakan pengubahan gambar, adalah bahwa latar belakang dan identitas cenderung menderita dalam proses.

Model CGI parametri, berbasis vektor seperti SMPL dan SMPL-X (di antara lainnya), menyediakan koordinat fisik 3D yang didefinisikan dengan baik yang dapat diinterpretasikan dan diintegrasikan ke dalam kerangka kerja penglihatan komputer. Sumber: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Karena itu penting bahwa AI mempelajari untuk mengubah hanya aspek yang diinginkan, bukan mempelajari untuk mengubah latar belakang dan mengulangi kesalahan yang tidak diinginkan, tidak ada sistem pengubah tubuh yang telah mencapai solusi yang sempurna.

Satu makalah terbaru dari India, bagaimanapun, mengusulkan kemajuan yang signifikan pada keadaan saat ini melalui penggunaan kerangka kerja model difusi Flux yang lebih tua, yang ditingkatkan dengan sejumlah pendekatan sekunder yang memungkinkan dataset berpasangan yang unggul dan lebih konsisten:

Contoh dataset dari proyek baru. Sumber: https://arxiv.org/pdf/2508.13065

Proyek ini terdiri dari dataset berpasangan yang baru dan ekstensif; Odo, model difusi generatif yang dilatih pada data ini; dan benchmark khusus yang dirancang untuk menilai kinerja pengeditan bentuk tubuh manusia secara kuantitatif. Dalam tes, penulis mengklaim kemajuan yang signifikan pada standar yang dicapai oleh model yang sebanding.

Makalah baru ini berjudul Odo: Difusi yang Dipandu Kedalaman untuk Mengubah Bentuk Tubuh yang Mempertahankan Identitas, dan berasal dari tiga peneliti di Fast Code AI Pvt. Ltd di Bangalore.

Data dan Metode

Dataset yang dibuat oleh peneliti ini menampilkan 7.615 gambar resolusi tinggi (960x1280px) untuk setiap jenis tubuh target (gemuk, kurus, dan berotot).

Awalnya 1.523 wajah manusia dibuat melalui model difusi FLUX.1-dev 12-miliar parameter, meskipun menggunakan sejumlah wajah referensi bebas lisensi dari Pexels dan Unsplash untuk meningkatkan keragaman.

Untuk menghasilkan gambar tubuh penuh yang mencakup wajah-wajah ini, peneliti menggunakan PuLID dari ByteDance 2024, sebuah titik akhir yang diperhalus dari Flux dasar, dan menampilkan kerugian kontras yang dirancang untuk membantu melestarikan identitas wajah selama proses transformasi:

Contoh dari proyek PuLID. Sumber: https://arxiv.org/pdf/2404.16022

Model ini menerima gambar wajah dan prompt standar yang meminta jenis kelamin, pakaian, pose, scene, serta jenis tubuh kurus, gemuk, atau berotot.

Tiga gambar jenis tubuh untuk setiap identitas terkadang menampilkan pergeseran kecil dalam perataan latar belakang dan ukuran subjek yang dirasakan, yang muncul dari perilaku stokastik dari model difusi, di mana setiap generasi dimulai dari benih noise baru. Bahkan perubahan kecil pada prompt, seperti memodifikasi deskripsi jenis tubuh, dapat mempengaruhi trajektori model dalam ruang laten dan menyebabkan drift visual.

Untuk memperbaiki variasi ini, pipa pengolahan pasca-otomatis empat tahap diterapkan, dengan gambar kurus dalam setiap triplet dipilih sebagai referensi, karena siluet yang lebih kecil mengekspos lebih banyak latar belakang.

Pendeteksian orang dilakukan menggunakan RT-DETRv2, diikuti oleh segmentasi dengan SAM 2.1 untuk mengekstrak masker subjek untuk ketiga jenis tubuh. Gambar referensi kurus kemudian diproses dengan FLUX.1 Kontext Pro (sistem pengeditan gambar yang lebih baru) untuk mengisi latar belakang, menghasilkan versi bersih dari adegan, dengan subjek dihilangkan.

Variasi gemuk dan berotot diubah ukurannya menggunakan penskalaan seragam untuk mencocokkan tinggi masker referensi kurus, dan dikomposisikan ke latar belakang bersih pada perataan bawah yang sama, memastikan bingkai yang konsisten di semua gambar.

Penulis menyatakan:

‘Triple transformasi yang dihasilkan (kurus, gemuk, dan otot) memiliki latar belakang yang identik dan skala subjek yang seragam. Ini menghilangkan variasi yang tidak relevan yang dapat mempengaruhi pelatihan atau evaluasi selanjutnya secara negatif.’

Setiap triplet gambar kurus, gemuk, dan berotot memungkinkan enam pasangan transformasi yang mungkin, menghasilkan 45.690 kombinasi teoretis di 7.615 identitas.

Setelah menyaring contoh dengan pakaian yang tidak cocok, pose yang tidak wajar, anggota tubuh yang terdistorsi, pergeseran identitas, atau perubahan bentuk yang minimal, 18.573 pasangan berkualitas tinggi dipertahankan. Meskipun beberapa perbedaan pose kecil masih ada, model ini terbukti tahan terhadap variasi ini.

Pelatihan dan Tes

Gambar yang dihasilkan digunakan untuk melatih model Odo – pendekatan berbasis difusi untuk mengubah bentuk tubuh manusia, dengan menggunakan peta SMPL (yaitu, CGI antara).

Terinspirasi oleh metode Neural Localizer 2024, data ini disesuaikan dengan figur SMPL untuk setiap individu, dengan parameter yang dioptimalkan yang dihasilkan dapat menghasilkan peta kedalaman dari mana gambar yang diubah akan dihasilkan:

Skema untuk pipa pelatihan. Sisi kiri menunjukkan pengaturan pelatihan, di mana peta kedalaman SMPL dari gambar target memandu ReshapeNet melalui ControlNet untuk melakukan transformasi tubuh. Fitur dari gambar sumber diekstrak oleh ReferenceNet dan digabungkan ke ReshapeNet menggunakan perhatian spasial. Sisi kanan menunjukkan inferensi, di mana parameter SMPL diestimasi dari gambar input, dimodifikasi oleh atribut semantik, dan di-render menjadi peta kedalaman target yang mengondisikan ReshapeNet selama denoising, untuk menghasilkan gambar yang diubah akhir.

Model (lihat skema di atas) terdiri dari modul ReshapeNet; didukung oleh tiga modul pendukung: ReferenceNet; modul IP-Adapter; dan modul ControlNet berbasis kedalaman.

ReferenceNet mengekstrak fitur rinci seperti latar belakang, pakaian, dan identitas dari gambar input, dan melewatkan fitur-fitur ini ke ReshapeNet. IP-Adapter memberikan bimbingan fitur tingkat tinggi, sedangkan ControlNet berbasis kedalaman menerapkan kondisi berbasis SMPL untuk memandu transformasi tubuh. Sejalan dengan karya sebelumnya, UNet beku berbasis SDXL digunakan untuk mengekstrak fitur antara.

Untuk modul IP-Adapter, ini mengkodekan gambar input melalui CLIP, dengan embeddings yang dihasilkan diintegrasikan kembali ke ReshapeNet melalui perhatian silang.

Untuk modul ControlNet berbasis kedalaman, ini memandu lapisan tengah dan dekoder dari ReshapeNet menggunakan koneksi residu. Selanjutnya, ini mengambil peta kedalaman yang di-render dari parameter SMPL target, dan menyelaraskannya dengan gambar target.

ReshapeNet, berdasarkan UNet SDXL, adalah jaringan inti dari Odo. Selama pelatihan, gambar target dikodekan ke ruang laten dengan autoencoder variabel, diberi noise seiring waktu, dan kemudian dide-noising oleh ReshapeNet menggunakan fitur dari ControlNet dan ReferenceNet.

Prompt teks khusus kategori seperti ‘Buat orang lebih gemuk,’ ‘Buat orang lebih kurus,’ atau ‘Buat orang lebih berotot’ ditambahkan, untuk memandu transformasi. Sementara peta kedalaman menangkap bentuk tubuh kasar, prompt menyediakan detail semantik yang diperlukan untuk perubahan seperti definisi otot, memungkinkan model untuk menghasilkan modifikasi yang lebih akurat dan realistis.

Implementasi Pelatihan

Odo dilatih pada dataset sintetis proyek, digabungkan dengan subset dari dataset DeepFashion-MultiModal, menghasilkan total 20.000 pasangan gambar.

Data DeepFashion-MultiModal menyediakan keragaman dalam pakaian dan fitur wajah, dengan gambar dipasangkan melawan diri mereka sendiri selama pelatihan. Dengan semua peta kedalaman SMPL pra-komputasi untuk efisiensi, pelatihan berjalan selama 60 epoch pada satu NVIDIA A100 GPU dengan 80GB VRAM.

Dengan gambar input diubah ukurannya menjadi 768×1024, optimizer Adam digunakan, pada tingkat pembelajaran 1×10⁻⁵. ReshapeNet diinisialisasi dengan bobot UNet SDXL, dan diperhalus bersama dengan IP-Adapter dari checkpointnya.

ReferenceNet diinisialisasi dengan bobot SDXL dan tetap beku, sedangkan ControlNet berbasis kedalaman menggunakan bobot pra-latih dan juga tetap beku.

Model akhir memerlukan sekitar 23GB memori GPU, membutuhkan 18 detik untuk inferensi gambar tunggal.

Metrik Baru

Kurangnya dataset jenis yang diperlukan untuk proyek ini berarti bahwa tidak ada metrik yang ada yang benar-benar menangani tantangan. Oleh karena itu, penulis merancang benchmark baru, yang terdiri dari 3.600 pasangan gambar, menampilkan gambar wajah nyata dan deskripsi latar belakang, serta berbagai variasi bentuk tubuh.

Metrik lain yang digunakan adalah Indeks Kesamaan Struktural (SSIM); Rasio Sinyal-ke-Noise Puncak (PSNR); Kesamaan Gambar Patch yang Dipelajari (LPIPS); dan Kesalahan Euclidean Per-Verteks yang Diperbaiki Skala dalam Pose Netral (T-) (PVE-T-SC).

Pertama, penulis menguji metode mereka secara kualitatif melawan gambar liar (gambar yang tidak dilihat oleh model selama pelatihan):

Tes kualitatif. Contoh menunjukkan konversi dari gambar asli ke jenis tubuh yang lebih kurus, gemuk, dan berotot di berbagai pose, termasuk duduk dan berdiri. Silakan merujuk ke makalah sumber untuk definisi dan detail yang lebih baik.

Dari hasil ini, makalah menyatakan:

‘[Metode kami] secara efektif menangani pose, latar belakang, dan pakaian yang beragam sambil mempertahankan identitas orang.

‘Selain bentuk target SMPL, kami menyediakan prompt teks – ‘Buat orang lebih gemuk,’ ‘Buat orang lebih kurus,’ atau ‘Buat orang lebih berotot’– untuk secara eksplisit memandu transformasi yang diinginkan…

…'[Gambar di bawah] lebih lanjut menunjukkan kemampuan model kami untuk melakukan transformasi bentuk yang beragam. Model kami secara akurat mengikuti peta kedalaman SMPL untuk menghasilkan beberapa variasi dari versi yang lebih kurus dan gemuk dari gambar referensi.’

Tes kualitatif lebih lanjut yang mencakup berbagai jenis tubuh target. Silakan merujuk ke makalah sumber untuk definisi dan detail yang lebih baik.

Penulis lebih lanjut mengomentari:

‘Hasil kami menunjukkan transformasi yang lebih realistis sesuai dengan berat target, karena model kami secara bersamaan menyesuaikan bentuk tubuh secara keseluruhan, proporsi anggota tubuh, dan pakaian, menghasilkan modifikasi yang konsisten secara anatomi dan secara visual meyakinkan.’

Untuk tes kuantitatif, penulis membandingkan sistem mereka dengan model terbuka Flux Kontext [dev], FLUX.1, dan penawaran Structure-Aware Flow Generation for Human Body Reshaping 2022.

Untuk FLUX.1 Kontext [dev], prompt dirancang untuk memerintahkan ‘Buat orang lebih gemuk,’ ‘Buat orang lebih kurus,’ atau ‘Buat orang lebih berotot’, dengan berat target yang ditentukan – meskipun kurangnya kontrol yang halus membatasi kinerja:

Perbandingan Odo dengan Structure-Aware Flow Generation for Human Body Reshaping dan FLUX.1 Kontext [dev] pada set tes, bersama dengan hasil ablasio (tidak dibahas di sini) untuk model yang dilatih tanpa kondisi prompt di ReshapeNet, tanpa ReferenceNet (menggunakan hanya IP-Adapter), dan dengan pelatihan yang dibatasi pada dataset BR-5K.

Kesimpulan

Kemunculan Flux Kontext tahun ini, dan lebih baru lagi, pelepasan bobot tak-kuantum untuk Qwen Image Edit, telah membawa kembali data gambar berpasangan ke tengah-tengah komunitas hobi dan profesional. Dalam iklim yang semakin kritis dan tidak sabar terhadap ketidaktepatan AI generatif, model seperti ini dirancang untuk memiliki kesetiaan yang lebih tinggi terhadap gambar sumber (meskipun model skala kecil terkadang terhambat oleh tujuan pelatihan yang sangat spesifik).

Dalam kasus ini, kegunaan sistem pengubah bentuk tubuh tampaknya terletak pada bidang psikologis, medis, dan mode. Namun, tetap memungkinkan bahwa sistem seperti ini akan mencapai tingkat ketenaran yang lebih tinggi, dan, mungkin, penggunaan yang lebih santai dan bahkan potensial mengkhawatirkan.

Dipublikasikan pertama kali pada hari Senin, 25 Agustus 2025