Di dunia Kecerdasan Buatan Generatif, mengikuti yang terbaru adalah nama permainannya. Dan ketika datang ke pembuatan gambar, Stable Diffusion dan Midjourney adalah platform yang semua orang bicarakan – sampai sekarang.
OpenAI, yang didukung oleh raksasa teknologi Microsoft (MSFT ), memperkenalkan DALL·E 3 pada 20 September 2023.
DALL-E 3 tidak hanya tentang membuat gambar; itu tentang membawa ide Anda ke kehidupan, tepat seperti yang Anda bayangkan. Dan bagian terbaiknya? Ini cepat, seperti, sangat cepat. Anda memiliki ide, Anda memberikannya kepada DALL-E 3, dan boom, gambar Anda sudah siap.
Jadi, dalam artikel ini, kita akan menyelami apa itu DALL-E 3. Kami akan membicarakan tentang bagaimana itu bekerja, apa yang membedakannya dari yang lain, dan mengapa itu mungkin hanya alat yang Anda butuhkan. Apakah Anda seorang desainer, seniman, atau hanya seseorang dengan banyak ide keren, Anda akan ingin tetap di sini untuk ini. Mari kita mulai.
Apa yang baru dengan DALL·E 3 adalah bahwa itu memahami konteks lebih baik daripada DALL·E 2. Versi sebelumnya mungkin melewatkan beberapa detail atau mengabaikan beberapa detail di sini dan di sana, tetapi DALL·E 3 tepat. Itu memilih detail yang tepat dari apa yang Anda minta, memberikan Anda gambar yang lebih dekat dengan apa yang Anda bayangkan.
Bagian yang keren? DALL·E 3 dan ChatGPT sekarang terintegrasi bersama. Mereka bekerja sama untuk membantu memperbaiki ide Anda. Anda menembakkan konsep, ChatGPT membantu dalam memperbaiki prompt, dan DALL·E 3 membawanya ke kehidupan. Jika Anda tidak menyukai gambar, Anda dapat meminta ChatGPT untuk memperbaiki prompt dan membuat DALL·E 3 mencoba lagi. Dengan biaya bulanan sebesar 20$, Anda mendapatkan akses ke GPT-4, DALL·E 3, dan banyak fitur keren lainnya.
Microsoft’s Bing Chat mendapatkan DALL·E 3 bahkan sebelum OpenAI’s ChatGPT melakukannya, dan sekarang tidak hanya perusahaan besar tetapi semua orang yang dapat bermain dengannya secara gratis. Integrasi ke Bing Chat dan Bing Image Creator membuatnya lebih mudah digunakan untuk semua orang.
Munculnya Model Difusi
Dalam 3 tahun terakhir, kecerdasan buatan visi telah menyaksikan munculnya model difusi, mengambil lompatan besar, terutama dalam pembuatan gambar. Sebelum model difusi, Jaringan Adversarial Generatif (GANs) adalah teknologi yang digunakan untuk membuat gambar realistis.
GANs
Namun, mereka memiliki tantangan mereka sendiri, termasuk kebutuhan akan jumlah data yang besar dan kekuatan komputasi, yang sering membuat mereka sulit untuk ditangani.
Masuk model difusi. Mereka muncul sebagai alternatif yang lebih stabil dan efisien daripada GANs. Tidak seperti GANs, model difusi bekerja dengan menambahkan noise ke data, mengaburkannya sampai hanya keacakan yang tersisa. Mereka kemudian bekerja mundur untuk membalik proses ini, membangun kembali data yang bermakna dari keacakan. Proses ini telah terbukti efektif dan kurang intensif sumber daya, membuat model difusi menjadi topik hangat di komunitas kecerdasan buatan.
Saat yang sebenarnya adalah sekitar 2020, dengan serangkaian kertas inovatif dan pengenalan teknologi CLIP OpenAI, yang secara signifikan memajukan kemampuan model difusi. Ini membuat model difusi sangat baik dalam sintesis gambar-tekst, memungkinkan mereka untuk membuat gambar realistis dari deskripsi tekstual. Terobosan ini tidak hanya dalam pembuatan gambar, tetapi juga dalam bidang seperti komposisi musik dan penelitian biomedis.
Saat ini, model difusi tidak hanya menjadi topik minat akademis tetapi juga digunakan dalam skenario dunia nyata.
Pemodelan Generatif dan Lapisan Perhatian Diri: DALL-E 3
Salah satu kemajuan kritis dalam bidang ini telah menjadi evolusi pemodelan generatif, dengan pendekatan berbasis sampling seperti pemodelan generatif autoregresif dan proses difusi yang memimpin jalan. Mereka telah mengubah model gambar-tekst, menghasilkan perbaikan kinerja yang drastis. Dengan memecah pembuatan gambar menjadi langkah-langkah diskrit, model ini telah menjadi lebih dapat diatasi dan lebih mudah untuk dipelajari oleh jaringan saraf.
Secara paralel, penggunaan lapisan perhatian diri telah memainkan peran kritis. Lapisan-lapisan ini, ditumpuk bersama, telah membantu dalam menghasilkan gambar tanpa kebutuhan akan bias spasial implisit, masalah umum dengan konvolusi. Perubahan ini telah memungkinkan model gambar-tekst untuk meningkatkan skala dan perbaikan secara andal, berkat sifat penskalaan yang dipahami dari transformer.
Tantangan dan Solusi dalam Pembuatan Gambar
Meskipun kemajuan ini, kontrolabilitas dalam pembuatan gambar tetap menjadi tantangan. Masalah seperti pengikut prompt, di mana model mungkin tidak mematuhi teks input dengan erat, telah menjadi umum. Untuk mengatasi ini, pendekatan baru seperti perbaikan caption telah diusulkan, yang bertujuan untuk meningkatkan kualitas pasangan teks dan gambar dalam dataset pelatihan.
Perbaikan Caption: Pendekatan Baru
Perbaikan caption melibatkan menghasilkan caption berkualitas lebih baik untuk gambar, yang pada gilirannya membantu dalam melatih model gambar-tekst yang lebih akurat. Ini dicapai melalui kapioner gambar yang kuat yang menghasilkan deskripsi gambar yang detail dan akurat. Dengan melatih pada caption yang diperbaiki ini, DALL-E 3 telah mencapai hasil yang luar biasa, sangat mirip dengan foto dan karya seni yang dihasilkan oleh manusia.
Pelatihan pada Data Sintetis
Konsep pelatihan pada data sintetis tidak baru. Namun, kontribusi unik di sini adalah dalam penciptaan sistem kapioner gambar deskriptif yang baru. Dampak dari menggunakan caption sintetis untuk melatih model generatif telah substansial, menghasilkan perbaikan dalam kemampuan model untuk mengikuti prompt dengan akurat.
Mengevaluasi DALL-E 3
Melalui evaluasi dan perbandingan yang banyak dengan model sebelumnya seperti DALL-E 2 dan Stable Diffusion XL, DALL-E 3 telah menunjukkan kinerja yang unggul, terutama dalam tugas yang terkait dengan pengikut prompt.
Perbandingan model gambar-tekst pada berbagai evaluasi
Penggunaan evaluasi otomatis dan benchmark telah memberikan bukti jelas tentang kemampuannya, memperkuat posisinya sebagai generator gambar-tekst yang paling mutakhir.
Prompt dan Kemampuan DALL-E 3
DALL-E 3 menawarkan pendekatan yang lebih logis dan rapi dalam membuat visual. Ketika Anda menggulir, Anda akan melihat bagaimana DALL-E membuat setiap gambar, dengan campuran akurasi dan imajinasi yang sesuai dengan prompt yang diberikan.
Tidak seperti pendahulunya, versi yang ditingkatkan ini unggul dalam mengatur objek secara alami dalam sebuah adegan dan menggambarkan fitur manusia dengan akurat, hingga jumlah jari yang tepat di tangan. Peningkatan ini juga mencakup detail yang lebih halus dan sekarang tersedia dalam resolusi yang lebih tinggi, memastikan output yang lebih realistis dan profesional.
Kemampuan rendering teks juga telah meningkat secara signifikan. Di mana versi DALL-E sebelumnya menghasilkan teks yang tidak masuk akal, DALL-E 3 sekarang dapat menghasilkan teks yang dapat dibaca dan gaya profesional (terkadang), dan bahkan logo yang bersih pada kesempatan tertentu.
Pemahaman model tentang permintaan gambar yang kompleks dan nuansa telah ditingkatkan secara signifikan. DALL-E 3 sekarang dapat mengikuti deskripsi yang detail dengan akurat, bahkan dalam skenario dengan beberapa elemen dan instruksi spesifik, menunjukkan kemampuannya untuk menghasilkan gambar yang koheren dan terkomposisi dengan baik. Mari kita jelajahi beberapa prompt dan output yang kita dapatkan:
Desain kemasan untuk serangkaian teh organik. Termasuk ruang untuk nama produk dan deskripsi.
Gambar DALL-E 3 berdasarkan prompt teks (Perhatikan bahwa poster kiri memiliki ejaan yang salah)
Buat spanduk web yang mengiklankan penjualan musim panas untuk perabotan luar ruangan. Gambar fitur latar belakang pantai dengan berbagai perabotan luar ruangan, dan teks yang mengumumkan 'Huge Summer Savings!'
Gambar DALL-E 3 berdasarkan prompt teks
Poster perjalanan vintage dari Paris dengan teks yang tebal dan bergaya yang mengatakan 'Kunjungi Paris' di bagian bawah.
Gambar DALL-E 3 berdasarkan prompt teks (Perhatikan bahwa kedua poster memiliki ejaan yang salah)
Generate gambar dari sebuah adegan festival Diwali di India, dengan keluarga menyalakan lampu, kembang api di langit, dan permen serta dekorasi tradisional.
Gambar DALL-E 3 berdasarkan prompt teks
Adegan pasar yang sibuk di Roma kuno, dengan orang-orang mengenakan pakaian khas zaman itu, berbagai barang untuk dijual, dan arsitektur khas zaman itu.
Gambar DALL-E 3 berdasarkan prompt teks
Generate gambar dari tokoh sejarah terkenal, seperti Cleopatra atau Leonardo da Vinci, ditempatkan dalam setting kontemporer, menggunakan teknologi modern seperti smartphone atau laptop.
Gambar DALL-E 3 berdasarkan prompt teks
Batasan & Risiko DALL-E 3
OpenAI telah mengambil langkah-langkah signifikan untuk menyaring konten eksplisit dari data pelatihan DALL-E 3, dengan tujuan untuk mengurangi bias dan meningkatkan output model. Ini termasuk penerapan filter khusus untuk kategori konten sensitif dan revisi ambang batas untuk filter yang lebih luas. Tumpukan mitigasi juga mencakup beberapa lapisan perlindungan, seperti mekanisme penolakan di ChatGPT untuk topik sensitif, klasifikasi input prompt untuk mencegah pelanggaran kebijakan, daftar blokir untuk kategori konten tertentu, dan transformasi untuk memastikan prompt sesuai dengan pedoman.
Meskipun kemajuan ini, DALL-E 3 memiliki keterbatasan dalam memahami hubungan spasial, merender teks panjang dengan akurat, dan menghasilkan gambar tertentu. OpenAI mengakui tantangan ini dan bekerja pada perbaikan untuk versi masa depan.
Perusahaan juga bekerja pada cara untuk membedakan gambar yang dihasilkan AI dari yang dibuat oleh manusia, mencerminkan komitmennya terhadap transparansi dan penggunaan AI yang bertanggung jawab.
DALL·E 3
DALL-E 3, versi terbaru, akan tersedia dalam fase-fase, dimulai dengan kelompok pelanggan tertentu dan kemudian diperluas ke laboratorium penelitian dan layanan API. Namun, tanggal rilis publik gratis belum dikonfirmasi.
OpenAI benar-benar menetapkan standar baru di bidang kecerdasan buatan dengan DALL-E 3, dengan mulus menghubungkan kemampuan teknis yang kompleks dan antarmuka pengguna yang ramah. Integrasi DALL-E 3 ke platform yang banyak digunakan seperti Bing mencerminkan pergeseran dari aplikasi khusus ke bentuk hiburan dan utilitas yang lebih luas dan lebih mudah diakses.
Pemain yang sebenarnya akan menjadi keseimbangan antara inovasi dan pemberdayaan pengguna dalam beberapa tahun mendatang. Perusahaan yang akan sukses adalah mereka yang tidak hanya mendorong batas apa yang dapat dilakukan AI, tetapi juga memberikan pengguna otonomi dan kontrol yang mereka inginkan. OpenAI, dengan komitmennya terhadap AI etis, sedang menjalani jalan ini dengan hati-hati. Tujuannya jelas: menciptakan alat AI yang tidak hanya kuat, tetapi juga dapat dipercaya dan inklusif, memastikan bahwa manfaat AI dapat diakses oleh semua.
Saya telah menghabiskan lima tahun terakhir dengan membenamkan diri dalam dunia Machine Learning dan Deep Learning yang menarik. Minat dan keahlian saya telah memimpin saya untuk berkontribusi pada lebih dari 50 proyek rekayasa perangkat lunak yang beragam, dengan fokus khusus pada AI/ML. Rasa ingin tahu saya yang terus-menerus juga telah menarik saya ke arah Natural Language Processing, sebuah bidang yang saya ingin jelajahi lebih lanjut.
Tambahkan Unite.AI ke sumber pilihan Anda di Google
