Kecerdasan Buatan Generatif: Ide di Balik CHATGPT, Dall-E, Midjourney dan Lainnya

Dunia seni, komunikasi, dan bagaimana kita memahami kenyataan sedang berubah dengan cepat. Jika kita melihat kembali sejarah inovasi manusia, kita mungkin mempertimbangkan penemuan roda atau penemuan listrik sebagai lompatan besar. Hari ini, revolusi baru sedang terjadi – membangun jembatan antara kreativitas manusia dan komputasi mesin. Itulah Kecerdasan Buatan Generatif.

Model generatif telah mengaburkan garis antara manusia dan mesin. Dengan munculnya model seperti GPT-4, yang menggunakan modul transformer, kita telah melangkah lebih dekat ke arah generasi bahasa alami dan kaya konteks. Kemajuan ini telah memicu aplikasi dalam pembuatan dokumen, sistem dialog chatbot, dan bahkan komposisi musik sintetis.

Keputusan Big-Tech baru-baru ini menekankan pentingnya hal ini. Microsoft (MSFT ) sudah menghentikan aplikasi Cortana bulan ini untuk memprioritaskan inovasi Kecerdasan Buatan Generatif yang lebih baru, seperti Bing Chat. Apple (AAPL ) juga telah mengalokasikan sebagian besar $22,6 miliar anggaran R&D untuk kecerdasan buatan generatif, seperti yang ditunjukkan oleh CEO Tim Cook.

Era Baru Model: Generatif Vs. Diskriminatif

Cerita tentang Kecerdasan Buatan Generatif tidak hanya tentang aplikasinya, tetapi secara fundamental tentang cara kerjanya. Dalam ekosistem kecerdasan buatan, ada dua model: diskriminatif dan generatif.

Model diskriminatif adalah apa yang sebagian besar orang temui dalam kehidupan sehari-hari. Algoritma ini mengambil data input, seperti teks atau gambar, dan memasangkannya dengan output target, seperti terjemahan kata atau diagnosis medis. Mereka tentang pemetaan dan prediksi.

Model generatif, di sisi lain, adalah pencipta. Mereka tidak hanya menafsirkan atau memprediksi; mereka menghasilkan output yang kompleks dan baru dari vektor angka yang sering tidak terkait dengan nilai-nilai dunia nyata.

Teknologi di Balik Model Generatif

Model generatif berhutang keberadaannya pada jaringan saraf dalam, struktur yang dirancang untuk meniru fungsi otak manusia. Dengan menangkap dan memproses variasi multifaset dalam data, jaringan ini berfungsi sebagai tulang punggung dari banyak model generatif.

Bagaimana model generatif ini dibuat? Biasanya, mereka dibangun dengan jaringan saraf dalam, dioptimalkan untuk menangkap variasi multifaset dalam data. Contoh utama adalah Generative Adversarial Network (GAN), di mana dua jaringan saraf, generator dan diskriminator, bersaing dan belajar dari satu sama lain dalam hubungan guru-murid yang unik. Dari lukisan hingga transfer gaya, dari komposisi musik hingga permainan, model ini berkembang dan berkembang dengan cara yang sebelumnya tidak terbayangkan.

Ini tidak berhenti dengan GAN. Variational Autoencoders (VAEs), adalah pemain kunci lain dalam bidang model generatif. VAEs menonjol karena kemampuan mereka untuk menciptakan gambar fotorealistik dari angka-angka yang tampaknya acak. Bagaimana? Memproses angka-angka ini melalui vektor laten memberikan kelahiran karya seni yang mencerminkan kompleksitas estetika manusia.

Jenis Kecerdasan Buatan Generatif: Teks ke Teks, Teks ke Gambar

Transformer & LLM

Makalah “Attention Is All You Need” oleh Google (GOOGL ) Brain menandai perubahan dalam cara kita memikirkan tentang pemodelan teks. Daripada arsitektur yang kompleks dan berurutan seperti Jaringan Saraf Berulang (RNN) atau Jaringan Saraf Konvolusi (CNN), model Transformer memperkenalkan konsep perhatian, yang pada dasarnya berarti fokus pada bagian-bagian yang berbeda dari teks input tergantung pada konteks. Salah satu keuntungan utama dari ini adalah kemudahan paralelisasi. Tidak seperti RNN yang memproses teks secara berurutan, membuatnya lebih sulit untuk diskalakan, Transformer dapat memproses bagian-bagian teks secara bersamaan, membuat pelatihan lebih cepat dan lebih efisien pada dataset besar.

Dalam teks panjang, tidak setiap kata atau kalimat yang Anda baca memiliki kesamaan pentingnya. Beberapa bagian menuntut perhatian lebih berdasarkan konteks. Kemampuan untuk menggeser fokus kita berdasarkan relevansi adalah apa yang dimodelkan oleh mekanisme perhatian.

Untuk memahami ini, pikirkan sebuah kalimat: “Unite AI Menerbitkan Berita AI dan Robotika.” Sekarang, memprediksi kata berikutnya memerlukan pemahaman tentang apa yang paling penting dalam konteks sebelumnya. Istilah ‘Robotika’ mungkin menunjukkan bahwa kata berikutnya terkait dengan kemajuan atau peristiwa tertentu dalam bidang robotika, sedangkan ‘Menerbitkan’ mungkin menunjukkan bahwa konteks berikutnya mungkin membahas tentang penerbitan atau artikel tertentu.

Mekanisme perhatian dalam Transformer dirancang untuk mencapai fokus selektif ini. Mereka menilai pentingnya bagian-bagian yang berbeda dari teks input dan memutuskan di mana untuk “melihat” ketika menghasilkan respons. Ini adalah penyimpangan dari arsitektur yang lebih lama seperti RNN yang mencoba memasukkan esensi semua teks input ke dalam satu ‘keadaan’ atau ‘memori’.

Kerja perhatian dapat disamakan dengan sistem pengambilan kunci-nilai. Dalam mencoba memprediksi kata berikutnya dalam kalimat, setiap kata sebelumnya menawarkan ‘kunci’ yang menunjukkan potensi relevansinya, dan berdasarkan seberapa baik kunci-kunci ini cocok dengan konteks saat ini (atau kueri), mereka memberikan ‘nilai’ atau bobot pada prediksi.

Model pembelajaran dalam yang canggih ini telah terintegrasi dengan mulus ke dalam berbagai aplikasi, dari peningkatan mesin pencari Google dengan BERT hingga GitHub’s Copilot, yang memanfaatkan kemampuan Model Bahasa Besar (LLM) untuk mengubah potongan kode sederhana menjadi kode sumber yang lengkap.

Model Bahasa Besar (LLM) seperti GPT-4, Bard, dan LLaMA, adalah struktur besar yang dirancang untuk memecahkan dan menghasilkan bahasa manusia, kode, dan lainnya. Ukuran besar mereka, yang berkisar dari miliaran hingga triliunan parameter, adalah salah satu fitur yang membedakan. Model LLM ini diberi makan dengan sejumlah besar data teks, memungkinkan mereka untuk memahami kerumitan bahasa manusia. Karakteristik yang mencolok dari model ini adalah kemampuan mereka untuk “few-shot” pembelajaran. Tidak seperti model konvensional yang memerlukan sejumlah besar data pelatihan spesifik, LLM dapat menggeneralisasi dari jumlah contoh yang sangat terbatas (atau “tembakan”)

Keadaan Model Bahasa Besar (LLM) pada Pertengahan 2023

Bagaimana LLM Digunakan?

LLM dapat digunakan dalam beberapa cara, termasuk:

1. Penggunaan Langsung: Menggunakan LLM pra-terlatih untuk generasi teks atau pemrosesan. Misalnya, menggunakan GPT-4 untuk menulis posting blog tanpa fine-tuning tambahan.
2. Fine-Tuning: Menyesuaikan LLM pra-terlatih untuk tugas tertentu, metode yang dikenal sebagai transfer learning. Contoh adalah menyesuaikan T5 untuk menghasilkan ringkasan untuk dokumen dalam industri tertentu.
3. Pengambilan Informasi: Menggunakan LLM, seperti BERT atau GPT, sebagai bagian dari arsitektur yang lebih besar untuk mengembangkan sistem yang dapat mengambil dan mengategorikan informasi.

Perhatian Multi-Kepala: Mengapa Satu Ketika Anda Bisa Memiliki Banyak?

Namun, mengandalkan satu mekanisme perhatian saja dapat membatasi. Kata atau urutan yang berbeda dalam teks dapat memiliki jenis relevansi atau asosiasi yang berbeda. Inilah di mana perhatian multi-kepala masuk. Sebagai gantinya menggunakan satu set bobot perhatian, perhatian multi-kepala menggunakan beberapa set, memungkinkan model untuk menangkap variasi yang lebih kaya dari hubungan dalam teks input. Setiap “kepala” perhatian dapat fokus pada bagian atau aspek yang berbeda dari input, dan pengetahuan gabungan mereka digunakan untuk prediksi akhir.

ChatGPT: Alat Kecerdasan Buatan Generatif Paling Populer

Dimulai dengan GPT yang diperkenalkan pada 2018, model ini pada dasarnya dibangun di atas fondasi 12 lapisan, 12 kepala perhatian, dan 120 juta parameter, terutama dilatih pada dataset BookCorpus. Ini adalah awal yang mengesankan, menawarkan gambaran tentang masa depan model bahasa.

GPT-2, yang diluncurkan pada 2019, membanggakan peningkatan empat kali lipat dalam lapisan dan kepala perhatian. Secara signifikan, hitungan parameternya melonjak menjadi 1,5 miliar. Versi yang ditingkatkan ini berasal dari pelatihan pada WebText, dataset yang diperkaya dengan 40GB teks dari berbagai tautan Reddit.

GPT-3, yang diluncurkan pada Mei 2020, memiliki 96 lapisan, 96 kepala perhatian, dan jumlah parameter yang besar sebesar 175 miliar. Apa yang membedakan GPT-3 adalah data pelatihan yang beragam, mencakup CommonCrawl, WebText, Wikipedia bahasa Inggris, korpus buku, dan sumber lain, yang totalnya mencapai 570 GB.

Kerja internal ChatGPT tetap menjadi rahasia yang dijaga ketat. Namun, proses yang disebut ‘pembelajaran penguatan dari umpan balik manusia’ (RLHF) diketahui menjadi kunci. Berasal dari proyek ChatGPT sebelumnya, teknik ini sangat penting dalam mengasah model GPT-3.5 untuk lebih sesuai dengan instruksi tertulis.

Pelatihan ChatGPT mencakup pendekatan tiga tingkat:

1. Fine-Tuning Terawasi: Melibatkan pengumpulan input dan output konversasi yang ditulis manusia untuk memperbaiki model GPT-3.5 yang mendasarinya.
2. Pemodelan Hadiah: Manusia menilai output model berdasarkan kualitas, membantu melatih model hadiah yang menilai setiap output berdasarkan konteks percakapan.
3. Pembelajaran Penguatan: Konteks percakapan berfungsi sebagai latar belakang di mana model yang mendasarinya mengusulkan respons. Respons ini dievaluasi oleh model hadiah, dan proses ini dioptimalkan menggunakan algoritma yang disebut optimasi kebijakan proximal (PPO).

Untuk mereka yang baru memulai dengan ChatGPT, panduan memulai yang komprehensif dapat ditemukan di sini. Jika Anda ingin mempelajari lebih lanjut tentang teknik prompt lanjutan dengan ChatGPT, kami juga memiliki panduan lanjutan yang membahas tentang teknik prompt terbaru dan State of the Art, tersedia di ‘ChatGPT & Teknik Prompt Lanjutan: Mengarahkan Evolusi AI‘.

Diffusi & Model Multimodal

Sementara model seperti VAEs dan GANs menghasilkan output mereka melalui satu langkah, sehingga terkunci pada apa yang mereka produksi, model difusi telah memperkenalkan konsep ‘pemurnian iteratif’. Melalui metode ini, mereka kembali, memperbaiki kesalahan dari langkah sebelumnya, dan secara bertahap menghasilkan hasil yang lebih halus.

Inti dari model difusi adalah seni “kerusakan” dan “pemurnian”. Pada fase pelatihan, gambar yang biasa diperlakukan dengan menambahkan tingkat kebisingan yang bervariasi. Versi yang berisik ini kemudian diberikan kepada model, yang mencoba untuk “menghilangkan kebisingan” atau “memperbaiki”nya. Melalui beberapa putaran, model menjadi terampil dalam pemulihan, memahami baik aberrasi halus maupun signifikan.

Proses menghasilkan gambar baru pasca-pelatihan menarik. Dimulai dengan input yang sepenuhnya acak, itu terus diperbarui menggunakan prediksi model. Tujuannya adalah untuk mencapai gambar yang sempurna dengan jumlah langkah minimum. Mengontrol tingkat kerusakan dilakukan melalui “jadwal kebisingan”, mekanisme yang mengatur seberapa banyak kebisingan yang diterapkan pada tahap yang berbeda. Seorang “penjadwal”, seperti yang dilihat dalam perpustakaan seperti “diffusers“, menentukan sifat dari versi yang berisik ini berdasarkan algoritma yang mapan.

Bagian arsitektur yang penting untuk banyak model difusi adalah UNet—jaringan saraf konvolusi yang dirancang untuk tugas yang memerlukan output yang mencerminkan dimensi spasial input. Ini adalah campuran dari lapisan downsampling dan upsampling, terhubung dengan hati-hati untuk mempertahankan data resolusi tinggi, yang sangat penting untuk output yang terkait dengan gambar.

Menjelajahi lebih dalam ke dalam dunia model generatif, OpenAI’s DALL-E 2 muncul sebagai contoh yang cemerlang dari penggabungan kemampuan AI tekstual dan visual. Ini menggunakan struktur tiga tingkat:

DALL-E 2 menampilkan arsitektur tiga tingkat:

1. Pengkode Teks: Mengubah prompt teks menjadi penyematan konseptual dalam ruang laten. Model ini tidak dimulai dari awal. Ini bergantung pada dataset CLIP (Contrastive Language–Image Pre-training) dari OpenAI sebagai dasarnya. CLIP berfungsi sebagai jembatan antara data visual dan tekstual dengan mempelajari konsep visual menggunakan bahasa alami. Melalui mekanisme yang disebut pembelajaran kontras, ini mengidentifikasi dan mencocokkan gambar dengan deskripsi tekstual yang sesuai.
2. Prior: Penyematan teks yang dihasilkan dari pengkode diubah menjadi penyematan gambar. DALL-E 2 menguji metode autoregresif dan difusi untuk tugas ini, dengan yang terakhir menunjukkan hasil yang lebih baik. Model autoregresif, seperti yang dilihat pada Transformer dan PixelCNN, menghasilkan output dalam urutan. Di sisi lain, model difusi, seperti yang digunakan dalam DALL-E 2, mengubah kebisingan acak menjadi penyematan gambar yang diprediksi dengan bantuan penyematan teks.
3. Decoder: Puncak dari proses, bagian ini menghasilkan output visual akhir berdasarkan prompt teks dan penyematan gambar dari fase sebelumnya. Arsitektur decoder DALL-E 2 berhutang pada model lain, GLIDE, yang juga dapat menghasilkan gambar realistis dari prompt tekstual.

Pengguna Python yang tertarik dengan Langchain harus memeriksa tutorial terperinci kami yang mencakup semua mulai dari dasar hingga teknik lanjutan.

Aplikasi Kecerdasan Buatan Generatif

Domain Teks

Dimulai dengan teks, Kecerdasan Buatan Generatif telah secara fundamental diubah oleh chatbot seperti ChatGPT. Bergantung pada Pemrosesan Bahasa Alami (NLP) dan model bahasa besar (LLM), entitas ini diberdayakan untuk melakukan tugas yang berkisar dari generasi kode dan terjemahan bahasa hingga ringkasan dan analisis sentimen. ChatGPT, misalnya, telah melihat adopsi yang luas, menjadi andalan bagi jutaan orang. Ini lebih lanjut diperkuat oleh platform AI percakapan, yang didasarkan pada LLM seperti GPT-4, PaLM, dan BLOOM, yang dengan mudah menghasilkan teks, membantu dalam pemrograman, dan bahkan menawarkan penalaran matematika.

Dari perspektif komersial, model ini menjadi sangat berharga. Bisnis menggunakan mereka untuk berbagai operasi, termasuk manajemen risiko, optimasi inventaris, dan peramalan permintaan. Beberapa contoh terkenal termasuk Bing AI, Google’s BARD, dan ChatGPT API.

Seni

Dunia gambar telah mengalami transformasi dramatis dengan Kecerdasan Buatan Generatif, terutama sejak pengenalan DALL-E 2 pada 2022. Teknologi ini, yang dapat menghasilkan gambar dari prompt teks, memiliki implikasi artistik dan profesional. Misalnya, midjourney telah memanfaatkan teknologi ini untuk menghasilkan gambar yang sangat realistis. Postingan terbaru memecahkan misteri midjourney dalam panduan terperinci, menjelaskan baik platform maupun kerumitan teknik prompt. Selain itu, platform seperti Alpaca AI dan Photoroom AI menggunakan Kecerdasan Buatan Generatif untuk fungsionalitas pengeditan gambar lanjutan seperti penghapusan latar belakang, penghapusan objek, dan bahkan restorasi wajah.

Produksi Video

Produksi video, meskipun masih dalam tahap awal dalam ranah Kecerdasan Buatan Generatif, menunjukkan kemajuan yang menjanjikan. Platform seperti Imagen Video, Meta Make A Video, dan Runway Gen-2 mendorong batas apa yang mungkin dilakukan, bahkan jika output yang benar-benar realistis masih berada di cakrawala. Model ini menawarkan utilitas substansial untuk menciptakan video manusia digital, dengan aplikasi seperti Synthesia dan SuperCreator yang memimpin. Terutama, Tavus AI menawarkan proposisi penjualan unik dengan mempersonalisasi video untuk anggota audiens individual, sebuah berkah bagi bisnis.

Pembuatan Kode

Pemrograman, aspek tak terpisahkan dari dunia digital kita, tidak luput dari sentuhan Kecerdasan Buatan Generatif. Meskipun ChatGPT adalah alat yang disukai, beberapa aplikasi AI lainnya telah dikembangkan untuk tujuan pemrograman. Platform ini, seperti GitHub Copilot, Alphacode, dan CodeComplete, berfungsi sebagai asisten pemrograman dan bahkan dapat menghasilkan kode dari prompt teks. Apa yang menarik adalah kemampuan adaptasi dari alat-alat ini. Codex, yang mendorong GitHub Copilot, dapat disesuaikan dengan gaya pemrograman individu, menyoroti potensi personalisasi dari Kecerdasan Buatan Generatif.

Dengan alat seperti ChatGPT menjadi lebih mudah diakses, sekarang adalah waktu yang tepat untuk mencoba dan bereksperimen. Apakah Anda seorang seniman, pengkode, atau penggemar teknologi, ranah Kecerdasan Buatan Generatif penuh dengan kemungkinan yang menunggu untuk dijelajahi. Revolusi ini tidak berada di cakrawala; itu ada sekarang. Jadi, masuklah!