Gemma: Google Menghadirkan Kemampuan AI Tingkat Lanjut melalui Open Source

Bidang kecerdasan buatan (AI) telah mengalami kemajuan luar biasa dalam beberapa tahun terakhir, sebagian besar didorong oleh kemajuan dalam bidang kecerdasan buatan belajar mendalam dan pemrosesan bahasa alami (NLP). Yang terdepan dalam kemajuan ini adalah model bahasa besar (LLMs) – Sistem AI dilatih pada data teks dalam jumlah besar yang dapat menghasilkan teks mirip manusia dan terlibat dalam tugas percakapan.

LLM seperti PaLM Google, Claude Anthropic, dan Gopher DeepMind telah menunjukkan kemampuan luar biasa, mulai dari pengkodean hingga penalaran akal sehat. Namun, sebagian besar model ini belum dirilis secara terbuka, sehingga membatasi akses mereka untuk penelitian, pengembangan, dan aplikasi yang bermanfaat.

Hal ini berubah dengan open source baru-baru ini dari Gemma – sebuah keluarga LLM dari DeepMind Google berdasarkan model Gemini yang kuat dan berpemilik. Dalam postingan blog ini, kita akan mendalami Gemma, menganalisis arsitekturnya, proses pelatihan, kinerja, dan rilis yang bertanggung jawab.

Sekilas tentang Gemma

Pada bulan Februari 2023, DeepMind bersumber terbuka dua ukuran model Gemma – versi parameter 2 miliar yang dioptimalkan untuk penerapan pada perangkat, dan versi parameter 7 miliar lebih besar yang dirancang untuk penggunaan GPU/TPU.

Gemma memanfaatkan arsitektur berbasis transformator dan metodologi pelatihan yang serupa dengan model Gemini terkemuka DeepMind. Itu dilatih hingga 6 triliun token teks dari dokumen web, matematika, dan kode.

DeepMind merilis pos pemeriksaan Gemma yang telah dilatih sebelumnya, serta versi yang disempurnakan dengan pembelajaran yang diawasi dan umpan balik manusia untuk meningkatkan kemampuan di berbagai bidang seperti dialog, mengikuti instruksi, dan pengkodean.

Memulai dengan Gemma

Rilis terbuka Gemma membuat kemampuan AI canggihnya dapat diakses oleh pengembang, peneliti, dan peminat. Berikut panduan cepat untuk memulai:

Penerapan Platform Agnostik

Kekuatan utama Gemma adalah fleksibilitasnya – Anda dapat menjalankannya di CPU, GPU, atau TPU. Untuk CPU, manfaatkan TensorFlow Lite atau HuggingFace Transformers. Untuk akselerasi performa pada GPU/TPU, gunakan TensorFlow. Layanan cloud seperti Vertex AI dari Google Cloud juga memberikan penskalaan yang lancar.

Akses Model Terlatih

Gemma hadir dalam varian terlatih yang berbeda tergantung kebutuhan Anda. Model 2B dan 7B menawarkan kemampuan generatif yang kuat. Untuk penyesuaian khusus, model 2B-FT dan 7B-FT merupakan titik awal yang ideal.

Bangun Aplikasi Menarik

Anda dapat membangun beragam aplikasi dengan Gemma, seperti pembuatan cerita, terjemahan bahasa, menjawab pertanyaan, dan produksi konten kreatif. Kuncinya adalah memanfaatkan kekuatan Gemma melalui penyesuaian pada kumpulan data Anda sendiri.

Arsitektur

Gemma menggunakan arsitektur transformator khusus decoder, yang dikembangkan berdasarkan kemajuan seperti perhatian multi-kueri dan penyematan posisi putar:

• Transformer: Diperkenalkan pada tahun 2017, arsitektur transformator yang hanya didasarkan pada mekanisme perhatian telah ada di mana-mana di NLP. Gemma mewarisi kemampuan transformator untuk memodelkan ketergantungan jangka panjang dalam teks.
• Khusus dekoder: Gemma hanya menggunakan tumpukan decoder transformator, tidak seperti model encoder-decoder seperti BART atau T5. Hal ini memberikan kemampuan generatif yang kuat untuk tugas-tugas seperti pembuatan teks.
• Perhatian multi-kueri: Gemma menggunakan perhatian multi-kueri dalam modelnya yang lebih besar, memungkinkan setiap kepala perhatian memproses beberapa kueri secara paralel untuk inferensi yang lebih cepat.
• Penyematan posisi putar: Gemma mewakili informasi posisi menggunakan penyematan putar, bukan pengkodean posisi absolut. Teknik ini mengurangi ukuran model sambil tetap mempertahankan informasi posisi.

Penggunaan teknik seperti perhatian multi-kueri dan penyematan posisi putar memungkinkan model Gemma mencapai keseimbangan optimal antara performa, kecepatan inferensi, dan ukuran model.

Proses Data dan Pelatihan

Gemma dilatih hingga 6 triliun token data teks, terutama dalam bahasa Inggris. Ini termasuk dokumen web, teks matematika, dan kode sumber. DeepMind menginvestasikan upaya yang signifikan dalam pemfilteran data, menghilangkan konten beracun atau berbahaya menggunakan pengklasifikasi dan heuristik.

Pelatihan dilakukan menggunakan infrastruktur TPUv5 Google, dengan hingga 4096 TPU digunakan untuk melatih Gemma-7B. Teknik model dan paralelisme data yang efisien memungkinkan pelatihan model besar-besaran dengan perangkat keras komoditas.

Pelatihan bertahap digunakan, terus-menerus menyesuaikan distribusi data agar fokus pada teks yang relevan dan berkualitas tinggi. Tahap penyempurnaan akhir menggunakan campuran contoh instruksi yang dibuat oleh manusia dan sintetis untuk meningkatkan kemampuan.

Kinerja Model

DeepMind mengevaluasi model Gemma secara ketat berdasarkan lebih dari 25 tolok ukur yang mencakup jawaban pertanyaan, penalaran, matematika, pengkodean, akal sehat, dan kemampuan dialog.

Gemma mencapai hasil yang canggih dibandingkan dengan model open source berukuran serupa di sebagian besar tolok ukur. Beberapa hal penting:

• Matematika: Gemma unggul dalam tes penalaran matematika seperti GSM8K dan MATH, mengungguli model seperti Codex dan Anthropic's Claude dengan lebih dari 10 poin.
• Pengkodean: Gemma menyamai atau melampaui kinerja Codex pada tolok ukur pemrograman seperti MBPP, meskipun tidak dilatih secara khusus tentang kode.
• Dialog: Gemma menunjukkan kemampuan percakapan yang kuat dengan tingkat kemenangan 51.7% dibandingkan Mistral-7B Anthropic pada tes preferensi manusia.
• Pemikiran: Pada tugas yang memerlukan inferensi seperti ARC dan Winogrande, Gemma mengungguli model 7B lainnya dengan 5-10 poin.

Fleksibilitas Gemma dalam berbagai disiplin ilmu menunjukkan kemampuan kecerdasan umum yang kuat. Meskipun kesenjangan terhadap kinerja tingkat manusia masih ada, Gemma mewakili lompatan maju dalam NLP open source.

Keamanan dan Tanggung Jawab

Melepaskan bobot model besar yang bersifat open source menimbulkan tantangan seputar penyalahgunaan yang disengaja dan bias model yang melekat. DeepMind mengambil langkah-langkah untuk memitigasi risiko:

• Pemfilteran data: Teks yang berpotensi beracun, ilegal, atau bias telah dihapus dari data pelatihan menggunakan pengklasifikasi dan heuristik.
• Peringkat: Gemma diuji pada 30+ tolok ukur yang dikurasi untuk menilai keamanan, keadilan, dan ketahanan. Itu cocok atau melampaui model lain.
• Mencari setelan: Penyempurnaan model berfokus pada peningkatan kemampuan keselamatan seperti penyaringan informasi dan perilaku lindung nilai/penolakan yang tepat.
• Syarat penggunaan: Ketentuan penggunaan melarang penerapan model Gemma yang menyinggung, ilegal, atau tidak etis. Namun, penegakan hukum masih menjadi tantangan.
• Kartu model: Kartu yang merinci kemampuan, keterbatasan, dan bias model dirilis untuk mendorong transparansi.

Meskipun ada risiko dari sumber terbuka, DeepMind menetapkan bahwa rilis Gemma memberikan manfaat sosial bersih berdasarkan profil keamanannya dan pemberdayaan penelitian. Namun, pemantauan yang cermat terhadap potensi bahaya akan tetap penting.

Memungkinkan Gelombang Inovasi AI Berikutnya

Melepaskan Gemma sebagai keluarga model sumber terbuka akan membuka kemajuan di seluruh komunitas AI:

• Aksesibilitas: Gemma mengurangi hambatan bagi organisasi untuk membangun dengan NLP mutakhir, yang sebelumnya menghadapi biaya komputasi/data yang tinggi untuk melatih LLM mereka sendiri.
• Aplikasi baru: Dengan pos pemeriksaan sumber terbuka yang telah dilatih dan disesuaikan, DeepMind memungkinkan pengembangan aplikasi bermanfaat yang lebih mudah di berbagai bidang seperti pendidikan, sains, dan aksesibilitas.
• Kustomisasi: Pengembang dapat menyesuaikan Gemma lebih lanjut untuk aplikasi spesifik industri atau domain melalui pelatihan berkelanjutan mengenai data kepemilikan.
• Penelitian: Model terbuka seperti Gemma mendorong transparansi dan audit yang lebih besar terhadap sistem NLP saat ini, sehingga menjelaskan arah penelitian di masa depan.
• Inovasi: Ketersediaan model dasar yang kuat seperti Gemma akan mempercepat kemajuan di berbagai bidang seperti mitigasi bias, faktualitas, dan keamanan AI.

Dengan memberikan kemampuan Gemma kepada semua orang melalui sumber terbuka, DeepMind berharap dapat memacu pengembangan AI yang bertanggung jawab demi kebaikan sosial.

Jalan di depan

Dengan setiap lompatan dalam AI, kita semakin dekat menuju model yang menyaingi atau melampaui kecerdasan manusia di semua bidang. Sistem seperti Gemma menggarisbawahi betapa pesatnya kemajuan dalam model pengawasan mandiri membuka kemampuan kognitif yang semakin maju.

Namun, masih banyak upaya yang perlu dilakukan untuk meningkatkan keandalan, kemampuan interpretasi, dan pengendalian AI – area dimana kecerdasan manusia masih menjadi prioritas utama. Bidang seperti matematika menyoroti kesenjangan yang terus-menerus ini, dengan Gemma mendapatkan skor 64% pada MMLU dibandingkan dengan estimasi kinerja manusia sebesar 89%.

Menutup kesenjangan ini sekaligus memastikan keselamatan dan etika sistem AI yang semakin canggih akan menjadi tantangan utama di tahun-tahun mendatang. Mencapai keseimbangan yang tepat antara keterbukaan dan kehati-hatian sangatlah penting, karena DeepMind bertujuan untuk mendemokratisasi akses terhadap manfaat AI sambil mengelola risiko yang muncul.

Inisiatif untuk mempromosikan keamanan AI – seperti ANC dari Dario Amodei, tim Ethics & Society dari DeepMind, dan Constitutional AI dari Anthropic – menandakan semakin meningkatnya kesadaran akan perlunya nuansa ini. Kemajuan yang berarti memerlukan dialog terbuka dan berbasis bukti antara peneliti, pengembang, pembuat kebijakan, dan masyarakat.

Jika dinavigasi secara bertanggung jawab, Gemma tidak mewakili puncak AI, namun merupakan basecamp bagi generasi peneliti AI berikutnya yang mengikuti jejak DeepMind menuju kecerdasan umum buatan yang adil dan bermanfaat.

Kesimpulan

Peluncuran model Gemma oleh DeepMind menandakan era baru AI open source – yang melampaui tolok ukur sempit menjadi kemampuan kecerdasan umum. Diuji secara ekstensif untuk keamanan dan dapat diakses secara luas, Gemma menetapkan standar baru untuk open source yang bertanggung jawab di bidang AI.

Didorong oleh semangat kompetitif yang dipadukan dengan nilai-nilai kooperatif, berbagi terobosan seperti Gemma akan meningkatkan kinerja ekosistem AI. Seluruh komunitas kini memiliki akses ke keluarga LLM yang serbaguna untuk mendorong atau mendukung inisiatif mereka.

Meskipun risiko masih ada, ketekunan teknis dan etika DeepMind memberikan keyakinan bahwa manfaat Gemma lebih besar daripada potensi kerugiannya. Seiring dengan semakin canggihnya kemampuan AI, menjaga nuansa antara keterbukaan dan kehati-hatian sangatlah penting.

Gemma membawa kita selangkah lebih dekat menuju AI yang bermanfaat bagi seluruh umat manusia. Namun masih banyak tantangan besar yang menunggu dalam perjalanan menuju kecerdasan umum buatan yang baik hati. Jika para peneliti AI, pengembang, dan masyarakat luas dapat mempertahankan kemajuan kolaboratif, suatu hari Gemma mungkin akan dilihat sebagai basecamp bersejarah, dan bukan pertemuan puncak terakhir.