Pertarungan Open Source melawan Closed Source Bahasa Model: Analisis Teknis

Model bahasa besar (LLM) telah mempesona komunitas AI dalam beberapa tahun terakhir, memimpin terobosan dalam pemrosesan bahasa alami. Di balik hiruk-pikuknya terdapat debat kompleks – apakah model-model kuat ini harus open source atau closed source?

Dalam posting ini, kita akan menganalisis perbedaan teknis antara pendekatan-pendekatan ini untuk memahami peluang dan keterbatasan yang ditawarkan oleh masing-masing. Kita akan membahas aspek-aspek kunci berikut:

• Mendefinisikan open source vs closed source LLM
• Transparansi arsitektur dan kustomisasi
• Benchmarked kinerja
• Persyaratan komputasi
• Fleksibilitas aplikasi
• Aksesibilitas dan lisensi
• Privasi data dan kerahasiaan
• Dukungan komersial dan pendanaan

Pada akhirnya, Anda akan memiliki perspektif yang terinformasi tentang trade-off teknis antara open source dan closed source LLM untuk memandu strategi AI Anda sendiri. Mari kita mulai!

Mendefinisikan Open Source vs Closed Source LLM

LLM open source memiliki arsitektur model, kode sumber, dan parameter bobot yang dapat diakses secara publik. Ini memungkinkan peneliti untuk memeriksa internal, mengevaluasi kualitas, mereproduksi hasil, dan membangun varian kustom. Contoh terkemuka termasuk ConstitutionalAI dari Anthropic, LLaMA dari Meta, dan GPT-NeoX dari EleutherAI.

Di sisi lain, LLM closed source menganggap arsitektur model dan bobot sebagai aset propietary. Entitas komersial seperti Anthropic, DeepMind, dan OpenAI mengembangkannya secara internal. Tanpa akses ke kode atau detail desain, reproduktivitas dan kustomisasi menghadapi keterbatasan.

Transparansi Arsitektur dan Kustomisasi

Akses ke internal LLM open source membuka peluang kustomisasi yang tidak mungkin dengan alternatif closed source.

Dengan mengubah arsitektur model, peneliti dapat mengeksplorasi teknik seperti memperkenalkan koneksi yang langka antara lapisan atau menambahkan token klasifikasi khusus untuk meningkatkan kinerja pada tugas-tugas khusus. Dengan akses ke parameter bobot, pengembang dapat mentransfer pembelajaran yang ada atau menginisialisasi varian dengan blok bangunan yang sudah dilatih seperti T5 dan BERT embeddings.

Kustomisasi ini memungkinkan LLM open source untuk lebih baik melayani domain khusus seperti penelitian biomedis, generasi kode, dan pendidikan. Namun, keahlian yang diperlukan dapat meningkatkan hambatan untuk menghasilkan implementasi yang berkualitas produksi.

LLM closed source menawarkan kustomisasi yang terbatas karena detail teknisnya tetap propietary. Namun, pendukungnya menginvestasikan sumber daya yang luas untuk penelitian dan pengembangan internal. Sistem yang dihasilkan mendorong batas kemungkinan dengan arsitektur LLM yang umum.

Jadi, meskipun kurang fleksibel, LLM closed source unggul dalam tugas-tugas bahasa alami yang berlaku secara umum. Mereka juga mempermudah integrasi dengan mematuhi antarmuka yang sudah ditetapkan seperti standar OpenAPI.

Benchmarked Kinerja

Meskipun transparansi arsitektur, mengukur kinerja LLM open source memperkenalkan tantangan. Fleksibilitasnya memungkinkan konfigurasi dan strategi penyetelan yang tak terhingga. Ini juga memungkinkan model yang diberi label “open source” untuk sebenarnya termasuk teknik propietary yang mengganggu perbandingan.

LLM closed source memiliki target kinerja yang lebih jelas karena pendukungnya melakukan benchmark dan mengiklankan ambang batas metrik tertentu. Misalnya, Anthropic mempublikasikan akurasi ConstitutionalAI pada set masalah NLU yang dikurasi. Microsoft (MSFT ) menyoroti bagaimana GPT-4 melampaui baseline manusia pada toolkit pemahaman bahasa SuperGLUE.

Namun, benchmark ini menghadapi kritik karena melebih-lebihkan kinerja pada tugas-tugas dunia nyata dan meremehkan kegagalan. Evaluasi LLM yang tidak bias masih merupakan pertanyaan penelitian terbuka – untuk kedua pendekatan open source dan closed source.

Persyaratan Komputasi

Mengembangkan model bahasa besar memerlukan sumber daya komputasi yang luas. OpenAI menghabiskan jutaan dolar untuk melatih GPT-3 pada infrastruktur cloud, sedangkan Anthropic menghabiskan sekitar $10 juta untuk GPU ConstitutionalAI.

Tagihan untuk model seperti itu mengecualikan sebagian besar individu dan tim kecil dari komunitas open source. Faktanya, EleutherAI harus menghapus model GPT-J dari akses publik karena biaya hosting yang meledak.

Tanpa kantong yang dalam, kesuksesan LLM open source mengandalkan sumber daya komputasi yang disumbangkan. LAION mengkurasi model LAION-5B yang berfokus pada teknologi menggunakan data yang dikumpulkan dari komunitas. Proyek ConstitutionalAI non-profit dari Anthropic menggunakan komputasi sukarela.

Dukungan besar dari perusahaan seperti Google (GOOGL ), Meta, dan Baidu memberikan upaya LLM closed source bahan bakar keuangan yang diperlukan untuk mengindustrialisasi pengembangan LLM. Ini memungkinkan skala yang tidak terbayangkan bagi inisiatif akar rumput – lihat model Gopher 280 miliar parameter dari DeepMind.

Fleksibilitas Aplikasi

Kustomisasi LLM open source memberdayakan penanganan kasus penggunaan yang sangat khusus. Peneliti dapat mengubah internal model secara agresif untuk meningkatkan kinerja pada tugas-tugas khusus seperti prediksi struktur protein, generasi dokumentasi kode, dan verifikasi bukti matematika.

Namun, kemampuan untuk mengakses dan mengedit kode tidak menjamin solusi domain-spesifik yang efektif tanpa data yang tepat. Dataset pelatihan yang komprehensif untuk aplikasi yang sempit memerlukan upaya yang signifikan untuk dikurasi dan dipertahankan.

Di sini, LLM closed source mendapat manfaat dari sumber daya untuk mendapatkan data pelatihan dari repositori internal dan mitra komersial. Misalnya, DeepMind melisensikan database seperti ChEMBL untuk kimia dan UniProt untuk protein untuk memperluas jangkauan aplikasi. Akses data skala industri memungkinkan model seperti Gopher untuk mencapai fleksibilitas yang luar biasa meskipun arsitektur yang tidak transparan.

Aksesibilitas dan Lisensi

Lisensi permissive LLM open source mempromosikan akses gratis dan kolaborasi. Model seperti GPT-NeoX, LLaMA, dan Jurassic-1 Jumbo menggunakan perjanjian seperti Creative Commons dan Apache 2.0 untuk memungkinkan penelitian non-komersial dan komersialisasi yang adil.

Di sisi lain, LLM closed source memiliki lisensi yang restriktif yang membatasi ketersediaan model. Entitas komersial mengontrol akses dengan ketat untuk melindungi potensi aliran pendapatan dari API prediksi dan kemitraan perusahaan.

Tentu saja, organisasi seperti Anthropic dan Cohere mengenakan biaya untuk mengakses antarmuka ConstitutionalAI dan Cohere-512. Namun, ini berisiko menghargai penelitian domain yang penting, menggeser pengembangan ke industri yang didanai dengan baik.

Lisensi terbuka menimbulkan tantangan juga, terutama seputar atribusi dan tanggung jawab. Untuk kasus penggunaan penelitian, kebebasan yang diberikan oleh aksesibilitas open source menawarkan keuntungan yang jelas.

Privasi Data dan Kerahasiaan

Dataset pelatihan untuk LLM biasanya mengumpulkan konten dari berbagai sumber online seperti halaman web, artikel ilmiah, dan forum diskusi. Ini berisiko mengungkapkan informasi yang dapat diidentifikasi secara pribadi atau sensitif lainnya dalam output model.

Untuk LLM open source, memeriksa komposisi dataset menyediakan garis pertahanan terbaik melawan masalah kerahasiaan. Mengevaluasi sumber data, prosedur penyaringan, dan mendokumentasikan contoh yang ditemukan selama pengujian dapat membantu mengidentifikasi kerentanan.

Sayangnya, LLM closed source menghalangi audit publik seperti itu. Sebagai gantinya, konsumen harus mengandalkan ketatnya proses tinjauan internal berdasarkan kebijakan yang diumumkan. Untuk konteks, Azure Cognitive Services berjanji untuk menyaring data pribadi, sedangkan Google menentukan tinjauan privasi formal dan pelabelan data.

Secara keseluruhan, LLM open source memberdayakan identifikasi yang lebih proaktif dari risiko kerahasiaan dalam sistem AI sebelum kelemahan tersebut muncul dalam skala besar. LLM closed source menawarkan transparansi yang relatif terbatas ke dalam praktik penanganan data.

Dukungan Komersial dan Pendanaan

Potensi untuk memonetisasi LLM closed source mendorong investasi komersial yang signifikan untuk pengembangan dan pemeliharaan. Misalnya, dalam antisipasi pengembalian yang menguntungkan dari portofolio Azure AI, Microsoft setuju untuk kemitraan senilai miliaran dolar dengan OpenAI sekitar model GPT.

Di sisi lain, LLM open source mengandalkan sukarelawan yang mengalokasikan waktu pribadi untuk pemeliharaan atau hibah yang menyediakan pendanaan jangka pendek. Asimetri sumber daya ini berisiko mengancam kelangsungan dan kelanjutan proyek open source.

Namun, hambatan untuk komersialisasi juga membebaskan komunitas open source untuk fokus pada kemajuan ilmiah daripada keuntungan. Dan sifat terdesentralisasi dari ekosistem open source memitigasi ketergantungan pada minat berkelanjutan dari satu pendukung tunggal.

Pada akhirnya, setiap pendekatan membawa trade-off sekitar sumber daya dan insentif. LLM closed source menikmati keamanan pendanaan yang lebih besar tetapi konsentrasi pengaruh. Ekosistem open mempromosikan keragaman tetapi menderita ketidakpastian yang lebih tinggi.

Mengarungi Lanskap Open Source vs Closed Source LLM

Memutuskan antara LLM open source atau closed source memerlukan mencocokkan prioritas organisasi seperti kustomisasi, aksesibilitas, dan skalabilitas dengan kemampuan model.

Untuk peneliti dan perusahaan rintisan, open source memberikan lebih banyak kontrol untuk menyetel model ke tugas spesifik. Lisensi juga memfasilitasi berbagi wawasan secara gratis di antara kolaborator. Namun, beban untuk mendapatkan data pelatihan dan infrastruktur dapat melemahkan viabilitas dunia nyata.

Sebaliknya, LLM closed source menjanjikan perbaikan kualitas yang signifikan berkat pendanaan dan data yang melimpah. Namun, batasan sekitar akses dan modifikasi membatasi transparansi ilmiah sementara mengikat penerapan ke roadmap vendor.

Dalam prakteknya, standar terbuka sekitar spesifikasi arsitektur, checkpoint model, dan data evaluasi dapat membantu mengimbangi kelemahan dari kedua pendekatan. Fondasi bersama seperti Transformer Google atau benchmark REALTO Oxford memperbaiki reproduktivitas. Standar interoperabilitas seperti ONNX memungkinkan pencampuran komponen dari sumber open dan closed.

Pada akhirnya, apa yang penting adalah memilih alat yang tepat – open source atau closed source – untuk pekerjaan yang ada. Entitas komersial yang mendukung LLM closed source membawa pengaruh yang tidak dapat disangkal. Namun, semangat dan prinsip ilmu terbuka akan terus memainkan peran penting dalam mendorong kemajuan AI.