Julien Salinas, Pendiri & CTO NLP Cloud – Seri Wawancara

Julien Salinas adalah Pendiri & CTO NLP Cloud. Platform NLP Cloud menyajikan model NLP produksi yang siap digunakan dengan kinerja tinggi, berdasarkan spaCy dan HuggingFace transformers, untuk berbagai kasus penggunaan termasuk NER, analisis sentimen, klasifikasi teks, ringkasan, pertanyaan dan jawaban, generasi teks, terjemahan, deteksi bahasa, koreksi tata bahasa dan ejaan, klasifikasi niat, dan kesamaan semantik.

Apa yang awalnya membuat Anda tertarik dengan ilmu komputer?

Saya mulai memprogram di… sekolah bisnis! Saya tahu itu terdengar mengejutkan. Sebenarnya, saya dengan cepat menyadari bahwa bisnis itu sendiri membosankan dan bahwa saya akan segera terbatas jika saya tidak memiliki keterampilan teknis untuk mencapai proyek saya.

Proyek pertama saat itu adalah sebuah situs web kecil untuk guru musik saya, kemudian satu lagi untuk keluarga saya, kemudian saya mulai belajar Python… dan seterusnya. Sekarang saya telah menjadi pengembang Python/Go dan DevOps selama 15 tahun.

Bagaimana cerita di balik NLP Cloud?

Ini dimulai 2 tahun yang lalu ketika saya menyadari bahwa, sebagai pengembang, itu cukup sulit untuk mengirimkan model machine learning ke produksi.

Saya terkesan dengan kemajuan yang dibuat oleh kerangka kerja seperti Hugging Face Transformers dan spaCy, dan saya dapat menggunakan model NLP yang sangat maju dalam proyek saya. Tapi menggunakan model ini dalam produksi adalah hal lain dan, secara mengejutkan, saya tidak bisa menemukan No-Ops cloud yang menarik untuk NLP di pasar.

Jadi, saya memutuskan untuk memulai platform saya sendiri untuk pengiriman model NLP. Sangat cepat kami mendapatkan umpan balik yang bagus dari pelanggan dan kami menambahkan banyak fitur berdasarkan umpan balik tersebut (model pra-dilatih, fine-tuning, playground…).

NLP Cloud platform mendukung GPT-3 alternatif open-source GPT-J. Apa itu GPT-J secara khusus?

GPT-J telah dirilis oleh tim peneliti yang disebut EleutherAI pada bulan Juni tahun ini. Mereka percaya bahwa GPT-3 harus menjadi model open-source, seperti pendahulunya (GPT dan GPT-2). Mereka mengklaim bahwa, bahkan jika kita harus khawatir tentang penyalahgunaan model AI yang kuat seperti GPT, itu tidak ada alasan untuk tidak membuat model ini open-source. Sebaliknya: mereka percaya bahwa jika model AI tetap open-source, itu adalah cara terbaik bagi komunitas untuk memahami bagaimana model ini bekerja di balik layar, dan kemudian memastikan bahwa model ini tidak berperilaku salah (misogini, rasisme, …).

GPT-J adalah setara langsung dengan GPT-3 Curie karena keduanya dilatih pada sekitar 6 miliar parameter.

Keduanya hampir dapat digunakan secara bergantian.

Mengapa GPT-J adalah alternatif yang unggul untuk GPT-3?

GPT-3 milik Microsoft (MSFT ) dan satu-satunya cara bagi orang untuk menggunakannya adalah melalui API GPT-3 resmi.

Tapi API ini sangat mahal, dan sangat terbatas: Anda perlu meminta akses ke API dan, bahkan jika aplikasi Anda diterima, akses Anda dapat dihentikan kapan saja jika mereka menganggap bahwa model bisnis Anda tidak sesuai dengan pedoman mereka. Misalnya, Anda tidak bisa menghasilkan “teks terbuka” (teks panjang yang terdiri dari beberapa paragraf) karena itu melanggar kebijakan mereka.

Tidak ada batasan seperti itu dengan GPT-J karena itu open-source dan siapa saja dapat menginstal dan menggunakannya.

Apa beberapa tantangan teknis dengan mengintegrasikan GPT-J pada NLP Cloud?

GPT-J kompleks untuk diinstal karena konsumsi sumber daya yang tinggi (RAM, CPU, GPU…). Ini bekerja tanpa GPU tetapi sangat lambat sehingga tidak praktis.

Di akhir, perangkat keras yang dibutuhkan untuk menjalankan GPT-J sangat mahal sehingga, untuk menurunkan biaya, kami harus bekerja pada banyak detail implementasi.

Juga, untuk memastikan ketersediaan tinggi GPT-J pada NLP Cloud dan membuatnya sesuai untuk produksi, kami harus bekerja pada strategi redundansi dan failover untuk GPT-J yang bisa cukup menantang.

Bagaimana dengan model AI pra-dilatih yang ditawarkan?

Kami melakukan yang terbaik untuk memilih model AI pra-dilatih terbaik per kasus penggunaan.

Untuk ringkasan teks, yang terbaik – menurut kami – adalah Facebook’s Bart Large CNN yang memberikan hasil yang sangat baik tetapi bisa cukup lambat tanpa GPU.

Untuk klasifikasi teks, kami mengimplementasikan Facebook’s Bart Large MNLI (untuk klasifikasi bahasa Inggris) dan Joe Davison’s XLM Roberta Large XLNI (untuk bahasa non-Inggris). Keduanya cepat dan sangat akurat.

Untuk pertanyaan dan jawaban, kami menggunakan Deepset’s Roberta Base Squad 2. Ini cepat dan akurat tetapi untuk pertanyaan dan jawaban yang lebih maju Anda mungkin ingin menggunakan GPT-J.

Dan banyak lagi!

Apa beberapa kasus penggunaan terbaik untuk NLP Cloud?

Kasus penggunaan yang paling banyak digunakan adalah ringkasan teks, klasifikasi teks, dan generasi teks dengan GPT-J untuk generasi deskripsi produk, paraphrase, generasi artikel…

Tapi kasus penggunaan yang kami lihat di antara pelanggan kami sangat beragam, dan itu sangat mengesankan untuk menyaksikan banyak ide hebat yang muncul!

Apakah ada yang ingin Anda bagikan tentang NLP Cloud?

Bagi kami, AI untuk pemahaman teks dan generasi teks akhirnya digunakan “secara nyata” dalam produk atau alur kerja internal, oleh lebih banyak perusahaan.

Ini sangat baik untuk melihat bahwa NLP tidak hanya sebuah bidang penelitian murni lagi, tetapi ada kasus penggunaan bisnis yang nyata yang dapat memanfaatkan NLP.

Di NLP Cloud kami akan terus melakukan yang terbaik untuk membuatnya mudah bagi siapa saja untuk menguji dan menggunakan NLP dalam produksi.

Terima kasih atas wawancara yang bagus, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi NLP Cloud.