Julien Salinas, NLP Cloud’un Kurucusu ve CTO’su – Röportaj Serisi

Julien Salinas, NLP Cloud’un kurucusu ve CTO’sudur. NLP Cloud platformu, spaCy ve HuggingFace transformers temelinde yüksek performanslı üretim hazır NLP modelleri sunar. Bu modeller, ad tanıma, duygu analizi, metin sınıflandırma, özetleme, soru-cevap, metin oluşturma, çeviri, dil algılama, dilbilgisi ve yazım denetimi, niyet sınıflandırma ve anlamsal benzerlik gibi çeşitli kullanım durumları için tasarlanmıştır.

Sizce bilgisayar bilimine ilk olarak ne ilgi duydunuz?

Ben iş okulundayken programlamaya başladım! Aslında, iş dünyasının kendisinin çok sıkıcı olduğunu ve teknik becerilere sahip olmadığım sürece projelerimi gerçekleştirmekte hızlı bir şekilde sınırlı kalacağım fark ettim.

O zamanlar ilk projem, müzik öğretmenim için küçük bir web sitesiydi, ardından ailem için bir tane daha, sonra da Python öğrenmeye başladım… ve böylece devam etti. Şimdi 15 yıldan fazla süredir Python/Go geliştirici ve DevOps olarak çalışıyorum.

NLP Cloud’un arkasındaki hikayeyi paylaşabilir misiniz?

Bu, 2 yıl önce makineleri üretim ortamına dağıtmakta zorlandığımı fark ettiğimde başladı.

Hugging Face Transformers ve spaCy gibi çerçeveler tarafından yapılan ilerlemeye hayret ediyordum ve projelerimde çok gelişmiş NLP modellerini kullanabiliyordum. Ancak bu modelleri üretim ortamında kullanmak başka bir hikayeydi ve şaşırtıcı bir şekilde, NLP için interessan bir No-Ops bulut hizmetini piyasada bulamadım.

Bu nedenle, NLP modellerini dağıtmak için kendi platformumu oluşturmaya karar verdim. Çok kısa bir sürede harika müşteri geri bildirimleri aldık ve bu geri bildirimlere dayanarak birçok özellik ekledik (ön eğitimli modeller, fine-tuning, playground…).

NLP Cloud platformu, GPT-3 açık kaynak alternatifi GPT-J’yi destekler. GPT-J nedir?

GPT-J, EleutherAI adlı bir araştırma ekibi tarafından bu yıl Haziran ayında yayınlandı. GPT-3’ün açık kaynaklı bir model olması gerektiğine inanıyorlar, tıpkı selefleri (GPT ve GPT-2) gibi. Güçlü AI modellerinin потенsiyel olarak kötüye kullanılmasına karşı endişe duymak gerektiğini, ancak bu modellerin açık kaynaklı olmaması için bir neden olmadığını iddia ediyorlar. Tersine, bu modellerin açık kaynaklı kalması, topluluğun bu modellerin altında nasıl çalıştığını anlaması ve bu modellerin yanlış şekilde davranmamasını (mizojini, ırkçılık, …) sağlamanın en iyi yolu olduğuna inanıyorlar.

GPT-J, GPT-3 Curie’ye doğrudan eşdeğerdir, her ikisi de yaklaşık 6 milyar parametre ile eğitilmiştir.

Her ikisi de neredeyse birbirinin yerine kullanılabilir.

GPT-J, GPT-3’ten neden üstündür?

GPT-3, Microsoft’a aittir ve insanların bunu kullanabilmesi için resmi GPT-3 API’sini kullanmaları gerekir.

Ancak bu API çok pahalıdır ve çok kısıtlıdır: API’ye erişmek için başvuruda bulunmanız ve başvurunuzun kabul edilmesi durumunda bile, iş modeliniz onların rehberlerine uymazsa erişiminiz her an durdurulabilir. Örneğin, “açık uçlu” metin (birden fazla paragraflı uzun metin) oluşturamazsınız, çünkü bu onların politikalarına aykırıdır.

GPT-J ile böyle kısıtlamalar yoktur, çünkü açık kaynaklıdır ve herkes tarafından kurulup kullanılabilir.

GPT-J’yi NLP Cloud’a entegre etmenin teknik zorlukları nelerdi?

GPT-J, yüksek kaynak tüketimi (RAM, CPU, GPU…) nedeniyle kurmak zor bir modeldir. GPU olmadan çalışır, ancak çok yavaş olduğu için pratik değildir.

Sonuç olarak, GPT-J’yi çalıştırmak için gereken donanım çok pahalıdır, bu nedenle maliyetleri düşürmek için birçok uygulama ayrıntısına çalıştık.

Ayrıca, GPT-J’yi NLP Cloud’da yüksek erişilebilirlikte tutmak ve üretim için uygun hale getirmek için yedeklilik ve hata toleransı stratejileri üzerinde çalışmak zorunda kaldık.

Sunulan ön eğitimli AI modellerinden bazılarını tartışabilir misiniz?

Her kullanım durumu için en iyi ön eğitimli AI modelini seçmek için elimizden gelenin en iyisini yapıyoruz.

Metin özetleme için, en iyisi -bizim görüşümüze göre- Facebook’un Bart Large CNN’sidir, ancak GPU olmadan oldukça yavaş olabilir.

Metin sınıflandırma için, Facebook’un Bart Large MNLI’sini (İngilizce sınıflandırma için) ve Joe Davison’ın XLM Roberta Large XLNI’sini (İngilizce olmayan diller için) uyguladık. Her ikisi de hızlı ve çok doğru.

Soru-cevap için, Deepset’in Roberta Base Squad 2’sini kullanıyoruz. Hızlı ve doğru, ancak daha gelişmiş soru-cevap için GPT-J’yi kullanmak isteyebilirsiniz.

Ve daha birçokları!

NLP Cloud için en iyi kullanım durumları nelerdir?

En çok kullanılan kullanım durumları metin özetleme, metin sınıflandırma ve GPT-J ile metin oluşturma (ürün açıklamaları oluşturma, yeniden yazma, makale oluşturma…) gibi görünüyor.

Ancak müşterilerimiz arasında gördüğümüz kullanım durumları çok çeşitli ve bu kadar harika fikirlerin ortaya çıkmasını görmek gerçekten etkileyici!

NLP Cloud hakkında paylaşmak istediğiniz başka bir şey var mı?

Bize göre, metin anlama ve metin oluşturma için AI, artık gerçek ürünlerde veya iç iş akışlarında gerçekten kullanılıyor.

Bu, NLP’nin artık sadece bir araştırma alanı olmadığının, gerçek iş kullanım durumlarının NLP’yi kullanabileceğinin görmemiz çok güzel.

NLP Cloud’da, herkesin NLP’yi üretim ortamında test etmesi ve kullanmasını kolaylaştırmaya devam edeceğiz.

Harika bir röportaj için teşekkür ederiz, daha fazla bilgi edinmek isteyen okuyucular NLP Cloud‘u ziyaret edebilir.