Julien Salinas, Założyciel i CTO NLP Cloud – Seria wywiadów

Julien Salinas jest założycielem i CTO NLP Cloud. Platforma NLP Cloud oferuje wysokowydajne, gotowe do produkcji modele NLP oparte na spaCy i HuggingFace transformers, dla wielu przypadków użycia, w tym NER, analizę sentymentu, klasyfikację tekstu, podsumowanie, odpowiedzi na pytania, generowanie tekstu, tłumaczenie, wykrywanie języka, korekcję gramatyki i pisowni, klasyfikację intencji i podobieństwo semantyczne.

Czym pierwotnie zainteresował się pan komputerami?

Zacząłem programować… w szkole biznesu! Wiem, że to brzmi niespodziewanie. W rzeczywistości szybko zorientowałem się, że sama działalność biznesowa była nudna i że będę szybko ograniczony, jeśli nie będę miał umiejętności technicznych, aby osiągnąć moje projekty.

Pierwszym projektem w tamtym czasie była mała strona internetowa dla mojego nauczyciela muzyki, potem kolejna dla mojej rodziny, a następnie zacząłem uczyć się Pythona… i tak dalej. Teraz jestem deweloperem Pythona/Go i DevOps przez 15 lat.

Czy mógłby pan opowiedzieć o historii powstania NLP Cloud?

To wszystko zaczęło się 2 lata temu, kiedy zorientowałem się, że jako deweloper, było dość trudno właściwie wdrożyć modele machine learning do produkcji.

Byłem zaskoczony postępem, jaki został dokonany przez ramy takie jak Hugging Face Transformers i spaCy, i był w stanie wykorzystać bardzo zaawansowane modele NLP w swoich projektach. Ale używanie tych modeli w produkcji było zupełnie inną bestią i, co było zaskakujące, nie mógł znaleźć żadnego ciekawego No-Ops chmury na rynku dla NLP.

Postanowiłem więc założyć własną platformę do wdrożenia modeli NLP. Bardzo szybko otrzymaliśmy świetne opinie od klientów i dodaliśmy wiele funkcji na podstawie tych opinii (pre-trenowane modele, fine-tuning, playground…).

Platforma NLP Cloud obsługuje otwartoźródłową alternatywę GPT-3, GPT-J. Co to jest GPT-J?

GPT-J został wydany przez zespół badaczy o nazwie EleutherAI w czerwcu tego roku. Uważają, że GPT-3 powinno być modelem open-source, jak jego poprzednicy (GPT i GPT-2). Twierdzą, że nawet jeśli powinniśmy się wszystkim martwić o potencjalne nadużycia potężnych modeli AI, takich jak GPT, to nie jest to powód, aby nie udostępnić tych modeli jako open-source. Wręcz przeciwnie: uważają, że jeśli modele AI pozostaną open-source, to jest to najlepszy sposób, aby społeczność zrozumiała, jak te modele działają pod powierzchnią, a następnie upewniła się, że te modele nie zachowują się źle (mizoginia, rasizm…).

GPT-J jest bezpośrednim odpowiednikiem GPT-3 Curie, ponieważ oba są trenowane na około 6 miliardach parametrów.

Oba można niemal używać zamiennie.

Dlaczego GPT-J jest lepszą alternatywą dla GPT-3?

GPT-3 należy do Microsoftu i jedynym sposobem, aby ludzie mogli go używać, jest przejście przez oficjalny interfejs API GPT-3.

Ale to API jest bardzo drogie i ekstremalnie ograniczające: musisz poprosić o dostęp do API i, nawet jeśli Twoja aplikacja zostanie zaakceptowana, Twoja aplikacja może zostać wyłączona w dowolnym momencie, jeśli uznają, że Twój model biznesowy nie spełnia ich wytycznych. Na przykład, nie możesz generować “otwartego” tekstu (długiego tekstu składającego się z kilku akapitów), ponieważ jest to sprzeczne z ich polityką.

Nie ma takich ograniczeń z GPT-J, ponieważ jest to open-source i każdy może go zainstalować i używać.

Jakie były niektóre techniczne wyzwania związane z integracją GPT-J na NLP Cloud?

GPT-J jest skomplikowany w instalacji ze względu na wysokie zużycie zasobów (RAM, CPU, GPU…). Działa bez GPU, ale jest tak wolny, że jest to bardzo niepraktyczne.

W końcu sprzęt potrzebny do uruchomienia GPT-J jest bardzo drogi, więc aby obniżyć koszty, musieliśmy pracować nad wieloma detalami implementacji.

Również, aby zapewnić wysoką dostępność GPT-J na NLP Cloud i uczynić go odpowiednim do produkcji, musieliśmy pracować nad strategiami redundancji i awaryjności dla GPT-J, co może być dość wyzwaniem.

Czy mógłby pan omówić niektóre z pre-trenowanych modeli AI, które są oferowane?

Robimy wszystko, aby wybrać najlepszy pre-trenowany model AI dla każdego przypadku użycia.

Dla podsumowania tekstu, najlepszym jest Facebook’s Bart Large CNN, który daje bardzo dobre wyniki, ale który może być dość wolny bez GPU.

Dla klasyfikacji tekstu, zaimplementowaliśmy Facebook’s Bart Large MNLI (dla klasyfikacji angielskiej) i Joe Davison’s XLM Roberta Large XLNI (dla języków nieangielskich). Obie są szybkie i bardzo dokładne.

Dla odpowiedzi na pytania, używamy Deepset’s Roberta Base Squad 2. Jest to szybkie i dokładne, ale dla bardziej zaawansowanych odpowiedzi na pytania możesz chcieć użyć GPT-J.

I wiele innych!

Jakie są niektóre z najlepszych przypadków użycia NLP Cloud?

Przypadki użycia, które wydają się być używane najczęściej, to podsumowanie tekstu, klasyfikacja tekstu i generowanie tekstu z GPT-J do generowania opisów produktów, parafrazowania, generowania artykułów…

Ale przypadki użycia, które widzimy wśród naszych klientów, są ekstremalnie różnorodne i jest to naprawdę imponujące, aby zobaczyć tak wiele wspaniałych pomysłów!

Czy jest coś jeszcze, co chciałby pan podzielić się na temat NLP Cloud?

Wygląda na to, że AI do zrozumienia tekstu i generowania tekstu jest wreszcie używane “na poważnie” w rzeczywistych produktach lub wewnętrznych procesach, przez coraz więcej firm.

To jest wspaniale, aby zobaczyć, że NLP nie jest już tylko czystym polem badawczym, ale że istnieją rzeczywiste przypadki użycia biznesowego, które mogą wykorzystać NLP.

W NLP Cloud będziemy nadal robić wszystko, aby ułatwić każdemu testowanie i używanie NLP w produkcji.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić NLP Cloud.