Julien Salinas, Fondator și CTO al NLP Cloud – Seria de interviuri

Julien Salinas este fondatorul și CTO al NLP Cloud. Platforma NLP Cloud oferă modele de NLP de înaltă performanță, gata de producție, bazate pe spaCy și HuggingFace transformers, pentru multiple cazuri de utilizare, inclusiv NER, analiză de sentiment, clasificare de text, rezumare, răspuns la întrebări, generare de text, traducere, detectare de limbă, corectare de gramatică și ortografie, clasificare de intenție și similaritate semantică.

Ce v-a determinat să vă interesați de știința calculatoarelor?

Am început să programez în… școala de afaceri! Știu că sună surprinzător. De fapt, am realizat rapid că afacerile în sine erau plictisitoare și că aș fi limitat rapid dacă nu aș avea abilitățile tehnice pentru a-mi atinge proiectele.

Primul proiect de atunci a fost un mic site web pentru profesorul meu de muzică, apoi unul pentru familia mea, apoi am început să învăț Python… și așa mai departe. Acum sunt dezvoltator Python/Go și DevOps de 15 ani.

Puteți să împărtășiți povestea de fond a NLP Cloud?

A început acum 2 ani, când am realizat că, ca dezvoltator, era destul de greu să implementez corect modele de învățare automată în producție.

Eram uimit de progresul realizat de cadre precum Hugging Face Transformers și spaCy, și am putut să utilizez modele de NLP foarte avansate în proiectele mele. Dar utilizarea acestor modele în producție era o altă provocare, și, surprinzător, nu am putut găsi niciun cloud No-Ops interesant pe piață pentru NLP.

Așa că, am decis să încep propria mea platformă pentru implementarea modelelor de NLP. Foarte rapid am primit feedback-uri excelente de la clienți și am adăugat multe funcții pe baza acestor feedback-uri (modele pre-antrenate, fine-tuning, playground…).

Platforma NLP Cloud suportă GPT-3, o alternativă open-source GPT-J. Ce este GPT-J în special?

GPT-J a fost lansat de o echipă de cercetători numită EleutherAI în luna iunie a acestui an. Ei cred că GPT-3 ar trebui să fie un model open-source, ca și predecesorii săi (GPT și GPT-2). Ei afirmă că, chiar dacă ar trebui să fim cu toții preocupați de posibila utilizare abuzivă a modelelor de IA puternice precum GPT, nu este un motiv suficient pentru a nu face aceste modele open-source. Dimpotrivă: ei cred că, dacă modelele de IA rămân open-source, este cel mai bun mod pentru comunitate de a înțelege cum funcționează aceste modele sub capotă, și apoi de a se asigura că aceste modele nu se comportă în mod greșit (misoginie, rasism, …).

GPT-J este un echivalent direct al GPT-3 Curie, deoarece ambele au fost antrenate pe aproximativ 6 miliarde de parametri.

Ambele pot fi utilizate practic în mod interschimbabil.

De ce este GPT-J o alternativă superioară la GPT-3?

GPT-3 aparține Microsoft (MSFT ) și singurul mod în care oamenii pot să-l utilizeze este prin API-ul oficial GPT-3.

Dar acest API este foarte scump și extrem de restrictiv: trebuie să solicitați acces la API și, chiar dacă aplicația dvs. este acceptată, accesul dvs. poate fi oprit oricând dacă ei consideră că modelul dvs. de afaceri nu respectă ghidurile lor. De exemplu, nu puteți genera “text deschis” (text lung format din mai multe paragrafe) deoarece este împotriva politicii lor.

Nu există astfel de restricții cu GPT-J, deoarece este open-source și oricine poate să-l instaleze și să-l utilizeze.

Care au fost unele dintre provocările tehnice cu integrarea GPT-J pe NLP Cloud?

GPT-J este complex de instalat din cauza consumului ridicat de resurse (RAM, CPU, GPU…). Funcționează fără GPU, dar este atât de lent încât este foarte impractic.

În final, hardware-ul necesar pentru a rula GPT-J este foarte scump, așa că, pentru a reduce costurile, am trebuit să lucrăm la multe detalii de implementare.

De asemenea, pentru a asigura disponibilitatea ridicată a GPT-J pe NLP Cloud și pentru a-l face potrivit pentru producție, am trebuit să lucrăm la strategii de redundanță și de recuperare pentru GPT-J, care pot fi destul de provocatoare.

Puteți să discutați despre unele dintre modelele de IA pre-antrenate oferite?

Ne străduim să selectăm cel mai bun model de IA pre-antrenat pentru fiecare caz de utilizare.

Pentru rezumarea textului, cel mai bun – în opinia noastră – este Bart Large CNN de la Facebook (META ), care oferă rezultate foarte bune, dar care poate fi destul de lent fără un GPU.

Pentru clasificarea textului, am implementat Bart Large MNLI de la Facebook (pentru clasificarea în limba engleză) și XLM Roberta Large XLNI de la Joe Davison (pentru limbile non-engleze). Ambele sunt rapide și foarte precise.

Pentru răspunsul la întrebări, utilizăm Roberta Base Squad 2 de la Deepset. Este rapid și precis, dar pentru răspunsuri mai avansate la întrebări, puteți dori să utilizați GPT-J.

Și multe altele!

Care sunt unele dintre cele mai bune cazuri de utilizare pentru NLP Cloud?

Cazurile de utilizare care par a fi utilizate cel mai mult sunt rezumarea textului, clasificarea textului și generarea de text cu GPT-J pentru generarea de descrieri de produse, parafrază, generarea de articole…

Dar cazurile de utilizare pe care le putem vedea printre clienții noștri sunt extrem de diverse, și este destul de impresionant să vedem atâtea idei excelente care apar!

Există altceva pe care ați dori să-l împărtășiți despre NLP Cloud?

Ne pare că IA pentru înțelegerea textului și generarea de text este, în sfârșit, utilizată “pentru real” în produse reale sau în fluxuri de lucru interne, de către tot mai multe companii.

Acesta este un lucru minunat de văzut că NLP nu mai este doar un domeniu pur de cercetare, ci că există cazuri de utilizare reale de afaceri care pot să profite de NLP.

La NLP Cloud, vom continua să ne străduim să facem ca oricine să poată testa și utiliza NLP în producție.

Mulțumim pentru acest interviu minunat, cititorii care doresc să afle mai multe despre NLP Cloud ar trebui să viziteze NLP Cloud.