Julien Salinas, Oprichter & CTO van NLP Cloud – Interviewreeks

Julien Salinas is de oprichter en CTO van NLP Cloud. Het NLP Cloud-platform biedt hoge prestaties en productieklare NLP-modellen op basis van spaCy en Hugging Face-transformers, voor meerdere use cases, waaronder NER, sentimentanalyse, tekstclassificatie, samenvatting, vraagbeantwoording, teksgeneratie, vertaling, taaldetectie, grammatica- en spellingscorrectie, intentclassificatie en semantische gelijkenis.

Wat heeft je aanvankelijk geïnteresseerd in informatica?

Ik begon met programmeren op… de handelshogeschool! Ik weet dat het verrassend klinkt. Eigenlijk realiseerde ik me snel dat het bedrijfsleven zelf saai was en dat ik snel beperkt zou zijn als ik geen technische vaardigheden had om mijn projecten te realiseren.

Het eerste project op dat moment was een kleine website voor mijn muziekleraar, toen een andere voor mijn familie, en daarna begon ik Python te leren… en zo verder. Nu ben ik al 15 jaar Python/Go-ontwikkelaar en DevOps.

Kun je het verhaal achter NLP Cloud delen?

Het begon 2 jaar geleden toen ik me realiseerde dat, als ontwikkelaar, het moeilijk was om machine learning-modellen correct in productie te deployen.

Ik was onder de indruk van de vooruitgang die was geboekt door frameworks als Hugging Face Transformers en spaCy, en ik kon zeer geavanceerde NLP-modellen in mijn projecten gebruiken. Maar het gebruik van deze modellen in productie was een ander verhaal, en ik kon geen interessante No-Ops-cloud op de markt voor NLP vinden.

Dus besloot ik mijn eigen platform voor NLP-modellen te starten. Zeer snel kregen we geweldige feedback van klanten en voegden we veel functies toe op basis van deze feedback (pre-getrainde modellen, fine-tuning, playground…).

Het NLP Cloud-platform ondersteunt de open-source alternatief GPT-J voor GPT-3. Wat is GPT-J specifiek?

GPT-J is vrijgegeven door een team van onderzoekers genaamd EleutherAI in juni dit jaar. Zij geloven dat GPT-3 een open-source model moet zijn, net als zijn voorgangers (GPT en GPT-2). Zij beweren dat, zelfs als we ons allemaal zorgen moeten maken over het potentieel misbruik van krachtige AI-modellen zoals GPT, het geen goede reden is om deze modellen niet open-source te maken. Integendeel: zij geloven dat, als AI-modellen open-source blijven, dit de beste manier is voor de gemeenschap om te begrijpen hoe deze modellen werken onder de motorkap, en ervoor te zorgen dat deze modellen niet verkeerd gedragen (misogynie, racisme, …).

GPT-J is een direct equivalent van GPT-3 Curie, omdat beide zijn getraind op ongeveer 6 miljard parameters.

Beide kunnen bijna uitwisselbaar worden gebruikt.

Waarom is GPT-J een superieure alternatief voor GPT-3?

GPT-3 behoort tot Microsoft (MSFT ) en de enige manier voor mensen om het te gebruiken is via de officiële GPT-3 API.

Maar deze API is zeer duur en extreem beperkend: je moet toegang aanvragen tot de API en, zelfs als je applicatie wordt geaccepteerd, kan je toegang op elk moment worden stopgezet als ze vinden dat je bedrijfsmodel niet voldoet aan hun richtlijnen. Bijvoorbeeld, je kunt geen “open-ended” tekst genereren (lange tekst bestaande uit meerdere alinea’s), omdat dit tegen hun beleid is.

Er zijn geen dergelijke beperkingen met GPT-J, omdat het open-source is en iedereen het kan installeren en gebruiken.

Wat waren enkele van de technische uitdagingen bij het integreren van GPT-J in NLP Cloud?

GPT-J is moeilijk te installeren vanwege de hoge resourcebehoefte (RAM, CPU, GPU…). Het werkt zonder GPU, maar het is zo langzaam dat het zeer onpraktisch is.

Uiteindelijk is de hardware die nodig is om GPT-J te draaien zeer duur, dus moesten we veel implementatiedetails werken om de kosten te verlagen.

Ook moesten we werken aan redundantie- en failoverstrategieën voor GPT-J om het geschikt te maken voor productie, wat best uitdagend kan zijn.

Kun je enkele van de pre-getrainde AI-modellen bespreken die worden aangeboden?

We doen ons best om het beste pre-getrainde AI-model per use case te selecteren.

Voor tekstsamenvatting is het beste model – in onze mening – Facebook’s Bart Large CNN, dat zeer goede resultaten geeft, maar dat zonder GPU vrij langzaam kan zijn.

Voor tekstclassificatie hebben we Facebook’s Bart Large MNLI (voor Engelse classificatie) en Joe Davison’s XLM Roberta Large XLNI (voor niet-Engelse talen) geïmplementeerd. Beide zijn snel en zeer nauwkeurig.

Voor vraagbeantwoording gebruiken we Deepset’s Roberta Base Squad 2. Het is snel en nauwkeurig, maar voor geavanceerde vraagbeantwoording kun je GPT-J willen gebruiken.

En vele anderen!

Wat zijn enkele van de beste use cases voor NLP Cloud?

De use cases die het meest worden gebruikt zijn tekstsamenvatting, tekstclassificatie en teksgeneratie met GPT-J voor productbeschrijvingen, parafraseren, artikelgeneratie…

Maar de use cases die we zien onder onze klanten zijn extreem divers en het is indrukwekkend om zoveel geweldige ideeën te zien!

Is er nog iets anders dat je over NLP Cloud wilt delen?

Het lijkt ons dat AI voor tekstbegrip en teksgeneratie eindelijk “voor echt” wordt gebruikt in echte producten of interne workflows, door steeds meer bedrijven.

Dit is geweldig om te zien dat NLP niet langer alleen een puur onderzoeksgebied is, maar dat er echte bedrijfsuse cases zijn die NLP kunnen benutten.

Bij NLP Cloud zullen we ons best doen om het voor iedereen gemakkelijk te maken om NLP in productie te testen en te gebruiken.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten NLP Cloud bezoeken.