Julien Salinas, grunnlegger & CTO av NLP Cloud – Intervju-serie

Julien Salinas er grunnlegger & CTO av NLP Cloud. NLP Cloud-plattformen tilbyr høy-ytelses, produksjonsklare NLP-modeller basert på spaCy og HuggingFace transformers, for flere bruksscenarier, inkludert NER, sentimentanalyse, tekstklassifisering, sammenfatting, spørsmål-svar, tekstgenerering, oversettelse, språkdetteksjon, grammatikk- og stavekontroll, intensjonsklassifisering og semantisk likhet.

Hva var det som først fikk deg interessert i datavitenskap?

Jeg startet å programmere på… handelshøyskolen! Jeg vet det høres overraskende ut. Faktisk innsett jeg raskt at forretningsvirksomhet i seg selv var kjedelig og at jeg ville bli raskt begrenset hvis jeg ikke hadde de tekniske ferdighetene til å gjennomføre mine prosjekter.

Det første prosjektet på den tiden var en liten nettside for min musikklærer, deretter en annen for min familie, deretter begynte jeg å lære Python… og så videre. Nå har jeg vært Python/Go-utvikler og DevOps i 15 år.

Kunne du dele opphavsfortellingen bak NLP Cloud?

Det startet for 2 år siden da jeg innsett at, som utvikler, var det ganske vanskelig å riktig deploye maskinlæringsmodeller i produksjon.

Jeg var imponert over fremgangen som var gjort av rammer som Hugging Face Transformers og spaCy, og jeg kunne utnytte svært avanserte NLP-modeller i mine prosjekter. Men å bruke disse modellene i produksjon var en annen sak, og overraskende kunne jeg ikke finne noen interessant No-Ops skytjeneste for NLP på markedet.

Så, bestemte jeg meg for å starte min egen plattform for NLP-modell-deployering. Svært raskt fikk vi fantastisk kundetilbakemeldinger og vi la til mange funksjoner basert på disse tilbakemeldingene (forhånds-trente modeller, finjustering, lekeplass…).

NLP Cloud-plattformen støtter den åpne kildekode-alternativet GPT-J til GPT-3. Hva er GPT-J spesifikt?

GPT-J er utgitt av et team av forskere kalt EleutherAI i juni dette året. De mener at GPT-3 burde være en åpen kildekode-modell, som sine forgjengere (GPT og GPT-2). De hevder at, selv om vi alle burde være bekymret for mulig misbruk av kraftfulle AI-modeller som GPT, er det ikke en god grunn til ikke å gjøre disse modellene åpne kildekoder. Tvert imot: de mener at hvis AI-modeller forblir åpne kildekoder, er det den beste måten for samfunnet å forstå hvordan disse modellene fungerer under panseret, og deretter sikre at disse modellene ikke oppfører seg feil (misogyni, rasisme, …).

GPT-J er en direkte ekvivalent til GPT-3 Curie, da begge er trent på omtrent 6 milliarder parametre.

Begge kan nesten brukes om hverandre.

Hvorfor er GPT-J en overlegen alternativ til GPT-3?

GPT-3 tilhører Microsoft, og den eneste måten for folk å bruke det er å gå gjennom den offisielle GPT-3 API-en.

Men denne API-en er svært dyrt, og ekstremt begrensende: du må be om tilgang til API-en, og selv om din applikasjon får godkjennelse, kan din tilgang bli stengt ned når som helst hvis de mener at din forretningsmodell ikke overholder deres retningslinjer. For eksempel, kan du ikke generere “åpne” tekst (lang tekst bestående av flere avsnitt) siden det er mot deres politikk.

Det finnes ingen slike begrensninger med GPT-J, da det er åpen kildekode og alle kan installere det og bruke det.

Hva var noen av de tekniske utfordringene med å integrere GPT-J på NLP Cloud?

GPT-J er kompleks å installere på grunn av sin høye ressursforbruk (RAM, CPU, GPU…). Det fungerer uten en GPU, men det er så langsomt at det er svært upraktisk.

Til slutt var hårdwaren som trengs for å kjøre GPT-J svært dyrt, så for å senke kostnadene, måtte vi jobbe med mange implementeringsdetaljer.

Også, for å sikre høy tilgjengelighet av GPT-J på NLP Cloud og gjøre det egnet for produksjon, måtte vi jobbe med redundans- og feilovergangsstrategier for GPT-J som kan være ganske utfordrende.

Kunne du diskutere noen av de forhånds-trente AI-modellene som tilbys?

Vi gjør vårt beste for å velge den beste forhånds-trente AI-modellen per bruksscenarie.

For tekst-sammenfatting, er den beste – i vår mening – Facebooks Bart Large CNN, som gir svært gode resultater, men som kan være ganske langsom uten en GPU.

For tekst-klassifisering, har vi implementert Facebooks Bart Large MNLI (for engelsk klassifisering) og Joe Davisons XLM Roberta Large XLNI (for ikke-engelske språk). Begge er rask og svært nøyaktig.

For spørsmål-svar, bruker vi Deepsets Roberta Base Squad 2. Det er rask og nøyaktig, men for mer avansert spørsmål-svar kan du kanskje ønske å bruke GPT-J.

Og mange flere!

Hva er noen av de beste brukstilfellene for NLP Cloud?

Brukstilfellene som ser ut til å bli brukt mest, er tekst-sammenfatting, tekst-klassifisering og tekst-generering med GPT-J for produkt-beskrivelses-generering, omskrivning, artikkel-generering…

Men brukstilfellene vi kan se blant våre kunder er ekstremt diverse, og det er ganske imponerende å være vitne til så mange flotte ideer som kommer opp!

Er det noe annet du ville like å dele om NLP Cloud?

Det ser ut til oss at AI for tekst-forståelse og tekst-generering endelig brukes “på riktige” i faktiske produkter eller interne arbeidsflyter, av stadig flere selskaper.

Dette er flott å se at NLP ikke lenger bare er et rent forskningsfelt, men at det finnes faktiske forretnings-brukstilfeller som kan utnytte NLP.

På NLP Cloud vil vi fortsette å gjøre vårt beste for å gjøre det enkelt for alle å teste og bruke NLP i produksjon.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, bør besøke NLP Cloud.