Julien Salinas, grunnlegger og CTO av NLP Cloud – Intervju-serie

Julien Salinas er grunnlegger og CTO av NLP Cloud. NLP Cloud-plattformen tilbyr høy ytelse, produksjonsklare NLP-modeller basert på spaCy og HuggingFace-transformatorer, for flere bruksscenarier, inkludert NER, sentimentanalyse, tekstklassifisering, sammenfatting, spørsmålssvar, tekstgenerering, oversettelse, språkdetteksjon, grammatikk- og stavekontroll, intensjonsklassifisering og semantisk likhet.

Hva var det som først fikk deg interessert i datavitenskap?

Jeg begynte å programmere på… handelshøyskolen! Jeg vet det høres overraskende ut. Faktisk innsett jeg raskt at selv om jeg var på handelshøyskolen, så var det tekniske ferdighetene som var viktigste for å kunne gjennomføre mine prosjekter.

Det første prosjektet på den tiden var en liten nettside for min musikklærer, deretter en annen for min familie, og deretter begynte jeg å lære Python… og så videre. Nå har jeg vært Python/Go-utvikler og DevOps i 15 år.

Kunne du dele historien bak NLP Cloud?

Det startet for 2 år siden da jeg innsett at det var ganske vanskelig å deploye maskinlæringsmodeller i produksjon som utvikler.

Jeg var imponert over fremgangen som var gjort av rammer som Hugging Face Transformers og spaCy, og jeg kunne utnytte svært avanserte NLP-modeller i mine prosjekter. Men å bruke disse modellene i produksjon var en annen sak, og overraskende nok kunne jeg ikke finne noen interessante No-Ops-skytjenester for NLP på markedet.

Så bestemte jeg meg for å starte min egen plattform for NLP-modell-deployering. Veldig raskt fikk vi god tilbakemelding fra kundene og vi la til mange funksjoner basert på disse tilbakemeldingene (forhånds-trente modeller, finjustering, lekeplass…).

NLP Cloud-plattformen støtter GPT-3 åpen kildekode-alternativet GPT-J. Hva er GPT-J spesifikt?

GPT-J ble lansert av et team av forskere kalt EleutherAI i juni i år. De mener at GPT-3 burde være en åpen kildekode-modell, som sine forgjengere (GPT og GPT-2). De hevder at selv om vi alle bør være bekymret for mulig misbruk av kraftige AI-modeller som GPT, er det ikke en god grunn til å ikke gjøre disse modellene åpne.

GPT-J er en direkte ekvivalent til GPT-3 Curie, da begge er trenet på mer eller mindre 6 milliarder parametre.

Begge kan nesten brukes om hverandre.

Hvorfor er GPT-J et bedre alternativ til GPT-3?

GPT-3 tilhører Microsoft (MSFT ), og den eneste måten å bruke det på er å gå gjennom den offisielle GPT-3-API-en.

Men denne API-en er svært dyrt og ekstremt begrenset: du må be om tilgang til API-en, og selv om din applikasjon blir godkjent, kan din tilgang bli avsluttet når som helst hvis de mener at din forretningsmodell ikke overholder deres retningslinjer. For eksempel kan du ikke generere “åpne” tekster (lange tekster bestående av flere avsnitt) fordi det er mot deres politikk.

Det finnes ingen slike begrensninger med GPT-J, da det er åpen kildekode og alle kan installere og bruke det.

Hva var noen av de tekniske utfordringene med å integrere GPT-J på NLP Cloud?

GPT-J er kompleks å installere på grunn av høy ressursforbruk (RAM, CPU, GPU…). Det fungerer uten GPU, men det er så langsomt at det er svært upraktisk.

Til slutt var det nødvendig å arbeide med mange implementeringsdetaljer for å senke kostnadene.

Kunne du diskutere noen av de forhånds-trente AI-modellene som tilbys?

Vi gjør vårt beste for å velge den beste forhånds-trente AI-modellen per bruksscenarie.

For tekst-sammenfatting er den beste – ifølge oss – Facebooks Bart Large CNN, som gir svært gode resultater, men som kan være ganske langsom uten en GPU.

For tekst-klassifisering har vi implementert Facebooks Bart Large MNLI (for engelsk klassifisering) og Joe Davisons XLM Roberta Large XLNI (for ikke-engelske språk). Begge er rask og svært nøyaktig.

For spørsmålssvar bruker vi Deepsets Roberta Base Squad 2. Det er raskt og nøyaktig, men for mer avansert spørsmålssvar kan du ønske å bruke GPT-J.

Og mange flere!

Hva er noen av de beste bruksscenariene for NLP Cloud?

Bruksscenariene som ser ut til å bli brukt mest er tekst-sammenfatting, tekst-klassifisering og tekst-generering med GPT-J for produkt-beskrivelses-generering, omformulering, artikkel-generering…

Men bruksscenariene vi kan se blant våre kunder er ekstremt diverse, og det er ganske imponerende å se så mange flotte ideer!

Er det noe annet du ønsker å dele om NLP Cloud?

Det ser ut til oss at AI for tekst-forståelse og tekst-generering endelig brukes “på riktige” i faktiske produkter eller interne arbeidsflyter, av stadig flere selskaper.

Dette er flott å se, at NLP ikke bare er et rent forskningsfelt lenger, men at det finnes faktiske forretnings-bruksscenarier som kan utnytte NLP.

Ved NLP Cloud vil vi fortsette å gjøre vårt beste for å gjøre det enkelt for alle å teste og bruke NLP i produksjon.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke NLP Cloud.