Julien Salinas, grundlægger og teknisk direktør for NLP Cloud – Interview-serie

Julien Salinas er grundlægger og teknisk direktør for NLP Cloud. NLP Cloud-platformen tilbyder højpræstationsklare NLP-modeller, der er klar til produktion, baseret på spaCy og HuggingFace-transformatorer, til flere formål, herunder NER, sentimentanalyse, tekstklassificering, sammenfatning, spørgsmålssvar, tekstgenerering, oversættelse, sprogdetektion, grammatik- og stavekontrol, intentionsklassificering og semantisk lignelse.

Hvad fik dig først interesseret i datalogi?

Jeg startede med at programmere i… erhvervsskolen! Jeg ved, det lyder overraskende. Faktisk gik det hurtigt op for mig, at selv om erhvervsskolen var kedelig, og at jeg ville være begrænset, hvis jeg ikke havde de tekniske færdigheder til at opnå mine projekter.

Det første projekt på det tidspunkt var en lille hjemmeside for min musiklærer, derefter en anden for min familie, og så startede jeg med at lære Python… og så videre. Nu har jeg været Python/Go-udvikler og DevOps i 15 år.

Kan du dele historien bag NLP Cloud?

Det startede for 2 år siden, da jeg indså, at det som udvikler var ret svært at implementere maskinlæringsmodeller i produktion.

Jeg var overrasket over de fremskridt, der var gjort af rammer som Hugging Face Transformers og spaCy, og jeg kunne udnytte meget avancerede NLP-modeller i mine projekter. Men at bruge disse modeller i produktion var en anden sag, og til min overraskelse kunne jeg ikke finde nogen interessant No-Ops-cloud på markedet til NLP.

Så besluttede jeg at starte min egen platform for NLP-modeller. Meget hurtigt fik vi fantastisk feedback fra kunderne, og vi tilføjede mange funktioner baseret på denne feedback (forudtrænede modeller, finjustering, legeplads…).

NLP Cloud-platformen understøtter den åbne kilde-alternativ GPT-J. Hvad er GPT-J specifikt?

GPT-J er blevet frigivet af et hold af forskere kaldet EleutherAI i juni dette år. De mener, at GPT-3 skal være en åben kilde-model, ligesom dens forgængere (GPT og GPT-2). De hævder, at selv om vi alle bør være bekymrede over mulig misbrug af kraftfulde AI-modeller som GPT, er det ikke en god grund til ikke at gøre disse modeller åbne kilde. Tværtimod: de mener, at hvis AI-modeller forbliver åbne kilde, er det den bedste måde for fællesskabet at forstå, hvordan disse modeller fungerer under hårdelen, og derefter sikre, at disse modeller ikke opfører sig forkert (misogyni, racisme, …).

GPT-J er en direkte pendant til GPT-3 Curie, da begge er trænet på mere eller mindre 6 milliarder parametre.

Begge kan næsten bruges udskifteligt.

Hvorfor er GPT-J en overlegen alternativ til GPT-3?

GPT-3 tilhører Microsoft (MSFT ), og den eneste måde, hvorpå folk kan bruge det, er gennem den officielle GPT-3 API.

Men denne API er meget dyr, og ekstremt begrænsende: du skal anmode om adgang til API’et, og selv hvis din ansøgning bliver godkendt, kan din adgang blive lukket af, hvis de mener, at din forretningsmodel ikke er i overensstemmelse med deres retningslinjer. For eksempel kan du ikke generere “åbent” tekst (lang tekst bestående af flere afsnit) som det er imod deres politik.

Der er ingen sådanne begrænsninger med GPT-J, da det er åbent kilde, og enhver kan installere og bruge det.

Hvad var nogle af de tekniske udfordringer med at integrere GPT-J på NLP Cloud?

GPT-J er kompleks at installere på grund af dets høje ressourceforbrug (RAM, CPU, GPU…). Det fungerer uden en GPU, men det er så langsomt, at det er meget upraktisk.

Til sidst var den hardware, der var nødvendig for at køre GPT-J, meget dyr, så for at reducere omkostningerne, måtte vi arbejde på mange implementeringsdetaljer.

Også for at sikre høj tilgængelighed af GPT-J på NLP Cloud og gøre det egnet til produktion, måtte vi arbejde på redundans og failover-strategier for GPT-J, der kan være ret udfordrende.

Kan du diskutere nogle af de forudtrænede AI-modeller, der tilbydes?

Vi gør vores bedste for at vælge den bedste forudtrænede AI-model per brugsfald.

For tekstsammenfatning er den bedste – ifølge os – Facebooks Bart Large CNN, der giver meget gode resultater, men som kan være ret langsom uden en GPU.

For tekstklassificering har vi implementeret Facebooks Bart Large MNLI (for engelsk klassificering) og Joe Davisons XLM Roberta Large XLNI (for ikke-engelske sprog). Begge er hurtige og meget nøjagtige.

For spørgsmålssvar bruger vi Deepsets Roberta Base Squad 2. Det er hurtigt og nøjagtigt, men for mere avanceret spørgsmålssvar kan du ønske at bruge GPT-J.

Og mange andre!

Hvad er nogle af de bedste brugsfald for NLP Cloud?

Brugsfaldene, der synes at blive brugt mest, er tekstsammenfatning, tekstklassificering og tekstgenerering med GPT-J til produktbeskrivelsesgenerering, omskrivning, artikelgenerering…

Men brugsfaldene, vi kan se blandt vores kunder, er ekstremt diverse, og det er ret imponerende at se så mange fantastiske ideer dukke op!

Er der noget andet, du gerne vil dele om NLP Cloud?

Det ser ud til os, at AI til tekstforståelse og tekstgenerering endelig bliver brugt “rigtigt” i faktiske produkter eller interne arbejdsgange af mere og mere selskaber.

Det er great at se, at NLP ikke længere er kun et rent forskningsfelt, men at der er rigtige forretningsbrugsfald, der kan udnytte NLP.

Ved NLP Cloud vil vi fortsætte med at gøre vores bedste for at gøre det let for alle at teste og bruge NLP i produktion.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge NLP Cloud.