Julien Salinas, grundare och CTO på NLP Cloud – Intervjuer

Julien Salinas är grundare och CTO på NLP Cloud. NLP Cloud-plattformen erbjuder högpresterande, produktionsklara NLP-modeller baserade på spaCy och Hugging Face-transformatorer, för flera användningsfall, inklusive NER, sentimentanalys, textklassificering, sammanfattning, frågesvar, textgenerering, översättning, språkdetection, grammatik- och stavningkontroll, avsiktsklassificering och semantisk likhet.

Vad var det som initialt fick dig att bli intresserad av datavetenskap?

Jag började programmera på… handelshögskolan! Jag vet att det låter förvånande. Faktum är att jag snabbt insåg att företagande i sig var tråkigt och att jag skulle bli snabbt begränsad om jag inte hade de tekniska färdigheterna för att genomföra mina projekt.

Mitt första projekt var en liten webbplats för min musiklärare, sedan en annan för min familj, och sedan började jag lära mig Python… och så vidare. Nu har jag varit Python/Go-utvecklare och DevOps i 15 år.

Kan du dela med dig av historien bakom NLP Cloud?

Det började för 2 år sedan när jag insåg att det, som utvecklare, var ganska svårt att korrekt distribuera maskinlärningsmodeller till produktion.

Jag var imponerad av de framsteg som hade gjorts av ramverk som Hugging Face Transformers och spaCy, och jag kunde utnyttja mycket avancerade NLP-modeller i mina projekt. Men att använda dessa modeller i produktion var en annan sak, och förvånansvärt nog kunde jag inte hitta någon intressant No-Ops-molntjänst för NLP på marknaden.

Så, jag bestämde mig för att starta min egen plattform för NLP-modelldistribution. Mycket snabbt fick vi bra kundfeedback och vi lade till många funktioner baserat på dessa feedback (förtränade modeller, finjustering, lekplats…).

NLP Cloud-plattformen stöder GPT-3:s öppen källkodsalternativ GPT-J. Vad är GPT-J specifikt?

GPT-J har släppts av ett team av forskare som kallas EleutherAI i juni i år. De tror att GPT-3 borde vara en öppen källkodsmodell, som dess föregångare (GPT och GPT-2). De hävdar att, även om vi alla borde vara oroade över möjlig missbruk av kraftfulla AI-modeller som GPT, är det inte ett bra skäl att inte göra dessa modeller öppen källkod. Tvärtom: de tror att om AI-modeller förblir öppen källkod, är det det bästa sättet för samhället att förstå hur dessa modeller fungerar under huven, och sedan se till att dessa modeller inte beter sig på fel sätt (misogyni, rasism, …).

GPT-J är en direkt motsvarighet till GPT-3 Curie, eftersom båda är tränade på mer eller mindre 6 miljarder parametrar.

Båda kan nästan användas utbytesbart.

Varför är GPT-J ett överlägset alternativ till GPT-3?

GPT-3 tillhör Microsoft (MSFT ) och det enda sättet för människor att använda det är att gå genom den officiella GPT-3-API:et.

Men detta API är mycket dyrt, och extremt begränsande: du måste begära tillgång till API:et och, även om din ansökan godkänns, kan din tillgång stängas av när som helst om de anser att din affärsmodell inte följer deras riktlinjer. Till exempel kan du inte generera “öppna” texter (långa texter bestående av flera stycken) eftersom det strider mot deras policy.

Det finns inga sådana begränsningar med GPT-J, eftersom det är öppen källkod och vem som helst kan installera och använda det.

Vilka var några av de tekniska utmaningarna med att integrera GPT-J på NLP Cloud?

GPT-J är komplext att installera på grund av dess höga resursförbrukning (RAM, CPU, GPU…). Det fungerar utan GPU, men det är så långsamt att det är mycket opraktiskt.

Till slut var den hårdvara som behövdes för att köra GPT-J mycket dyr, så för att sänka kostnaderna var vi tvungna att arbeta med många implementeringsdetaljer.

Och för att säkerställa hög tillgänglighet för GPT-J på NLP Cloud och göra det lämpligt för produktion, var vi tvungna att arbeta med redundans och felhanteringsstrategier för GPT-J som kan vara ganska utmanande.

Kan du diskutera några av de förtränade AI-modellerna som erbjuds?

Vi gör vårt bästa för att välja den bästa förtränade AI-modellen per användningsfall.

För textsammanfattning är den bästa, enligt vår åsikt, Facebooks Bart Large CNN, som ger mycket bra resultat, men som kan vara ganska långsam utan GPU.

För textklassificering har vi implementerat Facebooks Bart Large MNLI (för engelsk klassificering) och Joe Davison’s XLM Roberta Large XLNI (för icke-engelska språk). Båda är snabba och mycket precisa.

För frågesvar använder vi Deepsets Roberta Base Squad 2. Det är snabbt och precist, men för mer avancerad frågesvar kanske du vill använda GPT-J.

Och många fler!

Vilka är några av de bästa användningsfallen för NLP Cloud?

De användningsfall som verkar vara mest använda är textsammanfattning, textklassificering och textgenerering med GPT-J för produktbeskrivningsgenerering, parafras, artikelgenerering…

Men de användningsfall vi kan se bland våra kunder är extremt varierande, och det är ganska imponerande att se så många bra idéer!

Finns det något annat du vill dela om NLP Cloud?

Det verkar för oss att AI för textförståelse och textgenerering slutligen används “på riktigt” i faktiska produkter eller interna arbetsflöden, av allt fler företag.

Det är bra att se att NLP inte längre bara är ett rent forskningsfält, utan att det finns verkliga affärsanvändningsfall som kan utnyttja NLP.

Vid NLP Cloud kommer vi att fortsätta göra vårt bästa för att göra det enkelt för alla att testa och använda NLP i produktion.

Tack för den underbara intervjun, läsare som vill lära sig mer bör besöka NLP Cloud.