Julien Salinas, NLP Cloudin perustaja ja CTO – Haastattelusarja

Julien Salinas on NLP Cloudin perustaja ja CTO. NLP Cloud -alusta tarjoaa suorituskykyisiä, tuotantovalmiita NLP-malleja, jotka perustuvat spaCyyn ja Hugging Face -muunnoksiin, useisiin käyttötarkoituksiin, kuten NER, mielipideanalyysi, tekstiluokittelu, tiivistäminen, kysymys-vastaus, tekstintekstintekstinteksti, kääntäminen, kielitunnistus, kielioppi- ja oikeinkirjoitustarkistus, aikomusten luokittelu ja semanttinen samankaltaisuus.

Mikä alun perin herätti sinussa kiinnostuksen tietokoneiden parissa?

Aloin ohjelmoida… liiketoimintakoulussa! Tiedän, että se kuulostaa yllättävältä. Todella nopeasti tajusin, että liiketoiminta itsessään oli tylsää ja että olisin nopeasti rajoitettu, jos en olisi omannut teknisiä taitoja projektejani varten.

Ensimmäinen projekti tuolloin oli pieni verkkosivu musiikinopettajalleni, sitten toinen perheelleni, sitten aloin opiskella Pythonia… ja niin edelleen. Nyt olen ollut Python/Go-kehittäjä ja DevOps 15 vuoden ajan.

Voitko kertoa NLP Cloudin syntytarinan?

Se alkoi 2 vuotta sitten, kun tajusin, että kehittäjänä oli vaikea ottaa koneoppimismalleja tuotantoon.

Olin hämmästynyt edistystä, jonka Hugging Face Transformers ja spaCy olivat saavuttaneet, ja pystyin hyödyntämään erittäin edistyneitä NLP-malleja projekteissani. Mutta käyttää näitä malleja tuotannossa oli toinen asia, ja yllättäen en löytänyt mielenkiintoista No-Ops-pilveä NLP:lle markkinoilta.

Päätin aloittaa oman alustani NLP-mallien käyttöönottoon. Hyvin nopeasti saimme loistavaa asiakaspalautetta ja lisäsimme monia ominaisuuksia tämän palautteen perusteella (esim. esikoulutetut mallit, hienosäätö, leikkikenttä…).

NLP Cloud -alusta tukee GPT-3:n avoimen lähdekoodin vaihtoehtoa GPT-J:ä. Mitä GPT-J on?

GPT-J on julkaistu tutkijaryhmän EleutherAI toimesta kesäkuussa. He uskovat, että GPT-3 pitäisi olla avoimen lähdekoodin malli, kuten sen edeltäjät (GPT ja GPT-2). He väittävät, että vaikka meidän pitäisi olla huolissamme voimakkaiden AI-mallien mahdollisesta väärinkäytöstä, se ei ole hyvä syy estää näiden mallien avaamista. Päinvastoin: he uskovat, että jos AI-mallit säilytetään avoimina, se on paras tapa yhteisölle ymmärtää, miten nämä mallit toimivat sisäisesti, ja varmistaa, että nämä mallit eivät käyttäydy väärin (esim. naisvihamielisesti, rasistisesti…).

GPT-J on suora vastine GPT-3 Curie -mallille, koska molemmat on koulutettu noin 6 miljardin parametrin kanssa.

Nämä kaksi voidaan käytännössä käyttää vaihtoehtoisesti.

Miksi GPT-J on parempi vaihtoehto kuin GPT-3?

GPT-3 kuuluu Microsoftille, ja ainoa tapa käyttää sitä on kautta virallista GPT-3 API:aa.

Tämä API on hyvin kallista, ja erittäin rajoittavaa: sinun on pyydettävä pääsyä API:hin, ja vaikka sovelluksesi hyväksytään, pääsy voidaan lopettaa milloin tahansa, jos he katsovat, että liiketoimintamallisi ei vastaa heidän ohjeitaan. Esimerkiksi et voi generoida “avointa” tekstiä (pitkiä tekstejä, jotka koostuvat useista kappaleista), koska se on heidän käytäntöjensä vastaista.

GPT-J:llä ei ole tällaisia rajoituksia, koska se on avoimen lähdekoodin ja kuka tahansa voi asentaa ja käyttää sitä.

Mitkä olivat joitain teknisiä haasteita GPT-J:n integroimisessa NLP Cloudiin?

GPT-J on monimutkainen asentaa sen suuren resurssienkulutuksen (RAM, CPU, GPU…) vuoksi. Se toimii ilman GPU:ta, mutta se on niin hidas, että se on erittäin epäkäytännöllistä.

Lopputuloksena GPT-J:n suorittamiseen tarvittava laitteisto on erittäin kallista, joten jotta voimme laskea kustannuksia, meidän on työstettävä useita toteutusyksityiskohtia.

Lisäksi, jotta voimme varmistaa GPT-J:n korkean saatavuuden NLP Cloudissa ja tehdä siitä sopivan tuotantoon, meidän on työstettävä GPT-J:n redundanssi- ja failover-strategioita, mikä voi olla haasteellista.

Voitko keskustella joistakin esikoulutetuista AI-malleista, jotka tarjoamme?

Teemme parhaamme valitaksemme parhaan esikoulutetun AI-mallin kullekin käyttötarkoitukselle.

Tekstintiivistämiseen parhaimmaksi malliksi meidän mielestämme on Facebookin Bart Large CNN, joka antaa erittäin hyviä tuloksia, mutta joka voi olla melko hidas ilman GPU:ta.

Tekstiluokitteluun me olemme toteuttaneet Facebookin Bart Large MNLI:n (englannin kielen luokitteluun) ja Joe Davisonin XLM Roberta Large XLNI:n (ei-englannin kielten luokitteluun). Molemmat ovat nopeita ja erittäin tarkkoja.

Kysymys-vastaus-järjestelmään me käytämme Deepsetin Roberta Base Squad 2:ta. Se on nopea ja tarkka, mutta edistyneemmässä kysymys-vastaus-järjestelmässä voi olla tarpeen käyttää GPT-J:ä.

Ja monia muita!

Mitkä ovat joitain parhaimmista käyttötarkoituksista NLP Cloudille?

Käyttötarkoituksista, jotka näyttävät olevan eniten käytössä, ovat tekstintiivistäminen, tekstiluokittelu ja tekstintekstinteksti GPT-J:llä tuotteiden kuvausten generointiin, parafrasiointiin, artikkeleiden generointiin…

Mutta käyttötarkoituksia, joita näemme asiakkaidemme keskuudessa, ovat erittäin moninaiset, ja se on vaikuttavaa nähdä niin monta upeaa ideaa!

Onko jotain muuta, mitä haluaisit jakaa NLP Cloudista?

Näyttää siltä, että tekoäly tekstien ymmärtämiseen ja tekstien generointiin on vihdoin käytössä “oikeasti” todellisissa tuotteissa tai sisäisissä työprosesseissa, ja yhä useammin yrityksissä.

Se on hienoa nähdä, että NLP ei ole enää pelkästään puhtaasti tutkimuksen ala, vaan siinä on todellisia liiketoimintakäyttötarkoituksia, joita voidaan hyödyntää.

NLP Cloudissa jatkamme parhaamme tehdäksemme helpoksi kokeilla ja käyttää NLP:ta tuotannossa.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla NLP Cloudissa.