Julien Salinas, Damezrîner & CTO ya NLP Cloud - Rêzeya Hevpeyvînê

Julien Salinas Damezrîner & CTO ye NLP Cloud. Platforma NLP Cloud modelên NLP-amade yên hilberîna performansa bilind li ser bingeha transformatorên spaCy û HuggingFace pêşkêşî dike, ji bo rewşên pir karanîna di nav de NER, analîza hestan, dabeşkirina nivîsê, kurtkirin, bersivdayîna pirsê, hilberîna nivîsê, werger, tespîtkirina ziman, rêziman û rastnivîsîna rastnivîsê, tesnîfkirina niyetê, û wekheviya semantîk.

Di destpêkê de çi we bi zanistiya komputerê re eleqedar kir?

Min li… dibistana karsaziyê dest bi bernamekirinê kir! Ez dizanim ku ew ecêb xuya dike. Bi rastî, min zû fêhm kir ku karsazî bixwe bêzar bû û heke ez jêhatîbûna teknîkî nebim ku ez projeyên xwe bi dest bixim.

Projeya yekem wê demê malperek piçûk bû ji bo mamosteyê min ê muzîkê, dûv re malperek din ji bo malbata min, paşê min dest bi fêrbûna Python kir… û hwd û hwd. Naha ez 15 sal in pêşdebirek Python/Go û DevOps im.

Ma hûn dikarin çîroka çêbûna li pişt NLP Cloud parve bikin?

Ew 2 sal berê dest pê kir dema ku min fêhm kir ku, wekî pêşdebirek, pir dijwar e ku meriv modelên fêrbûna makîneyê bi rêkûpêk di hilberînê de bicîh bike.

Ez ji pêşkeftina ku ji hêla çarçoveyên wekî Hugging Face Transformers û spaCy ve hatî çêkirin matmayî mam, û min karîbû di projeyên xwe de modelên NLP yên pir pêşkeftî bikar bînim. Lê karanîna van modelan di hilberînê de heywanek din bû û, ecêb e, min nekarî li sûkê ji bo NLP-ê ewrek balkêş a No-Ops bibînim.

Ji ber vê yekê, min biryar da ku dest bi platforma xwe ya ji bo bicîhkirina modelên NLP bikim. Pir zû me xwedî bertekên xerîdar ên mezin bûn û me li ser bingeha van bertekan gelek taybetmendî lê zêde kirin (modelên pêş-perwerdekirî, baş-aheng, qada lîstikê…).

Platforma NLP Cloud piştgirî dide alternatîfa GPT-3-çavkaniya vekirî GPT-J. GPT-J bi taybetî çi ye?

GPT-J ji hêla tîmek lêkolîneran a bi navê EleutherAI di Hezîrana îsal de hate berdan. Ew bawer dikin ku GPT-3 divê modelek çavkaniyek vekirî be, mîna pêşiyên xwe (GPT û GPT-2). Ew îdia dikin ku, her çend em hemî ji potansiyela xeletî ya modelên AI-ê yên hêzdar ên mîna GPT-ê bi fikar bin, ew ne sedemek baş e ku em van modelan-çavkaniya vekirî nehêlin. Berevajî vê yekê: ew bawer dikin ku ger modelên AI-yê çavkaniyek vekirî bimînin, ew awayê çêtirîn e ku civakê fêm bike ka ev model çawa di bin kavilê de dixebitin, û dûv re piştrast bikin ku ev model bi awayê xelet tevnagerin (misogyny, nijadperestî,…).

GPT-J rasterast wekheviyek GPT-3 Curie ye ji ber ku her du jî li ser kêm-zêde 6 mîlyar pîvan têne perwerde kirin.

Her du jî hema hema di nav hev de têne bikar anîn.

Çima GPT-J ji GPT-3 re alternatîfek çêtir e?

GPT-3 aîdî Microsoft-ê ye û yekane awayê ku mirov wê bikar bînin ev e ku derbasî API-ya fermî ya GPT-3 bibin.

Lê ev API pir biha ye, û pir sînordar e: hûn hewce ne ku hûn bigihîjin API-yê daxwaz bikin û, hetta serîlêdana we were pejirandin, ger ku ew bifikirin ku modela karsaziya we bi rêwerzên wan re nagunce, gihîştina we dikare her dem were girtin. Ji bo nimûne, hûn nikarin nivîsa "vekirî" (nivîsa dirêj a ji çend paragrafan pêk tê) çêbikin ji ber ku ew li dijî siyaseta wan e.

Bi GPT-J re ti sînorkirinên weha tune ji ber ku ew çavkaniya vekirî ye û her kes dikare wê saz bike û bikar bîne.

Hin pirsgirêkên teknîkî yên bi yekkirina GPT-J li ser NLP Cloud çi bûn?

GPT-J ji ber xerckirina çavkaniya xwe ya zêde (RAM, CPU, GPU…) ji bo sazkirinê tevlihev e. Ew bêyî GPU dixebite lê ew qas hêdî ye ku ew pir nepratîk e.

Di dawiyê de, hardware ku ji bo xebitandina GPT-J-ê hewce ye pir biha ye, ji ber vê yekê, ji bo ku lêçûn kêm bikin, me neçar ma ku li ser gelek hûrguliyên bicîhkirinê bixebitin.

Di heman demê de, ji bo ku em hebûna bilind a GPT-J li ser NLP Cloud piştrast bikin û wê ji bo hilberînê guncan bikin, me neçar ma ku ji bo GPT-J li ser stratejiyên zêdebûn û têkçûnê bixebitin ku dikare pir dijwar be.

Ma hûn dikarin hin modelên AI-ê yên pêş-perwerdekirî yên ku têne pêşkêş kirin nîqaş bikin?

Em her tiştê xwe dikin ku ji bo her doza karanîna modela AI-ya pêş-perwerdekirî ya çêtirîn hilbijêrin.

Ji bo kurtkirina nivîsê, ya çêtirîn - li gorî me - Bart Large CNN-a Facebook-ê ye ku encamên pir baş dide lê ew bêyî GPU dikare pir hêdî be.

Ji bo dabeşkirina nivîsê, me Bart Large MNLI ya Facebook (ji bo dabeşkirina Englishngilîzî) û Joe Davison ya XLM Roberta Large XLNI (ji bo zimanên ne-îngilîzî) bicîh kir. Herdu zû û pir rast in.

Ji bo bersiva pirsê, em Deepset's Roberta Base Squad 2 bikar tînin. Ew zû û rast e lê ji bo bersiva pirsa pêşkeftî dibe ku hûn bixwazin GPT-J bikar bînin.

Û gelekên din!

Hin rewşên karanîna çêtirîn ji bo NLP Cloud çi ne?

Bûyerên karanînê yên ku herî zêde têne bikar anîn ev in kurtkirina nivîsê, dabeşkirina nivîsê, û hilberîna nivîsê ya bi GPT-J ji bo nifşên danasîna hilberê, parafraz, hilberîna gotarê…

Lê dozên karanînê yên ku em dikarin di nav xerîdarên xwe de bibînin pir cihêreng in, û pir bi heybet e ku meriv şahidiya ewqas ramanên mezin derdixe pêş!

Tiştek din heye ku hûn dixwazin di derbarê NLP Cloud de parve bikin?

Ji me re xuya dike ku AI-ê ji bo têgihîştina nivîsê û hilberîna nivîsê di dawiyê de "bi rastî" di hilberên rastîn an xebata hundurîn de, ji hêla bêtir pargîdaniyan ve tê bikar anîn.

Ev pir xweş e ku hûn bibînin ku NLP êdî ne tenê qada lêkolînê ya paqij e, lê ew bûyerên karanîna karsaziya rastîn hene ku dikarin NLP-ê bikar bînin.

Li NLP Cloud em ê her tiştê xwe bikin da ku ji her kesî re hêsan be ku ceribandin û karanîna NLP di hilberînê de bike.

Spas ji bo hevpeyivîna hêja, xwendevanên ku dixwazin bêtir fêr bibin divê biçin NLP Cloud.