GPT-2, generatorul de text cu inteligență artificială este lansat în întregime

Așa cum raportează TheNextWeb (TNW), OpenAI, organizația non-profit din spatele unor proiecte de inteligență artificială, a publicat recent modelul final din lansarea planificată în etape pentru GPT-2, un generator de text care a generat o dezbatere considerabilă de la anunțul lansării sale în februarie.

Pe baza lucrării de cercetare a OpenAI, intitulată Modelele de limbaj sunt învățători multitask nesupravegheați, „GPT-2 utilizează învățarea automată pentru a genera texte noi pe baza unei intrări limitate.” Ce înseamnă acest lucru este că un utilizator poate să tasteze o propoziție sau două despre orice subiect și generatorul de inteligență artificială va crea un text care are o anumită legătură cu intrarea originală. În esență, așa cum notează TNW, spre deosebire de majoritatea „generatorilor de text”, el nu produce șiruri de caractere pre-scrise. GPT-2 inventează texte care nu au existat anterior.”

Într-un tweet, Scott B. Weingart, director de program al Bibliotecilor Universității Carnegie Mellon, oferă un exemplu concret:

What is a Panther but a young lion?

An entire corridor filled entirely with people screaming.

How’s this for a happy ending? pic.twitter.com/qvPTrs790N

— Scott B. Weingart (@scott_bot) August 20, 2019

If death, in some obscure and distant hour,
Strikes me still as I slept, if I yet dream:
Is that my peace with an eternity spent?
[…]
But I fear it will be no peace or rest
Until the stars give me the full glow of their light
To see all my cares and woes in an instant.

Shit. pic.twitter.com/QRoi1C3rjj

— Scott B. Weingart (@scott_bot) August 20, 2019

OpenAI a fost inițial îngrijorată de posibilele utilizări malefice ale sistemului său, așa că în februarie 2019 a decis să lanseze GPT-2 în patru părți, pe parcursul a opt luni. Așa cum au explicat în blogul lor, „Datorită îngrijorărilor noastre cu privire la aplicațiile malefice ale tehnologiei, nu vom lansa modelul antrenat. Ca un experiment în ceea ce privește divulgarea responsabilă, vom lansa în schimb un model mult mai mic pentru ca cercetătorii să experimenteze, precum și un document tehnic.”

Așa cum s-a explicat, modelul complet conține 1,5 miliarde de parametri. „Cu cât un model este antrenat cu mai mulți parametri, cu atât pare mai „deștept” – la fel ca oamenii, practica face perfect.”

TNW notează că inițial OpenAI a lansat un model cu 124 de milioane de parametri, urmat de lansări cu 355 și 774 de milioane. Conform lor, după testarea modelelor lansate, „fiecare iterație a arătat o îmbunătățire semnificativă a capacității față de iterațiile anterioare.”

Pentru a preveni utilizarea abuzivă, OpenAI a lansat modele de detectare GPT-2 care ar trebui „să combată în mod preventiv utilizarea abuzivă.” Conform propriilor lor mărturisiri într-o postare pe blog, aceste modele de detectare au nevoie încă de lucru suplimentar pentru a atinge nivelul de calitate realizat până acum în GPT-2 însuși.

Cei interesați pot descărca modelul GPT-2 aici pe Github, să verifice cardul modelului aici și să citească postarea pe blog a OpenAI aici.