Modele de scriere generativă bazate pe inteligență artificială “copiază și lipește” frecvent datele sursă

Dramaturgul și antreprenorul american Wilson Mizner este adesea citat spunând “Când fură de la un autor, este plagiat; dacă fură de la mulți, este cercetare”.

În mod similar, presupunerea din jurul noii generații de sisteme de scriere creativă bazate pe inteligență artificială este că cantitățile uriașe de date furnizate acestora la etapa de antrenare au dus la o abstracție reală a conceptelor și ideilor de nivel înalt; că aceste sisteme au la dispoziție înțelepciunea distilată a mii de autori care contribuie, din care inteligența artificială poate formula scrieri inovatoare și originale; și că cei care utilizează astfel de sisteme pot fi siguri că nu se implică involuntar în plagiat prin procură.

Este o presupunere care este contestată de o nouă lucrare de cercetare de la un consorțiu de cercetare (inclusiv diviziile de cercetare a inteligenței artificiale Facebook și Microsoft ), care a constatat că modelele de limbaj generativ de învățare automată, cum ar fi seria GPT, “copiază uneori chiar și pasaje foarte lungi” în ieșirile lor presupus originale, fără atribuire.

În unele cazuri, autorii notează că GPT-2 va duplica peste 1.000 de cuvinte din setul de antrenare în ieșirea sa.

Lucrarea, intitulată Cât de mult copiază modelele de limbaj din datele de antrenare? Evaluarea noutății lingvistice în generarea de text utilizând RAVEN, este o colaborare între Universitatea Johns Hopkins, Microsoft Research, Universitatea din New York și Facebook AI Research.

RAVEN

Studiul utilizează o abordare nouă numită RAVEN (RAtingVErbalNovelty), un acronim care a fost “torturat” pentru a reflecta păsările răuvoitoare dintr-o poezie clasică:

‘Acest acronim se referă la “Corbul” de Edgar Allan Poe, în care naratorul întâlnește un corb misterios care strigă în mod repetat “Niciodată!” Naratorul nu poate spune dacă corbul repetă doar ceva auzit de la un om sau dacă construiește propriile sale enunțuri (poate prin combinarea lui “niciodată” și “mai mult”) – aceeași ambiguitate de bază pe care o abordează lucrarea noastră.’

Cercetătorii notează că ‘GPT-2 uneori duplică pasaje de antrenare care sunt peste 1.000 de cuvinte lungi.‘ (accentul lor), și că sistemele de limbaj generativ propagă erorile lingvistice din datele sursă.

Modelele de limbaj studiate sub RAVEN au fost seria GPT de lansări până la GPT-2 (autorii nu au avut acces la GPT-3 la momentul respectiv), un Transformer, Transformer-XL și un LSTM.

Noutate

Lucrarea notează că GPT-2 inventează inflecții în stilul lui Bush 2, cum ar fi ‘Swissified’, și derivate cum ar fi ‘IKEA-ness’, creând astfel de cuvinte noi (care nu apar în setul de antrenare al GPT-2) pe principii lingvistice derivate din spații de înaltă dimensiune stabilite în timpul antrenării.

Rezultatele arată, de asemenea, că ‘74% din propozițiile generate de Transformer-XL au o structură sintactică pe care nicio propoziție de antrenare nu o are’, indicând, după cum spun autorii, ‘modelele de limbaj neural nu se limitează la a memora; în schimb, ele folosesc procese productive care le permit să combine părți familiare în moduri noi.’

Deci, din punct de vedere tehnic, generalizarea și abstracția ar trebui să producă text inovator și nou.

Datele duplicate pot fi problema

Lucrarea teorizează că citatele lungi și verbatim produse de sistemele de generare a limbajului natural (NLG) pot deveni “coapte” în întregime în modelul de inteligență artificială, deoarece textul sursă original este repetat de mai multe ori în seturile de date care nu au fost suficient de deduplicate.

Deși un alt proiect de cercetare a constatat că duplicarea completă a textului poate apărea chiar și dacă textul sursă apare doar o dată în setul de date, autorii notează că proiectul are arhitecturi conceptuale diferite de cele obișnuite ale sistemelor de generare a conținutului.

Autorii observă, de asemenea, că modificarea componentei de decodare în sistemele de generare a limbajului poate crește noutatea, dar au constatat în testele efectuate că acest lucru se întâmplă în detrimentul calității ieșirii.

Probleme suplimentare apar pe măsură ce seturile de date care alimentează algoritmii de generare a conținutului devin din ce în ce mai mari. Pe lângă faptul că agravează problemele legate de fezabilitatea și viabilitatea prelucrării datelor, precum și a asigurării calității și deduplicării datelor, multe erori de bază rămân în datele sursă, care apoi sunt propagate în conținutul generat de inteligența artificială.

Autorii notează*:

‘Creșterile recente ale dimensiunilor seturilor de antrenare fac ca este deosebit de important să se verifice noutatea, deoarece magnitudinea acestor seturi de antrenare poate rupe intuițiile noastre despre ceea ce se poate aștepta să apară în mod natural. De exemplu, o lucrare notabilă în achiziția limbajului se bazează pe presupunerea că formele regulate ale verbelor neregulate (de exemplu, “become” în loc de “becomed”) nu apar în experiența unui învățăcel, astfel încât, dacă un învățăcel produce astfel de cuvinte, ele trebuie să fie noi pentru învățăcel.’

‘Cu toate acestea, s-a dovedit că, pentru toate cele 92 de verbe neregulate de bază din limba engleză, forma neregulată corectă apare în setul de antrenare al GPT-2.’

Mai multă curățare a datelor este necesară

Lucrarea susține că trebuie să se acorde mai multă atenție noutății în formularea sistemelor de limbaj generativ, cu un accent special pe asigurarea faptului că partea “reținută” a datelor (partea datelor sursă care este pusă deoparte pentru a testa cât de bine algoritmul final a evaluat corpul principal de date antrenate) este potrivită pentru sarcină.

‘În învățarea automată, este esențial să se evalueze modelele pe un set de test reținut. Din cauza naturii deschise a generării de text, un model poate copia textul din setul de antrenare, în care caz nu este reținut – astfel, utilizarea acelor date pentru a evalua modelul (de exemplu, pentru coerență sau gramaticalitate) nu este valabilă.’

Autorii susțin, de asemenea, că trebuie să se acorde mai multă atenție în producerea modelelor de limbaj din cauza efectului Eliza, un sindrom identificat în 1966 care a identificat “susceptibilitatea oamenilor de a citi mult mai multă înțelegere decât este justificat în șiruri de simboluri – în special cuvinte – legate de computere”.

* Conversia mea a citatelor inline în legături hipertext