AI-baserade generativa skrivmodeller “kopierar och klistrar” ofta källdata

Amerikanske dramatikern och entreprenören Wilson Mizner citeras ofta som sagt: “När du stjäl från en författare, är det plagiat; om du stjäl från många, är det forskning”.

På samma sätt är antagandet kring den nya generationen av AI-baserade kreativa skrivsystem att de vasta mängder data som matas in i dem under utbildningsstadiet har resulterat i en äkta abstraktion av högnivåkoncept och idéer; att dessa system har till sitt förfogande den destillerade visdomen från tusentals bidragande författare, från vilka AI kan formulera innovativa och ursprungliga texter; och att de som använder sådana system kan vara säkra på att de inte oavsiktligt ägnar sig åt plagiat-genom-ombud.

Det är ett antagande som utmanas av en ny rapport från en forskningskonsortium (inklusive Facebook och Microsofts AI-forskningsavdelningar), som har funnit att maskinlärningsgenerativa språkmodeller som GPT-serien “ibland kopierar till och med mycket långa passager” i sin påstått ursprungliga utdata, utan attribut.

I vissa fall kommer GPT-2 att duplicera över 1 000 ord från utbildningsuppsättningen i sin utdata.

Rapporten heter How much do language models copy from their training data? Evaluating linguistic novelty in text generation using RAVEN, och är ett samarbete mellan Johns Hopkins University, Microsoft Research, New York University och Facebook AI Research.

RAVEN

Studien använder en ny metod som kallas RAVEN (RAtingVErbalNovelty), ett akronym som har skapats för att återspegla den klassiska diktens skurk:

‘Detta akronym hänvisar till “The Raven” av Edgar Allan Poe, där berättaren möter en mystisk ravin som upprepar “Nevermore!” Berättaren kan inte avgöra om raven bara upprepar något den har hört en människa säga, eller om den konstruerar sina egna uttalanden (kanske genom att kombinera never och more)—samma grundläggande tvetydighet som vår rapport behandlar.’

Rapportens resultat kommer i samband med en stor tillväxt för AI-innehållsskrivningssystem som syftar till att ersätta “enkla” redigeringsuppgifter, och till och med skriva fullständiga innehåll. Ett sådant system fick $21 miljoner i serie A-finansiering tidigare i veckan.

Forskarna noterar att ‘GPT-2 ibland duplicerar utbildningspassager som är över 1 000 ord långa.‘ (deras betoning), och att generativa språkmodeller sprider lingvistiska fel i källdata.

De språkmodeller som studerades under RAVEN var GPT-serien av versioner upp till GPT-2 (författarna hade inte tillgång till GPT-3 vid den tidpunkten), en Transformer, Transformer-XL och en LSTM.

Nyhet

Rapporten noterar att GPT-2 myntar uttryck som ‘Swissified’ och ‘IKEA-ness’, och skapar sådana nya ord (som inte förekommer i GPT-2:s utbildningsdata) på lingvistiska principer som härrör från högre dimensionella utrymmen etablerade under utbildning.

Resultaten visar också att ‘74% av meningar genererade av Transformer-XL har en syntaktisk struktur som ingen utbildningsmening har’, vilket, enligt författarna, ‘neurona språkmodeller inte bara memoriserar; istället använder de produktiva processer som tillåter dem att kombinera bekanta delar på nya sätt.’

Så tekniskt sett borde generaliseringen och abstraktionen produces innovativa och nya texter.

Datakopiering kan vara problemet

Rapporten teoriserar att långa och ordagranna citat som produceras av Natural Language Generation (NLG)-system kan bli “inbakade” i AI-modellen eftersom den ursprungliga källtexten upprepas flera gånger i dataset som inte har deduplicerats tillräckligt.

Även om ett annat forskningsprojekt har funnit att fullständig textduplicering kan förekomma även om källtexten bara förekommer en gång i datasetet, noterar författarna att projektet har en annan konceptuell arkitektur än den vanliga typen av innehållsgenererande AI-system.

Författarna noterar också att ändringar av avkodningskomponenten i språkgenereringssystem kan öka nyheten, men fann i tester att detta sker på bekostnad av utdatans kvalitet.

Ytterligare problem uppstår när dataseten som driver innehållsgenererande algoritmer blir allt större. Utöver att förvärra problemen kring datorkostnad, datakvalitet och deduplicering, återstår många grundläggande fel i källdata, som sedan sprids i innehållet som genereras av AI.

Författarna noterar*:

‘De senaste ökningarna av utbildningsuppsättningsstorlekar gör det särskilt viktigt att kontrollera nyhet eftersom storleken på dessa utbildningsuppsättningar kan bryta våra intuitioner om vad som kan förväntas förekomma naturligt. Till exempel bygger viss anmärkningsvärd forskning i språk inlärning på antagandet att regelbundna former av oregelbundna verb (t.ex. becomed, teached) inte förekommer i en lärares erfarenhet, så om en lärling producerar sådana ord, måste de vara nya för lärlingen.

‘Men det visar sig att, för alla 92 grundläggande oregelbundna verb i engelska, den felaktiga regelbundna formen förekommer i GPT-2:s utbildningsuppsättning.’

Mer datakurering behövs

Rapporten hävdar att mer uppmärksamhet behöver ägnas åt nyhet i utformningen av generativa språkmodeller, med särskild betoning på att se till att den “uppställda” testdelen av data (den del av källdata som sätts åt sidan för att testa hur väl den slutliga algoritmen har bedömt den huvudsakliga utbildningsdata) är lämplig för uppgiften.

‘Inom maskinlärning är det viktigt att utvärdera modeller på en uppställd testuppsättning. På grund av den öppna naturen hos textgenerering kan en modells genererade text vara kopierad från utbildningsuppsättningen, i vilket fall den inte är uppställd—så att använda den datan för att utvärdera modellen (t.ex. för sammanhang eller grammatikalitet) är inte giltigt.’

Författarna hävdar också att mer omsorg behövs i produktionen av språkmodeller på grund av Eliza-effekten, ett syndrom som identifierades 1966 som identifierade “människors benägenhet att läsa mer förståelse än som är berättigat in i symbolsträngar—särskilt ord—som är sammansatta av datorer”.

* Min omvandling av inline-citat till hyperlänkar