AI-baserte generative skrive-modeller kopierer ofte ‘kopier og lim’ kilde-data

Amerikansk dramatiker og entrepreneur Wilson Mizner er ofte sitert som å si ‘Når du stjeler fra en forfatter, er det plagiat; hvis du stjeler fra mange, er det forskning’.

Liknende antakelser rundt den nye generasjonen av AI-baserte kreative skrivesystemer er at de veldig store mengder data som er fôret til dem under trening har resultert i en genuin abstraksjon av høynivå-konsepter og ideer; at disse systemene har tilgang til den destillerte visdommen fra tusenvis av bidragsytere, fra hvilke AI kan formulere innovative og originale skriving; og at de som bruker slike systemer kan være sikre på at de ikke uforvarende deltar i plagiat-via-proksi.

Det er en antakelse som utfordres av en ny rapport fra en forskningskonsortium (inkludert Facebook og Microsofts AI-forskningsavdelinger), som har funnet at maskinlærings-generative språkmodeller som GPT-serien ‘av og til kopierer selv svært lange passasjer’ i deres påstått originale utgang, uten kildeangivelse.

I noen tilfeller, merker forfatterne, vil GPT-2 duplisere over 1 000 ord fra treningssettet i utgangen.

Rapporten er tittelt Hvor mye kopierer språkmodeller fra deres treningsdata? Evaluering av lingvistisk nyskaping i tekstgenerering ved hjelp av RAVEN, og er et samarbeid mellom Johns Hopkins University, Microsoft Research, New York University og Facebook AI Research.

RAVEN

Studien bruker en ny tilnærming kalt RAVEN (RAtingVErbalNovelty), en forkortelse som har blitt underholdende torturert for å reflektere den avianske skurken i et klassisk dikt:

‘Denne forkortelsen henviser til “The Raven” av Edgar Allan Poe, hvor fortelleren møter en mystisk ravn som gjentakende roper ut, “Nevermore!” Fortelleren kan ikke si om ravnen bare gjentar noe det har hørt en menneske si, eller om det konstruerer sine egne uttalelser (kanskje ved å kombinere never og more)—den samme grunnleggende tvetydighet som vår rapport behandler.’

Funndene fra den nye rapporten kommer i sammenheng med stor vekst for AI-innholdsskrivningssystemer som søker å erstatte ‘enkle’ redigeringsoppgaver, og selv å skrive fullstendige innhold. Et slikt system mottok $21 millioner i serie A-finansiering tidligere denne uken.

Forskerne merker at ‘GPT-2 noen ganger dupliserer treningspassasjer som er over 1 000 ord lange.‘ (deres betoning), og at generative språkmodeller forplanter lingvistiske feil i kilde-dataene.

Språkmodellene som ble studert under RAVEN var GPT-serien av utgaver opp til GPT-2 (forfatterne hadde ikke tilgang til GPT-3 på den tiden), en Transformer, Transformer-XL og en LSTM.

Nyskaping

Rapporten merker at GPT-2 mynter Bush 2-stil infleksjoner som ‘Swissified’, og avledninger som ‘IKEA-ness’, og skaper slike nye ord (de dukker ikke opp i GPT-2s treningsdata) på lingvistiske prinsipper avledet fra høydimensjonale rom etablert under trening.

Resultatene viser også at ‘74% av setninger generert av Transformer-XL har en syntaktisk struktur som ingen treningssetning har’, noe som indikerer, som forfatterne sier, ‘neurale språkmodeller ikke bare husker; i stedet bruker de produktive prosesser som tillater dem å kombinere kjente deler på nye måter.’

Så teknisk sett skal generalisering og abstraksjon produsere innovative og nye tekst.

Data-duplisering kan være problemet

Rapporten teoriserer at lange og ordrette sitater produsert av naturlig språk-generering (NLG)-systemer kan bli ‘bakt’ inn i AI-modellen fordi den opprinnelige kilde-teksten er gjentatt flere ganger i datasett som ikke er blitt adekvat de-duplisert.

Selv om en annen forskningsprosjekt har funnet at fullstendig duplisering av tekst kan skje selv om kilde-teksten bare dukker opp én gang i datasettet, merker forfatterne at prosjektet har forskjellige konseptuelle arkitekturer enn det vanlige løpet av innholdsgenererende AI-systemer.

Forskerne observerer også at å endre dekoding-komponenten i språk-genereringssystemer kan øke nyskaping, men fant i tester at dette skjer på bekostning av kvaliteten på utgangen.

Ytterligere problemer oppstår når datasettene som driver innholdsgenererende algoritmer blir større og større. Foruten å forverre problemer rundt kostnadene og gjennomførbarheten av data-forbehandling, samt kvalitetsikring og de-duplisering av data, mange grunnleggende feil forbli i kilde-dataene, som deretter blir forplantet i innholdet produsert av AI.

Forfatterne merker*:

‘Nylige økninger i treningssett-størrelser gjør det spesielt kritisk å sjekke for nyskaping fordi størrelsen på disse treningssettene kan bryte våre intuisjoner om hva som kan forventes å skje naturlig. For eksempel, noen bemerkelsesverdig arbeid i språk tilegnelse avhenger av antakelsen at regelmessige fortidige former av uregelmessige verb (f.eks. becomed, teached) ikke dukker opp i en lærers erfaring, så hvis en lærer produserer slike ord, må de være nye for læreren.

‘Men det viser seg at, for alle 92 grunnleggende uregelmessige verb i engelsk, dukker den feilaktige regelmessige form opp i GPT-2s treningssett.’

Mer data-kurering er nødvendig

Rapporten hevder at mer oppmerksomhet må bli gitt til nyskaping i formuleringen av generative språkmodeller, med en særlig vekt på å sikre at den ’tilbakeholdte’ test-delen av data (delen av kilde-dataene som er satt til side for å teste hvor godt den endelige algoritmen har vurdert hoveddelen av treningsdata) er egnet for oppgaven.

‘I maskinlæring er det kritisk å evaluere modeller på en tilbakeholdt testsett. På grunn av den åpne naturen av tekstgenerering, kan en modells genererte tekst bli kopiert fra treningssettet, i hvilket tilfelle det ikke er tilbakeholdt—så å bruke den data til å evaluere modellen (f.eks. for kohesjon eller grammatikalskhet) er ikke gyldig.’

Forfatterne hevder også at mer omsorg er nødvendig i produksjonen av språkmodeller på grunn av Eliza-effekten, et syndrom identifisert i 1966 som identifiserte “mottakeligheten hos mennesker til å lese mye mer forståelse enn det som er berettiget inn i symbolstrenger—spesielt ord—sammenføyet av datamaskiner”.

* Min konvertering av inline-citater til lenker