AI-gebaseerde generatieve schrijfmodellen ‘kopiëren en plakken’ vaak brondata

Amerikaanse toneelschrijver en ondernemer Wilson Mizner wordt vaak beroemd geciteerd als zeggend: ‘Als je van één auteur steelt, is het plagiaat; als je van velen steelt, is het onderzoek’.

Op vergelijkbare wijze is de aanname rond de nieuwe generatie van AI-gebaseerde creatieve schrijfsystemen dat de grote hoeveelheden data die aan hen worden gevoerd tijdens de trainingsfase, hebben geresulteerd in een echte abstractie van hoogwaardige concepten en ideeën; dat deze systemen de geëxtraheerde wijsheid van duizenden bijdragende auteurs tot hun beschikking hebben, waaruit de AI innovatieve en originele schrijfstukken kan formuleren; en dat degene die dergelijke systemen gebruiken, er zeker van kunnen zijn dat ze niet onbewust plagiaat plegen.

Het is een veronderstelling die wordt uitgedaagd door een nieuw onderzoek van een onderzoeksconsortium (waaronder Facebook en Microsoft’s AI-onderzoeksdivisies), dat heeft ontdekt dat machine learning generatieve taalmodellen zoals de GPT-serie ‘soms zelfs lange passages kopiëren’ in hun vermeende originele output, zonder bronvermelding.

In sommige gevallen zullen de auteurs opmerken dat GPT-2 meer dan 1.000 woorden uit de trainingsset in zijn output zal dupliceren.

Het onderzoek heet Hoeveel kopiëren taalmodellen uit hun trainingsdata? Evaluatie van linguïstische noviteit in tekstgeneratie met RAVEN, en is een samenwerking tussen Johns Hopkins University, Microsoft Research, New York University en Facebook AI Research.

RAVEN

Het onderzoek gebruikt een nieuwe aanpak genaamd RAVEN (RAtingVErbalNovelty), een acroniem dat vermaakkelijk is gemarteld om de vogelvijand van een klassiek gedicht te weerspiegelen:

‘Dit acroniem verwijst naar “The Raven” van Edgar Allan Poe, waarin de verteller een mysterieuze raaf ontmoet die herhaaldelijk roept: “Nooit meer!” De verteller kan niet zeggen of de raaf gewoon iets herhaalt dat hij van een mens heeft gehoord, of dat hij zijn eigen uitlatingen construeert (misschien door nooit en meer te combineren)

De resultaten van het nieuwe onderzoek komen in de context van een grote groei voor AI-gebaseerde inhoudsschrijfsystemen die proberen ‘eenvoudige’ bewerkingsTaken te vervangen, en zelfs om volledige inhoud te schrijven. Een dergelijk systeem ontving $21 miljoen in serie A-financiering eerder deze week.

De onderzoekers merken op dat ‘GPT-2 soms trainingspassages dupliceert die langer zijn dan 1.000 woorden.‘ (hun nadruk), en dat generatieve taalsystemen linguïstische fouten in de brondata propageren.

De taalmodellen die onder RAVEN werden bestudeerd, waren de GPT-serie van releases tot GPT-2 (de auteurs hadden op dat moment geen toegang tot GPT-3), een Transformer, Transformer-XL en een LSTM.

Noviteit

Het onderzoek merkt op dat GPT-2 Bush 2-stijl inflecties zoals ‘Swissified’ en afleidingen zoals ‘IKEA-ness’ creëert, en dergelijke nieuwe woorden (die niet in GPT-2’s trainingsdata voorkomen) op linguïstische principes die zijn afgeleid van hogere dimensionale ruimten die tijdens de training zijn vastgesteld.

De resultaten laten ook zien dat ‘74% van de door Transformer-XL gegenereerde zinnen een syntactische structuur heeft die geen enkele trainingszinnen heeft’, wat, zoals de auteurs stellen, ‘aantoont dat neurale taalmodellen niet simpelweg memoriseren; in plaats daarvan gebruiken ze productieve processen die hen in staat stellen om vertrouwde delen op nieuwe manieren te combineren.’

Dus technisch gezien zouden generalisatie en abstractie innovatieve en originele tekst moeten produceren.

Data Duplication May Be the Problem

Het onderzoek veronderstelt dat lange en letterlijke citaten die door Natural Language Generation (NLG)-systemen worden geproduceerd, ‘ingebakken’ kunnen worden in het AI-model omdat de oorspronkelijke brondata meerdere keren in datasets voorkomt die niet voldoende zijn gedupliceerd.

Hoewel een ander onderzoeksproject heeft ontdekt dat complete duplicatie van tekst kan optreden, zelfs als de brondata slechts één keer in de dataset voorkomt, merken de auteurs op dat het project een andere conceptuele architectuur heeft dan de meeste inhoudsgenererende AI-systemen.

De auteurs merken ook op dat het wijzigen van de decoderingscomponent in taalgeneratiesystemen de noviteit kan verhogen, maar ontdekten in tests dat dit gebeurt ten koste van de kwaliteit van de output.

Verdere problemen doen zich voor als de datasets die inhoudsgenererende algoritmen voeden, steeds groter worden. Naast het verergeren van problemen rond de betaalbaarheid en levensvatbaarheid van datapreprocessing, evenals kwaliteitsborging en deduplicatie van de data, zijn veel basisfouten in de brondata aanwezig, die vervolgens worden doorgegeven in de inhoud die door de AI wordt gegenereerd.

De auteurs merken op*:

‘Recente toename in trainingssetgrootte maakt het bijzonder kritiek om te controleren op noviteit, omdat de omvang van deze trainingssets onze intuïtie over wat natuurlijk kan gebeuren, kan doorbreken. Bijvoorbeeld, enig opvallend werk in taal verwerving vertrouwt op de veronderstelling dat regelmatige verleden tijdsvormen van onregelmatige werkwoorden (bijv. becomed, teached) niet voorkomen in de ervaring van een leerling, dus als een leerling dergelijke woorden produceert, moeten ze nieuw zijn voor de leerling.

‘Het blijkt echter dat, voor alle 92 basis onregelmatige werkwoorden in het Engels, de onjuiste regelmatige vorm voorkomt in GPT-2’s trainingsset.’

Meer Data Curation Needed

Het onderzoek stelt dat meer aandacht moet worden besteed aan noviteit bij de formulering van generatieve taalsystemen, met een bijzondere nadruk op het waarborgen dat het ‘teruggehouden’ testgedeelte van de data (het deel van de brondata dat is afgezonderd om te testen hoe goed het eindalgoritme de hoofdbrondata heeft beoordeeld) geschikt is voor de taak.

‘In machine learning is het kritiek om modellen te evalueren op een teruggehouden testset. Vanwege de open-eindige aard van tekstgeneratie kan de gegenereerde tekst van een model zijn gekopieerd uit de trainingsset, in welk geval het niet is teruggehouden – dus het gebruik van die data om het model te evalueren (bijv. voor coherentie of grammaticaliteit) is niet geldig.’

De auteurs stellen ook dat meer zorg nodig is bij de productie van taalmodellen vanwege de Eliza-effect, een syndroom dat in 1966 werd geïdentificeerd en ‘de vatbaarheid van mensen om meer begrip te lezen dan gerechtvaardigd is in reeksen van symbolen – vooral woorden – die door computers zijn samengesteld’.

* Mijn conversie van inline citaten naar hyperlinks