Modele pisarskie oparte na sztucznej inteligencji często “kopiują i wklejają” dane źródłowe

Amerikański dramaturg i przedsiębiorca Wilson Mizner często cytowany jest słynnymi słowami: “Kiedy kradniesz od jednego autora, to jest to plagiat; jeśli kradniesz od wielu, to jest to badanie”.

Podobnie, założeniem dotyczącym nowego pokolenia systemów tworzenia treści opartych na sztucznej inteligencji jest to, że ogromne ilości danych podawane im na etapie szkolenia spowodowały prawdziwą abstrakcję wysokopoziomowych pojęć i idei; że systemy te mają do dyspozycji destylowaną mądrość tysięcy autorów, z której sztuczna inteligencja może tworzyć innowacyjne i oryginalne treści; i że ci, którzy używają takich systemów, mogą być pewni, że nie przypadkowo popadają w plagiat pośredni.

To założenie jest jednak kwestionowane przez nowy artykuł opracowany przez konsorcjum badawcze (w tym działy badawcze sztucznej inteligencji Facebooka i Microsoftu), które stwierdziło, że modele językowe generatywne oparte na uczeniu maszynowym, takie jak seria GPT, “czasami kopiują nawet bardzo długie fragmenty” do swoich rzekomo oryginalnych wyników, bez podania źródła.

W niektórych przypadkach autorzy zauważają, że GPT-2 powiela ponad 1000 słów z zestawu szkoleniowego w swoich wynikach.

Artykuł pt. Jak bardzo modele językowe kopiują z danych szkoleniowych? Ocena nowości językowej w generowaniu tekstu przy użyciu RAVEN, jest współpracą między Uniwersytetem Johnsa Hopkinsa, Microsoft Research, Nowym Uniwersytetem w Yorku i Facebook AI Research.

RAVEN

Badanie wykorzystuje nowe podejście o nazwie RAVEN (RAtingVErbalNovelty), akronim, który został zabawowo sformatowany, aby odzwierciedlić ptasiego złoczyńcę z klasycznej poezji:

‘Ten akronim odnosi się do „Kruka” Edgara Allana Poego, w którym narrator spotyka tajemniczego kruka, który powtarza „Nigdy więcej!” Narrator nie może powiedzieć, czy kruk po prostu powtarza coś, co usłyszał od człowieka, czy tworzy własne wypowiedzi (może łącząc nigdy i więcej)—tę samą podstawową dwuznaczność, którą nasz artykuł rozważa.’

Wyniki z nowego artykułu pojawiają się w kontekście dużego wzrostu systemów generowania treści opartych na sztucznej inteligencji, które mają na celu zastąpić “proste” zadania edytorskie, a nawet pisać pełne treści. Jeden z takich systemów otrzymał 21 milionów dolarów w ramach finansowania serii A w zeszłym tygodniu.

Badacze zauważają, że ‘GPT-2 czasami powiela fragmenty szkoleniowe, które są dłuższe niż 1000 słów.‘ (ich podkreślenie), a systemy generatywne języka propagują błędy językowe w danych źródłowych.

Modele językowe badane przy użyciu RAVEN to seria GPT, aż do GPT-2 (autorzy nie mieli w tym czasie dostępu do GPT-3), Transformer, Transformer-XL i LSTM.

Nowość

Artykuł zauważa, że GPT-2 tworzy nowe słowa w stylu Busha, takie jak ‘Swissified’, i pochodne, takie jak ‘IKEA-ness’, tworząc takie nowe słowa (nie pojawiające się w danych szkoleniowych GPT-2) na podstawie zasad językowych pochodzących z przestrzeni o wysokiej wymiarowości ustanowionych podczas szkolenia.

Wyniki pokazują również, że ‘74% zdań generowanych przez Transformer-XL ma strukturę składniową, której nie ma żadne zdanie szkoleniowe’, co, jak stwierdzają autorzy, ‘neuronalne modele języka nie po prostu zapamiętują; zamiast tego używają produktywnych procesów, które pozwalają im łączyć znane części w nowy sposób.’

Zatem technicznie rzecz biorąc, uogólnienie i abstrakcja powinny prowadzić do innowacyjnych i nowych treści.

Duplikacja danych może być problemem

Artykuł sugeruje, że długie i słowo w słowo cytaty wytworzone przez systemy generowania języka naturalnego mogą zostać “wbudowane” w całości do modelu sztucznej inteligencji, ponieważ oryginalny tekst źródłowy jest powtarzany wiele razy w zestawach danych, które nie zostały odpowiednio usunięte z duplikatów.

Chociaż inne badanie wykazało, że pełna duplikacja tekstu może wystąpić nawet wtedy, gdy tekst źródłowy pojawia się tylko raz w zestawie danych, autorzy zauważają, że badanie to ma odmienne architektury pojęciowe niż powszechne systemy generowania treści.

Autorzy również obserwują, że zmiana składnika dekodującego w systemach generowania języka może zwiększyć nowość, ale stwierdzili w testach, że występuje to kosztem jakości wyników.

Dalsze problemy pojawiają się, gdy zestawy danych, które napędzają algorytmy generowania treści, stają się coraz większe. Poza pogorszeniem problemów związanych z opłacalnością i wykonalnością przetwarzania danych, a także jakością i de-duplikacją danych, wiele podstawowych błędów pozostaje w danych źródłowych, które następnie są propagowane w treściach wyjściowych generowanych przez sztuczną inteligencję.

Autorzy zauważają*:

‘Ostatnie zwiększenia rozmiaru zestawów szkoleniowych sprawiają, że jest szczególnie ważne, aby sprawdzić nowość, ponieważ wielkość tych zestawów szkoleniowych może złamać nasze intuicje na temat tego, co może wystąpić naturalnie. Na przykład, niektóre godne uwagi prace w języku nabyciu opierają się na założeniu, że regularne formy czasu przeszłego nieregularnych czasowników (np. becomed, teached) nie pojawiają się w doświadczeniu uczącego się, więc jeśli uczący się wytwarza takie słowa, muszą one być nowe dla uczącego się.

‘Jednak okazuje się, że dla wszystkich 92 podstawowych nieregularnych czasowników w języku angielskim niepoprawna regularna forma pojawia się w zestawie szkoleniowym GPT-2.’

Większa kuracja danych jest potrzebna

Artykuł twierdzi, że należy zwrócić większą uwagę na nowość w formułowaniu systemów generowania języka, ze szczególnym naciskiem na zapewnienie, że “wyłączona” część testowa danych (część danych źródłowych, która jest odłożona do testowania, jak dobrze ostateczny algorytm ocenił główny zestaw danych szkoleniowych) jest odpowiednia dla zadania.

‘W uczeniu maszynowym jest krytyczne, aby oceniać modele na wyłączonej części testowej. Ze względu na otwarty charakter generowania tekstu wynikowy tekst modelu może być skopiowany z zestawu szkoleniowego, w którym to przypadku nie jest wyłączony—więc używanie tych danych do oceny modelu (np. pod kątem spójności lub gramatykalności) nie jest ważne.’

Autorzy twierdzą również, że więcej uwagi jest potrzebne w produkcji modeli języka ze względu na efekt Eliza, zespół zidentyfikowany w 1966 roku, który zidentyfikował “podatność ludzi na czytanie znacznie więcej zrozumienia, niż jest uzasadnione, w ciągu symboli—szczególnie słów—połączonych przez komputery”.

* Moja konwersja odniesień wewnętrznych do łączy