Nowe badanie pokazuje, że ludzie mogą nauczyć się rozpoznać tekst wygenerowany przez maszynę

Rosnąca złożoność i dostępność sztucznej inteligencji (AI) wywołała długotrwałe obawy dotyczące jej wpływu na społeczeństwo. Ostatnia generacja chatbotów tylko nasiliła te obawy, z obawami o integralność rynku pracy i rozprzestrzenianie się fałszywych informacji. W związku z tym zespół badaczy z Uniwersytetu Pensylwanii Szkoły Inżynierii i Nauk Stosowanych próbował wyposażyć użytkowników technologii w możliwość łagodzenia tych ryzyk.

Samouczek rozpoznawania tekstu AI

Ich recenzowany artykuł, przedstawiony na spotkaniu Stowarzyszenia na rzecz Rozwoju Sztucznej Inteligencji w lutym 2023 r., dostarcza dowodów, że ludzie mogą nauczyć się rozpoznać różnicę między tekstem wygenerowanym przez maszynę a napisanym przez człowieka.

Badanie, prowadzone przez Chrisa Callisona-Burcha, associate profesora w Departamencie Komputerów i Nauk Informacyjnych (CIS), wraz z doktorantami Liamem Duganem i Daphne Ippolito, dowodzi, że tekst wygenerowany przez AI jest wykrywalny.

“Udowodniliśmy, że ludzie mogą nauczyć się rozpoznać teksty wygenerowane przez maszynę”, mówi Callison-Burch. “Ludzie zaczynają z pewnym zestawem założeń dotyczących błędów, które mogłaby popełnić maszyna, ale te założenia nie są koniecznie słuszne. Z czasem, po otrzymaniu wystarczającej liczby przykładów i wyraźnych instrukcji, możemy nauczyć się rozpoznać rodzaje błędów, które maszyny obecnie popełniają”.

Badanie wykorzystuje dane zebrane za pomocą „Real or Fake Text?”, oryginalnej gry szkoleniowej online. Ta gra szkoleniowa przekształca standardową metodę eksperymentalną dla badań wykrywania w bardziej dokładne odtworzenie, w jaki sposób ludzie używają AI do generowania tekstu.

W standardowych metodach uczestnicy są proszeni o wskazanie w sposób tak/nie, czy maszyna wygenerowała dany tekst. Model Uniwersytetu Pensylwanii udoskonala standardowe badanie wykrywania, tworząc skuteczne zadanie szkoleniowe, pokazując przykłady, które zaczynają się jako napisane przez człowieka. Każdy przykład przechodzi następnie w wygenerowany tekst, prosząc uczestników o wskazanie, gdzie uważają, że zaczyna się ta zmiana. Uczestnicy identyfikują i opisują cechy tekstu, które wskazują na błąd, i otrzymują wynik.

Wyniki badania

Wyniki badania pokazują, że uczestnicy uzyskali wyniki znacznie lepsze niż losowe, dostarczając dowodów, że tekst wygenerowany przez AI jest w pewnym stopniu wykrywalny. Badanie nie tylko zarysowuje pocieszającą, a nawet ekscytującą, przyszłość naszych relacji z AI, ale także dostarcza dowodów, że ludzie mogą nauczyć się rozpoznać tekst wygenerowany przez maszynę.

“Ludzie są nerwowi z powodu AI z ważnych powodów”, mówi Callison-Burch. “Nasze badanie dostarcza punktów dowodowych, aby złagodzić te nerwowość. Gdy tylko będziemy mogli wykorzystać nasz optymizm dotyczący generatorów tekstu AI, będziemy mogli poświęcić uwagę ich zdolności do pomocy w tworzeniu bardziej wyobraźniowych, bardziej interesujących tekstów”.

Dugan dodaje, “Istnieją ekscytujące pozytywne kierunki, w które można pchnąć tę technologię. Ludzie są zafascynowani niepokojącymi przykładami, takimi jak plagiat i fałszywe wiadomości, ale teraz wiemy, że możemy szkolić się, aby być lepszymi czytelnikami i autorami”.

Badanie stanowi kluczowy pierwszy krok w łagodzeniu ryzyk związanych z tekstem wygenerowanym przez maszynę. W miarę jak AI będzie ewoluować, tak samo musi ewoluować nasza zdolność do wykrywania i nawigowania jego wpływu. Poprzez szkolenie się w rozpoznawaniu różnicy między tekstem napisanym przez człowieka a wygenerowanym przez maszynę, możemy wykorzystać moc AI, aby wspierać nasze procesy twórcze, jednocześnie łagodząc jej ryzyka.