Nowe badanie pokazuje, że ludzie mogą nauczyć się rozpoznawać tekst generowany maszynowo

Rosnące wyrafinowanie i dostępność sztucznej inteligencji (AI) wzbudziły długotrwałe obawy co do jej wpływu na społeczeństwo. Najnowsza generacja chatbotów tylko pogłębiła te obawy, powodując obawy o integralność rynku pracy oraz rozprzestrzenianie się fałszywych wiadomości i dezinformacji. W świetle tych obaw zespół naukowców ze Szkoły Inżynierii i Nauk Stosowanych Uniwersytetu Pensylwanii podjął próbę umożliwienia użytkownikom technologii ograniczenia tego ryzyka.

Naucz się rozpoznawać tekst AI

Ich artykuł recenzowany, zaprezentowane na posiedzeniu Stowarzyszenia na rzecz Rozwoju Sztucznej Inteligencji w lutym 2023 r., dostarcza dowodów na to, że ludzie mogą nauczyć się dostrzegać różnicę między tekstem generowanym maszynowo a tekstem pisanym przez człowieka.

Badanie, prowadzone pod kierunkiem Chrisa Callison-Burcha, profesora nadzwyczajnego na Wydziale Informatyki i Nauk Informacyjnych (CIS), wraz z doktorem. studentów Liama ​​Dugana i Daphne Ippolito pokazuje, że tekst wygenerowany przez sztuczną inteligencję jest wykrywalny.

„Pokazaliśmy, że ludzie mogą nauczyć się rozpoznawać teksty generowane maszynowo” – mówi Callison-Burch. „Ludzie zaczynają od pewnego zestawu założeń dotyczących tego, jakiego rodzaju błędy popełni maszyna, ale te założenia niekoniecznie są prawidłowe. Z biegiem czasu, mając wystarczającą liczbę przykładów i jasne instrukcje, możemy nauczyć się rozpoznawać rodzaje błędów, które obecnie popełniają maszyny.

W badaniu wykorzystano dane zebrane za pomocą oryginalnej internetowej gry szkoleniowej „Prawdziwy czy fałszywy tekst?”. Ta gra szkoleniowa przekształca standardową eksperymentalną metodę badań wykrywających w dokładniejsze odtworzenie sposobu, w jaki ludzie wykorzystują sztuczną inteligencję do generowania tekstu.

W standardowych metodach uczestnicy proszeni są o wskazanie, tak lub nie, czy maszyna wygenerowała dany tekst. Model Penna udoskonala standardowe badanie wykrywania w skuteczne zadanie szkoleniowe, pokazując przykłady, które zaczynają się od napisanych przez człowieka. Każdy przykład przechodzi następnie do wygenerowanego tekstu, prosząc uczestników o zaznaczenie, gdzie według nich zaczyna się to przejście. Uczestnicy identyfikują i opisują cechy tekstu wskazujące na błąd i otrzymują ocenę.

Wyniki badania

Wyniki badania pokazują, że uczestnicy uzyskali znacznie lepsze wyniki niż przypadkowa szansa, co stanowi dowód na to, że tekst stworzony przez sztuczną inteligencję jest w pewnym stopniu wykrywalny. Badanie nie tylko nakreśla uspokajającą, a nawet ekscytującą przyszłość naszych relacji ze sztuczną inteligencją, ale także dostarcza dowodów na to, że ludzie mogą nauczyć się wykrywać tekst generowany maszynowo.

„Ludzie niepokoją się sztuczną inteligencją z ważnych powodów” – mówi Callison-Burch. „Nasze badanie dostarcza dowodów pozwalających rozwiać te obawy. Kiedy już uda nam się wykorzystać nasz optymizm co do generatorów tekstu AI, będziemy mogli poświęcić uwagę możliwościom tych narzędzi w pisaniu bardziej pomysłowych i interesujących tekstów”.

Dugan dodaje: „Istnieją ekscytujące, pozytywne kierunki, w których można popchnąć tę technologię. Ludzie skupiają się na niepokojących przykładach, takich jak plagiat i fałszywe wiadomości, ale teraz wiemy, że możemy się szkolić, aby być lepszymi czytelnikami i pisarzami”.

Badanie stanowi kluczowy pierwszy krok w ograniczaniu zagrożeń związanych z tekstem generowanym maszynowo. W miarę ewolucji sztucznej inteligencji musi także rozwijać się nasza zdolność do wykrywania jej skutków i radzenia sobie z nimi. Szkoląc się w rozpoznawaniu różnicy między tekstem napisanym przez człowieka a tekstem wygenerowanym maszynowo, możemy wykorzystać moc sztucznej inteligencji do wspierania naszych procesów twórczych, jednocześnie ograniczając związane z tym ryzyko.