Nová studie ukazuje, že lidé se mohou naučit rozpoznávat texty generované umělou inteligencí

Zvyšující se sofistikovanost a dostupnost umělé inteligence (AI) vyvolala dlouholeté obavy o její dopad na společnost. Nejnovější generace chatbotů tyto obavy ještě více zostřila, s obavami o integritu trhu práce a šíření falešných zpráv a dezinformací. Vzhledem k těmto obavám se tým výzkumníků z University of Pennsylvania School of Engineering and Applied Science pokusil vybavit uživatele technologií, aby mohli zmírnit tato rizika.

Vyučování se rozpoznávat texty AI

Jejich recenzovaný článek, představený na únorovém setkání Asociace pro pokrok umělé inteligence v roce 2023, poskytuje důkazy o tom, že lidé se mohou naučit rozpoznávat rozdíl mezi texty generovanými stroji a texty psanými lidmi.

Studie, vedená Chrisem Callisonem-Burchem, asociálním profesorem na katedře počítačových a informačních věd (CIS), spolu s doktorandy Liamem Duganem a Daphne Ippolito, demonstruje, že texty generované AI jsou detekovatelné.

“Ukázali jsme, že lidé se mohou naučit rozpoznávat texty generované stroji,” říká Callison-Burch. “Lidé začínají s určitou sadou předpokladů o tom, jaké chyby by stroj mohl udělat, ale tyto předpoklady nejsou nutně správné. Časem, s dostatečným množstvím příkladů a explicitním poučením, se můžeme naučit rozpoznávat typy chyb, které stroje目前 dělají.”

Studie využívá data shromážděná pomocí „Real or Fake Text?“, originální webové tréninkové hry. Tato tréninková hra transformuje standardní experimentální metodu pro detekční studie do více přesné rekreace toho, jak lidé používají AI k generování textu.

V standardních metodách jsou účastníci požádáni, aby označili ano/ne, zda stroj vyprodukoval určitý text. Pennský model rafinuje standardní detekční studii do efektivní tréninkové úlohy, ukazující příklady, které všechny začínají jako texty psané lidmi. Každý příklad poté přechází do generovaného textu a účastníci jsou požádáni, aby označili, kde věří, že tato přechod začíná. Trainees identifikují a popisují funkce textu, které indikují chybu, a získají skóre.

Výsledky studie

Výsledky studie ukazují, že účastníci dosáhli lepšího skóre než náhodná šance, poskytujíce důkazy o tom, že texty vytvořené AI jsou do jisté míry detekovatelné. Studie nejenže nastiňuje uklidňující, ba dokonce vzrušující budoucnost našeho vztahu s AI, ale také poskytuje důkazy o tom, že lidé se mohou naučit rozpoznávat texty generované stroji.

“Lidé mají obavy z AI z platných důvodů,” říká Callison-Burch. “Naše studie poskytuje body důkazů, které tyto obavy mohou zmírnit. Jakmile se budeme moci chopit našeho optimismu o generátorech textu AI, budeme moci věnovat pozornost kapacitě těchto nástrojů pro pomoc při psaní více imaginativních, více zajímavých textů.”

Dugan dodává: “Existují vzrušující pozitivní směry, kam můžete tento technologii tlačit. Lidé jsou fixováni na znepokojivé příklady, jako je plagiát a falešné zprávy, ale nyní víme, že se můžeme učit být lepšími čtenáři a spisovateli.”

Studie poskytuje kritický první krok v zmírnění rizik spojených s texty generovanými stroji. Jak AI dále evoluuje, musí se naše schopnost detekovat a navigovat její dopad také vyvíjet. Vyučováním se rozpoznávat rozdíl mezi texty psanými lidmi a texty generovanými stroji můžeme využít sílu AI k podpoře našich kreativních procesů, zatímco zmírníme její rizika.