Neue Studie zeigt, dass Menschen lernen können, maschinell generierten Text zu erkennen

Die zunehmende Sophistikation und Zugänglichkeit künstlicher Intelligenz (AI) hat langjährige Bedenken hinsichtlich ihrer Auswirkungen auf die Gesellschaft aufgeworfen. Die neueste Generation von Chatbots hat diese Bedenken nur noch verstärkt, mit Ängsten um die Integrität des Arbeitsmarktes und der Verbreitung von Fake-News und Fehlinformationen. Im Lichte dieser Bedenken suchte ein Team von Forschern an der University of Pennsylvania School of Engineering and Applied Science nach Möglichkeiten, um Techniknutzern zu ermöglichen, diese Risiken zu mindern.

Sich selbst trainieren, um AI-Text zu erkennen

Ihre peer-reviewed paper, die auf der Februar 2023-Tagung der Association for the Advancement of Artificial Intelligence präsentiert wurde, liefert Beweise dafür, dass Menschen lernen können, den Unterschied zwischen maschinell generiertem und von Menschen geschriebenem Text zu erkennen.

Die Studie, die von Chris Callison-Burch, Associate Professor im Department of Computer and Information Science (CIS), zusammen mit den Ph.D.-Studenten Liam Dugan und Daphne Ippolito, durchgeführt wurde, zeigt, dass AI-generierter Text erkennbar ist.

“Wir haben gezeigt, dass Menschen sich selbst trainieren können, um maschinell generierte Texte zu erkennen”, sagt Callison-Burch. “Menschen beginnen mit einer bestimmten Menge an Annahmen darüber, welche Art von Fehlern eine Maschine machen würde, aber diese Annahmen sind nicht unbedingt korrekt. Mit der Zeit, wenn man genügend Beispiele und explizite Anweisungen erhält, können wir lernen, die Arten von Fehlern zu erkennen, die Maschinen derzeit machen.”

Die Studie verwendet Daten, die mit “Real or Fake Text?”, einem originalen webbasierten Trainingspiel, gesammelt wurden. Dieses Trainingspiel verwandelt die Standard-Experimentalmethode für Erkennungsstudien in eine genauere Nachbildung davon, wie Menschen AI verwenden, um Text zu generieren.

In Standardmethoden werden Teilnehmer aufgefordert, in einer Ja-oder-Nein-Frage anzugeben, ob eine Maschine einen bestimmten Text produziert hat. Das Penn-Modell verfeinert die Standard-Erkennungsstudie in eine effektive Trainingsaufgabe, indem es Beispiele zeigt, die alle als von Menschen geschrieben beginnen. Jedes Beispiel geht dann in generierten Text über, und die Teilnehmer werden aufgefordert, zu markieren, wo sie glauben, dass dieser Übergang beginnt. Die Teilnehmer identifizieren und beschreiben die Merkmale des Textes, die auf einen Fehler hinweisen, und erhalten eine Punktzahl.

Ergebnisse der Studie

Die Ergebnisse der Studie zeigen, dass die Teilnehmer signifikant besser als der Zufall abschnitten, was Beweise dafür liefert, dass AI-erzeugter Text zu einem gewissen Grad erkennbar ist. Die Studie zeigt nicht nur eine beruhigende, sogar aufregende Zukunft für unsere Beziehung zu AI, sondern liefert auch Beweise dafür, dass Menschen sich selbst trainieren können, um maschinell generierten Text zu erkennen.

“Menschen sind besorgt über AI aus validen Gründen”, sagt Callison-Burch. “Unsere Studie liefert Beweise, um diese Ängste zu zerstreuen. Sobald wir unsere Optimismus über AI-Textgeneratoren nutzen können, werden wir in der Lage sein, unsere Aufmerksamkeit auf die Fähigkeit dieser Tools zu lenken, uns dabei zu helfen, kreativere, interessantere Texte zu schreiben.”

Dugan fügt hinzu: “Es gibt aufregende positive Richtungen, in die man diese Technologie treiben kann. Menschen sind auf die besorgniserregenden Beispiele fixiert, wie Plagiate und Fake-News, aber wir wissen jetzt, dass wir uns selbst trainieren können, um bessere Leser und Schreiber zu werden.”

Die Studie stellt einen wichtigen ersten Schritt dar, um die Risiken im Zusammenhang mit maschinell generiertem Text zu mindern. Wenn AI weiterhin evolviert, muss auch unsere Fähigkeit, ihre Auswirkungen zu erkennen und zu navigieren, evolvieren. Indem wir uns selbst trainieren, um den Unterschied zwischen von Menschen geschriebenem und maschinell generiertem Text zu erkennen, können wir die Kraft von AI nutzen, um unsere kreativen Prozesse zu unterstützen, während wir ihre Risiken mindern.