Neue Studie zeigt, dass Menschen lernen können, maschinell generierten Text zu erkennen

Die zunehmende Sophistikation und Zugänglichkeit von künstlicher Intelligenz (KI) hat langjährige Bedenken hinsichtlich ihrer Auswirkungen auf die Gesellschaft aufgeworfen. Die neueste Generation von Chatbots hat diese Bedenken nur noch verstärkt, mit Ängsten um die Integrität des Arbeitsmarktes und die Verbreitung von Fake-News und Fehlinformationen. Im Lichte dieser Bedenken suchte ein Team von Forschern an der University of Pennsylvania School of Engineering and Applied Science nach Möglichkeiten, um Technologie-Nutzer zu befähigen, diese Risiken zu mindern.

Sich selbst trainieren, um KI-Text zu erkennen

Ihre begutachtete Veröffentlichung, die auf der Februar 2023-Tagung der Association for the Advancement of Artificial Intelligence vorgestellt wurde, liefert Beweise dafür, dass Menschen lernen können, den Unterschied zwischen maschinell generiertem und von Menschen geschriebenem Text zu erkennen.

Die Studie, die von Chris Callison-Burch, Associate Professor im Department of Computer and Information Science (CIS), zusammen mit den Doktoranden Liam Dugan und Daphne Ippolito durchgeführt wurde, zeigt, dass KI-generierter Text erkennbar ist.

“Wir haben gezeigt, dass Menschen sich selbst trainieren können, um maschinell generierte Texte zu erkennen”, sagt Callison-Burch. “Menschen beginnen mit einer bestimmten Vorstellung davon, welche Art von Fehlern eine Maschine machen würde, aber diese Annahmen sind nicht unbedingt korrekt. Mit der Zeit, wenn man genügend Beispiele und explizite Anweisungen erhält, können wir lernen, die Arten von Fehlern zu erkennen, die Maschinen derzeit machen.”

Die Studie verwendet Daten, die mit Hilfe von „Real or Fake Text?“, einem originalen webbasierten Trainingspiel, gesammelt wurden. Dieses Trainingspiel verwandelt die Standard-Experimentalmethode für Erkennungsstudien in eine genauere Nachbildung davon, wie Menschen KI verwenden, um Text zu generieren.

In den Standardmethoden werden Teilnehmer aufgefordert, in einer Ja-oder-Nein-Frage anzugeben, ob eine Maschine einen bestimmten Text produziert hat. Das Penn-Modell verfeinert die Standard-Erkennungsstudie in eine effektive Trainingsaufgabe, indem es Beispiele zeigt, die alle als von Menschen geschrieben beginnen. Jedes Beispiel geht dann in generierten Text über, und die Teilnehmer werden aufgefordert, zu markieren, wo sie glauben, dass dieser Übergang beginnt. Die Teilnehmer identifizieren und beschreiben die Merkmale des Textes, die auf einen Fehler hinweisen, und erhalten eine Punktzahl.

Ergebnisse der Studie

Die Ergebnisse der Studie zeigen, dass die Teilnehmer signifikant besser als der Zufall abschnitten, was Beweise dafür liefert, dass KI-generierter Text zu einem gewissen Grad erkennbar ist. Die Studie skizziert nicht nur eine beruhigende, ja sogar aufregende Zukunft für unsere Beziehung zu KI, sondern liefert auch Beweise dafür, dass Menschen sich selbst trainieren können, um maschinell generierten Text zu erkennen.

“Menschen sind besorgt über KI aus validen Gründen”, sagt Callison-Burch. “Unsere Studie liefert Beweise, um diese Ängste zu zerstreuen. Sobald wir unsere Optimismus über KI-Text-Generatoren nutzen können, werden wir in der Lage sein, unsere Aufmerksamkeit auf die Fähigkeit dieser Tools zu lenken, uns dabei zu helfen, mehr imaginative und interessante Texte zu schreiben.”

Dugan fügt hinzu: “Es gibt aufregende positive Richtungen, in die man diese Technologie treiben kann. Menschen sind auf die besorgniserregenden Beispiele fixiert, wie Plagiate und Fake-News, aber wir wissen jetzt, dass wir uns selbst trainieren können, um bessere Leser und Schreiber zu werden.”

Die Studie liefert einen entscheidenden ersten Schritt bei der Minderung der Risiken, die mit maschinell generiertem Text verbunden sind. Da KI weiterhin evolviert, muss auch unsere Fähigkeit, ihre Auswirkungen zu erkennen und zu navigieren, weiterentwickelt werden. Indem wir uns selbst trainieren, um den Unterschied zwischen von Menschen geschriebenem und maschinell generiertem Text zu erkennen, können wir die Macht von KI nutzen, um unsere kreativen Prozesse zu unterstützen, während wir ihre Risiken mindern.