KI-generierte Sprache beginnt, die wissenschaftliche Literatur zu verunreinigen

Forscher aus Frankreich und Russland haben eine Studie veröffentlicht, die darauf hinweist, dass die Verwendung von KI-gesteuerter probabilistischer Textgeneratoren wie GPT-3 “gequälte Sprache”, Zitate von nicht existierenden Literatur und ad-hoc, uncredited Bildwiederverwendung in bisher respektablen Kanälen für die Veröffentlichung neuer wissenschaftlicher Literatur einführen.

Vielleicht am besorgniserregendsten ist, dass die untersuchten Arbeiten auch wissenschaftlich ungenaue oder nicht reproduzierbare Inhalte enthalten, die als Ergebnisse objektiver und systematischer Forschung präsentiert werden, was darauf hindeutet, dass generative Sprachmodelle nicht nur verwendet werden, um die begrenzten Englischkenntnisse der Autoren der Arbeiten zu verbessern, sondern tatsächlich die harte Arbeit erledigen (und dabei unweigerlich schlecht zu machen).

Der Bericht, betitelt Gequälte Phrasen: Ein zweifelhafter Schreibstil, der in der Wissenschaft aufkommt, wurde von Forschern der Computer Science Department an der University of Toulouse und Yandex-Forscher Alexander Magazinov, derzeit an der Tel Aviv University, zusammengestellt.

Die Studie konzentriert sich insbesondere auf das Wachstum von unsinnigen KI-generierten wissenschaftlichen Veröffentlichungen in der Elsevier-Zeitschrift Mikroprozessoren und Mikrosysteme.

Ein anderer Name

Autoregressive Sprachmodelle wie GPT-3 werden auf großen Datenmengen trainiert und sollen diese Daten paraphrasieren, zusammenfassen, kombinieren und interpretieren, um kohärente generative Sprachmodelle zu erstellen, die natürliche Sprach- und Schreibmuster reproduzieren können, während sie die ursprüngliche Absicht der Trainingsdaten beibehalten.

Da solche Rahmenwerke häufig während der Modelltrainingsphase bestraft werden, wenn sie direkte und “nicht absorbierte” Wiedergabe der ursprünglichen Daten anbieten, suchen sie unweigerlich nach Synonymen – sogar für etablierte Phrasen.

Die offensichtlich KI-erzeugten oder -unterstützten wissenschaftlichen Einreichungen, die die Forscher entdeckt haben, enthalten eine außergewöhnliche Anzahl von fehlgeschlagenen Versuchen, kreative Synonyme für bekannte Phrasen im Maschinenlernbereich zu finden:

Tiefes Neuronales Netzwerk: profoundes neuronales Organisationsmodell
Künstliches Neuronales Netzwerk: (falsches | gefälschtes) neuronales Organisationsmodell
Mobilnetzwerk: vielseitiges Organisationsmodell
Netzwerkangriff: Organisationsmodell (Überfall | Angriff)
Netzwerkverbindung: Organisationsmodell-Verbindung
Big Data: (enorme | riesige | unermessliche | kolossale) Informationen
Datenlager: Informationslager (Lager | Verteilungszentrum)
Künstliche Intelligenz (KI): (falsche | menschengemachte) Bewusstsein
High-Performance-Computing: Elite-Berechnung
Nebel-/Dunst-/Wolken-Computing: Nebel-Berechnung
Graphics Processing Unit (GPU): Design-Vorbereitungseinheit
Zentrale Prozessoreinheit (CPU): Zentrale Vorbereitungseinheit
Workflow-Engine: Arbeitsprozess-Motor
Gesichtserkennung: Gesichtsbestätigung
Stimmenrekognition: Rede-Bestätigung
Mittlerer quadratischer Fehler: Mittlerer quadratischer (Fehler | Versehen)
Mittlerer absoluter Fehler: Mittlerer (absoluter | höchster) (Fehler | Versehen)
Signal-Rausch-Verhältnis: (Bewegung | Flagge | Indikator | Zeichen | Signal) zu (Lärm | Unruhe)
Globale Parameter: Weltweite Parameter
Zufälliger Zugriff: (Willkürlicher | unregelmäßiger) Zugriff
Zufälliger Wald: (Willkürlicher | unregelmäßiger) (Hinterwald | Holzland | dichtes Gebiet)
Zufälliger Wert: (Willkürlicher | unregelmäßiger) Wert
Ameisenkolonie: Unterirdisches Insekten-(Staat | Provinz | Gebiet | Region | Siedlung)
Ameisenkolonie: Unterirdisches Krabbel-(Staat | Provinz | Gebiet | Region | Siedlung)
Verbleibende Energie: Übrig gebliebene Vitalität
Kinetische Energie: Motor-Vitalität
Naiver Bayes: (Glaubiger | unschuldiger | gutgläubiger) Bayes
Personaler digitaler Assistent (PDA): Individueller computerisierter Mitarbeiter

Im Mai 2021 haben die Forscher die Dimensions-Akademische Suchmaschine abgefragt, um diese Art von verdorbenen, automatisierten Sprache zu suchen, wobei sie darauf achteten, legitime Phrasen wie “enorme Informationen” (die ein gültiger Ausdruck ist und kein fehlgeschlagener Synonym für “Big Data”) auszuschließen. Zu diesem Zeitpunkt stellten sie fest, dass Mikroprozessoren und Mikrosysteme die höchste Anzahl von Vorkommen von missbrauchter Paraphrasierung aufwiesen.

Zurzeit ist es noch möglich, eine Reihe von wissenschaftlichen Arbeiten für den Unsinn-Begriff “profoundes neuronales Organisationsmodell” (d. h. “tiefes Neuronales Netzwerk”) abzurufen, und andere in der obigen Liste ergeben ähnliche Treffer.

Suchergebnisse für ‘profoundes neuronales Organisationsmodell’ (‘tiefes Neuronales Netzwerk’) bei Dimensions. Quelle: https://app.dimensions.ai/

Die Mikroprozessoren-Zeitschrift wurde 1976 gegründet und zwei Jahre später in Mikroprozessoren und Mikrosysteme umbenannt.

Ein Wachstum von Unsinn-Sprache

Die Forscher untersuchten einen Zeitraum von Februar 2018 bis Juni 2021 und beobachteten einen steilen Anstieg des Volumens der Einreichungen in den letzten zwei Jahren, insbesondere in den letzten 6-8 Monaten;

Korrelation oder Kausalität? Der Anstieg der Einreichungen in der Mikroprozessoren- und Mikrosysteme-Zeitschrift scheint mit dem Wachstum von ‘Unsinn’-Text und Synonymen in anscheinend respektablen Einreichungen zusammenzuhängen. Quelle: https://arxiv.org/pdf/2107.06751.pdf

Die endgültige Datensammlung, die die Mitarbeiter gesammelt haben, enthält 1.078 vollständige Artikel, die über den Elsevier-Abonnement der University of Toulouse erhalten wurden.

Abnehmende redaktionelle Kontrolle für chinesische wissenschaftliche Arbeiten

Die Studie zeigt, dass die Zeit, die für die redaktionelle Bewertung der gekennzeichneten Einreichungen zugewiesen wird, im Jahr 2021 radikal verkürzt wird, auf unter 40 Tage fällt; ein sechsfacher Rückgang der Standardzeit für Peer-Review, wie ab Februar 2021 ersichtlich.

Die größte Anzahl der gekennzeichneten Arbeiten stammt von Autoren mit Affiliationen zum chinesischen Festland: von 404 Arbeiten, die in unter 30 Tagen angenommen wurden, stammen 97,5 % aus China. Im Gegensatz dazu repräsentierten China-affilierte Einreichungen in Fällen, in denen der redaktionelle Prozess 40 Tage überschritt (615 Arbeiten), nur 9,5 % dieser Kategorie – ein zehnfacher Ungleichgewicht.

Der Bericht führt die Eindringung der gekennzeichneten Arbeiten auf Mängel im redaktionellen Prozess und einen möglichen Mangel an Ressourcen angesichts einer wachsenden Anzahl von Einreichungen zurück.

Die Forscher vermuten, dass GPT-ähnliche generative Modelle und ähnliche Arten von Sprachgenerierungsframeworks verwendet wurden, um einen großen Teil des Textes in den gekennzeichneten Arbeiten zu erstellen; jedoch macht die Art und Weise, wie ein generatives Modell seine Quellen abstrahiert, es schwierig, dies zu beweisen, und der Hauptbeweis liegt in einer sinnvollen Bewertung von schlechten und unnötigen Synonymen und einer sorgfältigen Prüfung der logischen Kohärenz der Einreichung.

Die Forscher beobachten außerdem, dass die generativen Sprachmodelle, die sie glauben, dass sie zu diesem Flut von Unsinn beitragen, nicht nur in der Lage sind, die problematischen Texte zu erstellen, sondern auch, sie systematisch zu erkennen und zu kennzeichnen, auf die gleiche Weise, wie die Forscher selbst es manuell durchgeführt haben. Die Arbeit beschreibt eine solche Implementierung, die GPT-2 verwendet, und bietet einen Rahmen für zukünftige Systeme, um problematische wissenschaftliche Einreichungen zu identifizieren.

Die Häufigkeit von “verunreinigten” Einreichungen ist in der Elsevier-Zeitschrift (72,1 %) im Vergleich zu anderen untersuchten Zeitschriften (maximal 13,6 %) wesentlich höher.

Nicht nur Semantik

Die Forscher betonen, dass viele der Zeitschriften nicht nur die falsche Sprache verwenden, sondern auch wissenschaftlich ungenaue Aussagen enthalten, was darauf hindeutet, dass generative Sprachmodelle nicht nur verwendet werden, um die begrenzten Sprachkenntnisse der Autoren der Arbeiten zu verbessern, sondern möglicherweise auch, um zumindest einige der Kerntheorien und Daten in der Arbeit zu formulieren.

In anderen Fällen vermuten die Forscher eine effektive “Neusynthese” oder “Neuinterpretation” von abstrahierten (und überlegenen) vorherigen Arbeiten, um den Druck der “Veröffentliche oder stirb”-Akademiekultur und möglicherweise, um nationale Rankings für globale Spitzenstellung in der KI-Forschung durch reine Menge zu verbessern.

Unsinniger Inhalt in einer eingereichten Arbeit. In diesem Fall fanden die Forscher, dass der Text ad hoc aus einem EDN-Artikel abgeleitet wurde, von wo auch die begleitende Abbildung ohne Angabe der Quelle entnommen wurde. Die Neufassung des ursprünglichen Inhalts ist so extrem, dass sie sinnlos wird.

Bei der Analyse mehrerer der eingereichten Elsevier-Arbeiten fanden die Forscher Sätze, für die sie keine Bedeutung ableiten konnten; Verweise auf nicht existierende Literatur; Verweise auf Variablen und Theorien in Formeln, die tatsächlich nicht im unterstützenden Material erschienen (was auf sprachbasierte Abstraktion oder “Halluzination” von anscheinend faktischen Daten hindeutet); und Wiederverwendung von Bildern ohne Angabe der Quelle (was die Forscher nicht aus urheberrechtlichen Gründen, sondern als Indikator für unzureichende wissenschaftliche Strenge kritisieren).

Zitierfehler

Die Zitate, die zur Unterstützung der Argumente in einem wissenschaftlichen Artikel dienen sollten, wurden in vielen der gekennzeichneten Beispiele als “entweder gebrochen oder zu nicht verwandten Veröffentlichungen führend” gefunden.

Darüber hinaus enthalten Verweise auf “verwandte Arbeiten” oft Autoren, die die Forscher glauben, von einem GPT-ähnlichen System “halluziniert” worden seien.

Abirrendes Interesse

Ein weiterer Mangel von sogar state-of-the-art-Sprachmodellen wie GPT-3 ist ihre Tendenz, den Fokus über einen langen Diskurs zu verlieren. Die Forscher fanden, dass die gekennzeichneten Arbeiten oft ein Thema am Anfang des Artikels ansprechen, das tatsächlich nie wieder aufgegriffen wird, nachdem es in vorläufigen Notizen oder anderswo erwähnt wurde.

Sie vermuten auch, dass einige der schlechtesten Beispiele durch multiple Reisen von Quelltext durch eine Reihe von Übersetzungs-Engines entstehen, wobei jede den Sinn weiter verfälscht.

Quellen und Gründe

Bei dem Versuch, herauszufinden, was hinter diesem Phänomen steckt, schlagen die Autoren des Artikels eine Reihe von Möglichkeiten vor: dass Inhalt aus “Paper-Mühlen” als Quellenmaterial verwendet wird, was Ungenauigkeiten sehr früh in einem Prozess einführt, der unweigerlich weitere Ungenauigkeiten produzieren wird; dass Artikel-Spinning-Tools wie Spinbot verwendet werden, um Plagiate zu maskieren; und dass der überwältigende Druck, regelmäßig zu veröffentlichen, unterressourcierte Forscher dazu bringt, GPT-3-ähnliche Systeme zu verwenden, um entweder zu ergänzen oder ganz neue akademische Arbeiten zu erstellen.

Die Forscher schließen mit einem Aufruf zu mehr Kontrolle und verbesserten Standards in einem Bereich der akademischen Veröffentlichung, der offensichtlich zu einem Nahrungsboden für sein eigenes Thema – Maschinenlernsysteme – wird. Sie fordern auch Elsevier und andere Verleger auf, strengere Überprüfungs- und Bewertungsverfahren einzuführen und kritisieren allgemein die aktuellen Standards und Praktiken in dieser Hinsicht, indem sie feststellen, dass “Täuschung mit synthetischen Texten die Integrität der wissenschaftlichen Literatur bedroht”.