Auf dem Weg zum automatisierten wissenschaftlichen Schreiben

Als ich heute Morgen, wie an den meisten Morgen, die Informatikbereiche von Arxiv durchstöberte, stieß ich auf einen aktuellen Artikel Krepppapier von der Bundesuniversität Ceara in Brasilien, das ein neues Framework zur Verarbeitung natürlicher Sprache anbietet, um die Zusammenfassung und Extraktion von Kerndaten aus wissenschaftlichen Arbeiten zu automatisieren.

Da ich das mehr oder weniger täglich mache, erinnerte mich der Artikel an einen Kommentar in einem Reddit-Autorenthread von Anfang des Jahres – eine Prognose, wonach das Schreiben wissenschaftlicher Texte zu den ersten journalistischen Tätigkeiten gehören werde, die vom maschinellen Lernen übernommen würden.

Lassen Sie es mich klarstellen: Ich absolut glauben dass der automatisierte Wissenschaftsschreiber kommt und dass alle Herausforderungen, die ich in diesem Artikel beschreibe, entweder jetzt lösbar sind oder es irgendwann sein werden. Wo möglich, gebe ich hierfür Beispiele. Darüber hinaus gehe ich nicht darauf ein, ob aktuelle oder in naher Zukunft wissenschaftliche Schreib-KIs dazu in der Lage sein werden schreiben zwingend; basierend auf aktuelles Interesse In diesem Bereich des NLP gehe ich davon aus, dass diese Herausforderung letztendlich gelöst wird.

Vielmehr frage ich mich, ob eine KI als Wissenschaftsautor in der Lage sein wird, identifizieren relevante Wissenschaftsgeschichten im Einklang mit den (sehr unterschiedlichen) gewünschten Ergebnissen der Verlage.

Ich glaube nicht, dass es unmittelbar bevorsteht. Nachdem ich wöchentlich die Schlagzeilen und/oder Texte von rund 2000 neuen wissenschaftlichen Artikeln zum maschinellen Lernen durchforstet habe, bin ich eher zynisch, was das Ausmaß der algorithmischen Analyse akademischer Beiträge angeht, sei es für die Zwecke der akademischen Indexierung oder für den Wissenschaftsjournalismus. Wie üblich sind es diese verdammten befähigen die im Weg stehen.

Voraussetzungen für den automatisierten Wissenschaftsschreiber

Betrachten wir die Herausforderung der Automatisierung der Wissenschaftsberichterstattung über die neueste akademische Forschung. Der Fairness halber beschränken wir uns hauptsächlich auf die CS-Kategorien der sehr beliebten, nicht kostenpflichtigen Arxiv-Domäne von der Cornell University, die zumindest über eine Reihe systematischer, auf Vorlagen basierender Funktionen verfügt, die in eine Datenextraktionspipeline eingebunden werden können.

Nehmen wir außerdem an, dass die vorliegende Aufgabe, wie bei dem neuen Artikel aus Brasilien, darin besteht, die Titel, Zusammenfassungen, Metadaten und (sofern gerechtfertigt) den Hauptteil neuer wissenschaftlicher Artikel auf der Suche nach Konstanten, zuverlässigen Parametern, Token und umsetzbaren, reduzierbaren Domäneninformationen zu durchsuchen.

Dies ist schließlich das Prinzip, nach dem sehr erfolgreich ist neue Rahmenwerke sind in den Bereichen auf dem Vormarsch Erdbebenberichterstattung, Sport schreiben, Finanzjournalismus und Krankenversicherung, und ein vernünftiger Ausgangspunkt für den KI-gestützten Wissenschaftsjournalisten.

Der Workflow des neuen brasilianischen Angebots. Die PDF-Wissenschaftsarbeit wird in UTF-8-Nurtext konvertiert (wodurch jedoch kursive Hervorhebungen entfernt werden, die möglicherweise eine semantische Bedeutung haben), und Artikelabschnitte werden beschriftet und extrahiert, bevor sie zur Textfilterung weitergeleitet werden. Dekonstruierter Text wird in Sätze als Datenrahmen zerlegt und die Datenrahmen vor der Token-Identifizierung und der Generierung von zwei Dokument-Token-Matrizen zusammengeführt   Quelle: https://arxiv.org/ftp/arxiv/papers/2107/2107.14638.pdf

Die Vorlage verkomplizieren

Eine ermutigende Ebene der Konformität und Regularisierung besteht darin, dass Arxiv eine ziemlich gut durchgesetzte Vorlage für Einreichungen vorschreibt bietet detaillierte Richtlinien für einreichende Autoren. Daher entsprechen Arbeiten im Allgemeinen den Teilen des Protokolls, die für die beschriebene Arbeit gelten.

Daher kann das KI-Vorverarbeitungssystem für den vermeintlichen automatisierten Wissenschaftsautor solche Abschnitte im Allgemeinen als Unterdomänen behandeln: Zusammenfassung, Einführung, verwandte/frühere Arbeit, Methodik/Daten, Ergebnisse/Befunde, Ablationsstudien, Diskussion, Abschluss.

In der Praxis kann es jedoch vorkommen, dass einige dieser Abschnitte fehlen, umbenannt wurden oder Inhalte enthalten, die streng genommen in einen anderen Abschnitt gehören. Darüber hinaus fügen Autoren natürlich Überschriften und Unterüberschriften ein, die nicht der Vorlage entsprechen. Daher ist es Aufgabe von NLP/NLU, relevante abschnittsbezogene Inhalte aus dem Kontext zu identifizieren.

Auf dem Weg zum Ärger

Eine Header-Hierarchie ist eine einfache Möglichkeit für NLP-Systeme, Inhaltsblöcke zunächst zu kategorisieren. Viele Arxiv-Einreichungen werden aus Microsoft Word exportiert (wie die falsch verarbeiteten Arxiv-PDFs zeigen, die „Microsoft Word“ in der Titelüberschrift belassen – siehe Abbildung unten). Wenn Sie die richtige Abschnittsüberschriften in Word, werden sie durch einen Export ins PDF als hierarchische Überschriften neu erstellt, die für die Datenextraktionsprozesse eines Maschinenreporters nützlich sind.

Dies setzt jedoch voraus, dass Autoren solche Funktionen tatsächlich in Word oder anderen Dokumenterstellungs-Frameworks wie TeX und Derivaten verwenden (selten als native Alternativformate in Arxiv-Einreichungen bereitgestellt, wobei die meisten Angebote auf PDF beschränkt sind und gelegentlich sogar noch undurchsichtiger sind). PostScript).

Basierend auf jahrelanger Lektüre von Arxiv-Artikeln habe ich festgestellt, dass die überwiegende Mehrheit von ihnen keine für interpretierbare strukturelle Metadaten, wobei der Titel im Reader (z. B. einem Webbrowser oder einem PDF-Reader) als vollständiger Titel (einschließlich Erweiterung) des Dokuments selbst angezeigt wird.

In diesem Fall ist die semantische Interpretierbarkeit des Artikels eingeschränkt, und ein KI-basiertes Wissenschaftsschreibsystem muss ihn programmgesteuert mit den zugehörigen Metadaten in der Arxiv-Domäne verknüpfen. Die Arxiv-Konvention schreibt vor, dass grundlegende Metadaten auch seitlich in großer grauer Schrift auf Seite 1 einer eingereichten PDF-Datei eingefügt werden (siehe Abbildung unten). Leider werden sie oft weggelassen – nicht zuletzt, weil dies der einzige zuverlässige Ort ist, an dem man ein Veröffentlichungsdatum oder eine Versionsnummer finden kann.

Viele Autoren verwenden entweder überhaupt keine Stile oder nur den H1-Stil (höchster Header/Titel), sodass NLU auch hier wieder Überschriften extrahieren muss aus dem Kontext (wahrscheinlich nicht so schwierig) oder durch Parsen der Referenznummer, die den Titel in der Dokumentroute enthält (z. B. https://arxiv.org/pdf/2110.00168.pdf) und die Nutzung netzbasierter (statt lokaler) Metadaten für die Einreichung.

Letzteres löst zwar keine fehlenden Überschriften, stellt aber zumindest fest, auf welchen Bereich der Informatik sich die Einreichung bezieht, und liefert Datums- und Versionsinformationen.

GluedText bei ParagraphReturns

Da PDF und Postscript die am häufigsten von Autoren übermittelten Arxiv-Formate sind, benötigt das NLP-System eine Routine, um die Wörter am Zeilenende von den Wörtern am Anfang der nächsten Zeile zu trennen, die ihnen aufgrund der unglücklichen Standardoptimierungsmethoden des PDF-Formats „angehängt“ werden.

Entkonkatenieren (und enthyphenisieren) Wörter können erreicht werden in Perl und viele andere einfache rekursive Routinen, obwohl a Python-basierter Ansatz ist möglicherweise weniger zeitaufwändig und besser an ein ML-Framework angepasst. Adobe, der Erfinder des PDF-Formats, hat ebenfalls ein KI-gestütztes Konvertierungssystem namens „ Flüssigkeitsmodus, das gebackenen Text in PDFs „neu formatieren“ kann, obwohl sich seine Einführung über den mobilen Bereich hinaus als langsam erwiesen hat.

Schlechtes Englisch                                                

Auch wenn dies der Fall ist, bleibt Englisch der weltweite wissenschaftliche Standard für die Einreichung wissenschaftlicher Arbeiten umstritten. Daher enthalten manchmal interessante und aktuelle Artikel entsetzliche Standards des Englischen, von nicht-englischen Forschern. Wenn bei der Bewertung der Arbeit durch ein maschinelles System der geschickte Gebrauch der englischen Sprache als Wertmaßstab einbezogen wird, gehen nicht nur gute Geschichten oft verloren, sondern auch pedantische, minderwertige Ergebnisse werden höher bewertet, einfach weil sie sehr wenig sehr gut aussagen.

NLP-Systeme, die in dieser Hinsicht unflexibel sind, werden bei der Datenextraktion wahrscheinlich auf eine zusätzliche Ebene von Hindernissen stoßen, außer in den strengsten und parametrisierten Wissenschaften wie der Chemie und der theoretischen Physik, wo Grafiken und Diagramme in den globalen Wissenschaftsgemeinschaften einheitlicher sind. Auch wenn in Arbeiten zum maschinellen Lernen häufig Formeln enthalten sind, stellen diese möglicherweise nicht den entscheidenden Wert der Einreichung dar, da kein vollständig etablierter wissenschaftlicher Konsens über die Methodik besteht, über den ältere Wissenschaften verfügen.

Auswahl: Ermittlung der Zielgruppenanforderungen

Wir werden in Kürze auf die zahlreichen Probleme zurückkommen, die mit der Zerlegung exzentrischer wissenschaftlicher Arbeiten in einzelne Datenpunkte verbunden sind. Betrachten wir nun unsere Zielgruppe und unsere Ziele, da diese für die KI des Wissenschaftsautors entscheidend sind, um Tausende von Arbeiten pro Woche zu sichten. Die Vorhersage des Erfolgs potenzieller Nachrichtenartikel ist bereits ein aktiver Bereich im maschinellen Lernen.

Wenn beispielsweise ein hoher „Wissenschaftsverkehr“ das einzige Ziel einer Website ist, auf der das Schreiben über Wissenschaft nur ein Teil eines breiteren journalistischen Angebots ist (wie es bei der britischen Tägliche Post Im Bereich „Wissenschaft“ kann eine KI erforderlich sein, um die umsatzstärksten Themen im Hinblick auf den Datenverkehr zu ermitteln und ihre Auswahl entsprechend zu optimieren. Bei diesem Prozess werden wahrscheinlich (relativ) niedrig hängende Früchte Priorität haben, wie z Roboter, Drohnen, Deepfakes, Datenschutz und Sicherheitslücken.

Im Einklang mit dem aktuellen Stand der Technik bei Empfehlungssystemen wird dieses Ernten auf hoher Ebene wahrscheinlich zu Folgendem führen: „Filterblase“ Probleme für unsere KI als Wissenschaftsautor, da der Algorithmus einer Menge eher unechter wissenschaftlicher Arbeiten, die „wünschenswerte“ häufig verwendete Schlüsselwörter und Ausdrücke zu diesen Themen enthalten, erhöhte Aufmerksamkeit schenkt (auch hier, weil sich damit Geld verdienen lässt, sowohl in Bezug auf den Verkehr für Nachrichtenagenturen als auch in Bezug auf die Finanzierung für akademische Abteilungen), während er einige der viel besser beschreibbaren „Easter Eggs“ (siehe unten) ignoriert, die in vielen der weniger frequentierten Ecken von Arxiv zu finden sind.

Eins und fertig!

Gutes Material für Wissenschaftsnachrichten kann aus ungewöhnlichen und unerwarteten Quellen und aus bisher unergiebigen Sektoren und Themen kommen. Um unseren KI-Wissenschaftsjournalisten, der einen produktiven Index „fruchtbarer“ Nachrichtenquellen erstellen wollte, noch weiter zu verwirren, wird die Quelle eines ungewöhnlichen „Hits“ (wie einem Discord-Server, einer akademischen Forschungsabteilung oder einem Tech-Startup) oft nie wieder verwertbares Material produzieren, während weiterhin ein umfangreicher und verrauschter Informationsstrom von geringerem Wert ausgegeben wird.

Was kann eine iterative Architektur des maschinellen Lernens daraus ableiten? Dass die vielen tausend früheren „Ausreißer“-Nachrichtenquellen, die sie einst identifiziert und ausgeschlossen hat, plötzlich priorisiert werden sollen (obwohl dies angesichts der großen Menge an jährlich veröffentlichten Artikeln zu einem unkontrollierbaren Signal-Rausch-Verhältnis führen würde)? Dass das Thema selbst eine Aktivierungsebene eher verdient als die Nachrichtenquelle, aus der es stammt (was im Falle eines populären Themas eine redundante Aktion ist)?

Noch nützlicher wäre es, wenn das System lernen würde, dass es sich in der Hierarchie der Datendimensionalität nach oben oder unten bewegen muss, um nach Mustern zu suchen – falls es überhaupt welche gibt –, die das ausmachen, was mein verstorbener Großvater, ein Journalist, als „Nase für Nachrichten“ bezeichnete, und die das Merkmal definieren berichtenswert als eine wandernde und abstrakte Qualität, die allein aufgrund ihrer Herkunft nicht genau vorhergesagt werden kann und von der man erwarten kann, dass sie sich täglich verändert.

Identifizieren von Hypothesenfehlern

Durch Quotendruck, veröffentlichen akademische Abteilungen manchmal Arbeiten, bei denen die zentrale Hypothese beim Testen vollständig (oder fast vollständig) versagt hat, auch wenn die Methoden und Ergebnisse des Projekts dennoch an sich ein wenig Interesse wert sind.

Solche Enttäuschungen werden in Zusammenfassungen oft nicht signalisiert; Im schlimmsten Fall sind widerlegte Hypothesen nur durch das Lesen der Ergebnisdiagramme erkennbar. Dies erfordert nicht nur die Ableitung eines detaillierten Verständnisses der Methodik aus den sehr ausgewählten und begrenzten Informationen, die das Papier möglicherweise liefert, sondern erfordert auch geschickte Algorithmen zur Diagramminterpretation, die alles, vom Kreisdiagramm bis zum Streudiagramm, im Kontext sinnvoll interpretieren können.

Ein NLP-basiertes System, das zwar den Zusammenfassungen vertraut, aber die Grafiken und Tabellen nicht interpretieren kann, könnte beim ersten Lesen einer neuen Arbeit große Begeisterung auslösen. Leider lassen sich frühere Beispiele für „versteckte Fehler“ in wissenschaftlichen Arbeiten (zu Übungszwecken) nur schwer zu Mustern verallgemeinern, da dieses „wissenschaftliche Verbrechen“ in erster Linie auf Auslassungen oder Unterbetonung beruht und daher schwer zu fassen ist.

Im Extremfall muss unser KI-Autor möglicherweise Repository-Daten finden und testen (z. B. von GitHub) oder verfügbare Zusatzmaterialien analysieren, um zu verstehen, was die Ergebnisse im Hinblick auf die Ziele der Autoren bedeuten. Daher müsste ein maschinelles Lernsystem die zahlreichen nicht zugeordneten Quellen und Formate durchlaufen, die dabei beteiligt sind, was die Automatisierung von Verifizierungsprozessen zu einer architektonischen Herausforderung macht.

„White Box“-Szenarien

Einige der ungeheuerlichsten Behauptungen in KI-Sicherheitsartikeln erfordern außergewöhnliche und höchst unwahrscheinliche Zugriffsebenen auf den Quellcode oder die Quellinfrastruktur – sogenannte „White-Box“-Angriffe. Dies ist zwar nützlich, um bisher unbekannte Macken in der Architektur von KI-Systemen zu extrapolieren, stellt aber fast nie eine realistisch ausnutzbare Angriffsfläche dar. Daher benötigt der KI-Wissenschaftler einen ziemlich guten Bullshit-Detektor, um Sicherheitsbehauptungen in Wahrscheinlichkeiten für einen effektiven Einsatz zu zerlegen.

Der automatisierte Wissenschaftsautor benötigt eine leistungsfähige NLU-Routine, um „White-Box“-Erwähnungen in einen sinnvollen Kontext zu stellen (d. h. um Erwähnungen von den zentralen Implikationen für das Papier zu unterscheiden) und die Fähigkeit, die White-Box-Methodik in Fällen abzuleiten, in denen die Phrase nie im Papier erscheint.

Andere Fallstricke

Andere Orte, an denen Undurchführbarkeit und das Scheitern von Hypothesen ziemlich untergehen können, sind die Ablationsstudien, die systematisch Schlüsselelemente einer neuen Formel oder Methode entfernen, um zu sehen, ob die Ergebnisse negativ beeinflusst werden oder ob eine „Kern“-Entdeckung beständig ist. In der Praxis sind Arbeiten, die Ablationsstudien beinhalten, in der Regel recht zuversichtlich, was ihre Ergebnisse angeht, obwohl eine sorgfältige Lektüre oft einen „Bluff“ ans Licht bringen kann. In der KI-Forschung läuft dieser Bluff häufig darauf hinaus, Überanpassung, bei dem ein maschinelles Lernsystem auf den ursprünglichen Forschungsdaten eine hervorragende Leistung erbringt, sich jedoch nicht auf neue Daten verallgemeinern lässt oder anderen nicht reproduzierbaren Einschränkungen unterliegt.

Eine weitere nützliche Abschnittsüberschrift für eine mögliche systematische Extraktion ist Einschränkungen. Dies ist der allererste Abschnitt, zu dem jeder Wissenschaftsautor (KI oder Mensch) springen sollte, da er Informationen enthalten kann, die die gesamte Hypothese des Artikels widerlegen, und das Vorspulen dorthin kann verlorene Arbeitsstunden sparen (zumindest für den Menschen). Im schlimmsten Fall enthält ein Artikel tatsächlich eine Einschränkungen Abschnitt, aber die „kompromittierenden“ Fakten sind enthalten anderswo im Werk und nicht hier (oder werden hier unterschätzt).

Der nächste ist Vorherige Arbeit. Dies geschieht zu Beginn der Arxiv-Vorlage und zeigt häufig, dass das aktuelle Papier nur einen geringfügigen Fortschritt gegenüber einem viel innovativeren Projekt darstellt, normalerweise aus den letzten 12 bis 18 Monaten. In dieser Phase muss der KI-Autor in der Lage sein, festzustellen, ob die vorherige Arbeit Anklang gefunden hat; Gibt es hier noch eine Geschichte? Ist das frühere Werk zum Zeitpunkt der Veröffentlichung unverdienterweise der öffentlichen Aufmerksamkeit entgangen? Oder ist das neue Papier nur ein oberflächlicher Nachtrag zu einem ausführlich behandelten früheren Projekt?

Bewertung von Runderneuerungen und „Frische“

Abgesehen von der Korrektur von Fehlern in einer früheren Version stellt V.2 eines Artikels sehr oft nicht viel mehr dar, als dass die Autoren nach der Aufmerksamkeit schreien, die sie bei der Veröffentlichung von V.1 nicht bekommen haben. Häufig verdient ein Artikel jedoch tatsächlich eine zweite Chance, da die Medienaufmerksamkeit zum Zeitpunkt der ursprünglichen Veröffentlichung möglicherweise anderweitig genutzt wurde oder die Arbeit durch den hohen Andrang von Einreichungen in überfüllten Symposiums- und Konferenzzeiten (wie Herbst und Spätwinter) in den Hintergrund geriet.

Ein nützliches Feature bei Arxiv zur Kennzeichnung einer Wiederholung ist der Tag [UPDATED], der den Einreichungstiteln angehängt wird. Das interne Empfehlungssystem unseres KI-Autors muss sorgfältig prüfen, ob [AKTUALISIERT]=='Ausgespielt', insbesondere da es (vermutlich) das wiedererwärmte Papier auswerten kann viel schneller als ein unter Druck stehender Wissenschafts-Hack. In dieser Hinsicht hat es einen bemerkenswerten Vorteil gegenüber Menschen, dank einer Namenskonvention, die zumindest bei Arxiv wahrscheinlich Bestand haben wird.

Arxiv stellt auf der Übersichtsseite auch Informationen darüber bereit, ob festgestellt wurde, dass der Artikel „signifikante Überschneidungen“ im Text mit einem anderen Artikel (oft von denselben Autoren) aufweist. Dies kann möglicherweise auch von einem KI-Schreibsystem in den Status „Duplikat/Neuauflage“ geparst werden, wenn der Tag [UPDATED] fehlt.

Bestimmung der Verbreitung

Wie die meisten Journalisten ist unser geplanter KI-Wissenschaftsjournalist auf der Suche nach nicht oder nur unzureichend berichteten Nachrichten, um dem von ihm unterstützten Content-Stream einen Mehrwert zu verleihen. In den meisten Fällen wurde die erneute Berichterstattung über wissenschaftliche Durchbrüche zuerst in großen Medien wie TechCrunch, The Verge und EurekaAlert veröffentlicht et al ist sinnlos, da solche großen Plattformen ihre Inhalte mit umfangreichen Werbemaschinen unterstützen und so die Mediensättigung der Zeitung praktisch garantieren.

Daher muss unser KI-Autor feststellen, ob die Geschichte frisch genug ist, dass es sich lohnt, sie weiterzuverfolgen.

Der einfachste Weg wäre theoretisch, die jüngsten zu identifizieren Inbound-Links zu den wichtigsten Forschungsseiten (Zusammenfassung, PDF, News-Bereich auf der Website der akademischen Abteilung usw.). Im Allgemeinen sind Frameworks, die aktuelle eingehende Linkinformationen bereitstellen können, weder Open Source noch kostengünstig, aber große Verlage könnten vermutlich die SaaS-Kosten als Teil eines Frameworks zur Bewertung der Nachrichtenwürdigkeit tragen.

Unter der Voraussetzung eines solchen Zugriffs steht unsere Wissenschaftsjournalisten-KI dann vor dem Problem, dass eine große Anzahl wissenschaftlicher Berichterstattungskanäle nicht zitieren die Artikel, über die sie schreiben, selbst wenn diese Informationen frei verfügbar sind. Schließlich möchte ein Medium, dass Sekundärberichte auf sie verweisen und nicht auf die Quelle. Da sie in vielen Fällen tatsächlich privilegierten oder halbprivilegierten Zugang zu einem Forschungspapier erhalten haben (siehe Der „sozialwissenschaftliche“ Autor unten) haben sie dafür einen unaufrichtigen Vorwand.

Daher muss unser KI-Autor umsetzbare Schlüsselwörter aus einem Artikel extrahieren und zeitlich begrenzte Suchvorgänge durchführen, um festzustellen, wo, wenn überhaupt, die Geschichte bereits veröffentlicht wurde – und dann bewerten, ob eine frühere Verbreitung außer Acht gelassen werden kann oder ob die Geschichte ausgespielt wird .

Manchmal stellen Zeitungen ergänzendes Videomaterial auf YouTube zur Verfügung, dessen Aufrufzahl als Index für die Verbreitung dienen kann. Darüber hinaus kann unsere KI Bilder aus der Zeitung extrahieren und systematische bildbasierte Suchen durchführen, um festzustellen, ob, wo und wann die Bilder erneut veröffentlicht wurden.

Easter Eggs

Manchmal enthält ein „trockener“ Artikel Erkenntnisse mit tiefgreifenden und berichtenswerten Auswirkungen, die von den Autoren jedoch heruntergespielt (oder sogar übersehen oder nicht berücksichtigt) werden und die nur durch die Lektüre des gesamten Artikels und die Berechnung der Ergebnisse ans Licht kommen.

In seltenen Fällen liegt das meiner Meinung nach daran, dass den Autoren die Rezeption in der Wissenschaft viel wichtiger ist als die in der breiten Öffentlichkeit. Vielleicht liegt es daran, dass sie (nicht immer zu Unrecht) der Meinung sind, dass die Kernkonzepte trotz der oft übertriebenen Bemühungen der PR-Abteilungen ihrer Institutionen für die allgemeine Akzeptanz einfach nicht vereinfacht werden können.

Doch ebenso häufig kommt es vor, dass die Autoren die Implikationen ihrer Arbeit außer Acht lassen oder sie anderweitig nicht erkennen oder anerkennen, weil sie offiziell unter „wissenschaftlicher Distanz“ agieren. Manchmal sind diese „Easter Eggs“ keine positiven Indikatoren für die Arbeit, wie oben erwähnt, und werden in komplexen Ergebnistabellen zynisch verschleiert.

Jenseits von Arxiv

Es sollte berücksichtigt werden, dass die Parametrisierung von Artikeln über Informatik in diskrete Token und Entitäten in einer Domäne wie Arxiv viel einfacher sein wird, da diese eine Reihe konsistenter und vorlagenbasierter „Hooks“ zur Analyse bereitstellt und für die meisten Funktionen keine Anmeldung erforderlich ist.

Nicht jeder Zugang zu wissenschaftlichen Veröffentlichungen erfolgt über Open Source, und es bleibt abzuwarten, ob (aus praktischer oder rechtlicher Sicht) unser KI-Wissenschaftsjournalist auf die Umgehung von Paywalls zurückgreifen kann oder will Sci-Hub; zur Verwendung von Archivierungsseiten Vermeiden Sie Paywalls; und ob es praktikabel ist, ähnliche Domain-Mining-Architekturen für eine Vielzahl anderer wissenschaftlicher Veröffentlichungsplattformen zu erstellen, von denen viele strukturell resistent gegen systematische Untersuchungen sind.

Es sollte weiter berücksichtigt werden, dass sogar Arxiv hat Tarifbegrenzungen Dies dürfte die Nachrichtenbewertungsroutinen eines KI-Autors auf eine „menschlichere“ Geschwindigkeit verlangsamen.

Der „soziale“ KI-Wissenschaftsautor

Außerhalb des offenen und zugänglichen Bereichs von Arxiv und ähnlichen „offenen“ Plattformen für die Veröffentlichung wissenschaftlicher Artikel kann es schon eine Herausforderung sein, Zugang zu einem interessanten neuen Artikel zu erhalten. Dabei muss man einen Kontaktkanal für einen Autor finden und ihn kontaktieren, um ihn um die Lektüre des Artikels zu bitten und sogar Zitate einzuholen (sofern Zeitdruck kein ausschlaggebender Faktor ist – ein seltener Fall für Reporter aus den Humanwissenschaften heutzutage).

Dies kann eine automatisierte Durchquerung wissenschaftlicher Domänen und die Erstellung von Konten erfordern (Sie müssen angemeldet sein, um die E-Mail-Adresse des Autors eines Artikels anzuzeigen, selbst bei Arxiv). Meistens ist LinkedIn der schnellste Weg, um eine Antwort zu erhalten, aber KI-Systeme sind derzeit Es ist verboten, Mitglieder zu kontaktieren.

Die Art und Weise, wie Forscher E-Mail-Anfragen von einer KI für Wissenschaftsjournalisten erhalten würden – nun, wie in der Welt des wissenschaftlichen Schreibens von Fleischartikeln, hängt wahrscheinlich vom Einfluss der Verkaufsstelle ab. Wenn ein mutmaßlicher KI-basierter Autor von Kabelgebunden Wenn Sie einen Autor kontaktiert haben, der sein Werk unbedingt verbreiten wollte, ist es vernünftig anzunehmen, dass dies nicht auf eine feindselige Reaktion stoßen würde.

In den meisten Fällen kann man sich vorstellen, dass der Autor hofft, dass diese halbautomatischen Austausche irgendwann einen Menschen in den Prozess einbeziehen. Es ist jedoch nicht ausgeschlossen, dass nachfolgende VOIP-Interviews durch eine KI erleichtert werden könnten, zumindest wenn die Erfolgsaussichten des Artikels voraussichtlich unter einem bestimmten Schwellenwert liegen und die Veröffentlichung genügend Anklang findet, um eine menschliche Teilnahme an einem Gespräch mit einem „KI-Forscher“ zu bewirken.

Nachrichten mit KI identifizieren

Viele der hier dargelegten Prinzipien und Herausforderungen gelten auch für das Potenzial der Automatisierung in anderen Bereichen des Journalismus, und wie immer besteht die größte Herausforderung darin, eine potenzielle Geschichte zu identifizieren. Die meisten menschlichen Journalisten werden zugeben, dass das eigentliche Schreiben der Geschichte lediglich die letzten 10 % der Mühe ausmacht und dass die Arbeit größtenteils erledigt ist, wenn die Tastatur klappert.

Die größte Herausforderung besteht also darin, KI-Systeme zu entwickeln, die eine Geschichte erkennen, untersuchen und authentifizieren können, basierend auf den vielen geheimnisvollen Wechselfällen des Nachrichtenspiels und auf einer Vielzahl von Plattformen, die bereits gegen Sondierungen und Exfiltration durch Menschen oder Menschen geschützt sind ansonsten.

Im Fall der wissenschaftlichen Berichterstattung verfolgen die Autoren neuer Arbeiten eine ebenso tiefgreifende eigennützige Agenda wie jede andere potenzielle Hauptquelle einer Nachrichtenmeldung, und die Dekonstruktion ihrer Ergebnisse erfordert die Einbettung von Vorkenntnissen über soziologische, psychologische und wirtschaftliche Motivationen. Daher benötigt ein vermeintlicher automatisierter Wissenschaftsautor mehr als reduktive NLP-Routinen, um festzustellen, wo sich die Nachrichten heute befinden, es sei denn, der Nachrichtenbereich ist besonders geschichtet, wie dies bei Aktien, Pandemiezahlen, Sportergebnissen, seismischen Aktivitäten und anderen rein statistischen Nachrichtenquellen der Fall ist .