Zum Automatisierten Wissenschaftlichen Schreiben

Heute Morgen, beim Durchsuchen der Computer Science-Sektionen von Arxiv, wie ich es meisten Morgen tue, bin ich auf ein kürzlich veröffentlichtes Papier der Bundesuniversität von Ceara in Brasilien gestoßen, das ein neues Natural Language Processing-Framework zur Automatisierung der Zusammenfassung und Extraktion von Kerninformationen aus wissenschaftlichen Artikeln anbietet.

Da dies mehr oder weniger das ist, was ich jeden Tag tue, hat das Papier mich an einen Kommentar in einem Reddit-Thread für Schriftsteller erinnert – eine Prophezeiung, die besagt, dass wissenschaftliches Schreiben unter den ersten journalistischen Jobs sein wird, die von maschinellem Lernen übernommen werden.

Lassen Sie mich klarstellen – ich glaube absolut, dass der automatisierte Wissenschaftsautor kommt, und dass alle Herausforderungen, die ich in diesem Artikel skizziere, entweder jetzt lösbar sind oder es eventually sein werden. Wo immer möglich, gebe ich Beispiele dafür. Darüber hinaus bespreche ich nicht, ob aktuelle oder nahezu zukünftige Wissenschafts-Schreib-AIs in der Lage sein werden, verständlich zu schreiben; basierend auf dem aktuellen Interesse an diesem Bereich des NLP, gehe ich davon aus, dass diese Herausforderung letztendlich gelöst wird.

Vielmehr frage ich, ob ein Wissenschafts-AI-System in der Lage sein wird, relevante Wissenschaftsgeschichten im Einklang mit den (hoch variablen) gewünschten Ergebnissen der Herausgeber zu identifizieren.

Ich denke nicht, dass es unmittelbar bevorsteht; basierend auf der Durchsicht von Überschriften und/oder Kopien von etwa 2000 neuen wissenschaftlichen Artikeln über maschinelles Lernen jede Woche, habe ich eine eher zynische Sicht auf den Umfang, in dem akademische Einreichungen algorithmisch heruntergebrochen werden können, entweder für die Zwecke der akademischen Indizierung oder für wissenschaftliche Journalismus. Wie üblich sind es diese verflixten Menschen, die im Weg stehen.

Voraussetzungen für den Automatisierten Wissenschaftsautor

Lassen Sie uns die Herausforderung der Automatisierung der Wissenschaftsberichterstattung über die neuesten akademischen Forschungen betrachten. Um es fair zu halten, werden wir uns hauptsächlich auf die CS-Kategorien des sehr beliebten nicht-paywall-geschützten Arxiv-Domains von der Cornell-Universität beschränken, das zumindest eine Reihe systematischer, vordefinierter Merkmale bietet, die in eine Datenextraktionspipeline eingefügt werden können.

Lassen Sie uns auch annehmen, dass die Aufgabe, wie im Falle des neuen Papiers aus Brasilien, darin besteht, die Titel, Zusammenfassungen, Metadaten und (wenn gerechtfertigt) den Hauptinhalt neuer wissenschaftlicher Artikel zu durchlaufen, um Konstanten, zuverlässige Parameter, Token und handhabbare, reduzierbare Domäneninformationen zu finden.

Dies ist, nach allem, was ich sage, das Prinzip, auf dem hoch erfolgreiche neue Frameworks in den Bereichen Erdbebenberichterstattung, Sportberichterstattung, Finanzjournalismus und Gesundheitsberichterstattung an Boden gewinnen, und ein vernünftiger Ausgangspunkt für den AI-gesteuerten Wissenschaftsjournalisten.

Der Workflow des neuen brasilianischen Angebots. Das PDF-Wissenschaftspapier wird in UTF-8-Plaintext umgewandelt (obwohl dies die kursiven Betonungen entfernen kann, die semantische Bedeutung haben), und Artikelabschnitte werden beschriftet und extrahiert, bevor sie für die Textfilterung durchlaufen werden. Dekonstruierter Text wird in Sätze als Datenrahmen aufgeteilt, und die Datenrahmen werden zusammengeführt, bevor Token identifiziert und zwei Dokument-Token-Matrizen generiert werden. Quelle: https://arxiv.org/ftp/arxiv/papers/2107/2107.14638.pdf

Die Komplikation des Templates

Eine ermutigende Schicht der Konformität und Regularisierung ist, dass Arxiv ein ziemlich gut durchgesetztes Template für Einreichungen vorschreibt und detaillierte Richtlinien für die einreichenden Autoren bereitstellt. Daher entsprechen die Papiere im Allgemeinen den Teilen des Protokolls, die für die beschriebene Arbeit gelten.

Der AI-Vorverarbeitungssystem für den putativen automatisierten Wissenschaftsautor kann also im Allgemeinen solche Abschnitte als Subdomänen behandeln: Zusammenfassung, Einführung, Verwandte/Vorarbeit, Methodik/Daten, Ergebnisse/Findungen, Ablationsstudien, Diskussion, Schlussfolgerung.

Allerdings können in der Praxis einige dieser Abschnitte fehlen, umbenannt oder Inhalte enthalten, die streng genommen in einen anderen Abschnitt gehören. Darüber hinaus werden Autoren natürlich Überschriften und Unterüberschriften einfügen, die nicht dem Template entsprechen. Es wird also an NLP/NLU liegen, relevante Abschnittsbezogene Inhalte aus dem Kontext zu identifizieren.

Überschrift für Schwierigkeiten

Eine Überschriftenhierarchie ist eine einfache Möglichkeit für NLP-Systeme, um zunächst Inhaltsblöcke zu kategorisieren. Viele Arxiv-Einreichungen werden aus Microsoft Word exportiert (wie in den fehlerhaft gehandelten Arxiv-PDFs zu sehen ist, die “Microsoft Word” im Titelheader lassen – siehe Bild unten). Wenn Sie in Word ordnungsgemäße Abschnittsüberschriften verwenden, wird ein Export in PDF diese als hierarchische Überschriften neu erstellen, die für die Datenextraktionsprozesse einer Maschinenberichterstattung nützlich sind.

Es wird jedoch angenommen, dass die Autoren tatsächlich diese Funktionen in Word oder anderen Dokumentenerstellungsroutinen wie TeX und Ableitungen (die selten als native Alternative Formate in Arxiv-Einreichungen bereitgestellt werden, mit den meisten Angeboten, die auf PDF und gelegentlich PostScript beschränkt sind) verwenden.

Basierend auf Jahren des Lesens von Arxiv-Papieren habe ich bemerkt, dass die überwiegende Mehrheit von ihnen keine interpretierbaren strukturellen Metadaten enthält, wobei der Titel im Leser (d. h. einem Webbrowser oder einem PDF-Reader) als vollständiger Titel (einschließlich Erweiterung) des Dokuments selbst angezeigt wird.

In diesem Fall ist die semantische Interpretierbarkeit des Papiers begrenzt, und ein AI-gesteuertes Wissenschaftsautorsystem muss programmatisch die Verbindung zu seinen zugehörigen Metadaten im Arxiv-Domain herstellen. Die Arxiv-Konvention schreibt vor, dass grundlegende Metadaten auch lateral in großen grauen Buchstaben auf Seite 1 einer eingereichten PDF (siehe Bild unten) eingefügt werden. Leider – nicht zuletzt, weil dies der einzige zuverlässige Ort ist, an dem man ein Publikationsdatum oder eine Versionsnummer finden kann – wird es oft ausgeschlossen.

Viele Autoren verwenden entweder keine Stile oder nur den H1-Stil (höchste Überschrift/Titel), wodurch NLU erneut Überschriften entweder aus dem Kontext (wahrscheinlich nicht so schwierig) oder durch Parsen der Referenznummer, die den Titel im Dokumentenpfad umfasst (d. h. https://arxiv.org/pdf/2110.00168.pdf), und sich der netzbasierten (anstatt lokalen) Metadaten für die Einreichung bedient.

Obwohl Letzteres die fehlenden Überschriften nicht lösen wird, wird es zumindest feststellen, welche Sektion der Computerwissenschaft die Einreichung betrifft, und Datum- und Versionsinformationen bereitstellen.

GluedText bei Zeilenenden

Bei PDF und PostScript als den häufigsten verfügbaren Arxiv-Formaten, die von den Autoren eingereicht werden, benötigt das NLP-System einen Routine, um Wörter am Zeilenende von den Wörtern am Anfang der nächsten Zeile zu trennen, die unter den unglücklichen Standardoptimierungsmethoden des PDF-Formats “angehängt” werden.

Das Trennen (und Entfernen von Bindestrichen) von Wörtern kann in Perl und vielen anderen einfachen rekursiven Routinen durchgeführt werden, obwohl ein Python-ansatz weniger zeitaufwändig und besser an ein ML-Framework angepasst sein könnte. Adobe, der Urheber des PDF-Formats, hat auch ein AI-gesteuertes Konvertierungssystem namens Liquid Mode entwickelt, das in der Lage ist, “gebackenen” Text in PDFs “neu zu fließen”, obwohl die Einführung darüber hinaus im mobilen Bereich langsam verläuft.

Schlechter Englisch

Englisch bleibt die globale wissenschaftliche Standard für die Einreichung wissenschaftlicher Arbeiten, obwohl dies umstritten ist. Daher enthalten interessante und neue wissenschaftliche Arbeiten manchmal erschreckende Standards des Englischen, von nicht-englischen Forschern. Wenn die geschickte Verwendung des Englischen als Maßstab des Wertes aufgenommen wird, wenn ein maschinelles System die Arbeit bewertet, dann werden nicht nur gute Geschichten oft verloren gehen, sondern auch pedantische, minderwertige Ausgaben werden höher bewertet, einfach weil sie sehr wenig sehr gut sagen.

NLP-Systeme, die in dieser Hinsicht unflexibel sind, werden wahrscheinlich eine zusätzliche Ebene von Hindernissen bei der Datenextraktion erleben, außer in den meisten starren und parametrisierten Wissenschaften wie Chemie und theoretischer Physik, wo Grafiken und Tabellen einheitlicher über globale Wissenschaftsgemeinschaften konform sind. Obwohl maschinelles Lernen häufig Formeln enthält, stellen diese möglicherweise nicht den definierenden Wert der Einreichung dar, wenn der wissenschaftlichen Konsens über die Methodik fehlt, den ältere Wissenschaften genießen.

Auswahl: Bestimmung der Anforderungen des Publikums

Wir werden uns bald mit den vielen Problemen der Dekomposition exzentrischer Wissenschaftspapiere in diskrete Datenpunkte befassen. Jetzt sollten wir unser Publikum und unsere Ziele betrachten, da diese für den Wissenschaftsautor-AI entscheidend sein werden, um Tausende von Papieren pro Woche zu durchsuchen. Die Vorhersage des Erfolgs potenzieller Nachrichtengeschichten ist bereits ein aktives Gebiet im maschinellen Lernen.

Wenn beispielsweise hoher Traffik “Wissenschaftsverkehr” das alleinige Ziel auf einer Website ist, auf der wissenschaftliches Schreiben nur ein Teil eines umfassenderen journalistischen Angebots ist (wie im Falle der Wissenschaftsabteilung der britischen Daily Mail), muss ein AI bestimmen, welche Themen die höchsten Einnahmen in Bezug auf Traffik haben, und seine Auswahl entsprechend optimieren. Dieser Prozess wird wahrscheinlich (relativ) niedrig hängende Früchte wie Roboter, Drohnen, Deepfakes, Datenschutz und Sicherheitslücken priorisieren.

In Übereinstimmung mit dem aktuellen Stand der Technik in Empfehlungssystemen wird diese hochrangige Ernte wahrscheinlich zu ‘Filter-Blasen’-Problemen für unseren Wissenschaftsautor-AI führen, da der Algorithmus verstärkte Aufmerksamkeit auf eine Reihe von zweifelhaften Wissenschaftspapieren lenkt, die “wünschenswerte” häufige Schlüsselwörter und Phrasen auf diesen Themen enthalten (wiederum, weil es Geld in ihnen gibt, sowohl in Bezug auf Traffik für Nachrichtenagenturen als auch in Bezug auf Finanzierung für akademische Abteilungen), während es einige der viel schreibbareren “Ostereier” (siehe unten) ignoriert, die in vielen der weniger frequentierten Ecken von Arxiv gefunden werden können.

Eins und Fertig!

Gute wissenschaftliche Nachrichtenfutter kann aus unerwarteten Quellen und Themen kommen. Um unseren AI-Wissenschaftsautor weiter zu verwirren, der gehofft hatte, einen produktiven Index von “fruchtbaren” Nachrichtenquellen zu erstellen, wird die Quelle eines unkonventionellen “Hits” (wie einem Discord-Server, einer akademischen Forschungsabteilung oder einem Technologie-Startup) oft nie wieder handhabbare Material produzieren, während es weiterhin eine voluminöse und laute Informationsströmung von geringerem Wert ausgibt.

Was kann eine iterative maschinelle Lernarchitektur aus dieser Situation schließen? Dass die vielen Tausend vorherigen “Außenseiter”-Nachrichtenquellen, die es einmal identifiziert und ausgeschlossen hat, plötzlich priorisiert werden sollten (obwohl dies ein unkontrollierbares Signal-Rausch-Verhältnis schaffen würde, angesichts der hohen Anzahl von Papieren, die jedes Jahr veröffentlicht werden)? Dass das Thema selbst einer Aktivierungsebene würdiger ist als die Nachrichtenquelle, aus der es stammt (was im Falle eines beliebten Themas eine redundante Aktion ist)?

Viel nützlicher könnte das System lernen, dass es die Daten-Dimensionalitätshierarchie aufwärts oder abwärts durchlaufen muss, um Muster zu finden – wenn es tatsächlich solche gibt –, die das Merkmal newsworthy als eine wandernde und abstrakte Qualität definieren, die nicht genau vorhergesagt werden kann, basierend auf der Herkunft allein, und die täglich mutieren kann.

Identifizierung des Hypothesenfehlers

Aufgrund von Quoten-Druck veröffentlichen akademische Abteilungen manchmal Arbeiten, bei denen die zentrale Hypothese völlig (oder fast völlig) bei der Überprüfung fehlgeschlagen ist, auch wenn die Methoden und Ergebnisse der Studie dennoch interessant sind.

Solche Enttäuschungen werden oft nicht in den Zusammenfassungen signalisiert; in den schlimmsten Fällen sind widerlegte Hypothesen nur durch das Lesen der Ergebnisgrafiken erkennbar. Dies erfordert nicht nur das Ableiten einer detaillierten Verständnisses der Methodik aus der sehr selektiven und begrenzten Information, die das Papier bereitstellt, sondern auch das Vorhandensein von graphischen Interpretationsalgorithmen, die in der Lage sind, alles von einem Kreisdiagramm bis hin zu einem Streudiagramm in einem Kontext sinnvoll zu interpretieren.

Ein NLP-System, das Vertrauen in die Zusammenfassungen setzt, aber die Grafiken und Tabellen nicht interpretieren kann, könnte sich anfangs sehr aufgeregt über ein neues Papier zeigen. Leider sind vorherige Beispiele von “verborgenen Fehlern” in akademischen Papieren (für Trainingszwecke) schwer zu verallgemeinern, da dies hauptsächlich ein Verbrechen der Auslassung oder Untertreibung ist und daher schwer zu fassen ist.

In einem extremen Fall muss unser AI-Autor möglicherweise Repository-Daten (d. h. von GitHub) finden und testen oder verfügbare Zusatzmaterialien parsen, um zu verstehen, was die Ergebnisse in Bezug auf die Ziele der Autoren bedeuten. Somit müsste ein maschinelles Lernsystem die mehreren nicht kartierten Quellen und Formate, die in diesem Prozess involviert sind, durchlaufen, wodurch die Automatisierung von Überprüfungsprozessen zu einer architektonischen Herausforderung wird.

‘Weißer Kasten’-Szenarien

Einige der absurdesten Behauptungen, die in AI-zentrierten Sicherheitspapieren gemacht werden, erfordern außergewöhnliche und sehr unwahrscheinliche Zugriffsebenen auf den Quellcode oder die Quellinfrastruktur – ‘weiße Kasten’-Angriffe. Obwohl dies nützlich für die Extrapolation vorher unbekannter Eigenheiten in den Architekturen von AI-Systemen ist, stellt es fast nie eine realistisch ausnutzbare Angriffsfläche dar. Daher benötigt der Wissenschaftsautor-AI einen sehr guten “Bullshit-Detektor”, um die Behauptungen um die Sicherheit in Wahrscheinlichkeiten für eine wirksame Bereitstellung zu zerlegen.

Der automatisierte Wissenschaftsautor benötigt eine leistungsfähige NLU-Routine, um “weiße Kasten”-Erwähnungen in einen sinnvollen Kontext zu isolieren (d. h. um Erwähnungen von den Kernimplikationen des Papiers zu unterscheiden) und die Fähigkeit, “weiße Kasten”-Methodik in Fällen zu deduzieren, in denen der Begriff nie im Papier erscheint.

Andere ‘Fehlerquellen’

Andere Orte, an denen Unmöglichkeit und Hypothesenfehler ziemlich vergraben sein können, sind in den Ablationsstudien, die systematisch wichtige Elemente eines neuen Formulars oder einer Methode entfernen, um zu sehen, ob die Ergebnisse negativ beeinflusst werden oder ob eine “Kern”-Entdeckung widerstandsfähig ist. In der Praxis sind Papiere, die Ablationsstudien enthalten, in der Regel ziemlich zuversichtlich hinsichtlich ihrer Ergebnisse, obwohl eine sorgfältige Lektüre oft einen “Bluff” aufdecken kann. In der AI-Forschung besteht dieser Bluff häufig aus Overfitting, bei dem ein maschinelles Lernsystem auf den ursprünglichen Forschungsdaten hervorragend abschneidet, aber nicht auf neue Daten verallgemeinert oder unter anderen nicht reproduzierbaren Einschränkungen operiert.

Ein weiterer nützlicher Abschnittstitel für potenzielle systematische Extraktion ist Einschränkungen. Dies ist der erste Abschnitt, den jeder Wissenschaftsautor (AI oder Mensch) überspringen sollte, da er Informationen enthalten kann, die die gesamte Hypothese des Papiers aufhebt, und das Überspringen dazu führen kann, Stunden der Arbeit zu sparen (zumindest für den Menschen). Ein Worst-Case-Szenario hier ist, dass ein Papier tatsächlich einen Einschränkungen-Abschnitt hat, aber die “kompromittierenden” Fakten woanders im Werk enthalten sind und nicht hier (oder werden hier heruntergespielt).

Als nächstes ist Prior Work von Bedeutung. Dies tritt früh im Arxiv-Template auf und offenbart häufig, dass die aktuelle Arbeit nur einen kleinen Fortschritt gegenüber einem viel innovativeren Projekt darstellt, normalerweise aus den letzten 12-18 Monaten. Zu diesem Zeitpunkt benötigt der AI-Autor die Fähigkeit, zu bestimmen, ob die vorherige Arbeit Anklang gefunden hat; gibt es immer noch eine Geschichte hier? Hat die vorherige Arbeit unverdientermaßen an öffentlicher Aufmerksamkeit gemangelt, als sie veröffentlicht wurde? Oder ist das neue Papier nur ein perfunctorischer Nachtrag zu einem gut abgedeckten vorherigen Projekt?

Bewertung von Nachläufern und ‘Frische’

Neben der Korrektur von Fehlern in einer früheren Version stellt die Version 2 eines Papiers oft nur wenig mehr dar als die Autoren, die um die Aufmerksamkeit buhlen, die sie nicht bekamen, als Version 1 veröffentlicht wurde. Häufig jedoch verdient ein Papier tatsächlich eine zweite Chance, da die Medienaufmerksamkeit zum Zeitpunkt der ursprünglichen Veröffentlichung abgelenkt sein könnte oder die Arbeit durch den hohen Traffik von Einreichungen in überfüllten “Symposien”- und Konferenzperioden (wie im Herbst und späten Winter) verdeckt wurde.

Ein nützliches Merkmal, um einen Nachlauf bei Arxiv zu erkennen, ist das [AKTUALISIERT]-Tag, das den Einreichungstiteln angehängt wird. Das interne “Empfehlungssystem” unseres AI-Autors muss sorgfältig prüfen, ob [AKTUALISIERT] == “Ausgespielt” ist, insbesondere da es (vermutlich) die aufgefrischte Arbeit schneller bewerten kann als ein überlasteter Wissenschaftsjournalist. In dieser Hinsicht hat es einen bemerkenswerten Vorteil gegenüber Menschen, dank einer Benennungskonvention, die wahrscheinlich bei Arxiv fortbestehen wird.

Arxiv bietet auch Informationen auf der Zusammenfassungsseite darüber, ob das Papier als having ‘signifikante Überlappung’ von Text mit einem anderen Papier (oft von denselben Autoren) identifiziert wurde, und dies kann auch von einem AI-Autor-System im Fehlen des [AKTUALISIERT]-Tags als “Nachlauf”-Status geparst werden.

Bestimmung der Diffusion

Wie die meisten Journalisten sucht unser projizierter AI-Wissenschaftsautor nach unberichteten oder unterberichteten Nachrichten, um dem Informationsstrom, den er unterstützt, Wert hinzuzufügen. In den meisten Fällen ist es sinnlos, wissenschaftliche Durchbrüche, die zuerst in großen Plattformen wie TechCrunch, The Verge und EurekaAlert et al vorgestellt wurden, erneut zu berichten, da diese großen Plattformen ihre Inhalte mit umfassenden Publicity-Maschinen unterstützen, die praktisch eine Mediensättigung für das Papier garantieren.

Daher muss unser AI-Autor bestimmen, ob die Geschichte frisch genug ist, um sie zu verfolgen.

Der einfachste Weg, theoretisch, wäre, kürzliche inbound-Links zu den Kernforschungsseiten (Zusammenfassung, PDF, akademische Abteilungswebsite-Newsbereich usw.) zu identifizieren. Im Allgemeinen sind Frameworks, die aktuelle inbound-Link-Informationen bereitstellen können, nicht Open Source oder niedrig kostengünstig, aber große Herausgeber könnten vermutlich die SaaS-Ausgaben als Teil eines Newsworthiness-Bewertungsframeworks tragen.

Wenn man davon ausgeht, dass ein solcher Zugriff besteht, steht unser Wissenschaftsautor-AI vor dem Problem, dass eine große Anzahl von Wissenschaftsberichterstattungs-Plattformen die Papiere, über die sie berichten, nicht zitieren, selbst in Fällen, in denen diese Informationen frei verfügbar sind. Schließlich möchte eine Plattform, dass die sekundäre Berichterstattung auf sie verweist, anstatt auf die Quelle.

Daher muss unser AI-Autor handhabbare Schlüsselwörter aus einem Papier extrahieren und zeitbeschränkte Suchvorgänge durchführen, um zu bestimmen, wo, wenn überhaupt, die Geschichte bereits gebrochen wurde – und dann bewerten, ob vorherige Diffusion abgezogen oder die Geschichte ausgespielt werden kann.

Manchmal bieten Papiere ergänzendes Video-Material auf YouTube, wo die “Aufrufzahl” als Index der Diffusion dienen kann. Darüber hinaus kann unser AI-Bildern aus dem Papier extrahieren und systematische bildbasierte Suchvorgänge durchführen, um zu bestimmen, ob, wo und wann eines dieser Bilder erneut veröffentlicht wurde.

Ostereier

Manchmal offenbart ein “trockenes” Papier Ergebnisse, die tiefgreifende und neue wissenschaftliche Auswirkungen haben, aber die von den Autoren heruntergespielt oder übersehen werden und nur durch das Lesen des gesamten Papiers und das Durchführen der Mathematik enthüllt werden können.

In seltenen Fällen denke ich, dass dies daran liegt, dass die Autoren viel mehr an der Aufnahme in der akademischen Gemeinschaft als in der allgemeinen Öffentlichkeit interessiert sind, vielleicht, weil sie fühlen (nicht immer falsch), dass die Kernkonzepte, die involviert sind, einfach nicht für allgemeine Konsumation vereinfacht werden können, trotz der oft hyperbolischen Bemühungen ihrer Institutionen-PR-Abteilungen.

Aber etwa so oft mögen die Autoren die Implikationen ihrer Arbeit herunterspielen oder nicht erkennen oder anerkennen, offiziell unter “wissenschaftlicher Distanz”. Manchmal sind diese “Ostereier” keine positiven Indikatoren für die Arbeit, wie oben erwähnt, und können in komplexen Tabellen der Ergebnisse zynisch versteckt sein.

Jenseits von Arxiv

Es sollte berücksichtigt werden, dass die Parametrisierung von Papieren über Computerwissenschaft in diskrete Token und Entitäten bei einem Domain wie Arxiv, der eine Reihe konsistenter und vordefinierter “Haken” zur Analyse bietet und keine Anmeldungen für die meisten Funktionalitäten erfordert, viel einfacher sein wird.

Nicht alle wissenschaftlichen Publikationen sind Open Source, und es bleibt abzuwarten, ob unser AI-Wissenschaftsautor (aus praktischen oder rechtlichen Gründen) auf Sci-Hub ausweichen wird, um Paywalls zu umgehen; ob er Archiv-Websites nutzen wird, um Paywalls zu umgehen; und ob es praktikabel ist, ähnliche Domain-Mining-Architekturen für eine Vielzahl von anderen Wissenschafts-Veröffentlichungsplattformen zu konstruieren, viele von denen strukturell resistent gegen systematische Sondierung sind.

Es sollte weiterhin berücksichtigt werden, dass selbst Arxiv Rate-Limits hat, die die Nachrichtenbewertungsroutinen eines AI-Autors auf ein “menschliches” Tempo verlangsamen werden.

Der ‘soziale’ AI-Wissenschaftsautor

Jenseits des offenen und zugänglichen Bereichs von Arxiv und ähnlichen “offenen” Wissenschafts-Veröffentlichungsplattformen kann es sogar eine Herausforderung sein, Zugang zu einem interessanten neuen Papier zu erhalten, was das Finden eines Kontaktweges für einen Autor und das Anfragen, das Werk zu lesen, und sogar das Anfragen von Zitaten (wenn Zeitdruck nicht das übergeordnete Kriterium ist – ein seltenes Szenario für menschliche Wissenschaftsberichterstatter) erfordert.

Dies kann das automatisierte Durchlaufen von Wissenschaftsdomeinen und die Erstellung von Konten (man muss angemeldet sein, um die E-Mail-Adresse eines Papiers zu sehen, sogar auf Arxiv). Meistens ist LinkedIn der schnellste Weg, um eine Antwort zu erhalten, aber AI-Systeme sind derzeit prohibited from contacting members.

Was die Reaktion von Forschern auf E-Mail-Anfragen von einem Wissenschaftsautor-AI angeht – nun, wie in der Welt der Wissenschaftsberichterstattung aus Fleisch und Blut, hängt es wahrscheinlich von dem Einfluss der Plattform ab. Wenn ein putativer AI-basierter Autor von Wired einen Autor kontaktiert, der darauf hofft, seine Arbeit zu verbreiten, ist es vernünftig anzunehmen, dass er nicht auf feindliche Reaktionen stoßen wird.

In den meisten Fällen kann man sich vorstellen, dass der Autor hofft, dass diese halbautomatischen Austausche schließlich einen Menschen in die Schleife bringen werden, aber es ist nicht außerhalb des Bereichs der Möglichkeit, dass Folge-VOIP-Interviews durch einen AI ermöglicht werden könnten, zumindest, wenn die Machbarkeit des Artikels unter einem bestimmten Schwellenwert liegt und die Veröffentlichung genug Durchschlagkraft hat, um menschliche Beteiligung in einem Gespräch mit einem “AI-Forscher” zu erzeugen.

Identifizierung von Nachrichten mit AI

Viele der in diesem Artikel erörterten Prinzipien und Herausforderungen gelten auch für das Potenzial der Automatisierung in anderen Bereichen der Journalismus, und, wie es immer war, ist die Identifizierung eines potenziellen Berichts die Kernherausforderung. Die meisten menschlichen Journalisten werden zugeben, dass das tatsächliche Schreiben der Geschichte nur die letzten 10% der Anstrengung ist, und dass, wenn die Tastatur zu klappern beginnt, die Arbeit größtenteils erledigt ist.

Die größte Herausforderung besteht darin, AI-Systeme zu entwickeln, die in der Lage sind, eine Geschichte zu erkennen, zu untersuchen und zu authentifizieren, basierend auf den vielen arkanschen Vicissitudes des Nachrichtenspiels, und eine enorme Bandbreite von Plattformen zu durchlaufen, die bereits gegen Sondierung und Exfiltration, menschlich oder anders, gehärtet sind.

Im Falle der Wissenschaftsberichterstattung haben die Autoren neuer Papiere eine so tiefe selbstbediente Agenda wie jede andere potenzielle primäre Quelle einer Nachrichtengeschichte, und das Dekonstruieren ihrer Ausgabe wird das Einbetten von vorherigem Wissen über soziologische, psychologische und ökonomische Motivationen erfordern. Daher benötigt ein putativer automatisierter Wissenschaftsautor mehr als reduktive NLP-Routinen, um zu bestimmen, wo die Nachrichten heute sind, es sei denn, die Nachrichtendomäne ist besonders geschichtet, wie im Falle von Aktien, Pandemiezahlen, Sportergebnissen, seismischer Aktivität und anderen rein statistischen Nachrichtenquellen.