Naar geautomatiseerd wetenschappelijk schrijven

Vanmorgen, toen ik zoals elke ochtend door de computerwetenschapsecties van Arxiv bladerde, stuitte ik op een recent artikel van de Federale Universiteit van Ceara in Brazilië, dat een nieuw Natural Language Processing-kader aanbood voor het automatiseren van de samenvatting en extractie van kerngegevens uit wetenschappelijke artikelen.

Aangezien dit ongeveer is wat ik elke dag doe, bracht het artikel een opmerking naar boven die eerder dit jaar op een Reddit-schrijversdraad werd gemaakt – een voorspelling dat wetenschappelijk schrijven een van de eerste journalistieke banen zal zijn die door machine learning worden overgenomen.

Laat me duidelijk zijn – ik gelooft absoluut dat de geautomatiseerde wetenschappelijke schrijver eraan komt, en dat alle uitdagingen die ik in dit artikel noem, ofwel nu oplosbaar zijn, ofwel uiteindelijk zullen worden opgelost. Waar mogelijk geef ik voorbeelden hiervan. Bovendien richt ik me niet op de vraag of huidige of toekomstige wetenschappelijke schrijf-AI’s in staat zullen zijn begrijpelijk te schrijven; op basis van het huidige interesse in deze sector van NLP, ga ik ervan uit dat deze uitdaging uiteindelijk zal worden opgelost.

In plaats daarvan vraag ik me af of een wetenschappelijke schrijf-AI in staat zal zijn relevante wetenschappelijke verhalen te identificeren in overeenstemming met de (hoogst uiteenlopende) gewenste resultaten van uitgevers.

Ik denk niet dat het imminent is; op basis van het doorbladeren van de koppen en/of kopie van ongeveer 2000 nieuwe wetenschappelijke artikelen over machine learning elke week, heb ik een nogal cynischer kijk op de mate waarin academische inzendingen algoritmischematig kunnen worden afgebroken, hetzij voor academische indexering, hetzij voor wetenschappelijke journalistiek. Zoals gewoonlijk zijn het die vervloekte mensen die in de weg zitten.

Vereisten voor de geautomatiseerde wetenschappelijke schrijver

Laten we de uitdaging van het automatiseren van wetenschappelijke verslaggeving over de nieuwste academische onderzoeken overwegen. Om het eerlijk te houden, zullen we ons voornamelijk beperken tot de CS-categorieën van het zeer populaire niet-betaalde Arxiv-domein van Cornell University, dat tenminste een aantal systematische, gesjabloneerde functies heeft die in een datapipeline kunnen worden geplaatst.

Latentijdens veronderstellen we ook dat de taak die voorligt, net als bij het nieuwe artikel uit Brazilië, bestaat uit het doorlopen van de titels, samenvattingen, metadata en (indien gerechtvaardigd) de bodyinhoud van nieuwe wetenschappelijke artikelen op zoek naar constanten, betrouwbare parameters, tokens en actiegerichte, herleidbare domeingegevens.

Dit is immers het principe waarop zeer succesvolle nieuwe kaders terrein winnen in gebieden als aardbevingsverslaggeving, sportverslaggeving, financiële journalistiek en gezondheidszorg, en een redelijke uitgangspositie voor de AI-gedreven wetenschappelijke journalist.

The workflow of the new Brazilian offering. The PDF science paper is converted to UTF-8 plain text (though this will remove italic emphases that may have semantic meaning), and article sections labeled and extracted before being passed through for text filtering. Deconstructed text is broken into sentences as data-frames, and the data-frames merged before token identification, and generation of two doc-token matrices   Source: https://arxiv.org/ftp/arxiv/papers/2107/2107.14638.pdf

Complexiteit van de sjabloon

Een bemoedigende laag van conformiteit en regularisatie is dat Arxiv een vrijwel afgedwongen sjabloon voor inzendingen heeft, en gedetailleerde richtlijnen voor auteurs die inzenden. Daarom voldoen papers over het algemeen aan welke delen van het protocol van toepassing zijn op het werk dat wordt beschreven.

Daarom kan het AI-voorbewerkingsysteem voor de vermeende geautomatiseerde wetenschappelijke schrijver dergelijke secties in het algemeen behandelen als subdomeinen: samenvatting, inleiding, gerelateerd/voorafgaand werk, methodologie/gegevens, resultaten/bevindingen, ablatiestudies, bespreking, conclusie.

Echter, in de praktijk kunnen sommige van deze secties ontbreken, worden hernoemd of inhoud bevatten die, strikt genomen, in een andere sectie thuishoort. Bovendien zullen auteurs van nature kopteksten en subkopteksten opnemen die niet overeenkomen met de sjabloon. Daarom zal het aan NLP/NLU zijn om pertinente sectiegerelateerde inhoud uit context te identificeren.

Op weg naar problemen

Een kophiërarchie is een eenvoudige manier voor NLP-systemen om eerst blokken inhoud te categoriseren. Veel Arxiv-inzendingen worden geëxporteerd uit Microsoft Word (zoals blijkt uit de slecht afgehandelde Arxiv-PDF’s die ‘Microsoft Word’ in de titelkoptekst laten staan – zie afbeelding hieronder). Als u sectiekopteksten in Word gebruikt, zal een export naar PDF deze opnieuw maken als hiërarchische kopteksten die nuttig zijn voor de gegevensextractieprocessen van een machineverslaggever.

Echter, dit gaat ervan uit dat auteurs deze functies daadwerkelijk in Word gebruiken, of andere documentatiekaders, zoals TeX en afgeleiden (zelden aangeboden als native alternatieve formaten in Arxiv-inzendingen, met de meeste aanbiedingen beperkt tot PDF en, zo nu en dan, de nog minder transparante PostScript).

Op basis van jarenlang lezen van Arxiv-papers, heb ik opgemerkt dat de overgrote meerderheid ervan geen enkele interpreteerbare structurele metadata bevat, met de titel die in de reader (d.w.z. een webbrowser of een PDF-lezer) wordt weergegeven als de volledige titel (inclusief extensie), van het document zelf.

In dit geval is de semantische interpreteerbaarheid van het papier beperkt, en een AI-gebaseerd wetenschappelijk schrijfsysteem zal moeten programmeren om het opnieuw te koppelen aan de bijbehorende metadata in het Arxiv-domein. De Arxiv-conventie dicteert dat basis-metadata ook lateraal in grote grijze letters op pagina 1 van een ingediend PDF wordt geplaatst (zie afbeelding hieronder). Helaas – niet in de laatste plaats omdat dit de enige betrouwbare plaats is waar je een publicatiedatum of versienummer kunt vinden – wordt het vaak uitgesloten.

Veel auteurs gebruiken geen stijlen of alleen de H1-stijl (hoogste koptekst/titel), waardoor NLU opnieuw kopteksten moet extraheren uit context (waarschijnlijk niet zo moeilijk), of door het referentienummer te parseren dat de titel in de documentroute vormt (d.w.z. https://arxiv.org/pdf/2110.00168.pdf) en gebruik te maken van netgebaseerde (in plaats van lokale) metadata voor de inzending.

Hoewel dit laatste de ontbrekende kopteksten niet zal oplossen, zal het tenminste aangeven tot welk deel van de Computer Science de inzending behoort, en zal het datum- en versiegegevens verschaffen.

GluedText bij retourparagrafen

Met PDF en PostScript als meest voorkomende beschikbare Arxiv-formaten die door auteurs worden ingediend, zal het NLP-systeem een routine nodig hebben om eind-van-regelwoorden te splitsen van start-van-volgenderegellijnwoorden die ‘gehecht’ worden aan hen onder de standaardoptiemethode van PDF.

Deconcateneren (en dehyfeniseren) van woorden kan worden gedaan in Perl en veel andere eenvoudige recursieve routines, hoewel een Python-gebaseerde benadering minder tijdrovend en beter aangepast kan zijn aan een ML-kader. Adobe, de oorsprong van het PDF-formaat, heeft ook een AI-geactiveerd conversiesysteem ontwikkeld genaamd Liquid Mode, dat in staat is om ‘gebakken’ tekst in PDF’s te ‘herverdelen’, hoewel de uitrol ervan buiten de mobiele ruimte langzaam is gebleken.

Slecht Engels

Engels blijft de wereldwijde wetenschappelijke standaard voor het indienen van wetenschappelijke artikelen, hoewel dit omstreden is. Daarom bevatten interessante en nieuwsfeitartikelen soms slechte Engelse standaarden, van niet-Engelstalige onderzoekers. Als het gebruik van Engels als een maatstaf voor waarde wordt opgenomen wanneer een machinesysteem het werk evalueert, zullen niet alleen goede verhalen vaak verloren gaan, maar zal ook pedantie lagere output hoger worden gewaardeerd, alleen omdat het weinig zegt op een heel goede manier.

NLP-systemen die onbuigzaam zijn in dit opzicht, zullen waarschijnlijk een extra laag obstakels ervaren in gegevensextractie, behalve in de meest rigide en geparametriseerde wetenschappen, zoals scheikunde en theoretische fysica, waar grafieken en tabellen meer uniform zijn over wereldwijde wetenschappelijke gemeenschappen. Hoewel machine learning-papers vaak formules bevatten, vertegenwoordigen deze mogelijk niet de bepalende waarde van de inzending in de afwezigheid van de volledig gevestigde wetenschappelijke consensus over methodologie die oudere wetenschappen genieten.

Selectie: Bepaling van de eisen van het publiek

We zullen spoedig terugkomen op de vele problemen van het decomponeren van excentrieke wetenschappelijke papers in discrete datapunten. Nu laten we ons publiek en doelen overwegen, aangezien deze essentieel zullen zijn om de wetenschappelijke schrijf-AI te helpen om door duizenden papers per week te zoeken. Het voorspellen van het succes van potentiële nieuwsverhalen is al een actief onderzoeksgebied in machine learning.

Als bijvoorbeeld hoge volumes ‘wetenschappelijk verkeer’ het enige doel zijn op een website waar wetenschappelijk schrijven slechts één onderdeel is van een bredere journalistieke aanbod (zoals het geval is met de wetenschapsectie van de Britse Daily Mail), kan een AI worden vereist om de hoogste omzet te bepalen in termen van verkeer en de selectie te optimaliseren naar dat. Dit proces zal waarschijnlijk prioriteit geven aan (relatief) laaghangend fruit zoals robots, drones, deepfakes, privacy en beveiligingslekken.

In overeenstemming met de huidige stand van de techniek in recommender-systemen, zal deze hoogwaardige oogst waarschijnlijk leiden tot ‘filter bubble’-problemen voor onze wetenschappelijke schrijf-AI, aangezien het algoritme meer aandacht besteedt aan een reeks meer twijfelachtige wetenschappelijke papers die ‘wenselijke’ hoogfrequente trefwoorden en frasen op deze onderwerpen bevatten (opnieuw, omdat er geld te verdienen valt in hen, zowel in termen van verkeer voor nieuwsuitgevers als financiering voor academische afdelingen), terwijl sommige van de veel interessantere ‘Easter eggs’ (zie hieronder) die in veel van de minder bezochte hoeken van Arxiv kunnen worden gevonden, worden genegeerd.

Eén keer en klaar!

Goed nieuws kan komen van vreemde en onverwachte plaatsen, en van eerder onvruchtbare sectoren en onderwerpen. Om onze AI-wetenschappelijke schrijver nog verder te verwarren, die had gehoopt een productieve index van ‘vruchtbare’ nieuwsbronnen te creëren, zal de bron van een ongebruikelijke ‘hit’ (zoals een Discord-server, een academische onderzoeksafdeling of een technologie-startup) vaak nooit meer actiegerichte materiaal produceren, terwijl het toch een omvangrijke en lawaaierige informatiestroom van minder waarde blijft produceren.

Wat kan een iteratieve machine learning-architectuur hieruit concluderen? Dat de vele duizenden eerdere ‘outlier’-nieuwsbronnen die het eerder had geïdentificeerd en uitgesloten, plotseling moeten worden geprioriteerd (ook al zou dit een onbeheersbaar signaal-ruisverhouding creëren, gezien het hoge volume papers dat elk jaar wordt uitgegeven)?  Dat het onderwerp zelf een waardiger activatie-laag verdient dan de nieuwsbron waar het vandaan kwam (wat, in het geval van een populair onderwerp, een overbodige actie is)..?

Meer nuttig zou zijn dat het systeem kan leren dat het moet opschuiven of omlaag in de hiërarchie van gegevensdimensies op zoek naar patronen – als die er al zijn – die het kenmerk nieuwsfeit vormen als een zwervend en abstract kenmerk dat niet nauwkeurig kan worden voorspeld op basis van herkomst alleen, en dat kan worden verwacht om dagelijks te muteren.

Identificatie van hypothesefalen

Vanwege quotumdruk zullen academische afdelingen soms werken publiceren waarbij de centrale hypothese volledig (of bijna volledig) is mislukt bij het testen, zelfs als de methoden en bevindingen van het project zelf nog steeds de moeite waard zijn om enige interesse te wekken.

Dergelijke teleurstellingen worden vaak niet aangegeven in samenvattingen; in de slechtste gevallen zijn weerlegde hypothesen alleen te zien door de resultaatgrafieken te lezen. Dit vereist niet alleen het afleiden van een gedetailleerd begrip van de methodologie uit de zeer selectieve en beperkte informatie die het artikel kan bieden, maar zou ook in staat zijn om grafieken en tabellen te interpreteren die alles kunnen zijn, van een taartdiagram tot een scatterplot, in context.

Een NLP-gebaseerd systeem dat vertrouwt op de samenvattingen maar de grafieken en tabellen niet kan interpreteren, kan zich in eerste instantie erg enthousiast tonen over een nieuw artikel. Helaas zijn eerdere voorbeelden van ‘verborgen falen’ in academische papers (voor trainingsdoeleinden) moeilijk te generaliseren tot patronen, aangezien dit ‘academisch misdrijf’ voornamelijk een misdrijf van weglating of onderbelichting is, en dus moeilijk te detecteren.

In een extreem geval kan onze AI-schrijver de repository-gegevens (d.w.z. van GitHub) moeten lokaliseren en testen, of alle beschikbare aanvullende materialen moeten parseren, om te begrijpen wat de resultaten betekenen in termen van de doelstellingen van de auteurs. Daarom zal een machine learning-systeem de multiple ongekaarte bronnen en formaten die bij deze taak zijn betrokken, moeten doorlopen, waardoor de automatisering van verificatieprocessen een beetje een architectonische uitdaging wordt.

‘Witte doos’-scenario’s

Sommige van de meest buitensporige claims die in AI-gerichte beveiligingspapers worden gedaan, vereisen buitengewone en zeer onwaarschijnlijke niveaus van toegang tot de broncode of -infrastructuur – ‘witte doos’-aanvallen. Hoewel dit nuttig is voor het extrapoleren van eerder onbekende eigenaardigheden in de architectuur van AI-systemen, vertegenwoordigt het bijna nooit een realistisch te exploiteren aanvalsvlak. Daarom zal de AI-wetenschappelijke schrijver een capabele NLU-routine nodig hebben om ‘witte doos’-vermeldingen te isoleren in een zinvolle context (d.w.z. om vermeldingen te onderscheiden van de kernimplicaties van het artikel), en de mogelijkheid om ‘witte doos’-methodologie af te leiden in gevallen waarin de frase nooit in het artikel voorkomt.

Andere ‘gotcha’s

Andere plaatsen waar onuitvoerbaarheid en hypothesefalen kunnen worden begraven, zijn in de ablatiestudies, die systematisch essentiële elementen van een nieuwe formule of methode verwijderen om te zien of de resultaten negatief worden beïnvloed, of als een ‘kern’-ontdekking robuust is. In de praktijk zijn papers die ablatiestudies bevatten meestal zeer vertrouwen in hun bevindingen, hoewel een zorgvuldige lezing vaak een ‘bluf’ kan ontdekken. In AI-onderzoek is die bluf vaak overfitting, waarbij een machine learning-systeem uitstekend presteert op de oorspronkelijke onderzoeksgegevens, maar faalt om te generaliseren naar nieuwe gegevens, of anderszins onder niet-reproduceerbare beperkingen werkt.

Een andere nuttige sectiekoptekst voor potentiële systematische extractie is Beperkingen. Dit is de allereerste sectie die elke wetenschappelijke schrijver (AI of mens) moet overslaan, aangezien deze informatie kan bevatten die de hele hypothese van het artikel tenietdoet, en naar voren springen kan uren van verloren werk besparen (tenminste, voor de mens). Een worst-case scenario hier is dat een artikel daadwerkelijk een Beperkingen-sectie heeft, maar de ‘compromitterende’ feiten elders in het werk worden opgenomen, en niet hier (of worden hier onderbelicht).

Vervolgens is Voorafgaand werk van toepassing. Dit komt vroeg in de Arxiv-sjabloon voor en onthult vaak dat het huidige artikel slechts een kleine vooruitgang betekent ten opzichte van een veel innovatiever project, meestal uit de voorbije 12-18 maanden. Op dit punt zal de AI-schrijver de mogelijkheid nodig hebben om te bepalen of het voorafgaande werk aandacht kreeg; is er nog een verhaal hier? Is het eerdere werk onterecht aan de aandacht van het publiek ontsnapt op het moment van publicatie? Of is het nieuwe artikel gewoon een perfunctoire postscriptum van een eerder project dat al goed is gedocumenteerd?

Evaluatie van herhalingen en ‘versheid’

Naast het corrigeren van fouten in een eerdere versie, vertegenwoordigt versie 2 van een artikel vaak niet veel meer dan de auteurs die om aandacht schreeuwen die ze niet kregen toen versie 1 werd gepubliceerd. Vaak is een artikel echter een tweede kans waard, omdat media-aandacht op het moment van publicatie elders kan zijn afgeleid, of omdat het werk werd overschaduwd door een hoge stroom inzendingen in overvolle ‘symposium’- en conferentieperioden (zoals het najaar en het late winterseizoen).

Een nuttig kenmerk in Arxiv om een herhaling te onderscheiden, is de [GEWERKT BIJ]-tag die aan inzendingstitels is toegevoegd. Het interne ‘recommendersysteem’ van onze AI-schrijver zal zorgvuldig moeten overwegen of [GEWERKT BIJ]==’UITGESPEELD’ is, vooral omdat het (vermoedelijk) het opgewerkte artikel veel sneller kan evalueren dan een hardwerkende wetenschappelijke journalist. In dit opzicht heeft het een aanzienlijk voordeel ten opzichte van mensen, dankzij een naamconventie die waarschijnlijk zal blijven bestaan, tenminste in Arxiv.

Arxiv biedt ook informatie op de samenvattingspagina over of een artikel is geïdentificeerd als een ‘aanzienlijke kruisbestuiving’ van tekst met een ander artikel (vaak van dezelfde auteurs), en dit kan ook door een AI-schrijfsysteem worden geparseerd als een ‘dubbele/herhaling’-status in de afwezigheid van de [GEWERKT BIJ]-tag.

Bepaling van diffusie

Net als de meeste journalisten, zoekt onze voorgenomen AI-wetenschappelijke schrijver naar ongerapporteerde of ondergerapporteerde nieuws, om waarde toe te voegen aan de inhoudsstroom die het ondersteunt. In de meeste gevallen is het opnieuw melden van wetenschappelijke doorbraken die voor het eerst in grote uitgevers zoals TechCrunch, The Verge en EurekaAlert et al zijn verschenen, zinloos, aangezien dergelijke grote platforms hun inhoud ondersteunen met uitputtende publiciteitsmachines, waardoor media-saturatie voor het artikel vrijwel verzekerd is.

Daarom moet onze AI-schrijver bepalen of het verhaal vers genoeg is om het waard te maken.

De eenvoudigste manier, in theorie, zou zijn om recente inbound links naar de kernonderzoekspagina’s (samenvatting, PDF, academische afdelingswebsite-nieuwesectie, enz.) te identificeren. In het algemeen zijn kaders die up-to-date inbound link-informatie kunnen bieden, niet open source of goedkoop, maar grote uitgevers zouden de SaaS-kosten als onderdeel van een nieuwswaardigheidsbeoordelingskader kunnen dragen.

Verondersteld dat er toegang is tot dergelijke informatie, wordt onze AI-schrijver geconfronteerd met het probleem dat een groot aantal wetenschappelijke verslaggevingsuitgevers de papers waarover ze schrijven, niet citeren, zelfs niet in gevallen waarin die informatie vrij beschikbaar is. Immers, een uitgever wil dat secundaire verslaggeving naar hen linkt, in plaats van naar de bron. Aangezien ze vaak daadwerkelijk geprivilegieerde toegang tot een onderzoeksartikel hebben (zie De ‘sociale’ wetenschappelijke schrijver hieronder), hebben ze een oneerlijke reden hiervoor.

Daarom zal onze AI-schrijver actiegerichte trefwoorden uit een artikel moeten extraheren en tijdsbeperkte zoekopdrachten moeten uitvoeren om te bepalen waar, zo ja, het verhaal al is uitgebroken – en vervolgens bepalen of enige eerdere diffusie kan worden genegeerd, of dat het verhaal is uitgespeeld.

Soms bieden papers aanvullend videomateriaal op YouTube, waar de ‘weergave-telling’ kan dienen als een index van diffusie. Bovendien kan onze AI afbeeldingen uit het artikel extraheren en systematische afbeeldingsgebaseerde zoekopdrachten uitvoeren om te bepalen of, waar en wanneer enkele van de afbeeldingen zijn heruitgegeven.

Paasvierdagen

Soms onthult een ‘droog’ artikel bevindingen die diepe en nieuwsfeitimplicaties hebben, maar die door de auteurs worden onderbelicht (of zelfs genegeerd of ontkend), en alleen zullen worden onthuld door het hele artikel te lezen en de berekeningen uit te voeren.

In zeldzame gevallen denk ik dat dit komt doordat de auteurs meer bezorgd zijn over de ontvangst in de academische wereld dan in het algemeen, misschien omdat ze (niet altijd onterecht) denken dat de kernconcepten die hierbij betrokken zijn, eenvoudigweg niet kunnen worden vereenvoudigd voor algemeen gebruik, ondanks de vaak hyperbolische inspanningen van de PR-afdelingen van hun instellingen.

Maar ongeveer even vaak kunnen auteurs de implicaties van hun werk negeren of niet zien, en opereren officieel onder ‘wetenschappelijke afstand’. Soms worden deze ‘paaseieren’ niet positief beschouwd voor het werk, zoals hierboven vermeld, en kunnen ze cynisch worden verborgen in complexe tabellen van bevindingen.

Verder dan Arxiv

Het moet worden overwogen dat het parametreren van papers over computerwetenschappen in discrete tokens en entiteiten veel gemakkelijker zal zijn op een domein als Arxiv, dat een aantal consistente en gesjabloneerde ‘haakjes’ biedt om te analyseren, en geen inloggegevens vereist voor de meeste functionaliteit.

Niet alle wetenschappelijke publicatietoegang is open source, en het moet worden gezien of onze AI-wetenschappelijke schrijver (vanuit een praktisch of juridisch oogpunt) zal terugvallen op het omzeilen van betaalmuren via Sci-Hub; het gebruik van archiveringsites om betaalmuren te omzeilen; en of het praktisch is om soortgelijke domein-mijnbouwarchitecturen te bouwen voor een breed scala aan andere wetenschappelijke publicatieplatforms, veel waarvan structureel resistent zijn tegen systematische sonderingen.

Het moet verder worden overwogen dat zelfs Arxiv tariefbeperkingen heeft die de nieuwsbeoordelingsroutines van een AI-schrijver waarschijnlijk vertragen tot een meer ‘menselijke’ snelheid.

De ‘sociale’ AI-wetenschappelijke schrijver

Verder dan het openbare en toegankelijke domein van Arxiv en soortgelijke ‘open’ wetenschappelijke publicatieplatforms, kan het zelfs een uitdaging zijn om toegang te krijgen tot een interessant nieuw artikel, waarbij een contactkanaal voor een auteur moet worden gelokaliseerd en benaderd om toestemming te vragen om het werk te lezen, en zelfs om citaten te verkrijgen (waar tijdsdruk geen overweldigende factor is – een zeldzaam geval voor menselijke wetenschappelijke journalisten deze dagen).

Dit kan het automatisch doorlopen van wetenschappelijke domeinen en het maken van accounts vereisen (u moet zijn aangemeld om het e-mailadres van een auteur van een artikel te onthullen, zelfs op Arxiv). Meestal is LinkedIn de snelste manier om een reactie te krijgen, maar AI-systemen zijn momenteel verboden om leden te benaderen.

Wat de manier betreft waarop onderzoekers e-mailverzoeken van een wetenschappelijke schrijf-AI zouden ontvangen – nou, net als in de wereld van menselijke wetenschappelijke journalistiek, hangt het waarschijnlijk af van de invloed van de uitgever. Als een vermeende AI-gebaseerde schrijver van Wired contact zou opnemen met een auteur die zijn werk zou willen verspreiden, is het redelijk om aan te nemen dat het geen vijandige reactie zou krijgen.

In de meeste gevallen kunt u zich voorstellen dat de auteur zou hopen dat deze semi-geautomatiseerde uitwisselingen uiteindelijk een mens in de lus zouden roepen, maar het is niet ondenkbaar dat follow-up VOIP-gesprekken door een AI zouden kunnen worden gefaciliteerd, tenminste waar de levensvatbaarheid van het artikel onder een bepaalde drempel wordt voorspeld, en waar de publicatie voldoende tractie heeft om menselijke deelname aan een gesprek met een ‘AI-onderzoeker’ aan te trekken.

Identificatie van nieuws met AI

Veel van de principes en uitdagingen die hier worden uiteengezet, zijn van toepassing op het potentieel van automatisering in andere sectoren van de journalistiek, en, zoals het altijd al was, is het identificeren van een potentieel verhaal de kernuitdaging. De meeste menselijke journalisten zullen toegeven dat het schrijven van het verhaal eigenlijk slechts de laatste 10% van de inspanning is, en dat zodra het toetsenbord rammelt, het werk grotendeels voorbij is.

De grote uitdaging is dan ook om AI-systemen te ontwikkelen die een verhaal kunnen identificeren, onderzoeken en valideren op basis van de vele arcana van het nieuwsspel, en die een enorm bereik van platforms kunnen doorlopen die al zijn verhard tegen sonderingen en exfiltratie, menselijk of anderszins.

In het geval van wetenschappelijke verslaggeving hebben de auteurs van nieuwe papers een even diepe zelfbedienende agenda als elke andere potentiële primaire bron van een nieuwsverhaal, en zal het deconstrueren van hun output het insluiten van voorafgaande kennis over sociologische, psychologische en economische motivaties vereisen. Daarom zal een vermeende geautomatiseerde wetenschappelijke schrijver meer nodig hebben dan reductieve NLP-routines om te bepalen waar het nieuws vandaag is, tenzij het nieuwsdomein bijzonder gestratificeerd is, zoals het geval is met aandelen, pandemiecijfers, sportresultaten, seismische activiteit en andere zuiver statistische nieuwsbronnen.