Mot Automatiserad Vetenskapsjournalistik

I morse, medan jag gick igenom datavetenskapliga avdelningar på Arxiv, som jag gör de flesta morgnar, stötte jag på en ny artikel från Federal University of Ceara i Brasilien, som presenterar ett nytt ramverk för naturlig språkbehandling för att automatisera sammanfattning och extrahering av kärndata från vetenskapliga artiklar.

Eftersom detta är mer eller mindre vad jag gör varje dag, fick artikeln mig att tänka på en kommentar i en Reddit-tråd för författare tidigare i år – en förutsägelse som gick ut på att vetenskapsjournalistik kommer att vara en av de första journalistiska jobben som tas över av maskinlärning.

Låt mig vara tydlig – jag tror absolut att den automatiserade vetenskapsförfattaren är på väg, och att alla utmaningar jag beskriver i den här artikeln antingen kan lösas nu eller kommer att lösas så småningom. Där det är möjligt ger jag exempel på detta. Dessutom diskuterar jag inte om nuvarande eller nästa generations vetenskapsjournalistiska AI kan skriva sammanhängande text; baserat på nuvarande intresse för detta område inom naturlig språkbehandling, antar jag att denna utmaning kommer att lösas så småningom.

I stället frågar jag om en vetenskapsjournalistisk AI kommer att kunna identifiera relevanta vetenskapsberättelser i enlighet med de (högst varierande) önskade resultaten från förlag.

Jag tror inte att det är nära förestående; baserat på att jag har gått igenom rubriker och/eller text från cirka 2000 nya vetenskapliga artiklar om maskinlärning varje vecka, har jag en mer cynisk syn på den utsträckning till vilken akademiska inlämnanden kan brytas ned algoritmiskt, antingen för akademisk indexering eller för vetenskapsjournalistik. Som vanligt är det människor som står i vägen.

Krav för den Automatiserade Vetenskapsförfattaren

Låt oss överväga utmaningen att automatisera vetenskapsrapportering om den senaste akademiska forskningen. För att hålla det rättvist, kommer vi att begränsa oss till CS-kategorierna i den mycket populära och fria Arxiv-domänen från Cornell University, som har ett antal systematiska och mallbaserade funktioner som kan anslutas till en dataextraheringspipeline.

Låt oss anta att uppgiften, som med den nya artikeln från Brasilien, är att iterera genom titlar, sammanfattningar, metadata och (om motiverat) brödtexten i nya vetenskapliga artiklar för att söka efter konstanter, tillförlitliga parametrar, token och handlingsbara, reducerbara domäninformation.

Detta är, efter allt, principen som de högt framgångsrika nya ramverken bygger på inom områden som jordbävnsrapportering, sportjournalistik, finansjournalistik och hälsojournalistik, och en rimlig utgångspunkt för den AI-drivna vetenskapsjournalisten.

Arbetflödet för det nya brasilianska erbjudandet. Den vetenskapliga artikeln i PDF-format konverteras till UTF-8-ren text (även om detta kommer att ta bort kursiv betoning som kan ha semantisk betydelse), och artikeldelar märks och extraheras innan de skickas vidare för textfiltrering. Dekonstruerad text bryts ned i meningar som data-ramar, och data-ramarna slås samman innan tokenidentifiering och generering av två doc-token-matriser   Källa: https://arxiv.org/ftp/arxiv/papers/2107/2107.14638.pdf

Att Komplexa Mallen

En uppmuntrande nivå av överensstämmelse och regelbundenhet är att Arxiv tillämpar en ganska välgenomförd mall för inlämnanden, och tillhandahåller detaljerade riktlinjer för inlämnande författare. Därför följer artiklarna vanligtvis de delar av protokollet som gäller för arbetet som beskrivs.

Således kan det AI-baserade förbehandlingssystemet för den automatiserade vetenskapsförfattaren vanligtvis behandla sådana avsnitt som underdomäner: sammanfattning, introduktion, relaterad/tidigare arbete, metodik/data, resultat/fynd, ablationsstudier, diskussion, slutsats.

Men i praktiken kan några av dessa avsnitt saknas, ha bytt namn eller innehålla innehåll som, strikt talat, tillhör ett annat avsnitt. Dessutom kommer författarna naturligtvis att inkludera rubriker och under-rubriker som inte följer mallen. Därför kommer det att bero på NLP/NLU att identifiera relevant avsnittsrelaterat innehåll från sammanhanget.

Rubriker för Problem

En rubrikhierarki är ett enkelt sätt för NLP-system att initialt kategorisera block av innehåll. Många Arxiv-inlämnanden exporteras från Microsoft Word (som visas i de missködda Arxiv-PDF:erna som lämnar “Microsoft Word” i titelrubriken – se bild nedan). Om du använder ordentliga avsnittsrubriker i Word, kommer en export till PDF att återskapa dem som hierarkiska rubriker som är användbara för dataextraheringsprocesserna i en maskinrapport.

Men detta förutsätter att författarna faktiskt använder sådana funktioner i Word, eller andra dokumentationsramverk, som TeX och derivat (sällan tillhandahålls som naturliga alternativa format i Arxiv-inlämnanden, med de flesta erbjudanden begränsade till PDF och, ibland, det ännu mer ogenomskinliga PostScript).

Baserat på år av läsning av Arxiv-artiklar, har jag noterat att den överväldigande majoriteten av dem inte innehåller någon tolkningsbar strukturmetadata, med titeln rapporterad i läsaren (dvs. en webbläsare eller en PDF-läsare) som den fullständiga titeln (inklusive tillägg) på dokumentet självt.

I detta fall är artiklens semantiska tolkbarhet begränsad, och ett AI-baserat vetenskapsförfattarsystem kommer att behöva programmera om den för att länka den till dess associerade metadata i Arxiv-domänen. Arxiv-konventionen dikterar att grundläggande metadata också infogas lateralt i stor grå text på sidan 1 i en inlämnad PDF (se bild nedan). Tyvärr – inte minst för att detta är den enda tillförlitliga platsen där du kan hitta en publiceringsdatum eller versionsnummer – är det ofta uteslutet.

Många författare använder antingen inga stilar alls, eller bara H1-stilen (högsta rubrik/titel), vilket lämnar NLU att extrahera rubriker antingen från sammanhanget (förmodligen inte så svårt), eller genom att tolka referensnumret som utgör titeln i dokumentvägen (dvs. https://arxiv.org/pdf/2110.00168.pdf) och utnyttja nätbaserad (snarare än lokal) metadata för inlämnandet.

Fast den senare kommer inte att lösa frånvarande rubriker, men den kommer åtminstone att etablera vilken del av datavetenskap som inlämnandet gäller, och ge datum- och versionsinformation.

Klistrade Texter vid Radbrytningar

Med PDF och postscript som de vanligaste tillgängliga Arxiv-formaten som lämnats in av författare, kommer NLP-systemet att behöva en rutin för att dela ord i slutet av en rad från ord i början av den efterföljande raden som “klistras” ihop under PDF-formatets standardoptimeringsmetoder.

Att dekonkatenera (och de-hyfenisera) ord kan utföras i Perl och många andra enkla rekursiva rutiner, även om ett Python-baserat tillvägagångssätt kan vara mindre tidskrävande och mer anpassat till ett maskinlärningsramverk. Adobe, ursprunget till PDF-formatet, har också utvecklat ett AI-aktiverat konverteringssystem som kallas Liquid Mode, som kan “omströmma” bakad text i PDF:er, även om dess utrullning utanför mobilområdet har visat sig vara långsam.

Dålig Engelska

Engelska förblir den globala standarden för att lämna in vetenskapliga artiklar, även om detta är kontroversiellt. Därför kan intressanta och nyhetsvärda artiklar ibland innehålla förskräckliga standarder på engelska från icke-engelsktalande forskare. Om behärskad användning av engelska ingår som en mått på värde när ett maskinsystem utvärderar arbetet, då kommer inte bara bra berättelser att gå förlorade, utan pedantiska lägre-värdesutdata kommer att rankas högre enbart för att de säger mycket lite på ett bra sätt.

NLP-system som är inflexibla i detta avseende kommer sannolikt att uppleva ytterligare ett lager av hinder i dataextrahering, utom i de mest rigida och parameteriserade vetenskaperna, som kemi och teoretisk fysik, där grafer och diagram följer mer enhetligt över globala vetenskapsamhällen. Även om maskinlärningsartiklar ofta innehåller formler, kan dessa inte representera den avgörande värdet av inlämnandet i avsaknad av den fullt etablerade vetenskapliga konsensusen om metodik som äldre vetenskaper åtnjuter.

Urval: Att Bestämma Målgruppskrav

Vi kommer att återvända till de många problemen med att bryta ned ovanliga vetenskapsartiklar i diskreta datapunkter strax. Nu, låt oss överväga vår målgrupp och mål, eftersom dessa kommer att vara avgörande för att hjälpa AI-vetenskapsförfattaren att filtrera igenom tusentals artiklar per vecka. Att förutsäga framgången för potentiella nyhetsberättelser är redan ett aktivt område inom maskinlärning.

Om till exempel hög volym “vetenskapslig trafik” är det enda målet på en webbplats där vetenskapsjournalistik bara är en del av ett bredare journalistiskt utbud (som är fallet med Daily Mail-avdelningen för vetenskapsjournalistik), kan en AI krävas för att bestämma de mest inkomstbringande ämnena i termer av trafik och optimera sitt urval mot detta. Denna process kommer sannolikt att prioritera (relativt) lågt hängande frukt som robotar, drönare, deepfakes, säkerhetsluckor.

I linje med den nuvarande tillståndet i rekommendationssystem, kommer denna högnivåskördning sannolikt att leda till ‘filterbubbel’-problem för vår AI-vetenskapsförfattare, eftersom algoritmen ger ökad uppmärksamhet åt en mängd mer tvivelaktiga vetenskapsartiklar som innehåller “önskvärda” högfrekventa nyckelord och fraser på dessa ämnen (igen, eftersom det finns pengar att tjäna på dem, både i termer av trafik för nyhetsutgivare och finansiering för akademiska avdelningar), medan de ignorerar några av de mycket mer skrivbara “påskäggen” (se nedan) som kan hittas i många av de mindre besökta hörnen av Arxiv.

En Gång och Klart!

Bra vetenskapsnyhetsmaterial kan komma från underliga och oväntade platser, och från tidigare outforskade sektorer och ämnen. För att ytterligare förvirra vår AI-vetenskapsförfattare, som hoppades på att skapa en produktiv index av “fruktbara” nyhetskällor, kommer källan till en udda “hit” (såsom en Discord-server, en akademisk forskningsavdelning eller ett tech-startup) ofta aldrig mer producera handlingsbart material, medan den fortsätter att producera en omfattande och bullrig informationsström av lägre värde.

Vad kan en iterativ maskinlärningsarkitektur dra för slutsatser av detta? Att de många tusentals tidigare “utviknings”-nyhetskällor som den en gång identifierade och uteslöt plötsligt ska prioriteras (även om detta skulle skapa en ostyrig signal-till-brus-förhållande, med tanke på den höga volymen artiklar som släpps varje år)? Att ämnet i sig är värdigare av en aktiveringslager än nyhetskällan det kom från (vilket, i fallet med ett populärt ämne, är en redundant åtgärd)..?

Mer användbart, kanske systemet kan lära sig att det måste flytta upp eller ned i data-dimensioneringshierarkin för att söka efter mönster – om det verkligen finns några – som utgör vad min avlidne journalistfarfar kallade “en känsla för nyheter”, och definiera funktionen nyhetsvärdig som en vandrings- och abstrakt kvalitet som inte kan förutsägas med hjälp av proveniens ensam, och som kan förväntas mutera dagligen.

Att Identifiera Hypotesfel

På grund av kvottryck, kan akademiska avdelningar ibland publicera arbeten där den centrala hypotesen har misslyckats fullständigt (eller nästan fullständigt) i testning, även om projektets metoder och fynd ändå är värda ett visst intresse i sig själva.

Sådana besvikelser signaleras ofta inte i sammanfattningar; i de värsta fallen kan motbevisade hypoteser endast identifieras genom att läsa resultattabellerna. Detta kräver inte bara en detaljerad förståelse av metodiken från den begränsade information som artikeln kan tillhandahålla, utan också adekvata graftolkningsalgoritmer som kan tolka allt från en cirkeldiagram till en spridningsdiagram i sammanhanget.

Ett NLP-baserat system som har förtroende för sammanfattningarna men inte kan tolka grafer och tabeller kan bli ganska upphetsat över en ny artikel, vid första anblicken. Tyvärr är tidigare exempel på “dolda misslyckanden” i akademiska artiklar (för utbildningsändamål) svåra att generalisera till mönster, eftersom detta “akademiska brott” främst är ett brott mot utelämnande eller underbetoning, och därför svårt att upptäcka.

I extrema fall kan vår AI-författare behöva lokalisera och testa lagringsdata (t.ex. från GitHub), eller tolka eventuella tillgängliga supplementärmaterial, för att förstå vad resultaten betyder i termer av författarnas mål. Därför kommer ett maskinlärningssystem att behöva navigera i de många o kartlagda källorna och formaten som är involverade i detta, vilket gör att automatisering av verifikationsprocesser blir en arkitektonisk utmaning.

‘Vita Lådor’-scenarier

Några av de mest skandalösa påståendena i AI-centrerade säkerhetsartiklar visar sig kräva extraordinära och mycket osannolika nivåer av tillgång till källkoden eller källinfrastrukturen – ‘vita lådor’-attacker. Medan detta är användbart för att extrapolera tidigare okända egenheter i AI-systemarkitekturer, representerar det nästan aldrig en realistiskt utnyttjbar attackyta. Därför kommer den automatiserade vetenskapsförfattaren att behöva en kapabel NLU-rutin för att isolera ‘vita lådor’-nämnda i ett meningsfullt sammanhang (dvs. för att skilja nämnda från kärnimplicationer för artikeln), och förmågan att deducera vita lådor-metodik i fall där frasen aldrig förekommer i artikeln.

Andra ‘Fällor’

Andra platser där ogenomförbarhet och hypotesfel kan hamna ganska begravda är i ablationsstudier, som systematiskt avlägsnar nyckelelement i en ny formel eller metod för att se om resultaten påverkas negativt, eller om en “kärn”-upptäckt är resilient. I praktiken är artiklar som innehåller ablationsstudier vanligtvis ganska säkra på sina fynd, även om en noggrann läsning ofta kan avslöja en “bluff”. I AI-forskning utgör denna “bluff” ofta överanpassning, där ett maskinlärningssystem presterar utmärkt på den ursprungliga forskningsdatan, men misslyckas med att generalisera till ny data, eller opererar under andra icke-reproducerbara begränsningar.

En annan användbar avsnittsrubrik för potentiell systematisk extrahering är begränsningar. Detta är den första avsnittet som varje vetenskapsförfattare (AI eller människa) bör hoppa till, eftersom det kan innehålla information som ogiltigförklarar artiklens hela hypotes, och hoppa till det kan spara förlorad tid (åtminstone för människor). Ett värsta-scenario här är att en artikel faktiskt har ett begränsningar-avsnitt, men de “komprometterande” faktorna är inkluderade andra ställen i arbetet, och inte här (eller är underutnyttjade här).

Nästa är tidigare arbete. Detta sker tidigt i Arxiv-mallen, och avslöjar ofta att den aktuella artikeln endast representerar en mindre framsteg jämfört med ett mycket mer innovativt projekt, vanligtvis från de senaste 12-18 månaderna. Vid detta stadium kommer AI-författaren att behöva förmågan att fastställa om det tidigare arbetet uppnådde genomslag; finns det fortfarande en berättelse här? Gick det tidigare arbetet oförtjänt förbi allmänhetens uppmärksamhet vid tidpunkten för publicering? Eller är den nya artikeln bara en proforma-eftertext till ett välbehandlat tidigare projekt?

Att Utvärdera Omgjorda och ‘Fräschör’

Förutom att korrigera fel i en tidigare version, representerar version 2 av en artikel ofta inte mycket mer än att författarna kräver uppmärksamhet som de inte fick när version 1 publicerades. Ofta förtjänar en artikel dock en andra chans, eftersom medieuppmärksamhet kan ha distraherats någon annanstans vid tidpunkten för publicering, eller arbetet var dolt av hög trafik av inlämnanden under överbelastade “symposium”- och konferensperioder (såsom höst och sen vinter).

En användbar funktion på Arxiv för att skilja en omgjord artikel är [UPPDATERAD]-taggen som läggs till i inlämningsrubriker. AI-författarens interna “rekommendationssystem” kommer att behöva överväga noggrant om [UPPDATERAD] == ‘Uppspelad’, särskilt eftersom det (förmodligen) kan utvärdera den omgjorda artikeln mycket snabbare än en stressad vetenskapsjournalist. I detta avseende har det en betydande fördel jämfört med människor, tack vare en namngivningskonvention som sannolikt kommer att bestå, åtminstone på Arxiv.

Arxiv tillhandahåller också information på sammanfattningssidan om huruvida artikeln har identifierats som having ‘signifikant överlapp’ av text med en annan artikel (ofta av samma författare), och detta kan också potentiellt tolkas till en “dubblett/omgjord”-status av ett AI-författarsystem i avsaknad av [UPPDATERAD]-taggen.

Att Bestämma Diffusion

Som de flesta journalister, letar vår projicerade AI-vetenskapsförfattare efter ouppmärksammade eller underrapporterade nyheter, för att lägga till värde till innehållsströmmen den stöder. I de flesta fall är det meningslöst att återrapportera vetenskapsgenombrott som först presenterades i stora utgivare som TechCrunch, The Verge och EurekaAlert et al, eftersom sådana stora plattformar stöder sitt innehåll med uttömmande publicitetsmaskiner, vilket i praktiken garanterar mediegenomslag för artikeln.

Därför måste vår AI-författare bestämma om berättelsen är tillräckligt färsk för att vara värd att förfölja.

Det enklaste sättet, i teorin, vore att identifiera nyliga inbound-länkar till kärnforskningsidor (sammanfattning, PDF, akademisk avdelnings webbplats nyhetssektion, etc.). I allmänhet är ramverk som kan tillhandahålla uppdaterad inbound-länkinformation inte öppen källkod eller lågkostnad, men stora utgivare kunde förmodligen bära SaaS-utgiften som en del av en nyhetsvärderingsram.

Antagande sådan tillgång, står vår AI-vetenskapsförfattare inför problemet att ett stort antal vetenskapsjournalistiska utgivare inte citerar de artiklar de skriver om, även i fall där den informationen är fritt tillgänglig. Efter allt, en utgivare vill att sekundär rapportering ska länka till dem, snarare än källan. Eftersom de faktiskt har fått privilegerad eller semi-privilegerad tillgång till en forskningsartikel (se Den ‘Sociala’ Vetenskapsförfattaren nedan), har de en oärlig förevändning för detta.

Således kommer vår AI-författare att behöva extrahera handlingsbara nyckelord från en artikel och utföra tidsbegränsade sökningar för att fastställa var, om någonstans, berättelsen redan har brutits – och sedan utvärdera om eventuell tidigare diffusion kan avskrivas, eller om berättelsen är utspelad.

Ibland tillhandahåller artiklar supplementär video-material på YouTube, där “vy-kontot” kan fungera som en index för diffusion. Dessutom kan vår AI extrahera bilder från artikeln och utföra systematiska bildbaserade sökningar för att fastställa om, var och när någon av bilderna har publicerats.

Påskägg

Ibland avslöjar en “torr” artikel fynd som har djupgående och nyhetsvärda implikationer, men som är underutnyttjade (eller till och med förbisedda eller diskvalificerade) av författarna, och kommer endast att avslöjas genom att läsa hela artikeln och göra matematiken.

I sällsynta fall tror jag att detta beror på att författarna är betydligt mer angelägna om mottagandet inom akademin än allmänheten, kanske för att de känner (inte alltid felaktigt) att de grundläggande koncepten som är involverade helt enkelt inte kan förenklas tillräckligt för allmän konsumtion, trots de ofta hyperboliska ansträngningarna från deras institutioners PR-avdelningar.

Men lika ofta kan författarna diskvalificera eller annars inte se eller erkänna implikationerna av sitt arbete, och operera officiellt under “vetenskapligt avstånd”. Ibland är dessa “påskägg” inte positiva indikatorer för arbetet, som nämnts ovan, och kan vara cyniskt dolda i komplexa tabeller över fynd.

Bortom Arxiv

Det bör beaktas att att parameterisera artiklar om datavetenskap till diskreta token och entiteter kommer att vara mycket enklare på en domän som Arxiv, som tillhandahåller ett antal konsekventa och mallbaserade “krokar” att analysera, och inte kräver inloggning för de flesta funktioner.

Inte all vetenskaplig publiceringsåtkomst är öppen källkod, och det återstår att se om vår AI-vetenskapsförfattare kan eller kommer att använda Sci-Hub för att kringgå betalväggar; för att använda arkiveringswebbplatser för att undvika betalväggar; och om det är praktiskt att konstruera liknande domän-mineringsarkitektur för en mängd olika andra vetenskapspubliceringsplattformar, många av vilka är strukturmässigt motståndskraftiga mot systematisk sondering.

Det bör också beaktas att även Arxiv har rate-gränser som sannolikt kommer att sakta ner AI-författarens nyhetsvärderingsrutiner till en mer “mänsklig” hastighet.

Den ‘Sociala’ AI-vetenskapsförfattaren

Bortom den öppna och tillgängliga sfären av Arxiv och liknande “öppna” vetenskapspubliceringsplattformar, kan det vara en utmaning att ens få tillgång till en intressant ny artikel, vilket kan innebära att hitta en kontaktkanal för en författare och närma sig dem för att begära att läsa arbetet, och till och med för att få citat (där tidspress inte är en överväldigande faktor – ett sällsynt fall för mänskliga vetenskapsjournalister dessa dagar).

Detta kan innebära att automatisera traversering av vetenskapsdomäner och skapa konton (du måste vara inloggad för att avslöja e-postadressen till en artikels författare, även på Arxiv). De flesta gånger är LinkedIn den snabbaste vägen att få en respons, men AI-system är för närvarande förbjudna från att kontakta medlemmar.

Såvitt jag kan förstå, hur forskare skulle ta emot e-postförfrågningar från en AI-vetenskapsförfattare – ja, som i den mänskliga vetenskapsjournalistiska världen, beror det sannolikt på utgivarens inflytande. Om en presumtiv AI-baserad författare från Wired kontaktade en författare som var angelägen om att sprida sitt arbete, är det rimligt att anta att det inte skulle möta en fientlig reaktion.

I de flesta fall kan man föreställa sig att författaren skulle hoppas att dessa semi-automatiserade utbyten så småningom skulle framkalla en människa i loopen, men det är inte bortom möjligheternas gräns att följa upp VOIP-intervjuer som faciliteras av en AI, åtminstone där artikeln förutses vara under en viss tröskel, och där utgivaren har tillräckligt med dragkraft för att locka mänskligt deltagande i en konversation med en “AI-forskare”.

Att Identifiera Nyheter med AI

Många av de principer och utmaningar som beskrivs här gäller för potentialen för automatisering inom andra sektorer av journalistik, och, som det alltid har varit, att identifiera en potentiell berättelse är den grundläggande utmaningen. De flesta mänskliga journalister kommer att medge att att faktiskt skriva berättelsen är bara de sista 10% av ansträngningen, och att när tangentbordet skriver, är arbetet mestadels över.

Huvudutmaningen är att utveckla AI-system som kan identifiera, undersöka och autentisera en berättelse, baserat på de många arkana vicissituderna i nyhetspelet, och traversera en stor mängd plattformar som redan är härdade mot sondering och exfiltration, mänsklig eller annan.

I fallet med vetenskapsjournalistik, har författarna till nya artiklar en lika djup självbetjäningsagenda som någon annan potentiell primärkälla till en nyhetsberättelse, och att dekonstruera deras utdata kommer att kräva att man inbäddar tidigare kunskap om sociologiska, psykologiska och ekonomiska motivationer. Därför kommer en presumtiv automatiserad vetenskapsförfattare att behöva mer än reducerande NLP-rutiner för att fastställa var nyheterna är idag, såvida nyhetsdomänen inte är särskilt stratifierad, som är fallet med aktier, pandemisiffror, sportresultat, seismisk aktivitet och andra rent statistiska nyhetskällor.