Mot Automatisert Vitenskapsforfatter

I morgen, mens jeg gjennomgikk datavitenskapsdelene av Arxiv, som jeg gjør de fleste morgener, kom jeg over en ny artikkel fra Federal University of Ceara i Brasil, som tilbyr et nytt rammeverk for naturlig språkbehandling for å automatisere sammenfatting og uttrekk av kjernedata fra vitenskapelige artikler.

Siden dette er omtrent det jeg gjør hver dag, kom artikkelen til å minne meg om en kommentar på en Reddit-forfattertråd tidligere i år – en spådom om at vitenskapsforfattere vil være blant de første journalistiske jobbene som vil bli overtatt av maskinlæring.

La meg være tydelig – jeg tror absolutt at den automatiserte vitenskapsforfatteren kommer, og at alle utfordringene jeg beskriver i denne artikkelen enten kan løses nå eller vil bli løst til slutt. Der hvor mulig, gir jeg eksempler på dette. I tillegg er jeg ikke opptatt av om nåværende eller nærmeste vitenskapsforfattere basert på AI vil være i stand til å skrive sammenhengende; basert på nåværende interesse i denne delen av NLP, antar jeg at denne utfordringen vil bli løst til slutt.

I stedet spør jeg om en vitenskapsforfatter-AI vil være i stand til å identifisere relevante vitenskapslige historier i henhold til de (høyt varierte) ønskede resultater fra forlag.

Jeg tror ikke det er nært forestående; basert på å gå gjennom overskriftene og/eller kopien av rundt 2000 nye vitenskapelige artikler om maskinlæring hver uke, har jeg en mer skeptisk holdning til hvor langt akademiske innleveringer kan bli algoritmisk nedbrutt, enten for akademisk indeksering eller for vitenskapelig journalistikk. Som vanlig, er det menneskene som kommer i veien.

Krav for den automatiserte vitenskapsforfatteren

La oss vurdere utfordringen med å automatisere vitenskapsjournalistikk om den nyeste akademiske forskningen. For å holde det rettferdig, vil vi hovedsakelig begrense det til CS-kategoriene i den svært populære ikke-betalte Arxiv-domene fra Cornell University, som i det minste har en rekke systematiske og malbaserte funksjoner som kan kobles til en datauttrekkspipeline.

La oss anta at oppgaven, som med den nye artikkelen fra Brasil, er å iterere gjennom titler, sammenfatninger, metadata og (hvis berettiget) innholdet i nye vitenskapelige artikler for å finne konstanter, pålitelige parametre, token og handlingbare, redusible domeneinformasjon.

Dette er, etter alt, prinsippet som nye rammeverk basert på, som vinner terreng i områdene jordskjelvrapportering, sportskriving, finansjournalistikk og helsedekning, og en rimelig utgangspunkt for AI-drevne vitenskapsjournalister.

Arbeidsflyten for det nye brasilianske tilbudet. PDF-vitenskapsartikkelen konverteres til UTF-8 ren tekst (selv om dette vil fjerne kursiv betoning som kan ha semantisk betydning), og artikkelens seksjoner merkes og trekkes ut før de sendes gjennom for tekstfiltrering. Dekonstruert tekst deles inn i setninger som data-rammer, og data-rammene slås sammen før token-identifikasjon og generering av to doc-token-matriser   Kilde: https://arxiv.org/ftp/arxiv/papers/2107/2107.14638.pdf

Komplisering av malen

En oppmuntrende lag med konformitet og regulering er at Arxiv pålegger en ganske godt håndhevet mal for innleveringer, og gir detaljerte retningslinjer for innleverende forfattere. Derfor konformerer artiklene seg generelt til hvilke deler av protokollen som gjelder for arbeidet som beskrives.

Så AI-forbehandlingssystemet for den putative automatiserte vitenskapsforfatteren kan generelt behandle slike seksjoner som underdomener: sammenfatting, innledning, relatert/tidligere arbeid, metodologi/data, resultater/funn, ablasjonsstudier, diskusjon, konklusjon.

Men i praksis kan noen av disse seksjonene mangle, bli omdøpt eller inneholde innhold som, strengt tatt, hører hjemme i en annen seksjon. Videre vil forfattere naturlig inkludere overskrifter og underoverskrifter som ikke konformerer til malen. Derfor vil det falle til NLP/NLU å identifisere relevante seksjonsrelatert innhold fra kontekst.

På vei mot problemer

En overskriftshierarki er en enkel måte for NLP-systemer å initialt kategorisere blokker av innhold. Mange Arxiv-innleveringer eksporteres fra Microsoft Word (som kan sees i mishandlede Arxiv-PDF-er som lar “Microsoft Word” stå i titteloverskriften – se bildet under). Hvis du bruker ordentlige seksjonsoverskrifter i Word, vil en eksport til PDF gjenskape dem som hierarkiske overskrifter som er nyttige for datauttrekksprosessene til en maskinreporter.

Men dette antar at forfatterne faktisk bruker slike funksjoner i Word, eller andre dokumentopprettingsrammeverk, som TeX og derivater (sjelden tilgjengelig som native alternativformater i Arxiv-innleveringer, med de fleste tilbud begrenset til PDF og, av og til, den enda mer uigjennomtrengelige PostScript).

Basert på år med lesing av Arxiv-artikler, har jeg merket meg at de fleste av dem ikke inneholder noe tolkbart strukturmetadata, med tittelen rapportert i lesaren (dvs. en nettleser eller en PDF-leser) som full tittel (inkludert utvidelse), av dokumentet selv.

I dette tilfelle er artikkelens semantiske tolkbarhet begrenset, og et AI-basert vitenskapsforfattersystem vil trenge å programmatically relink det til dets assosierte metadata på Arxiv-domene. Arxiv-konvensjonen dikterer at grunnleggende metadata også settes inn lateralt i stor grå skrift på side 1 av en innlevert PDF (se bildet under). Dessverre – ikke minst fordi dette er det eneste pålitelige stedet du kan finne en publikasjonsdato eller versjonsnummer – er det ofte ekskludert.

Mange forfattere bruker enten ingen stiler i det hele tatt, eller bare H1-stilen (høyest overskrift/tittel), og lar NLU igjen trekke ut overskrifter enten fra kontekst (sannsynligvis ikke så vanskelig), eller ved å parse referansenummeret som utgjør tittelen i dokumentruten (dvs. https://arxiv.org/pdf/2110.00168.pdf) og å avhenge av nettbasert (i motsetning til lokal) metadata for innleveringen.

Til tross for at dette sistnevnte ikke vil løse manglende overskrifter, vil det i det minste etablere hvilken seksjon av datavitenskap innleveringen gjelder for, og gi dato- og versjonsinformasjon.

Limt tekst ved linjeskift

Med PDF og PostScript som de vanligste tilgjengelige Arxiv-formatene som innleveres av forfattere, vil NLP-systemet trenge en rutine for å splitte slutten av linjen fra starten av påfølgende linjeord som blir “festet” til dem under PDF-formatets uheldige standardoptimeringsmetoder.

De-konkatenasjon (og de-hyfenisering) av ord kan utføres i Perl og mange andre enkle rekursive rutiner, selv om en Python-basert tilnærming kan være mindre tidskrevende og mer tilpasset et ML-rammeverk. Adobe, opphavspersonen til PDF-formatet, har også utviklet et AI-aktivt konverteringssystem kalt Liquid Mode, som kan “omstrømme” baket tekst i PDF-er, selv om utrullingen utenfor mobilrommet har vært langsom.

Dårlig engelsk

Engelsk er fortsatt det globale vitenskapelige standardformatet for å innlevere vitenskapelige artikler, selv om dette er omstridt. Derfor kan interessante og nyhetsverdige artikler noen ganger inneholde forferdelige standarder for engelsk, fra ikke-engelske forskere. Hvis dyktig bruk av engelsk inkluderes som en målestokk for verdi når et maskinsystem vurderer arbeidet, så vil ikke bare gode historier ofte gå tapt, men også pedantisk lavverdiutgang vil bli vurdert høyere bare fordi den sier svært lite svært godt.

NLP-systemer som er inflexible i denne hensikt er sannsynligvis å møte en ekstra lag med hindringer i datauttrekk, bortsett fra i de mest rigid og parameteriserte vitenskapene, som kjemi og teoretisk fysikk, hvor grafer og diagrammer konformerer mer uniformt over globale vitenskapelige samfunn. Selv om maskinlæringsartikler ofte inneholder formularer, kan disse ikke representere den avgjørende verdien av innleveringen i fravær av den fullt etablerte vitenskapelige konsensus om metode som eldre vitenskaper nyter.

Utvalg: Bestemme publikumsbehov

Vi kommer tilbake til de mange problemene med å dekomponere eksentriske vitenskapsartikler til diskrete datapunkter om litt. La oss nå vurdere vårt publikum og mål, siden disse vil være essensielle for å hjelpe vitenskapsforfatter-AI å gå gjennom tusenvis av artikler hver uke. Å forutsi suksessen til potensielle nyhetsartikler er allerede et aktivt område i maskinlæring.

Hvis, for eksempel, høy volum “vitenskapslig trafikk” er det eneste målet på en nettside hvor vitenskapsforfattere bare er en del av et bredere journalistisk tilbud (som er tilfelle med Daily Mail-vitenskapsseksjonen), kan en AI være påkrevd å bestemme de høyest inntjenende emnene i forhold til trafikk, og optimalisere utvalget mot det. Denne prosessen vil sannsynligvis prioritere (relativt) lavthengende frukt som roboter, drone, deepfakes, personvern og sikkerhetshull.

I tråd med den nåværende tilstanden av kunsten i anbefalingsystemer, er det sannsynlig at denne høynivå-høstingen vil føre til ‘filterboble’-problemer for vår vitenskapsforfatter-AI, ettersom algoritmen gir økt oppmerksomhet til en rekke mer tvilsomme vitenskapsartikler som inneholder “ønskede” høyfrekvensnøkkelord og fraser på disse emnene (igjen, fordi det er penger å tjene i dem, både i form av trafikk for nyhetskanaler og finansiering for akademiske avdelinger), mens de ignorerer noen av de mye mer skrivbare “Easter eggs” (se under) som kan finnes i mange av de mindre besøkte hjørnene av Arxiv.

En gang og ferdig!

Godt vitenskapsstoff kan komme fra rare og uventede steder, og fra tidligere ufruktbare sektorer og emner. For å ytterligere forvirre vår AI-vitenskapsforfatter, som håpet å skape en produktiv indeks av “fruktbare” nyhetskilder, vil kilden til en uventet “hit” (slik som en Discord-tjener, en akademisk forskningsavdeling eller en teknologistartup) ofte aldri igjen produsere håndterbart materiale, mens den fortsatt utgir en volumiøs og støyende informasjonsstrøm av lavere verdi.

Hva kan en iterativ maskinlæringsarkitektur slutte seg til fra dette? At de mange tusen tidligere “outlier”-nyhetskilder som det en gang identifiserte og ekskluderte nå skal prioriteres (selv om dette ville skape en ustyrlig signal-til-støy-forhold, med tanke på den høye volumet av artikler som utgjøres hvert år)?  At emnet i seg selv er verdigere en aktiveringslag enn nyhetskilden det kom fra (hvis det i tilfelle et populært emne er en redundunt handling)..?

Mer nyttig er det at systemet kan lære at det må flytte opp eller ned i data-dimensjonalitetshierarkiet for å finne mønster – hvis det faktisk finnes noen – som utgjør hva min avdøde journalistfarfar kalte “en nose for nyheter”, og definere funksjonen nyhetsverdig som en vandrende og abstrakt kvalitet som ikke kan forutsies nøyaktig basert på proveniens alene, og som kan forventes å mutere daglig.

Identifisere hypotesefeil

På grunn av kvotetrykk, vil akademiske avdelinger noen ganger publisere arbeider der den sentrale hypotesen har feilet fullstendig (eller nesten fullstendig) i testing, selv om prosjektets metoder og funn likevel er verdige en viss interesse i seg selv.

Slike skuffelser er ofte ikke signalisert i sammenfatninger; i verste fall er motbeviste hypoteser bare åpenbare ved å lese resultattabellene. Dette krever ikke bare å inferere en detaljert forståelse av metoden fra den høyt selektive og begrensede informasjonen artikkelen kan gi, men også å kreve dyktige graf-tolkingsalgoritmer som kan tolke alt fra en pi-chart til en spredningsgraf, i kontekst.

Et NLP-basert system som har tillit til sammenfatningene, men ikke kan tolke grafene og tabellene, kan bli ganske opphetet over en ny artikkel, ved første lese. Dessverre er tidligere eksempler på “skjult feil” i akademiske artikler (for treningformål) vanskelige å generalisere til mønster, ettersom denne “akademiske forbrytelsen” primært er en forbrytelse av utelating eller underbetoning, og derfor svær å påvise.

I et ekstremt tilfelle kan vår AI-forfatter trenge å finne og teste repository-data (dvs. fra GitHub), eller parse tilgjengelige supplerende materialer, for å forstå hva resultater betyr i forhold til forfatternes mål. Derfor vil et maskinlæringsystem trenge å gå gjennom de multiple ucartograferte kildene og formatene involvert i dette, og gjøre automatisering av verifiseringsprosesser en liten arkitektonisk utfordring.

‘Hvit boks’-scenarier

Noen av de mest skandaløse påstandene i AI-sentrerte sikkerhetsartikler viser seg å kreve ekstraordinære og svært usannsynlige nivåer av tilgang til kildekoden eller kildeinfrastrukturen – “hvit boks”-angrep. Selv om dette er nyttig for å extrapolere tidligere ukjente feil i arkitekturene til AI-systemer, representerer det nesten aldri en realistisk angrepsflate. Derfor vil AI-vitenskapsforfatteren trenge en ganske god bullshit-detektor for å dekomponere påstander omkring sikkerhet til sannsynligheter for effektiv deployering.

Den automatiserte vitenskapsforfatteren vil trenge en dyktig NLU-rutine for å isolere “hvit boks”-henvisninger til en meningsfull kontekst (dvs. å skille henvisninger fra kjernepåvirkninger for artikkelen), og evnen til å slutte “hvit boks”-metodikk i tilfeller hvor frasen aldri dukker opp i artikkelen.

Andre ‘gotchas’

Andre steder hvor ugyldighet og hypotesefeil kan ende opp ganske gravde er i ablasjonsstudier, som systematisk fjerner viktige elementer av en ny formel eller metode for å se om resultater er negativt påvirket, eller om en “kjerne”-oppdagelse er motstandsdyktig. I praksis er artikler som inkluderer ablasjonsstudier vanligvis ganske sikre på funn, selv om en nøye lesning ofte kan avdekke en “bløff”. I AI-forskning utgjør denne bløffen ofte overfitting, hvor et maskinlæringsystem utfører godt på de originale forskningsdata, men feiler i å generalisere til nye data, eller opererer under andre ikke-reproduserbare begrensninger.

En annen nyttig seksjonsoverskrift for potensiell systematisk uttrekk er begrensninger. Dette er den aller første seksjonen noen vitenskapsforfatter (AI eller menneske) bør hoppe ned til, ettersom den kan inneholde informasjon som nullifiserer artikkelen hele hypotese, og hopping frem til den kan spare tapte timer med arbeid (i det minste for mennesket). En verre-case-scenario her er at en artikkel faktisk har en begrensninger-seksjon, men de “kompromitterende” faktene er inkludert andre steder i arbeidet, og ikke her (eller er underbetont her).

Neste er tidligere arbeid. Dette skjer tidlig på i Arxiv-malen, og avslører ofte at den nåværende artikkelen bare representerer en mindre fremgang på et langt mer innovativt prosjekt, vanligvis fra de siste 12-18 månedene. På dette stadiet vil AI-forfatteren trenge evnen til å etablere om tidligere arbeid fikk grep; er det fortsatt en historie her? Fikk tidligere arbeidet ufortjent slippe gjennom offentlig oppmerksomhet på tidspunktet for publikasjon? Eller er den nye artikkelen bare en pro forma-etterfølger til et tidligere prosjekt?

Vurdere gjentakelser og ‘freskhets’

Foruten å korrigere feil i en tidligere versjon, representerer V.2 av en artikkel ofte bare lite mer enn at forfatterne streber etter oppmerksomheten de ikke fikk da V.1 ble publisert. Ofte fortjener en artikkel faktisk en ny sjanse, ettersom mediadekning kan ha blitt avledet andre steder på tidspunktet for publikasjon, eller arbeidet ble overskygget av høyt trafikk av innleveringer i overfylte “symposium”- og konferanseperioder (slik som høst og sen vinter).

En nyttig funksjon på Arxiv for å skille en gjentakelse er [OPPDATERT]-merket som er festet til innleveringstitler. Vår AI-forfatters indre “anbefalingsystem” vil trenge å vurdere nøye om [OPPDATERT] == ‘Spilt ut’, spesielt ettersom det (antageligvis) kan vurdere den oppvarmede artikkelen mye raskere enn en hardt presset vitenskapsforfatter. I denne hensikt har det en merkbart fordel over mennesker, takket være en navnekonvensjon som sannsynligvis vil holde, i det minste på Arxiv.

Arxiv gir også informasjon på sammenfatningssiden om hvorvidt artikkelen er identifisert som having ‘signifikant kryssning’ av tekst med en annen artikkel (ofte av samme forfattere), og dette kan også potensielt bli parsert til en ‘gjentakelse’-status av en AI-forfatter-system i fravær av [OPPDATERT]-merket.

Bestemme diffusjon

Som de fleste journalister, søker vår prosjekterte AI-vitenskapsforfatter etter u rapportert eller under-rapportert nyheter, for å legge til verdi til innholdstrømmen den støtter. I de fleste tilfeller er det meningsløst å rapportere om vitenskapslige gjennombrudd først presentert i store plattformer som TechCrunch, The Verge og EurekaAlert et cetera, ettersom slike store plattformer støtter sitt innhold med uttømmelige PR-maskiner, som praktisk talt garanterer mediedekning for artikkelen.

Derfor må vår AI-forfatter bestemme om historien er frisk nok til å være verdt å forfølge.

Den enkleste måten, i teorien, ville være å identifisere nylige inngående lenker til de sentrale forskningsidene (sammenfatning, PDF, akademisk avdelings nettside nyhetsseksjon, osv.). I allminnelhet er rammeverk som kan gi oppdatert inngående lenkeinformasjon ikke åpne kilde eller lavkostnads, men store forlag kunne antageligvis bære SaaS-utgiftene som en del av en nyhetsverdighets-vurderingsrammeverk.

Antageligvis med slik tilgang, møter vår AI-forfatter problemet at et stort antall vitenskapsjournalistiske kanaler ikke henviser til artiklene de skriver om, selv i tilfeller hvor denne informasjonen er fritt tilgjengelig. Etter all, ønsker en kanal at sekundær rapportering skal lenke til dem, i stedet for kilde. Siden de ofte faktisk har fått privilegert eller semi-privilegert tilgang til en forskningsartikkel (se Den ‘sosiale’ vitenskapsforfatter under), har de en skamløs foranledning for dette.

Så vår AI-forfatter vil trenge å trekke ut håndterbare nøkkelord fra en artikkel og utføre tid-begrensede søk for å etablere hvor, hvis noen, historien allerede har brutt ut – og deretter vurdere om noen tidligere diffusjon kan diskonteres, eller om historien er spilt ut.

Noen ganger tilbyr artikler supplerende video-materiale på YouTube, hvor “visningsantallet” kan fungere som en indeks for diffusjon. I tillegg kan vår AI trekke ut bilder fra artikkelen og utføre systematiske bilde-baserte søk for å etablere om noen av bildene har blitt gjenpublisert.

Påskeegg

Noen ganger avslører en “tørr” artikkel funn som har dyptgående og nyhetsverdige implikasjoner, men som er underbetont (eller til og med oversett eller diskontert) av forfatterne, og vil bare bli avdekket ved å lese hele artikkelen og gjøre matematikken.

I sjeldne tilfeller tror jeg at dette skyldes at forfatterne er langt mer opptatt av mottak i akademia enn det generelle publikum, kanskje fordi de føler (ikke alltid feilaktig) at kjernekonseptene involvert ikke kan forenkles nok for generell forbruk, til tross for de ofte hyperbolske anstrengelsene til deres institusjoners PR-avdelinger.

Men like ofte kan forfatterne diskontere eller ikke se eller anerkjenne implikasjonene av sitt arbeid, opererende offisielt under “vitenskapelig reserve”. Noen ganger er disse “påskeeggene” ikke positive indikatorer for arbeidet, som nevnt ovenfor, og kan være skjult i komplekse tabeller over funn.

Bortenfor Arxiv

Det bør vurdere at å parametrisere artikler om datavitenskap til diskrete token og enheter vil bli mye enklere på en domene som Arxiv, som tilbyr en rekke konsistente og malbaserte “krokker” å analysere, og som ikke krever innlogging for de fleste funksjoner.

Ikke all vitenskapelig publikasjon er åpen kilde, og det å se om vår AI-vitenskapsforfatter kan eller vil unngå betalingsmurer gjennom Sci-Hub; å bruke arkiveringsnettsteder for å unngå betalingsmurer; og om det er praktisk å konstruere lignende domene-mineringsarkitekturer for en rekke andre vitenskapelige publikasjonsplattformer, mange av disse er strukturelt motstandsdyktige mot systematisk sondering.

Det bør videre vurdere at selv Arxiv har ratelimit som sannsynligvis vil sakke ned AI-forfatters nyhetsvurderingsrutiner til en mer “menneskelig” hastighet.

Den ‘sosiale’ AI-vitenskapsforfatter

Bortenfor det åpne og tilgjengelige området av Arxiv og lignende “åpne” vitenskapelige publikasjonsplattformer, kan det være en utfordring å bare få tilgang til en interessant ny artikkel, og krever å finne en kontaktkanal for en forfatter og nærme seg dem for å be om å lese arbeidet, og til og med å få sitater (hvor trykket av tid ikke er en overveiende faktor – et sjeldent tilfelle for menneskelige vitenskapsforfattere i disse dager).

Dette kan kreve automatisert traversering av vitenskapsdomener og opprettelse av kontoer (du må være logget inn for å avsløre e-postadressen til en artikkel-forfatter, selv på Arxiv). Det raskeste måtet er ofte LinkedIn, men AI-systemer er for tiden forbudt fra å kontakte medlemmer.

Så langt hvordan forskere ville motta e-postforspørsler fra en AI-vitenskapsforfatter – nå, som i den “kjøtt”-verden av vitenskapsforfattere, avhenger det sannsynligvis av innflytelsen til kanalen. Hvis en putativ AI-basert forfatter fra Wired kontaktet en forfatter som var ivrig etter å spre sitt arbeid, er det rimelig å anta at det ikke ville møte en fiendtlig reaksjon.

I de fleste tilfeller kan man forestille seg at forfatteren ville håpe at disse semi-automatiske utvekslinger til slutt ville fremkalle en menneske inn i løkken, men det er ikke utenfor rekkevidde av mulighet at oppfølgings-VOIP-intervjuer kunne bli fasilitert av en AI, i det minste der hvor artikkelen er forutsagt å være under en viss terskel, og der hvor publikasjonen har nok grep til å tiltrekke menneskelig deltakelse i en samtale med en “AI-forsker”.

Identifisere nyheter med AI

Mange av prinsippene og utfordringene som er beskrevet her, gjelder for potensialet for automatisering over andre sektorer av journalistikk, og – som det alltid har vært – å identifisere en potensiell historie er den sentrale utfordringen. De fleste menneskelige journalister vil innrømme at å faktisk skrive historien er bare de siste 10% av arbeidet, og at når tastaturet begynner å klikke, er arbeidet nesten ferdig.

Hovedutfordringen er derfor å utvikle AI-systemer som kan spore, undersøke og autentisere en historie, basert på de mange arkane vendingene i nyhesspillet, og gå gjennom en stor rekke plattformer som allerede er hardnet mot sondering og eksfiltrering, menneskelig eller annet.

I tilfelle vitenskapsjournalistikk har forfatterne av nye artikler like dype selv-tilfreds agendaer som noen andre potensielle primærkilder for en nyhetshistorie, og å dekonstruere deres utgang vil kreve å innlemme forhånds-kunnskap om sosiale, psykologiske og økonomiske motivasjoner. Derfor vil en putativ automatisert vitenskapsforfatter trenge mer enn reduserte NLP-rutiner for å etablere hvor nyheten er i dag, med mindre nyhetsdomenet er spesielt stratifisert, som er tilfelle med aksjer, pandemital, sportsresultater, seismisk aktivitet og andre ren statistiske nyhetskilder.