Kan AI utvikle en nese for nyheter?

AI blir bedre til å skrive nyhetsartikler, men blir ikke mye bedre til å identifisere dem.

Meninger I de fem årene siden jeg sist tok en titt på AI sin evne til å finne en varm nyhetshistorie, har landskapet endret seg betraktelig, med økte nivåer av AI-drevet automatisering sammen med de uunngåelige vekstsmertene og kontroversene.

Nylig presenterte en WSJ-rapport om en produktiv, AI-aided Fortune-bidragsyter den fremtidige journalisten som frigjort fra rutinearbeid som å translitterere pressemeldinger, og gir dem mulighet til å skrive artikler og gjøre research som vanligvis bare større publikasjoner har budsjett for.

Men hva vi hører mye mindre om er AI sin evne til å spore en nyhetshistorie.

Støyreduksjon

I 2021-artikkelen konsentrerte jeg meg om forfattere som dekket forskningsområdet, siden det er der jeg tilbringer mest av min tid; og kanskje det største effekten av den nye AI-revolusjonen har hatt på dette er at den skapte en ugovernable blizzard av AI-drevne forskningspapirer, som øker signal-til-støy-forholdet så høyt at selv å dekke Arxiv AI-relaterte domener komprehensivt nå er utenfor en enkelt persons evne.

Sikkert er dette der AI utmerker seg – ved å iterere gjennom enorme mengder data som mennesker ikke kan løse, for å finne ‘outliers’ (som vi kommer til å se på kort tid) på sekunder som ville ha tatt mennesker dager, hvis de kunne ha gjort det i det hele tatt.

Hvorfor er AI da fortsatt så dårlig til å identifisere en varm nyhetshistorie fra de tusenvis, selv titusenvis, av daglige kandidater?

Bakovervendt AI

Denne massive proliferasjonen av AI-generert innhold skjer langt utenfor den akademiske sektoren som jeg diskuterte tidligere. Sent i fjor ble det anslått at halvparten av all ny skriving på nettet er nå ‘skrevet av AI’, med enda større akselerasjon av denne trenden antatt å komme. Derfor er støyen øredøvende overalt, ikke bare i akademia.

Selv om det har vært en del fremgang i AI/algoritmisk identifisering av en ‘varm’ historie i de siste årene, tenderer disse systemene til å konsentrere seg om stratifiserte og prediktivt organiserte datastrømmer, noe som betyr at de bare kan operere i en ganske sprø context.

I denne sammenhengen har Stanford postdoktorand og tidligere New York Times-journalist Alexander Spangher gjort flere forsøk på å definere ‘nyhetsverdi’ i termer som kan anvendes på maskinlæringsprosesser og statistisk analyse; og har produsert bevis for automatisert lead-generering i korpus såsom rettsdokumenter, statslover, og byråds møter, samt generelle offentlige dokumenter – den type skjema-drevne utgang som Fortune’s AI-drevne skribent kan omdanne til 6-7 nyhetsartikler om dagen:

Den ‘varme’ av ord-distribusjoner hentet fra korpus av offentlige dokumenter. Kilde

Men problemet med tilnærminger som den Spangher-ledede 2023 tilbud Tracking the Newsworthiness of Public Documents, er at de i typisk AI-stil, sentrerer seg på observerte trender i data. Med andre ord, de observerer ting som gjorde god nyheter før, og går videre for å finne mer av samme.

I den virkelige verden, uventede kilder nesten alltid viser seg å være en ‘one hit wonder’; og for hvor obskure de var, kunne ingen ha forutsatt deres plutselige prominens. Så, etter å ha vært fruktbare en gang, og til tross for noen forsøk på å kapitalisere på flyktig berømmelse/beryktelse, vil de vanligvis aldri produsere noe nyttig igjen.

Tegn på tiden

Derfor, siden overvåking av denne typen one-and-done-nyhetskilde vanligvis bare vil legge til mer støy til den generelle snøstormen, kunne AI i stedet ikke identifisere signifikatorene av en kilde som en gang kan bli fruktbare? Hvis en kunne finne ut hva type kilde som en gang kan gi nyheter, kunne en fokusere på dens egenskaper i stedet for dens kontekst eller metoder.

Med denne logikken kunne en slutte seg til at noen som nylig forlot CIA (eller en lignende organisasjon) ville være verdt å følge som en potensiell kilde til en fremtidig sensasjon.

Men det er ingen RSS-feeder eller API-er som sannsynligvis kan automatisere denne type kontinuerlig overvåking, siden LinkedIn og mange andre tidligere åpne kilder av data trekker seg tilbake i møte med rapace og scofflaw AI-web-scrapere. Selv om det var, ville frekvens være et problem, fordi du ikke kan pollere en API eller en nettside hver femte sekund; bortsett fra ressurskostnadene, ville IP-blokkeringssvar fra plattformene gjøre dette til en ustabil aktivitet.

Og det er klart en ‘menneskelig dimensjon’ til slike avsløringer som er vanskelig å automatisere.

Nyhetsinnsamling med personlig berøringspunkt: fangst fra en disk-utgave av 1976 Alan J. Pakula-filmen ‘All The President’s Men’, med informant som kommer ut av skyggen. Kilde

Og i den virkelige verden, er det svært vanskelig å identifisere definerende egenskaper av en fremtidig nyhetskilde. Det er neppe ‘personer som forlot CIA nylig’, og det er neppe definert av en protokoll: plattformer som X eller GitHub produserer for mye signal i seg selv, og selv å snevre inn på søkeord eller post-kategorier gjør liten forskjell – bare hvis du er involvert i problemet, og engasjert i samfunnet (eller repo, osv.), er du virkelig sannsynlig til å gjenkjenne betydningen av en utvikling.

Selv en term såsom ‘sikkerhetsvarsel’ kan ikke kontekstualisere den sanne alvor eller nyhetsverdi av en hendelse, siden referanser av denne typen kastes rundt daglig, tusenvis av ganger, i slike samfunn – og selv om en begrenser denne type overvåking til engelsk språk alene, ville variasjoner i idiom, sammen med bruk av skjeve språk, gjøre det svært vanskelig å tolke en ‘i villmark’ post til en sant nyhetsvarsel.

Den smale vei

Den nåværende avlingen av AI-drevne nyhetsverdi-detteksjonssystemer avhenger av formaliserte datastrukturer (såsom JSON-utgang fra en API), eller ellers uformelle datastrukturer som AI-utviklede algoritmer har en sjanse til å parsere til en strukturert skjema (såsom pressemeldinger fra en bestemt organisasjon):

En parslet RSS/XML-feed, som avslører den rigide hierarkiet av datacontainere. Kilde

Klarlig er tilnærminger av denne typen godt egnet for programmatisk utgang, såsom det rutinemessige arbeidet som den ovennevnte Fortune-reporteren erklærer at AI har frigjort ham fra, inkludert vær-, aksje- og sportsresultat-rapportering, samt rutinemessige pressemeldinger fra kommunale og andre offentlige organisasjoner.

Men mens det er mulig å koble ‘menneskelig-alarm’ utløsere til statistiske strømmer som vær (plutselige stormer), aksjer (plutselige fall) og sport (uventede seire/tap, med en del forberedelse), ville menneskelig oppmerksomhet likevel være nødvendig selv for svært stratifiserte offentlige uttalelser, for å vurdere nyhetsverdi.

Selv om termer som ‘død’, ‘uventet sykdom’, ‘lekkasje’ og ‘ulykke’ alle kan hjelpe til å bore ned til nyhetsverdige hendelser, dekker de bare ‘rutinemessige’ eventualiteter, og kan ikke regne med alternativ språk (eller språk).

Tilbake til de elite-forfatterne?

I de siste årene har data-drevet journalistikk blitt en stigende plank i nyhetsrapportering, med redaksjonsavdelinger som ikke lenger er begrenset til søte ‘scoop’-avtaler som gir dem tidlig utgivelse på spesielle rapporter og hvitpapirer fra store forlag; i stedet kan de knuse tallene selv.

Men dette er ingen gratis lunsj; da den åpenbare verdien av å parsere offentlige data med AI på denne måten har vokst, har en rentesøkende/AI-blokkerende respons fulgt – eller til og med forutsett – etterspørselen, og driver de store AI-aktørene inn i skjulte taktikker.

Den ekstra friksjonen fra den nye tilbaketrekningen kan kanskje restaurere en del makt fra ‘borgerjournalister’ tilbake til etablerte medier – eller i hvert fall, godt finansierte nyhetsorganisasjoner som har bredbåndet til å absorbere det ekstra manuelle arbeidet som kreves for å samle inn, finpusse og evaluere data, i en æra hvor forlag og domener stadig begrenser tilgangen.

Så, på en måte, kanskje i ånden av tiden, den praktiske manifestasjonen av AI i journalistikk, i termer av hvordan store aktører og markeder har respondert på AI-basert innovasjon og adopsjon, kan faktisk ta oss tilbake i tid: de-demokratisere midlene for nyhetsproduksjon, og legge hindringer for meningsfulle data-drevne nyhetsverdi-vurderingssystemer.

Felles instinkter

Disse begrensningene fører oss tilbake til ‘gut feeling’ som en uunngåelig komponent i å vurdere nyhetsverdien av en historie.

Naturligvis er dette trøsterikt for de som er engasjert profesjonelt i denne aspekten; men selvtilfredshet ville være en feil, siden denne instinkten kan, til en viss grad, bli destillert og operasjonalisert på en meget generell måte som ikke avhenger av å studere obsesjoner eller hobby-hester av enkeltpersoner eller organisasjoner: i en 2022 studie fra Northwestern University, brukte forskerne crowd-sourced vurderinger av potensielt nyhetsverdige historier til å trene en prediktiv modell, spesifikt opptatt av nyhetsverdien av nylig publiserte Arxiv-forskningspapirer:

Spørsmål til studie-deltagere for å få treningdata for en ‘nyhetsverdi-prediksjons’ AI-modell. Kilde

Systemet rangerer kandidater ganske godt, med omtrent 80% av dens topp ti valg også vurdert som nyhetsverdige av eksperter. Men enighet med eksperter viste seg å være moderat, med resultater som manglet faktorer som ramming, eller publikums passning.

Systemet er basert på prinsippene i 2020-papiret Computational News Discovery: Towards Design Considerations for Editorial Orientation Algorithms in Journalism. Som med de fleste lignende prosjekter, tar dette arbeidet opp vitenskapsjournalistikk i stedet for abstrakt nyhetsinnsamling – kanskje fordi den vitenskapelige litteraturen tenderer mot templatert utgang som potensielt kan parsere til trene og tolkbare datapunkter.

Vel, som jeg observerte tilbake i 2021, ville dette være tilfelle, bortsett fra at forskningsvitenskapsmenn ofte misbruker konvensjonene for forskningspapirinnsending til å skjule eller nedtone imponerende resultater, eller til og med åpenbart fiasko.

Og enda mer av en utfordring er den store vanskeligheten som AI-systemer har i å tolke figurer og tabeller i vitenskapelige papirer, til den grad at denne forfølgelsen nylig har blitt en aktiv tråd i litteraturen:

Fra papiret ‘SciFigDetect: A Benchmark for AI-Generated Scientific Figure Detection’, som viser ekte vitenskapelige figurer, deres genereringspromter, og syntetiske motstykker produsert av Nano Banana og GPT over tre kategorier: illustrasjon, oversikt og eksperimentelle figurer. Kilde

Det er ofte tilfelle at en graf eller tabel inneholder resultater som hoveddelen av papiret vil enten rapportere med selektiv forvrengning, eller ellers helt ignorere noen negative konsekvenser som er implisitt i tabellens/grafens resultater. Derfor er denne barrieren i AI-drevet vitenskapsjournalistikk ikke en liten en.

Mer talende, det faktum at et papir er derivert, eller bare en mindre fremgang (hvis noen) på standen av kunnskap, er ofte begravd i en nesten ugjennomtrengelig sitat (dvs. du ville neede å søke etter termen, finne en lesbar PDF-kopi, og forstå omfanget av tidligere kunnskap før du kunne forstå mangelen på originalitet eller nyskaping i det nye arbeidet).

Alene igjen, naturlig

Den crowd-sourced metoden ovenfor antyder noen mulig enighet mellom felles konsensus på potensielle nyheter og profesjonell vurdering av samme. Men uten kontekst, kan bare de bredeste strekene av nyhetsverdi bestemmes.

Den sanne styrken til AI ligger i dens evne, avhengig av konfigurasjon, til å isolere outliers – enten for å kaste dem som en kurve-blåsende og meningsløs unntak til en trend i en dataset, eller (mer relevant for nyhetsinnsamling) til å identifisere meningsfulle og verdifulle usammenhengende instanser og hendelser:

Outliers (i rødt) i en spredningsplot. Kilde

På prinsippet at lyn sjelden slår to ganger, er nesten alle hit-nyheter outliers. I tilfeller hvor de kommer fra et aktivt og volatilt domene, som en pågående krig, kan dette domenet skannes nøye med en høy sannsynlighet for nyhetsverdige hendelser som oppstår – men til en kostnad av massiv konflikt, siden felles oppmerksomhet sannsynligvis også er fokusert på domenet.

Mange nyhetsverdige vitenskapelige ledetråder er, per definisjon, ikke sentrum av språkdistribusjonen. De er sjeldne kombinasjoner av metoder, overraskende negative resultater eller anomale replikasjoner. Hvis modellens kompetanse forringes uforholdsmessig på slike lavfrekvente grupperinger, så blir det området hvor en redaksjonell ‘nese’ trenger å være skarp, det området hvor modellen er minst pålitelig.

Tillitsproblemer

I søket etter nye historier, balanserer journalister flere begrensninger, inkludert tid, tilgang, troverdighet, publikum og organisatoriske prioriteringer), noe som fører til ikke-åpenbare valg. En 2022 litteraturgjennomgang fra Danmark karakteriserte journalister som balanserende flere bekymringer, akutt oppmerksom på at kilder kan ha agender eller være misinformatert; og ofte unngår direkte sjekking til fordel for indirekte tillitskriterier når de opererer under press.

Disse samme ’tillitsproblemer’ ville være en utviklingshinder i enhver definitiv AI-drevet nyhetsverdi-identifikasjonssystem, siden engasjement med en slik plattform krever at brukeren stoler på at noen algoritmerisk kastet artikler virkelig ikke er verdige skribentens tid.

Omfattende beta-testing og om-trening eller finjustering, med menneskelig tilsyn som plukker opp stragglers, kunne til slutt forbedre påliteligheten av en slik tilnærming; men en skifte i nasjonal eller global kultur – som overraskende endringer i det politiske landskapet, eller utbruddet av krig – kunne uunngåelig snu alle grunnleggende prioriteringer i en slik finjustert system, og la den AI-avhengige skribenten bygge opp sin nødvendige ‘interne domene-modell’ nesten fra scratch.

Først publisert mandag, 20. april 2026.
Endret torsdag, 23. april 2026 14:13:25, for å erstatte ‘WSJ’ med ‘Fortune’ i ‘Den smale vei’, paragraf 2 (takket være Mark Riley fra mathison.ai for å peke på det).